В основе метода EWMA лежит экспоненциальное сглаживание первого порядка [20, 21]:

где 0<л?1 - константа сглаживания.

В роли начального значения может быть взято математическое ожидание по предварительным данным, т.е.

z₀ =

Если раскрыть z_i-1, получается:

Рекурсивно, для z_i-j, j=2, 3, …, t получается:

уязвимость приложение нейросетевой интернет

Вес элемента уменьшается геометрически, с ростом порядкового номера. Сумма весов стремится к 1, так как:

Если, к примеру, л=0.2, то вес, назначенный текущему элементу, равен 0.2, а веса, назначенные предыдущим элементам, равны 0.04, 0.128, 0.1024 и так далее.

Изменение веса образца в ходе работы EWMA

Контрольные пределы для EWMA рассчитываются следующим образом (ВКП - верхний контрольный предел, НКП - нижний контрольный предел):

Где у^{2 -} дисперсия, а м_x - математическое ожидание случайной величины x_i.

В этих формулах L является шириной контрольного диапазона.

На практике часто используемыми значениями константы сглаживания являются л=0.05, л=0.10 и л=0.25. При меньших значениях л на значение статистики z_i влияет большее количество значений x_i, при больших - меньшее, что позволяет параметризовать формулу расчёта z_i (5.2.1) для учёта краткосрочных или долгосрочных тенденций.

В общем случае формирование профиля нормального поведения производится следующим образом.

Получается набор учебных данных. Далее высчитывается математическое ожидание для анализируемой случайной величины, оно принимается в качестве начального значения статистики z₀ (согласно формуле (5.2.2)). Затем по формуле (5.2.1) для каждого i-го значения случайной величины из тестового набора рассчитывается значение статистики z_i. После этого высчитывается дисперсия для x_i и контрольные пределы по формулам (5.2.3) и (5.2.4). Полученные данные сохраняются в профиле нормального поведения.

В режиме обнаружения аномалий поступающие значения используются для пересчёта статистики z_i. Получаемые значения z_i сравниваются с контрольными пределами, зафиксированными в профиле нормального поведения. В случае, если очередное значение выходит за контрольные пределы - фиксируется аномалия.

В контексте предложенного метода обнаружения уязвимостей метод может быть использован следующим образом.

Рассматриваемый статистический метод является одномерным, следовательно, статистика будет высчитываться для каждой операции из набора операций по её значению.

На этапе построения профилей нормального поведения наборы значений операций группируются по наборам HTTP-параметров. Далее, для каждой допустимой операции каждого набора HTTP-параметров по общей схеме, приведённой выше, высчитываются контрольные пределы и сохраняются в профиле нормального поведения.

В режиме обнаружения аномалий поступающие значения операций используются для расчёта значения статистики по формуле (5.2.1), статистика считается для каждой допустимой операции каждого набора HTTP-параметров. При выходе значения статистики за контрольные пределы, указанные в профиле нормального поведения - фиксируется аномалия и предполагается уязвимость в веб-приложении, которому поступил запрос.

Метод цепей Маркова

Определение [26]: Маркова цепь - марковский процесс с дискретным временем, заданный в измеримом пространстве.

Стохастический процесс в дискретные моменты времени показывает, как меняется значение случайной переменной в данные моменты времени. Пусть X_t - некоторая случайная переменная, представляющая состояние системы в момент времени t, где t=0, 1, …Стационарная цепь Маркова - это стохастический процесс с дискретным временем, для которого предполагается следующее:

· распределение вероятности нахождения системы в некотором состоянии в момент времени t+1 зависит от состояния в момент времени t и не зависит от состояний, в которых находилась система в моменты времени, предшествующих моменту t;

· переход из состояния в момент времени t в состояние момента времени t+1 является мгновенным.

Обозначим через p_ij вероятность того, что система находится в состоянии j в момент времени t+1 и в состоянии i в момент времени t [8]. Если множество возможных состояний системы конечно (1, 2, …, s), то стационарная цепь Маркова может быть определена матрицей вероятностей переходов

и вектором начального распределения вероятностей: Q = (q₁ q_{2 …} q_s), где q_i - вероятность нахождения системы в состоянии i в момент времени 0 и .

Вероятность появления последовательности состояний X₁, X₂, …, X_T в моменты времени 1, 2, …, T в контексте цепной модели Маркова рассчитывается следующим образом:

Матрица вероятностей переходов и вектор начального распределения вероятностей могут быть построены путём анализа состояний системы в предыдущие моменты времени. Если имеется набор наблюдений за состояниями системы X₀, X₁, …, X_N-1 в моменты времени 0, 1, …, N-1, то компоненты матрицы вероятностей переходов и вектора начального распределения вероятностей рассчитываются следующим образом:

где

N_ij - количество наблюдаемых пар состояний X_t и X_t+1, равных i и j соответственно.

N_j. - количество наблюдаемых пар состояний X_t и X_t+1, где первое равно i любым из 1, 2, …, s.

N_j - количество состояний X_t, равных i

N - общее количество наблюдений.

Для анализа открывается окно наблюдения размера N - берутся N последних событий до настоящего момента времени t E_{t-(N-1)=t-N+1}, …, E_t.

Каждому событию сопоставляется тип из конечного множества типов событий. Далее анализируется получившаяся последовательность состояний - типов событий X_t-N, …, X_t (X_i - тип события E_i).

Вероятность принадлежности данной последовательности состояний нормальному поведению системы определяется по следующей формуле:

Последовательность аномальных действий будет иметь меньшую вероятность (меньшую поддержку модели).

Испытания на реальных системах показали, что между значениями минимальной вероятности нормального поведения системы и максимальной вероятности действий злоумышленников был достаточно большой пробел, который можно считать порогом для принятия решения о нормальности поведения.

В контексте предложенного метода обнаружения уязвимостей метод может быть использован следующим образом.

На этапе построения профилей нормального поведения для каждого набора HTTP-параметров поступающие значения операций формируют последовательность состояний (последовательность формируется в соответствии с хронологическим порядком поступления значений операций), то есть - каждое значение считается состоянием. Далее рассчитываются матрица вероятностей переходов и вектор начального распределения вероятностей и фиксируются в профиле нормального поведения.

В режиме обнаружения аномалий для каждого набора HTTP-параметров открывается окно наблюдения, охватывающее последовательность значений операций, поступающих для данного набора HTTP-параметров. На основе извлечённых из профиля нормального поведения матрицы вероятностей переходов и вектора начального распределения вероятностей по формуле (5.3.2) пересчитывается общая вероятность последовательности значений операций, зафиксированной в текущий момент времени в окне наблюдения. При падении вероятности ниже контрольного предела - фиксируется аномалия и предполагается уязвимость в веб-приложении, которому поступил запрос.

Нейросетевой метод

Нейросетевой метод обнаружения аномалий рассматривается на примере экспериментальной системы обнаружения аномалий NNID (Neural Network Intrusion Detection) [25].

В основе метода лежит нейросеть с количеством слоёв от трёх до пяти. Входы используются для подачи входных данных, значения на выходах анализируются для обнаружения аномалий.

В контексте предложенного метода обнаружения уязвимостей данная модель может быть использована следующим образом.

Количество входов нейросети делается равным сумме количества всех возможных GET и POST параметров и количества всех операций над всеми объектами окружения. Количество выходов устанавливается равным количеству веб-приложений. В режиме обнаружения аномалий на входы нейросети, соответствующие GET и POST параметрам подаются: 1, если данный параметр присутствовал в HTTP-запросе, и 0, если не присутствовал. На входы, соответствующие операциям над объектами окружения, подаются соответствующие значения операций. Значение на выходах варьируется от 0 до 1 с шагом 0.1. Считается, что значение на некотором выходе большее 0.5 однозначно идентифицирует веб-приложение, которому может принадлежать такая комбинация HTTP-параметров и значений операций. Если более чем на одном выходе обнаружено значение большее 0.5, или ни на одном выходе нет значения большего 0.5 - фиксируется аномалия и предполагается уязвимость в веб-приложении, которому поступил запрос.

На этапе построения профиля нормального поведения проводится настройка весов нейросети при помощи некоторого автоматического алгоритма обучения, например при помощи алгоритма с обратным распространением. На входы нейросети подаётся очередная комбинация, характеризующая набор HTTP-параметров и набор значений операций, полученных в ходе обработки данного HTTP-запроса. Значение выхода, соответствующий запрашиваемому веб-приложению, устанавливается в 1, после чего алгоритмом обучения производится настройка весов. Полученная конфигурация сети сохраняется в профиле нормального поведения.

Сравнительный анализ методов обнаружения аномалий и обоснование выбора метода

Исходя из контекста решаемой задачи, для сравнительного анализа рассмотренных математических моделей обнаружения аномалий можно выбрать следующие критерии.

1. Нечувствительность метода к ненормальности распределения анализируемой случайной величины.

О распределении значений каждой операции априори никаких предположений сделать нельзя. При этом, необходимо отметить тот факт, что значительная часть статистических моделей является чувствительной к виду распределения значений случайной величины и для корректной работы требует нормального или близкого к нормальному распределения.

Из рассмотренных методов данному критерию удовлетворяют:

· метод EWMA - корректная работа метода при распределениях, не являющихся близкими к нормальному, подтверждается в [21];

· метод цепей Маркова - сам метод основан на анализе вероятностей переходов и не зависит собственно от распределения значений анализируемой случайной величины;

· нейросетевой метод - в основе метода лежит нейросеть, для корректной работы которой априори не требуется нормальное распределение.

Как было подчёркнуто в описании метода Хотеллинга [4], для корректной работы метода при многомерном распределении параметров, не являющимся близким к нормальному, требуется достаточно большое количество анализируемых параметров (то есть, достаточно большая размерность вектора значений) - примерно 30 и более. Но о количестве анализируемых параметров заранее ничего сказать нельзя и, следовательно, нельзя гарантировать корректную работу метода при произвольном виде многомерного распределения значений. Следовательно, относительно метода Хотеллинга в общем случае нельзя сказать, что он удовлетворяет обозначенному критерию.

Корректная работа метода при произвольном количестве параметров

Как было отмечено выше, заранее о количестве анализируемых параметров ничего сказать нельзя. При этом, для корректной работы многомерных статистических методов количество параметров может играть важную роль. В частности, как было сказано выше, для корректной работы метода Хотеллинга в условиях произвольного многомерного распределения параметров требуется достаточно большое количество анализируемых параметров. Следовательно, метод Хотеллинга данному критерию в общем случае не удовлетворяет.

Остальные методы данному критерию удовлетворяют:

· метод EWMA - метод является одномерным статистическим, так что общее количество анализируемых параметров не влияет на корректность работы метода;

· метод цепей Маркова - метод является одномерным стохастическим, так что общее количество анализируемых параметров не влияет на корректность работы метода;

· нейросетевой метод - в основе метода лежит нейросеть, конфигурация которой может быть произвольной, так что общее количество анализируемых параметров не влияет на корректность работы метода.

Локальность переобучения

Возможны две основные ситуации, требующие перезапуск этапа обучения и переформирование профилей нормального поведения:

а) в сфере контроля модуля обнаружения аномалий появляется новое веб-приложение, для которого профили нормального поведения ещё не сформированы;

б) в веб-приложения, для которых профили нормального поведения уже сформированы, вносятся изменения. Например, в составе веб-приложения отдельные библиотеки меняются на обновлённые и исправленные.

За данным критерием стоит следующая идея. В обоих ситуациях крайне нежелателен полный останов модуля обнаружения уязвимостей для переформирования всех профилей нормального поведения. Желательно провести формирование или переформирование профилей только для тех веб-приложений, которые были добавлены или изменены, при этом работа модуля с остальными профилями нормального поведения была бы продолжена.

Из рассмотренных методов данному критерию удовлетворяют:

· метод Хотеллинга - достаточно провести этап обучения для нового или изменённого веб-приложения, с заменой уже существующих для разных наборов HTTP-параметров профилей нормального поведения значений операций;

· метод EWMA - достаточно провести этап обучения для нового или изменённого веб-приложения, с заменой уже существующих для разных наборов HTTP-параметров профилей нормального поведения значений операций;

· метод цепей Маркова - достаточно провести этап обучения для нового или изменённого веб-приложения, с заменой уже существующих для разных наборов HTTP-параметров профилей нормального поведения значений операций.

Данному критерию не удовлетворяет нейросетевой метод, так как количество выходов нейросети равно количеству веб-приложений. В первой ситуации при добавлении нового веб-приложения появляется дополнительный выход, следовательно - меняется конфигурация сети, что в обязательном порядке приведёт к необходимости перезапуска этапа обучения и перенастройке сети. Во втором случае конфигурация сети не меняется, но меняется поведение изменившегося веб-приложения. А так как обучение нейросети проводится для всей совокупности веб-приложений, потребуется перезапуск этапа обучения и перенастройка сети.

Анализ значений, а не последовательности их появления

Недостатком статистических методов считается нечувствительность к аномалиям в последовательности событий. Существует ряд методов, которые предназначены для обнаружения аномалий именно в последовательности событий, например - метод упреждающего генерирования шаблонов (Predictive Pattern Generation) [6] и описанный выше метод цепей Маркова. По сути, такие методы предполагают переход системы из состояния в состояние в зависимости от поступающих значений и на этапе обучения определяют вероятности переходов. Отправной точкой служит предположение о том, что множество состояний системы конечно, иначе возникают проблемы с определением момента завершения этапа обучения, так как система будет продолжать переходить в новые состояния. Реализация методов этого класса основывается на анализе последовательности значений из конечного множества значений. Примером может служить последовательность системных вызовов операционной системы. Однако в рассматриваемой задаче анализируемые последовательности содержат значения операций, и о конечности множества их значений априори ничего сказать нельзя. Поэтому анализ самих значений, а не последовательности их появлений, представляется более перспективным в контексте данной задачи.

Таким образом, данному критерию не удовлетворяет метод цепей Маркова. Для рассматриваемой задачи применение метода цепей Маркова представляется проблематичным, так как, как было показано в Подразделе 5.3, в качестве типов событий предполагается использовать значения операций. Множество значений операций может быть сколь угодно большим, в то время как размерность матрицы вероятностей переходов и, следовательно, сложность расчёта значений её элементов, зависит от количества элементов множества.

Из рассмотренных методов следующие методы анализируют значения случайных величин, а не последовательность появления этих значений:

· метод Хотеллинга - в основе лежит многомерный статистический метод, на результаты работы которого влияют сами значения, а не их последовательность;

· метод EWMA - в основе лежит одномерный статистический метод, на результаты работы которого влияют сами значения, а не их последовательность;

· нейросетевой метод - в основе метода лежит нейросеть, на результаты работы которой влияют сами значения, а не их последовательность.

Таким образом, с учётом сравнения методов по приведённым критериям, наиболее подходящим методом для обнаружения аномалий в значениях операций из рассмотренных является метод EWMA.

Размещено на Allbest.ru