Задача поиска аномалий

Не существует общепринятой полной классификации задач машинного обучения. Традиционно разделяются на задачи «обучения с учителем», когда значения искомой функции известны для части объектов и на задачи «обучения без учителя», когда решение принимается исключительно исходя из внутренних закономерностей совокупности имеющихся объектов.

Основное отличие методов обучения без учителя от привычных классификаций и регрессий машинного обучения в том, что разметки для данных в этом случае нет. От этого образуются сразу несколько особенностей -- во-первых это возможность использования несопоставимо больших объёмов данных, поскольку их не нужно будет размечать руками для обучения, а во-вторых это неясность измерения качества методов, из-за отсутствия таких же прямолинейных и интуитивно понятных метрик, как в задачах обучения с учителем.

Аномалиями являются такие паттерны данных, которые не удовлетворяют предопределенному понятию нормального поведения. Природа признаков определяет применимость методов обнаружения аномалий. Например, статистические методы могут быть использованы для анализа только непрерывных или дискретных данных, представленных временными рядами.

1.Предметная область

? Определение выбросов на основе создания модели нормального и аномального поведения.

Такой тип называется классификацией с учителем и требует наличие заранее промаркированных в соответствии с принадлежностью к аномалии данных. На рис. 5 представлен пример таких данных с тремя классами нормальных данных и областью аномалий, находящейся вне границы данных классов.

При классификации в зависимости от условий и требований данные могут быть поделены на три класса, либо определены как один целый нормальный класс. Классификация может быть использована для обнаружения аномалий в режиме реального времени, где построенная заранее модель на основе обучающей выборки данных с нормальными и аномальными составляющими сравнивается по заданному алгоритму с поступающими на вход примерами.

При этом, если классифицируемый пример близок к нормальной области, он маркируется как нормальный, в противном случае - как аномальный.

Рисунок 5. Пример применения обнаружения аномалий с учителем

? Определение выбросов на основе модели только одной линии поведения (нормальной или, как бывает в некоторых случаях, аномальной)

В литературе такой тип обнаружения аномалий зачастую называют поиск новинок (распознавание новинок) и относят к распознаванию на базе обучения частично с учителем. Система обнаружения аномалий такого типа классифицирует новый пример как нормальный, если он сравним с обучающей выборкой, и распознает как аномалию в обратном случае. Рис. 6 иллюстрирует нормальную область, необходимую для обучения частично с учителем. Информация о нормальном поведении на рис. 6 подобна информации рис. 4. При сравнении точек V, W, X, Y рис. 4 с обученной моделью на основе данных рис. 6, они будут классифицированы как выбросы в связи с их удаленностью от обучающей выборки.

Рисунок 6. Пример применения обнаружения аномалий частично с учителем

1.4 Постановка задачи

В дальнейшем будем полагать, что данные имеют признаковое представление, то есть каждый объект задан в виде некоторого вектора из . В классической постановке задача детектирования аномалий формулируется так: в заданном множестве для каждого элемента выдать 0, если этот объект относится к классу нормальных данных, и 1, если этот объект аномален. Такая задача относится к классу задач обучения без учителя, поскольку правильных ответов на части входных данных не предоставляется.

В аналогичной задаче обучения с учителем на некоторой части входных данных известен верный ответ, то есть для каждого объекта известны метки является ли данный объект аномалией. Задача выдачи меток для новых данных, , формально является задачей бинарной классификации, и, значит, может решаться при помощи любых алгоритмов машинного обучения с учителем. Практически все алгоритмы детектирования аномалий сводятся к построению некоторой функции anomaly_score(x), которая по данному объекту выдаёт некоторый «рейтинг» аномальности. После этого разделение на класс аномалий и класс нормальных данных производится бинаризацией по некоторому порогу, выбор которого является особым этапом решения задачи.

1.5 Вероятностный подход

В генеративном подходе предлагается подобрать вероятностную модель распределения, из которого были сэмплированы нормальные данные, то есть найти плотность распределения p(x). Аномалиями при этом объявляются объекты, имеющие низкое правдоподобие, то есть в качестве anomaly_score выступает сама функция p. Однако, такой подход сталкивается с принципиальными трудностями. Для построения p(x) требуется решить задачу вида:

,

Где - нормальные данные предоставленной выборки, - семейство плотностей распределений, параметризованные . Если метки отсутствуют, эта задача вынужденно заменяется на другую:

,

Где - все имеющиеся данные, включая аномалии. Эти две задачи неэквивалентны, и имеют существенно различное решение, особенно при высокой доли аномалий в данных. Для конкретных семейств распределений существуют методы повышения робастности, теоретически позволяющие преодолеть эту проблему (например, вместо оценки мат. ожидания средним оценивать его медианой, устойчивой к выбросам).

1.6 Линейные методы

Базовая идея линейных методов заключаются в построении такой линейной модели, значительные отклонения от которой будет характеризовать аномалии. Нелинейная природа данных на практике приводит к тому, что требуется либо строить ряд таких моделей и некоторым образом усреднять отклонения, либо применять ядровой переход.

Одним из возможных алгоритмов является следующий: объявить i-ый признак выборки целевой переменной и решать задачу линейной регрессией на основе оставшихся признаков. Отклонение прогноза от истины полагается значением . Итоговым ответом объявляется усреднение этого результата по всем признакам. Такой алгоритм предполагает найти некоторую линейную зависимость между признаками, которая будет нарушаться для аномалий.

Рисунок 7. Расстояние до одномерного аппроксимирующего подпространства

1.7 Метрические методы

Выбор метода для детектирования аномалий зависит в первую очередь от поставленной задачи, данных и имеющейся априорной информации. Рассмотренные подходы являются лишь математическими моделями понятия аномальности и отталкиваются от интерпретации задачи.

Наиболее интерпретируемыми алгоритмами являются метрические, для которых необходим правильный подбор метрики и нормировка признаков. Если последняя процедура потенциально может привести к потере информации, может оказаться полезным случайное масштабирование.

Самым стабильным и общим алгоритмом остаётся IsolationForest, который не требует никакой априорной информации. При этом, какие-либо модификации, «метрически исправляющие» пространство признаков, для него не нужны и чаще приводят к потере качества.

Список использованной литературы

Размещено на Allbest.ru