Моделирование оценки финансовых транзакций на предмет мошенничества

Размещено на http://www.allbest.ru//

Целью данной выпускной квалификационной работы является построение наилучшей предсказательной модели для определения мошеннической транзакции.

Объектом исследования в работе являются финансовые транзакции. Предметом исследования являются методы построения моделей для оценки финансовых транзакций на предмет мошенничества.

Первая глава посвящена исследованию степени изученности вопроса анализа данных о финансовых транзакциях на основании научных источников, результатом является перечень методов моделирования. Во второй главе представлен анализ методов построения моделей для оценки финансовых транзакций на предмет мошенничества. В третей главе приведена информация по первичному анализу данных и обзору программных продуктов для его выполнения. В четвертой главе приведены результаты построения моделей и отражен процесс их сравнения.

Выпускная квалификационная работа включает 4 главы.

3

Введение

финансовый транзакция эконометрический мошеннический

Увеличение объемов информационных потоков неизбежно приводит к необходимости тратить больше ресурсов на их обработку и анализ. Интеллектуальный анализ данных в данном случае может использоваться как для поиска способов оптимизации обработки, так и для нахождения наилучшего пути для получения бизнес-знаний из скоплений информации почти в любой сфере, например, в финансовой.

Моделирование оценки финансовых транзакций на данный момент является актуальной темой, так как для всех участников транзакций важно минимизировать финансовые риски, которые могут возникать из-за использования уязвимостей.

Цель данной работы: построение наилучшей предсказательной модели для определения мошеннической транзакции.

Для достижения поставленной цели необходимо выполнить следующие задачи:

Проанализировать и систематизировать существующие методы построения моделей для оценки финансовых транзакций.

Проанализировать и выделить ключевые факторы, с помощью которых можно оценить финансовые транзакции на предмет мошенничества.

Построить эконометрические модели для оценки финансовых транзакций на предмет мошенничества, осуществить статистический анализ построенных моделей, провести их верификацию и сравнение для определения наилучшей.

Построить нейронную сеть и модель, основанную на применении ансамбля решающих деревьев, для выявления несанкционированных транзакций.

Провести сравнение полученных моделей, выбрать наилучшую и сделать выводы.

Объектом исследования в работе являются финансовые транзакции. Предметом исследования являются методы построения моделей для оценки финансовых транзакций на предмет мошенничества.

Предметная область анализа финансовых транзакций на наличие неправомерных операций на текущий момент имеет довольно высокий уровень освещенности, так как тема является актуальной, коммерческие банки и платежные системы в той или иной мере вынуждены использовать различные интеллектуальные системы, чтобы минимизировать свои риски при поддержке инфраструктуры электронного обмена денежными средствами. Однако основной сложностью для исследователя является получение набора данных для анализа: с одной стороны, используемые объясняющие переменные для модели являются коммерческой тайной, а с другой стороны - информация о транзакциях содержит персональные данные.

При работе над построением моделей и поиском информации были использованы следующие методы исследования: анализ научной литературы, синтез моделей, основанных на эконометрических и нейросетевых методах.

Практическая значимость заключается в том, что построенные модели и методы можно применять для снижения издержек, которые влекут за собой финансовые транзакции. Теоретическая значимость заключается в возможности применения рассмотренных моделей и методов в других предметных областях.



Анализ подходов к моделированию оценки финансовых транзакций на предмет мошенничества

На текущий момент множество компаний в коммерческом секторе сталкиваются с мошенничеством, в той или иной степени. По проведенному в 2018 году исследованию международной корпорации «PricewaterhouseCoopers» [8] было выявлено, что 49% компаний из опрошенных 7200 сталкивались с подобной ситуацией. Возможности мошенничества развиваются совместно с совершенствованием технологий по борьбе с ними, и область анализа данных на текущий момент является одним из наиболее эффективных средств предотвращения угроз.

Традиционные методы анализа данных уже давно используются для выявления мошенничества. Обычно они подразумевают серию сложных и длительных расследований, которые касаются различных областей знаний, таких как финансы, экономика, деловая практика и право. Мошенничество часто состоит из множества случаев или инцидентов, связанных с повторными нарушениями, с использованием одного и того же метода. Случаи мошенничества могут быть схожими по содержанию и внешнему виду, но обычно не идентичны.

Первыми отраслями, использовавшими методы анализа данных для предотвращения мошенничества, были телефонные компании, страховые компании и банки. Одним из первых примеров успешного внедрения методов анализа данных в банковской сфере является система оценки мошенничества FICO Falcon, основанная на оболочке нейронной сети [1].

Интернет-транзакции вызывают большие опасения, поскольку некоторые исследования показывают, что мошенничество с интернет-транзакциями в 10 раз превышает мошенничество в магазине. Согласно обзору FinCert [9] в 2017 г. примерно 75% денег с банковских карт было украдено посредством интернет-операций, и на текущий момент существует тенденция к сокращению размеров денежных потерь из-за неправомерной деятельности, во многом благодаря созданию банками и совершенствовании систем фрод-мониторинга.

Обзор принципов антифрод систем

Фрод - акт обмана с целью нелегально получить деньги или товары [10]. Антифрод системы были созданы для того, чтобы предотвратить нелегальные действия при совершении онлайн-платежей по банковским картам или через вспомогательные каналы передачи информации.

В процессе фрод мониторинга могут быть задействованы четыре стороны: банки, торгово-сервисные предприятия, обычные пользователи, мошенники. Задачей последней категории лиц является украсть или использовать средства обычных пользователей. Однако при совершении неправомерной операции пользователь может оспорить совершенную транзакцию. Заявку начнёт обрабатывать банк и на данном этапе появляются дополнительные издержки связанные с решением проблемы, кроме того, при росте количества мошеннических операций более чем на 1% платёжные системы имеют право выдать банку-эквайеру штрафные санкции, которые в дальнейшем отразятся и на торгово-сервисном предприятии [14,16]. Именно поэтому в наличии качественной антифрод системы заинтересованы все добросовестные участники процесса.

Основное правило, по которому действуют антифрод системы - это поиск аномалий в часто повторяющихся операциях с большим массивом данных. На текущий момент каждый банк устанавливает определенные базовые правила проведения транзакций:

ограничение числа транзакций за определенный период времени;

ограничение на максимальную сумму покупки;

ограничение на количество банковских карт, используемых одним пользователем в определенный период времени;

ограничение на количество пользователей, которые одновременно используют одну карту;

сохранение информации о покупках по банковским картам для формирования «черных» и «белых списков».

Помимо указанных ограничений также срабатывают настройки защиты: защита от подбора информации о карте, первичный анализ параметров карты по банку, владельцу, типу продукта, стране выпуска и географии пользователя, идентификация покупателя, ретроспективный анализ покупок, проверка домена и IP адреса [3,6,7].

В зависимости от совокупности факторов антифрод система устанавливает транзакции определенный уровень риска. Если риск имеется, то операция будет отклонена в том случае, если, например владелец карты не пройдет определённые условия дополнительной аутентификации.

На текущий момент способы борьбы с несанкционированными транзакциями постоянно улучшаются. В России также проводится ежегодный международный форум “Борьба с мошенничеством в сфере высоких технологий Antifraud Russia”, в рамках которого происходит обсуждение новейших тенденций развития антифрод сервисов, которых на текущий момент создано в достаточном количестве. Среди наиболее популярных игроков на рынке систем для фрод-мониторинга можно выделить ряд крупных международных компаний, поставляющих решения в области выявления мошеннических транзакций:

Kount (https://www.kount.com) - компания, предоставляющая линейку продуктов для определения мошеннических платежных операций в реальном времени, предназначена для провайдеров онлайн-платежей и банков-эквайеров (кредитные организации, которые проводят расчеты с торговыми предприятиями) [12].

Eye4Fraud (http://www.eye4fraud.com) - предприятие, поставляющее интеграционный программный продукт для выявления мошеннических онлайн заказов, предназначена для торговых организаций. Позволяет извлекать необходимую информацию о транзакции и формировать интерактивную аналитику по операциям. Приложение поставляется в нескольких форматах: полностью автоматизированная обработка мошеннических операций и полу-автоматизированная обработки для ручной проверки подозрительных операций.

Riskfield (https://www.riskified.com) - компания, работающая в сфере электронной коммерции и предоставляющая инструменты для повышения конверсии онлайн продаж и обеспечение их безопасности. Преимущества решений данной фирмы в том, что предлагается не только независимая система безопасности проведения платежей, а комплекс продуктов для обеспечения деятельности по онлайн торговле.

Xsolla (https://xsolla.com) - фирма, которая занимается разработкой и распространением решений для монетизации и упрощения приёма платежей. В компании также разработана узко специализированная анти-фрод система, предназначенная для предотвращения мошеннических операций непосредственно в видеоиграх.

Подходы к анализу данных в финансовой сфере

С развитием современных инструментов сбора и анализа информации данные становятся основой для принятия решений в бизнес среде. В целом анализ данных может быть охарактеризован как глубокое изучение смысла и особенностей полученной информации с целью выявления ключевых характеристик через использования специальных методов и техник. Непосредственно в анализе данных с целью определения и предотвращения мошенничества с финансовыми транзакциями выделяют множества различных техник, которые на верхнем уровне можно объединить в две группы: стратегический анализ и операционный анализ (табл. 1.1).



Таблица 1.1. Виды анализа данных

Виды анализа	Описание техник
Стратегический анализ	Анализ рисков, статистический анализ, анализ с использованием искусственного интеллекта, SWOT анализ, PESTEL анализ, анализ полученных результатов, анализ феноменов, анализ сценариев
Операционный анализ	Анализ кейсов, сравнительный анализ кейсов, анализ потоков, анализ событий, финансовый анализ, статистический анализ, анализ с использованием искусственного интеллекта, анализ рисков, анализ технических сценариев

Многие из указанных видов анализа на текущий момент могут проводиться только человеком, что может привести к снижению скорости принятия решений и сильной зависимости результата от конкретных людей, в то время как объемы получаемой информации будут постоянно увеличиваться. Именно создание специализированных систем интеллектуального анализа является ответом на постоянно растущие объемы данных, на основании которых необходимо принимать решения.

Интеллектуальный анализ данных или дата майнинг - это в первую очередь аналитический процесс, предназначенный для извлечения информации из наборов данных для того, чтобы обнаружить закономерности и взаимосвязи [10].

Процесс анализа данных в общих чертах выполняется по следующему алгоритму:

Формирование требований и сбор данных.

На данном этапе формируется цель, для которой необходимо проанализировать имеющуюся информацию. На этом этапе нужно сформировать требования к данным, которые будут включены в конечную выборку. Также производится анализ источников и непосредственный сбор информации.

Обработка данных.

Информация может быть получена в различном виде, необходимо её представить в унифицированном виде. Важно разработать метамодель и трансформировать данные в её рамках.

Очистка данных.

После обработки и систематизации данные могут содержать дубликаты, ошибки или быть неполными. Важно также обнаружить выбросы и пропуски в наборе данных, чтобы повысить качество модели.

Первичное исследование закономерностей.

На данном этапе применяется первичный или предварительный анализ данных для того, чтобы получить общее представление о закономерностях и окончательно сформулировать гипотезы. Процесс исследования может привести к необходимости дополнительной очистки или обработке данных. Также можно выполнить построение описательных статистик, таких как среднее значение, медиана, дисперсия и др.

Моделирование и верификация модели.

Этап включает построение моделей для выявления точной взаимосвязи между объясняющими переменными. На данном этапе к имеющимся данным применяются существующие модели и в дальнейшем производится оценка полученных результатов с помощью статистических метрик.

Визуализация данных.

В завершении анализа данных применяются различные методы визуализации, чтобы наиболее эффективно представить полученные результаты спроектированных моделей.

Методы анализа данных для определения мошенничества можно разделить на два общих класса: статистические методы и методы искусственного интеллекта [10].

Среди статистических методов можно выделить следующие:

вычисление статистических параметров, таких как среднее значение, дисперсия, квантиль, распределение вероятностей, метрики производительности;

анализ временных рядов;

кластеризация и классификация данных;

использование сопоставляющих алгоритмов для обнаружения аномалий в проведении транзакций или поведении пользователей по сравнению с ранее известными ситуациями.

Среди методов искусственного интеллекта можно выделить следующие:

data mining (интеллектуальный анализ данных) для классификации, кластеризации, сегментации данных и затем автоматического поиска отношений и правил, которые могут наиболее сильно влиять на ключевой показатель;

построение экспертных систем, в которые первоначально закладываются знания для определения мошеннических транзакций;

распознавание образов для автоматического определения приблизительных классов, кластеров или образцов подозрительного поведения;

машинное обучение для автоматического определение характеристик мошеннических транзакций.

Задача поиска несанкционированных финансовых транзакций при наличии массива данных сводится к бинарной классификации.

Методы оценки финансовых транзакций

На текущий момент существует множество исследований в области моделирования финансовых транзакций. Наиболее часто используемым является метод логистической регрессии [27,28,29]. Однако данный метод не всегда является подходящим для исследования данных, так как для его использования необходимо учитывать определенные допущения (например, наличие линейной зависимости между объясняющими и зависимыми факторами в модели) [30].

Среди эконометрических подходов к моделированию финансовых транзакций в зависимости от типа данных можно использовать ряд методов. Если данные имеют панельный вид, то для их описания могут подойти модели объединенной регрессии и модели с фиксированным или случайным эффектом. По данным моделям можно построить модель линейной зависимости между объясняющими и зависимыми переменными. Также характер эффекта модели можно учитывать при построении моделей бинарного выбора (логит-регрессии или пробит-регрессии), что позволит получить более эффективный результат.

Если данные имеют вид временного ряда, то могут быть использованы следующие виды моделей: модель авторегрессионного скользящего среднего, авторегрессионного интегрированного скользящего среднего и авторегрессионная модель условной гетероскедастичности.

Основными проблемами при построении моделей по финансовым транзакциям являются их структура и большие объем информации, который нужно обработать [35]. Исследование данных о финансовых транзакциях также осложняется тем, что выборка может являться несбалансированной, так как в среднем мошенническими являются 1-2% всех операций [9].

Существует несколько подходов к «борьбе» с несбалансированностью в данных. В первую очередь, следует отметить сэмплирование. Баланс классов достигается через создание дубликатов объектов миноритарного класса или удаления объектов мажоритарного класса. Также при использовании машинного обучения алгоритмы можно адаптировать к несбалансированной выборке путем выбора весов и наибольший вес присваивать объектам миноритарного класса. К тому же можно использовать комбинацию обоих указанных методов, чтобы достичь наилучшего результата.

Как показывают исследования, на существующих статистических моделях чаще не удается получить необходимого уровня точности при предсказании. В последние время некоторые ученые начали использовать методы интеллектуального анализа данных, чтобы обнаружить мошенничество среди финансовых транзакций, оказалось, что такие методы позволяют получить довольно высокий уровень точности классификации [31]. Ученые выяснили, что алгоритмы машинного обучения позволяют избежать во многом тех проблем, с которыми приходилось сталкиваться при построении эконометрических моделей.

Множество исследований направлено на применение и сравнение различных моделей для выявления той, с помощью которой будет можно предсказать неправомерные финансовые транзакции с наибольшей вероятностью.

Среди подходов к построению моделей машинного обучения на основании данных о финансовых транзакциях ученые используют следующие методы [34,35]:

метод опорных векторов (SVM);

наивный байесовский классификатор;

решающие деревья;

ансамбли решающих деревьев;

нейронные сети.

Основная идея метода опорных векторов заключается в переводе исходных векторов в пространство более высокой размерности и поиске разделяющей гиперплоскости с максимальным зазором в этом пространстве (максимизируем расстояние до двух параллельных гиперплоскостей) [36].

(1.1)

где P(A) - априорная вероятность гипотезы А, P(A|B) - апостериорная вероятность гипотезы А при наступлении события B, P(B|A) - апостериорная вероятность наступления события B при истинности гипотезы А, P(B) - вероятность наступления события B.

Наивный байесовский классификатор является вероятностным классификатором, основанным на теореме Байеса (1.1) со строгим предположением о независимости факторов в модели. Данный метод максимизирует вероятность истинности определенного параметра модели [37].

Принцип построения решающих деревьев основывается на выведении определенных условий для получения результата на основании исходных данных. В общем случае решающее дерево разбивает пространство на n частей, объявляет попадание в эти области признаками и строит линейную модель для каждого признака [25]. Решающие деревья являются очень понятным и легко интерпретируемым методов построения прогноза, однако у них есть высокий шанс переобучения - ситуации, когда модель будет хорошо предсказывать результаты на обучающей выборке, но выдавать низкие значения точности при использовании на новых данных. Данная модель не является достаточно устойчивой и сильно зависит от подбора корневого условия. Усовершенствование данной модели было введено Л. Бриманом и заключалось в применении ансамбля решающих деревьев, обученного через алгоритм «случайный лес» [39]. В рамках данного подхода на одной выборке выполняется построение нескольких решающих деревьев и результаты усредняются.

Искусственная нейронная сеть является первой попыткой смоделировать протекающие в мозге процессы [18]. Данный метод моделирования предназначен в основном для решения многопараметрических задач нелинейной оптимизации, для распознавания образов, дискриминантного анализа, классификации, кластеризации и других прикладных задач.

Принцип оценки качества построенных моделей на основании методов машинного обучения заключается в следующем: выборка разделяется на несколько частей: тестовое подмножество и валидирующее подмножество. Данная операция позволяет оценить качество построенной модели на данных, которые не участвовали в обучении. Таким образом можно выдвигать предположения о том, каким образом модель будет вести себя в условиях реальных данных.

Перечисленные выше методы моделирования финансовых транзакций на текущий момент активно используются для анализа и выбора подходящих моделей. В различных ситуациях наборы данных могут быть представлены в различном виде (различные факторы, разный размер выборки), поэтому существует определенное пространство для исследования.

Например, в работе А. Кумара и Г. Гупта [34] была использована модель логистической регрессии, метод опорных векторов, модель решающего дерева, алгоритм случайного леса и наивный байесовский классификатор. По итогам исследования было выявлено, что оценка факторов с помощью логистической регрессии оказалось наиболее точной. Данное исследование подтверждает факт того, что не стоит пренебрегать базовыми моделями.

В работе Д. Гомеза, Д. Аревало [32] использовали искусственные нейронные сети для обнаружения мошеннических финансовых транзакций и минимизации проблем связанных с несбалансированной выборкой, также в их работе была проведена состоятельная оценка метрик полученных результатов. Результаты данной работы показывают, что при использовании нейронных сетей можно достичь приемлемого результата классификации.

В работе С. Бхаттачарья [33] также проводилось исследование методов обнаружения мошеннических операций с кредитными картами и снижение несбалансированности данных. В рамках их исследования моделирование осуществлялось через линейную регрессию, метод опорных векторов (SVM), и алгоритм случайного леса. В итоге было обнаружено, что модель, построенная с помощью случайного леса, дает лучшую общую точность по сравнению с двумя другими методами.

Также в работе других исследователей [30] производится применение алгоритма случайного леса, деревьев решений и нейронных сетей для обнаружения финансовых мошенничеств. По итогам исследования следует, что с помощью алгоритма случайного леса удалось наилучшим образом предсказать результат на валидирующем множестве.

Выводы по первой главе

По итогам анализа подходов к моделированию оценки финансовых транзакций были сделаны выводы о том, что для анализа следует применить эконометрические модели и модели машинного обучения. Исследование научных источников показало, что в первую очередь для анализа лучше применять наиболее простые модели, чтобы взять их за основу для дальнейшего сравнения с результатами более комплексных подходов к моделированию.

По причине того, что финансовые данные имеют панельную структуру сделаны выводы о том, что в первую очередь необходимо построить эконометрические модели на панельных данных.

Несмотря на то, что большинство исследователей использует только модель логистической регрессии в своем анализе, в данной работе было принято решение использовать и другие эконометрические модели.

Использование алгоритмов машинного обучения, наоборот, очень популярно среди различных исследователей для моделирования оценки финансовых транзакций. Анализ показал, что наиболее популярными методами машинного обучения, которые показывают наилучший результат на данных подобного типа, являются: искусственные нейронные сети и ансамбли решающих деревьев.



Методы моделирования оценки финансовых транзакций

Анализ эконометрических методов моделирования оценки финансовых транзакций

Набор данных с финансовыми транзакциями является перечнем денежных операций, совершенных людьми в различное время. Подобную структуру данных можно охарактеризовать как панельная. Панельные данные - это многомерные данные, включающие измерения, которые распределены во времени [23].

Характерной особенностью панельных данных является то, что в них есть два выделенных параметра: пространственная метка и временная метка. Панельные данные также можно разделить на пространственную структуру или временные ряды, однако целостное исследование будет менее качественным, так как в таком случае не будет учитываться индивидуальное влияние особенностей исследуемых объектов. Именно поэтому в дальнейшем будут рассмотрены модели, предназначенные именно для анализа панельных данных.

В данной главе рассмотрены подходы к математическому описанию панельных данных. По причине того, что финансовые данные имеют панельную структуру сделаны выводы о том, что в первую очередь необходимо построить эконометрические модели на панельных данных.

объединенная модель регрессии/ метод наименьших квадратов (МНК);

модель с фиксированными/случайными эффектами;

модель сквозной регрессии;

логит/пробит регрессии с фиксированными/случайными эффектами.

Объединенная модель регрессии

Объединенная модель регрессии предполагает использование линейной модели на панельных данных. Данная модель подходит для проверки гипотезы о том, присутствуют ли линейные взаимосвязи между зависимой переменной и регрессорами:

(2.1)

где - зависимая переменная, - вектор детерминированных регрессоров, - коэффициент регрессии, - ошибка модели.

Данные для объединённой модели (2.1) собраны в разрезе времени (t) и в разрезе экземпляров (i). При использовании данной модели следует учитывать, что её применяют при следующем допущении: зависимая переменная находится в линейной зависимости от всех объясняющих факторов в один момент времени, и в случае неоднородности в данных качество модели будет низкое.

Настройка параметров модели может производиться при помощи метода наименьших квадратов (далее МНК). МНК - это базовый математический метод, который основан на принципе минимизации квадратов отклонений функций от исходных параметров. Метод используют для выполнения оценки неизвестных параметров регрессионной модели с панельными данными по имеющимся выборочным данным.

(2.2)

(2.3)

При работе с данными, которые имеют двойные индексы (пространственный и временной) удобно использовать операторы “between” (2.2) и “within” (2.3). При помощи данных операторов можно также вычислить оценки коэффициентов при анализе панельных данных. Для этого нужно применить метод наименьших квадратов к преобразованию под воздействием соответствующего оператора уравнению регрессии.

Модель с фиксированными или случайными эффектами

В модели панельных данных с фиксированными эффектами существует возможность учета индивидуальных различий пространственных элементов, распределенных во времени, такие различия обозначаются эффектами:

(2.4)

где - зависимая переменная, - вектор детерминированных регрессоров, - коэффициент регрессии,- коэффициент регрессии (индивидуальный эффект),- ошибка модели.

В качестве основания взято предположение о том, что каждый элемент выборки уникален и его нельзя рассматривать, как набор из случайных измерений из генеральной совокупности. Использование данного подхода выполняется с учётом следующих условий или предположений [15]:

ошибки не коррелируют между собой по распределенным во времени (i) пространственным объектам (t), ;

ошибки не коррелируют с регрессорами при всех возможных i, j, t, s.

Указанные условия обеспечивают несмещенность и состоятельность оценок для модели с фиксированными эффектами. Для оценивания параметров подобных моделей используются внутригрупповые оценки:

(2.5)

В модели панельных данных со случайными эффектами за основу взят аналогичный принцип, как и в модели с фиксированными эффектами, но предполагается, что индивидуальные отличия распределены случайно, это соответственно отражено в уравнении [17]:

(2.6)

где - зависимая переменная, - константа, - вектор детерминированных регрессоров, - коэффициент регрессии, - случайная ошибка, - фиксированная ошибка.

Для использования данной модели условия дополнены следующим образом:

ошибки не коррелируют между собой по распределенным во времени (i) пространственным объектам (t), ;

ошибки не коррелируют с регрессорами при всех возможных i, j, t, s.

ошибки некоррелированы, ;

ошибки некоррелированы с регрессорами при всех возможных i, j, t.

ошибки и некоррелированы при всех i,j,t.

Модель со случайным эффектом можно упростить до линейной модели с ошибкой:

(2.7)



где - зависимая переменная, - константа, - вектор детерминированных регрессоров, - коэффициент регрессии, - случайная и фиксированная ошибка.

Для того чтобы получить оценки параметра достаточно применить метод наименьших квадратов. Сформированные условия будут гарантировать несмещенность и состоятельность оценок [15]. Однако ошибки не будут гомоскедастичными, поэтому можно будет воспользоваться обобщенным методом наименьших квадратов [20].

Модели бинарной классификации

Применение модели бинарного выбора обуславливается типом зависимой переменной, в данном случае подразумевается, что она может принимать только два значения: правда или ложь. Математическая постановка для модели аналогична той, что используется для пространственных данных [2]:

(2.8)

где - зависимая переменная, - вектор детерминированных регрессоров, - коэффициент регрессии, - коэффициент индивидуальных различий, - фиксированная ошибка (при необходимости можно также добавить параметр со случайной ошибкой).

Подразумевается, что существует скрытая переменная , по которой в дальнейшем можно будет классифицировать результат:

(2.9)

Для классифицирования результата по данной скрытой переменной существует три вида моделей: Logit-модель, Probit-модель и Gompit-модель, различие данных моделей заключается в способе распределения ошибки.

(2.10)

(2.11)

(2.12)

В logit-модели ошибки имеют логистическое распределение (2.10), в

probit-модели - нормальное распределение (2.11) и в Gompit-модели - экспоненциальное распределение (2.12).

(2.13)

(2.14)

(2.15)

Для выполнения оценки модели бинарного выбора существует несколько основных метрик качества модели:

доля верных ответов (accuracy) (2.13);

точность модели (precision) (2.14);

полнота (recall) (2.15).

Указанные метрики опираются на использование матрицы ошибок (табл. 2.1).



Таблица 2.1. Матрица ошибок

Предсказание\Факт	y=1	y=0
a(x)=1	True positive (TP)	False positive (FP)
a(x)=0	False negative (FN)	True negative (TN)

Если положиться на данные метрики, то может возникнуть противоречие, при котором высокая точность модели может быть достигнута при снижении её полноты и наоборот. Для того чтобы не применять различные эвристические методы подбора идеальных значений была предложена усредненная метрика или F-мера:

(2.16)

(2.17)

Для графического отображения качества модели по матрице ошибок можно использовать ROC-кривую [13]:

(2.18)

(2.19)

Данная кривая расположена в координатах True Positive Rate (TRP) (2.18) и False Positive Rate (FRP) (2.19), где TRP - это полнота, а FRP - это доля из объектов отрицательного класса, которые модель определила неверно. Каждая точка на графе должна соответствовать значениям при выборе определенного порога на данных.

Анализ способов машинного обучения для моделирования оценки финансовых транзакций на предмет мошенничества

В рамках проведенного анализа статей было выявлено, что использование нейронных сетей и ансамбля решающих деревьев является наиболее эффективным в условиях анализа данных о финансовых транзакциях. Основная идея заключается в том, чтобы построить эффективный классификатор, с помощью которого можно будет предсказывать в дальнейшем значения по определенным параметрам.

Нейронные сети

Искусственная нейронная сеть - это перечень нейронов и связей между ними. Нейрон - это функция с неопределенным количеством входов и 1 выходом. Связи - это пути, по которым нейроны передают информацию. Также связи могут иметь атрибут - вес, с помощью которого можно контролировать реакцию нейронов на входные значения. Нейроны организованы в слои таким образом, что в рамках одного слоя между ними не проводится связей. Такие сети имеют обозначение - многослойный перцептрон.

Построение многослойного персептрона начинается c подбора количества скрытых слоев и нейронов на них. Подбор можно осуществить, сравнивая качества полученных моделей вручную или используя следствие теоремы Арнольда - Колмагорова - Хехт-Нильсена [26]:

(2.20)

где Nx - число нейронов входного слоя, Ny - число нейронов выходного слоя, Q - величина выборки, Nw - число синоптических связей, N - количество нейронов для слоя.

Далее в нейронной сети необходимо настроить веса, добавить коэффициенты смещения и настроить иные параметры для того, чтобы наилучшим образом предсказать результат по определенным входным значениям. Данный процесс называется обучением. Далее будут рассмотрены аргументы, которые можно задавать для обучения нейронной сети:

входные данные (признаки);

выходные данные (зависимые переменные);

итерация - количество раз, которое нейросети будет обучаться на выборке или подвыборках (батчах);

размер батча - размер подвыборок, на которых будет производиться обучение нейросети;

эпоха - количество полных проходов набора данных в рамках обучения;

размер валидирующей выборки - объем данных, которые не будут использоваться в процессе обучения, на них можно будет проверить полученную нейросеть;

показатель необходимости в перемешивании выборки;

веса - показатели, позволяющие отмечать степень важности признаков;

количество нейронов;

количество слоев нейронов.

В рамках каждого нейрона реализуется функция активации, которая зависит от установленного веса и функции активации, которая преобразует входные данные. Существует несколько основных видов функций активации [11]:

гиперболический тангенс;

softmax;

полулинейная с насыщением;

линейная с насыщением;

softplus;

softsign;

relu;

сигмоидная;

экспоненциальная;

линейная.

С математической точки зрения обучение нейросети - это задача оптимизации. Необходимо определиться с видом функции потерь и найти для неё абсолютный минимум при заданных входных параметрах. Для решения данной задачи модель может обновляться, также в рамках данной задачи должен быть выбран оптимизатор. Функция потерь также может принимать различный вид: средняя квадратичная ошибка, средняя абсолютная ошибка (в значениях или процентах), средняя квадратичная логарифмическая ошибка, логарифм гиперболического косинуса ошибки, категориальная кросс-энтропия, бинарная кросс-энтропия, косинусная близость, расстояние Кульбака-Лейблера. Оптимизация моделей производится посредством существующих алгоритмов [5]: стохастический градиентный спуск, среднеквадратичное распространение или RMSProp, Adagrad, Adadelta, Adam и другие.

Для оценки качества обученной нейронной сети можно использовать метрики на валидирующем множестве, показателем качества будет количество корректно предсказанных экземпляров. В случае с бинарной выборкой также можно построить матрицу ошибок (см. табл. 2.1) и использовать ROC-анализ на основании полученной информации.

Случайный лес

В первую очередь необходимо ввести понятие решающего дерева, которое является средством помощи для принятия решений. В общем смысле дерево принятия решений позволяет решать задачи обучения с учителем (ситуации, при которых есть заранее размеченный ответами набор данных) через k-ичное дерево (где k>0) c определенными решающими правилами в вершинах (узлах) и некотором прогнозе целевой функции в вершине.

Существует несколько алгоритмов для построения деревьев решений:

ID3;

C4.5;

CART.

В первую очередь следует отметить разработанный Д. Р. Квинланом [25] алгоритм ID3. Его идея заключается в том, что для каждого признака в выборке рассчитывается энтропия и на каждом шаге создания узла дерева выбирается элемент с её наименьшим значением. Далее производится классификация в рамках выбранного фактора. Алгоритм C4.5 предложен тем же автором и является усовершенствованием алгоритма ID3. В нем дополнительно используется отсечение ветвей для улучшения модели, также в рамках данного алгоритма также предусмотрена обработка дискретных или непрерывных значений. В приведенных методах построения решающих деревьев узлы могут иметь 2 или более ветвей, в алгоритме CART же используется строгая бинарная классификация на каждом узле, вместо энтропии используется критерий Джини, также выполняется оценка ошибки классификации по каждой ветки и используется отсечения для тех, по которым погрешность превышает граничную.

В том случае, если использовать непосредственно дерево решений для построения предсказательной модели, можно столкнуться с тем, что полученная модель будет переобученной, так как при её построении происходит максимизация точности только в рамках одной выборки. Данную проблему можно решить через использование композиции решающих деревьев и построение усредненной модели на их основании, модель будет настолько лучше, насколько наименее скоррелированные деревья будут построены в рамках задачи по одному виду данных. Для использования данной методологии был предложен алгоритм случайного леса [19]

Случайный лес (Random forest) является алгоритмом, который основан на применении композиции (ансамбля) решающих деревьев и применении следующих идей:

построение деревьев большой глубины;

использование бэггинга;

предикат в вершине выбирается из случайного подмножества признаков.

Алгоритм бэггинга реализуется в несколько шагов, в первую очередь из выборки берется определенное число элементов с возвращением и таким образом формируется несколько подвыборок (бутстрэп-агрегирование). Далее для каждой подвыборки строится решающее дерево и в результате модель описывается через усреднение построенных деревьев принятия решений.

Для выполнения оценки качества построенных моделей следует применять следующие показатели:

среднее абсолютное отклонение;

корень среднеквадратичного отклонения;

коэффициент детерминации;

критерий Джини:

(2.21)

где pj - доля элементов, которые отмечены классом j в наборе, K - количество элементов в наборе.

Сравнительный анализ методов оценки финансовых транзакций на предмет мошенничества

Сравнение эконометрических моделей производится с помощью применения статистических тестов. Все указанные эконометрические модели для анализа панельных данных обладают своими преимуществами и недостатками. В общих чертах различие в моделях заключается в зависимости от следующих параметров:

используемая математическая основа;

признаки, которые лежат в основе выбранной модели;

характер эффектов (случайные или фиксированные).

Сравнение наилучшей эконометрической модели и моделей, основанных на алгоритмах машинного обучения, производится через применение матрицы ошибок и метрик, собираемых с неё. Оценка должна производиться на основании выборки, на которой не была построена или обучена модель.

Выбор наилучшей модели должен осуществляться на основании собранных метрик, однако в рамках исследования также необходимо осуществлять анализ следующих факторов:

уровень доступности математических инструментов;

уровень качества и доступности первоначальных данных для анализа;

тип получаемого результата;

скорость получения результата.

Также каждая модель или метод обладает определенными уникальными свойствами, обобщенная информация по ним представлена в таблице 2.2.

Таблица 2.2. Сравнение методов эконометрического моделирования

Методы моделирования	Отличительные особенности
Объединенная модель регрессии	Модель с наибольшими ограничениями, предполагается, что в выборке все объекты во все моменты времени имеют одинаковое поведение. Только в том случае, если данное предположение верное, можно выполнить состоятельную оценку параметров модели при помощи метода наименьших квадратов (МНК)
Модель регрессии с фиксированными эффектами	В модели присутствует определенный уровень гибкости, она позволяет учитывать индивидуальную особенности (гетерогенность) объектов. Однако в подобной модели увеличиваются значения стандартных ошибок для оценок и, как следствие, происходит снижение их значимости
Модель регрессии со случайными эффектами	В модели присутствует определенный уровень гибкости, она позволяет учитывать индивидуальную особенности (гетерогенность) объектов. Также повышается уровень статистических ошибок по сравнению с моделью с фиксированными эффектами
Модели бинарной классификации для панельных данных	Данные модели наилучшим способом подходят для задач бинарного выбора. Для использования модели бинарного выбора на панельных данных необходимо также добавить в стандартную формулу фиксированный или случайный эффект, чтобы можно было учесть индивидуальную специфику данных
Нейронная сеть	Модель с гибкой организацией, предоставляющая широкие возможности для анализа информации. С помощью установления весов можно варьировать значимостью фактором или их значений
Случайный лес	Алгоритм позволяющий универсально воспроизводить модели на данных. Использование ансамбля решающих деревьев позволяет добиться высокой точности для построения предсказательных моделей по сравнению с использованием одного решающего дерева

Также существуют более математически строгие способы определения того, какая эконометрическая модель анализа панельных данных наилучшим способом описывает имеющуюся выборку. Для попарного сравнения эконометрических моделей существуют статистические тесты, с помощью них можно явно определить, какая модель будет наилучшей.

Тест Вальда - сравнение объединенной модели регрессии и регрессионной модели с фиксированными эффектами. Позволяет проверить гипотезу о равенстве нулю фиксированных индивидуальных эффектов в модели.

Тест Бройша-Пагана - сравнение объединенной модели регрессии и модели со случайными эффектами. Тестовая статистика позволяет выполнить проверку на наличие случайного индивидуального эффекта [24]. Тестирование может проводиться через метод множителей Лагранжа.

Тест Хаусмана - сравнение регрессионных моделей со случайным и фиксированным эффектом. Модель со случайным эффектом может быть выбрана только в том случае, когда присутствует некоррелированность данного эффекта с регрессорами [22].

Модели бинарной классификации по своей структуре обособлены от упомянутых выше моделей, так как в них предсказывается непрерывная величина, а не дискретная. В лучшем случае для моделей, в которых нужно предсказывать бинарное значение, лучше использовать модель бинарного выбора с фиксированными или случайными эффектами.

Сравнение моделей также можно выполнить по критериям Шварца (Байесовский информационный критерий) и Акаике. Данные критерии позволяют сделать выбор между различными спецификациями моделей через наложение штрафа на увеличение количества параметров. Необходимо минимизировать значение критериев, разница заключается в том, что байесовский информационный критерий штрафует сильнее за увеличение количества незначащих параметров.

Для выполнения сравнения эконометрических моделей с моделями, полученными на основании применения алгоритмов машинного обучения, не существует таких явных правил, которые можно применять при сравнении эконометрических моделей. Однако при предсказывании бинарного значения по полученным результатам после обучения нейронной сети или ансамбля деревьев решений можно провести ROC - анализ, на основании которого получить метрики доли правильных ответов, точности и полноты. К данным метрикам также можно применять усреднение, находить гармоническое среднее (F-мера) и применять метрику Lift (2.17).

Выводы по второй главе

По итогам анализа методов моделирования для оценки финансовых транзакций на предмет мошенничества была собрана базовая информация по выбранным эконометрическим моделям и методам машинного обучения. Были приведены и проанализированы методы оценки качества моделей и методов. В итоге был подготовлена теоретическая основа для проведения сравнительного анализа методов для выявления несанкционированных финансовых транзакций.

В дальнейшем для проведения моделирования будут использованы следующие модели: объединенная модель регрессии, модель с фиксированными эффектами, модель со случайными эффектами, модель бинарной регрессии (логистическая регрессия), нейронная сеть и алгоритм случайного леса на ансамбле решающих деревьев.

Далее в работе на этапе построения моделей будут использоваться методы, теоретическая основа для которых представлена в данной главе. Основной упор выполняется на сравнение подходов к моделированию, а именно использование стандартных эконометрических методов и машинного обучения для решения одной и той же задачи.



Анализ данных и обзор программных продуктов

Исходные данные

Источником данных для анализа были выбраны результаты работы симулятора PaySim [4], который использует агрегированную информацию обработанных финансовых транзакций для создания синтетического набора данных. Результат работы симулятора выражен в виде набора данных, в котором соблюдены закономерности финансовых транзакций и внедрены элементы мошенничества, чтобы впоследствии оценить эффективность методов их обнаружения. Первоначальные данные для симулятора были собраны на основе выборки реальных транзакций, извлеченных из финансовых отчетов за один месяц из сервиса мобильных денег африканской страны. Первоначальный синтетический набор данных уменьшен на 1/4 от исходного набора данных. Набор данных распространяется по открытой лицензии CC BY-SA 4.0, получить доступ можно по следующей ссылке: https://www.kaggle.com/ntnu-testimon/paysim1/downloads/paysim1.zip/2. В полученном файле присутствует 9 объясняющих переменных и 2 зависимые (табл. 3.1).

Зависимыми переменными являются идентификаторы мошеннической транзакции (isFraud) и идентификатор обозначения попытки нелегально провести более 200.000 одной транзакцией (isFlaggedFraud).

Набор данных имеет панельную структуру, об этом свидетельствует наличие в данных временного распределения (поле “step” с обозначением единицы времении) и пространственного распределения (поле “NameOrig” или поле “NameDest” с обозначениями отправителя и получателя транзакции, в зависимости от того, с какой стороны проводить изучение).

Организация панельных данных может быть выполнена несколькими способами. В первую очередь можно выделить объединенные временные ряды: данные представлены в виде последовательности из множества отдельных блоков по одному пространственному элементу в нескольких временных наблюдениях. Также существует иной подход к организации данных - объединенные перекрестные данные. В данном случае информация представлена в виде последовательности из множества блоков по одному объекту временного ряда для нескольких пространственных элементов. В том случае, когда данные перемешены, и нет возможности точно определить их организацию, лучше использовать индексные переменные для обозначения переменных, отвечающих за пространственные элементы и за временной ряд.

Таблица 3.1. Описание полей в наборе данных

Наименование поля	Тип данных	Описание
Объясняющие переменные
Step	Числовой	Обозначение единицы времени. В данном случае 1 шаг равен 1 часу времени.
Type	Строковый	Тип платёжной операции: CASH-IN - прием наличных, CASH-OUT - выдача наличных, DEBIT, PAYMENT - платёж и TRANSFER - перевод.
Amount	Числовой	Размер транзакции в денежном соотношении.
NameOrig	Строковый	Идентификатор человека, совершившего транзакцию.
OldBalanceOrig	Числовой	Баланс до совершения транзакции.
newbalanceOrig	Числовой	Баланс после совершения транзакции
nameDest	Строковый	Идентификатор человека, принявшего транзакция
oldbalanceDest	Числовой	Баланс до совершения транзакции.
newbalanceDest	Числовой	Баланс после совершения транзакции
Зависимые переменные
isFraud	Числовой	Идентификатор мошеннической транзакции (1) или корректной (0)
isFlaggedFraud	Числовой	Идентификатор обозначения попытки нелегально перевести более 200.000 одной транзакцией.

Перед началом моделирования необходимо провести первичный анализ данных. В первую очередь важно понять, как параметры взаимосвязаны, необходимо ли включать их в модель и можно ли преобразовать данные на основании контекста для построения наиболее эффективных моделей.

Первичный анализ закономерностей в наборе данных

При первичном анализе данных было выявлено, что параметры “isFraud” и “isFlaggedFraud” зависят друг от друга следующим образом: фактор “isFlaggedFraud” равен единице, если признак “isFraud” равен единице и значение Amount>200 000, поэтому можно строить модели с одним зависимым параметром - “isFraud”, и в дальнейшем вычислять значение параметра “isFlaggedFraud”.

Для выполнения оценки взаимосвязей между данными было выполнено построение корреляционной матрицы (см. рис. 3.1).

Рисунок 3.1. Корреляционная матрица

Корреляционная матрица показывает, что взаимосвязь между старым и новым балансом почти равна единице, это означает, что в данных присутствует мультиколлинеарность. С данной проблемой необходимо будет справляться через применение регуляризации или через преобразования.

На основании полученной информации было принято решение выполнить преобразование над данными и выделить две новые переменные, обозначающие ошибку в балансе отправителя и получателя: balanceOrigErr = newbalanceorig+amount-oldbalanceorg и balanceDestErr=oldbalancedest+amount-newbalancedest. Введенные факторы можно в дальнейшем использовать, чтобы оценить влияние смещений в балансе на идентификацию мошеннической транзакции.

Также необходимо получить описательные статистики для данных (табл. 3.2), в ней представлены информация по следующим параметрам:

среднее значение;

медианное значение;

минимальное значение (Min);

максимальное значение (Max);

Стандартное отклонение (S.D.);

смещение независимой переменной (V);

асимметрия;

эксцесс;

Таблица 3.2. Описательные статистики

Переменная	Среднее	Медиана	Min	Max	S.D.	V	Асимметрия	Эксцесс
type	2,682	3	1	5	1,485	0,554	0,333	-1,150
amount	158 670	76 343	0,1	10 000 000	264 940	1,670	6,374	96,805
nameOrig	524 120	524 090	1	1 048 300	302 620	0,577	0,001	-1,200
oldbalanceOrg	874 010	16 002	0	38 939 000	2 971 700	3,400	5,124	30,877
newbalanceOrig	893 800	893 800	0	38 946 000	3 008 200	3,366	5,06	30,139
nameDest	155 450	123 210	1	449 640	124 970	0,804	0,673	-0,699
oldbalanceDest	978 160	126 380	0	42 055 000	2 296 800	2,348	5,373	42,640
newbalanceDest	111 420	218 260	0	42 169 000	2 420 000	2,169	5,012	37,419
isFraud	0,001	0	0	1	0,033	30,285	30,252	913,19



Минимальные, максимальные, средние значения и медиана показывают границы распределения в выборке, по данной информации можно сделать выводы о том, какие суммы пользователей в среднем задействованы в транзакциях. Также значения минимума и максимума показывают, насколько велик разброс относительно средних значений. Можно сделать вывод о том, насколько велик риск при совершении финансовых операций, в частности, для каждого потенциального клиента.

...