Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

Государственное образовательное учреждение высшего профессионального образования «Московский государственный институт

электроники и математики»

(технический университет)

Кафедра "Вычислительная техника"

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА

к дипломному проекту

На тему «Обнаружение утечки информации в документах»

Студент Прыгунов Антон Андреевич

Руководитель дипломного проекта Шевченко Александр Сергеевич

Консультанты проекта:

Специальная часть _________________ А.С. Шевченко

Экологическая часть и БЖД _________________ А.Ф. Завальнюк

Заведующий кафедрой _________________ С.А. Митрофанов

Москва 2009 г.

Аннотация

Дипломный проект описывает процесс разработки программы обнаружения утечки конфиденциальной информации в документах.

В первой главе специальной части проекта рассмотрены уже существующие подходы по защите от утечки информации. А именно:

1. Существующие решения для защиты от утечки информации. Представлено краткое описание и схема продукта для каждой компании в области защиты информации, приведены их основные функциональные характеристики и отличительные особенности, которые либо объединяют рассматриваемое программное решение с разрабатываемым модулем, либо разобщают их;

2. Существующие алгоритмы сравнения текстовых файлов. На основе рассмотренных достоинств и недостатков сделан выбор алгоритма для разработки.

Поставлены цели, задачи и требования к выполнению дипломного проекта.

Во второй главе приведено обоснование выбора алгоритма и описание его разработки. В качестве методики верификации выбрано построение ROC-кривой.

В третьей главе разработана технология проведения эксперимента, по результатам которого с учетом некоторых критериев получена ROC-кривая. Создана архитектура экспериментальной системы обнаружения утечки информации и приведено ее описание. Разработаны рекомендации по использованию разработанного алгоритма и разработанного модуля.

Пояснительная записка состоит из двух частей и двух приложений. Специальная часть включает три главы, общий объем которых 71 лист. Экологическая часть и безопасность жизнедеятельности представлены на 12 листах. Графические материалы - на 8 листах. Текст программы - на 15 листах.

Содержание

• А. Специальная часть 6
• Введение 7
• Глава 1 Анализ подходов по защите от утечки информации 8
• 1 Аналитический обзор существующих решений для защиты от утечки информации 8
• 1.1 Clearswift 9
• 1.2 InfoWatch 11
• 1.3 IPLocks 13
• 1.4 ISS 15
• 1.5 Liquid Machines 16
• 1.6 PortAuthority 17
• 1.7 SurfControl 19
• 1.8 Инфосистемы Джет 20
• 1.9 Raytown Corporation LLC 22
• Заключение 25
• 2 Аналитический обзор существующих методов сравнения текстовых файлов 26
• 2.1 Различные понимания и определения плагиата 26
• 2.2 Специфика автоматического поиска плагиата 27
• 2.3 Общая схема поиска 28
• 2.4 Стандартный алгоритм 29
• 2.5 Алгоритм Кнута-Морриса-Пратта 30
• 2.6 Алгоритм Бойера-Мура 32
• 2.7 Нейросетевые методы обнаружения плагиата 36
• 2.8 Жадное строковое замощение 38
• 2.9 Метод идентификационных меток 40
• 2.10 Алгоритм Хескела 43
• Заключение 44
• 3 Постановка задачи 45
• Глава 2 Разработка алгоритма сравнения текстовых файлов 46
• 1 Выбор и обоснование алгоритма 46
• 2 Разработка алгоритма 47
• 2.1 Схема алгоритма 51
• 3 Выбор методики верификации 55
• 3.1 Построение ROC-кривой 57
• Глава 3 Экспериментальное обоснование результатов исследования 61
• 1 Архитектура экспериментальной системы обнаружения утечки информации 61
• 2 Технология проведения эксперимента 63
• 3 Результаты тестирования 65
• 4 Разработка рекомендаций по использованию разработанного алгоритма 73
• 4.1 Назначение и условия применения программы 73
• 4.2 Характеристика программы 74
• 4.3 Обращение к программе 74
• 4.4 Входные и выходные данные 75
• 4.5 Сообщения 75
• 5 Разработка рекомендаций по использованию разработанной системы 76
• B. Экологическая часть и БЖД 77
• Введение 78
• 1 Исследование опасных и вредных факторов при эксплуатации ЭВМ 79
• 2 Воздействие опасных и вредных факторов на организм пользователя ЭВМ 80
• 2.1 Поражение электрическим током 80
• 2.2 Ультрафиолетовое излучение 81
• 2.3 Статическое электричество 81
• 2.4 Излучение электромагнитных полей низких частот 82
• 2.5 Вывод 82
• 3 Способы защиты пользователей от опасных и вредных факторов 83
• 3.1 Защита от поражения электрическим током 83
• 3.2 Защита от ультрафиолетового излучения 86
• 3.3 Защита от статического электричества 86
• 3.4 Защита от излучения электромагнитных полей низких частот 87
• 3.5 Вывод 88
• Заключение 89
• Список использованных источников 90
• Приложение № 1. Графические материалы 92
• Приложение № 2. Текст программы 101

А. Специальная часть

Введение

Современный век обусловлен интенсивным развитием информационных технологий во всех сферах жизнедеятельности общества. Таким образом, интеллектуальная собственность, создаваемая человеком, становится всё более ценной и требующей защиты. В связи со значительным увеличением объёмов этого вида собственности появилась необходимость в мощных автоматических инструментах защиты: авторских прав, конфиденциальной информации, проверки авторства, нахождения плагиата и т.д.

Для эффективной работы предприятия необходимо построение полноценной системы информационной безопасности. Целью дипломного проекта является предотвращение несанкционированного распространения информации в текстовых файлах. Для достижения данной цели необходимо разработать подсистему обнаружения утечки информации, которая должна содержать фильтр идентификации текстовых областей в передаваемом потоке данных и обеспечивать обнаружение их сходства с конфиденциальными данными. Разрабатываемый модуль реализуется в виде библиотеки и является частью системы защиты утечки информации.

Глава 1 Анализ подходов по защите от утечки информации

1. Аналитический обзор существующих решений для защиты от утечки информации

Фокус в обеспечении ИТ-безопасности крупных компаний сегодня сместился с защиты от внешних угроз - вредоносных кодов, сетевых атак и фильтрации спама - к предотвращению атак, исходящих изнутри. Кражи конфиденциальных сведений, умышленные и случайные противоправные действия сотрудников, нецелевое использование сетевых ресурсов компании - все это приводит к прямым финансовым убыткам, ухудшению имиджа и потере доверия клиентов. Серьезность поставленных проблем подтверждается и последними исследованиями ведущих западных и российских организаций.

За последнее время во всём мире число внутренних и внешних атак примерно сравнялось. Хотя наибольший ущерб наносят DOS-атаки, значительная часть финансовых убытков пришлась именно на инциденты внутренней безопасности в области информационных технологий: кражу данных, внутренние злоупотребления сетевыми ресурсами, саботаж и т. д. Больше половины российских респондентов считают, что противоправные умышленные или случайные действия служащих представляют собой самую большую угрозу для российских организаций, а почти все респонденты указали на нарушение конфиденциальности информации как на самую опасную внутреннюю угрозу ИТ-безопасности [1].

Таким образом, компаниям необходимы механизмы, позволяющие избежать или по крайней мере минимизировать риски возникновения инцидентов внутренней ИТ-безопасности. К таким средствам могут относиться организационные меры (создание соответствующей нормативной базы и политики ИТ-безопасности, модификация трудовых договоров и т. д.), ограничения различного рода, тренинги и системы физической безопасности, однако самым эффективным решением считается внедрение средств на основе ИТ. Эти средства должны вести активный мониторинг всех путей утечки информации (электронная почта, Web-каналы, мобильные носители, печать на бумаге и т. д.), поддерживать расширенные возможности аудита (установить какой документ редактировался, кем, когда, какие именно изменения были внесены) и защищать сетевые ресурсы компании от нецелевого использования (предотвращение рассылки личной информации по электронной почте, посещения сайтов неделовой направленности и т. д.) [1].

На рынке представлено несколько решений защиты от утечки данных. Это продукты следующих компаний:

1.Clearswift;

2.InfoWatch;

3.IPLocks;

4.ISS;

5.Liquid Machines;

6.PortAuthority;

7.SurfControl;

8.Инфосистемы Джет;

9.Raytown Corporation LLC.

1.1 Clearswift

Компания Clearswift [2] поставляет продукты для контентной фильтрации и предотвращения нецелевого использования сетевых ресурсов. Комплексное решение Clearswift Total MIMEsweeper Protection включает модули для анализа данных, передаваемых по протоколам SMTP и HTTP, а также средства для фильтрации корреспонденции на серверах Microsoft Exchange и IBM Lotus Domino. Но в тоже время Clearswift позиционирует защиту от кражи чувствительных данных как некоторое дополнение к контентной фильтрации электронной почты. Поэтому неблагонадежные сотрудники могут обойти барьеры Clearswift не только через ресурсы своей рабочей станции, но и через Web-каналы (электронная почта с Web-интерфейсом, прикрепление файлов в форумах и чатах и т. д.).

Функциональные особенности продукта Clearswift Total MIMEsweeper:

· Позволяет детектировать вирусы и спам;

· Пресекать неделовые почтовые рассылки;

· Предотвращать утечку конфиденциальной информации через электронную почту;

· Запрещать посещение сайтов развлекательной и другой направленности;

· Не обеспечивает контроль над операциями на уровне рабочих станций, следовательно, не способен предотвратить утечку конфиденциальной информации через мобильные носители и средства печати.

Рисунок 1.1 - Схема работы Clearswift Total MIMEsweeper Protection

Продукт Clearswift Total MIMEsweeper Protection и разрабатываемый модуль обнаружения утечки конфиденциальной информации объединяет общий метод анализа текстовых файлов - проверка на совпадение с образцами по сигнатурам файлов. В дальнейшем разрабатываемый модуль будет называться программа КонфДетект.

1.2 InfoWatch

Компания InfoWatch [3] предлагает комплексное решение InfoWatch Enterprise Solution, позволяющее защитить от утечки конфиденциальной информации, предотвратить нецелевое использование сетевых ресурсов и управлять жизненным циклом почтовой корреспонденции с возможностью проведения мощного ретроспективного анализа. Продукты InfoWatch продаются как в России и странах СНГ, так и в Европе.

В состав комплексного решения InfoWatch Enterprise Solution входят компоненты Mail Monitor, Web Monitor, Net Monitor и MailStorage. Модульная архитектура InfoWatch Enterprise Solution никак не сказывается на управляемости решения. Так, офицер безопасности со своего рабочего места может в реальном времени получать оповещения о противоправной активности пользователей, управлять компонентами решения, визуализовать предопределенные и пользовательские отчеты, просматривать расширенные журналы событий, проводить ретроспективный анализ почтовой корреспонденции и т.д.

Компания предлагает пользователям следующие сопроводительные услуги. Прежде всего это помощь при внедрении решения в корпоративную ИТ-инфраструктуру, аудит ИТ-безопасности, разработка соответствующих нормативных документов и политик внутренней ИТ-безопасности, создание базы контентной фильтрации, специфичной для каждой конкретной компании и учитывающей ее бизнес-профиль. По просьбе заказчика специалисты InfoWatch могут адаптировать любые компоненты решения под определенные требования: от добавления какой-либо экстренной функциональности до изменения элементов графического интерфейса.

Функциональные особенности продукта InfoWatch Enterprise Solution:

· Первый компонент Mail Monitor анализирует электронную корреспонденцию на предмет наличия секретных сведений и неделового содержания. Таким образом, в режиме реального времени удается пресечь утечку чувствительных данных через ресурсы электронной почты и нецелевое использование самих почтовых ресурсов;

· Второй компонент Web Monitor выполняет аналогичные функции, но для Web-трафика. Модуль охватывает такие пути утечки конфиденциальных данных, как чаты, форумы, электронную почту с Web-интерфейсом и т. д. Данный компонент также анализирует запросы к страницам Интернета на предмет целевого использования Web-ресурсов. Благодаря этому удается пресечь посещение сайтов развлекательной и другой неделовой направленности;

· Отличительная особенность InfoWatch Enterprise Solution - контроль над операциями, которые выполняют пользователи на своей рабочей станции. Эти обязанности возложены на третий компонент Net Monitor, который следит за файловыми операциями, действиями в приложениях Microsoft Office и Adobe, а также за выводом информации на принтер. Контролируется буфер обмена, через который чувствительные данные могут быть экспортированы во внешние форматы файлов. Таким образом, Net Monitor покрывает все возможные пути утечки секретных сведений с рабочей станции: мобильные носители, устройства печати и т. д;

· Четвёртый компонент MailStorage умеет архивировать и хранить корпоративную корреспонденцию, выполнять поиск и анализ сообщений. Данный модуль способен управлять всем жизненным циклом сообщений, что делает ИТ-инфраструктуру совместимой с различными корпоративными, техническими и законодательными стандартами.



Рисунок 1.2 - Схема работы InfoWatch Enterprise Solution

Комплексное решение InfoWatch Enterprise Solution предотвращает утечку конфиденциальной информации посредством ресурсов электронной почты. Программу КонфДетект предполагается представить как open source software (открытое программное обеспечение) с возможностью интеграции в почтовый сервер, например, Microsoft Exchange Server.

1.3 IPLocks

Компания IPLocks [4] выпускает продукты для защиты баз данных от всех типов угроз, среди которых слабые настройки, неправомерные действия сотрудников, утечка конфиденциальной информации, изменения и уничтожения чувствительных данных. Комплексное решение IPLocks Information Risk Management Platform не в состоянии предотвратить кражу секретных сведений с помощью ресурсов электронной почты, Web-каналов, мобильных носителей или средств печати. Таким образом, IPLocks не покрывает самые популярные пути утечки. В рамках этого продукта поставляются несколько модулей.

Функциональные особенности продукта IPLocks Information Risk Management Platform:

· Первый модуль Vulnerability Assessment - это сканер уязвимостей и настроек баз данных;

· Второй модуль User Behavior Monitor (монитор поведения пользователей) позволяет следить за действиями пользователей при работе с записями базы данных, записывать все выполненные операции, анализировать их на предмет соответствия политикам ИТ-безопасности и выявлять те, которые напрямую нарушают положения этой политики;

· Третий модуль Privilege Monitor (монитор привилегий) отвечает за изменение прав пользователей на доступ к базе данных;

· Наблюдение за структурой базы данных возложено на четвёртый модуль Metadata Monitor (монитор метаданных), который отвечает за объекты, отношения между ними и т. д;

· Ключевой компонент продукта, пятый модуль - Content Monitor (монитор содержимого), контролирующий обновления базы данных. К его задачам относится выявление некорректных или деструктивных действий пользователя. Для этого монитор содержимого прежде всего защищает базу от предопределенных событий (конкретных SQL-запросов к заданным таблицам в БД), а также использует эвристический вероятностный анализатор, сравнивающий текущую модель поведения пользователя с имеющимися шаблонами.

Продукт IPLocks Information Risk Management Platform не защищает от утечки секретных сведений с помощью ресурсов электронной почты и не анализирует текстовые файлы. Данное решение уступает программе Конф-Детект.

1.4 ISS

Компания ISS (Internet Security System) [5] поставляет целый ряд продуктов для защиты от самых разных угроз ИТ-безопасности, в том числе и от утечек конфиденциальных данных.

Сильная сторона решений ISS - очень широкий спектр решаемых задач, однако при этом продукты ISS явно проигрывают более специализированным решениям в плане предотвращения утечек конфиденциальных данных. Например, такие пути утечки чувствительной информации, как ресурсы рабочих станций и Web-каналы, остаются совершенно неохваченными. Вдобавок продукты ISS не позволяют управлять жизненным циклом корпоративной корреспонденции, что значительно затрудняет проведение аудита в соответствии с законодательными и отраслевыми стандартами.

Среди продуктов компании ISS:

· Proventia Desktop (настольный монитор), который защищает от внешних угроз (шпионских кодов, вирусов, сетевых атак) и выполняет функции агента системы централизованного управления ИТ-безопасностью;

· Proventia Integrated Security Appliance - программно-аппаратный комплекс, который, помимо стандартных возможностей межсетевого экрана, системы обнаружения вторжений, VPN и антивирусной защиты, предлагает фильтрацию почтовых сообщений и Web-трафика. Другие составные части этого комплекса, Proventia Mail Filter и Web Filter, пресекают нецелевое использование сетевых ресурсов, отсеивают спам и предотвращают утечку конфиденциальной информации через почтовые ресурсы.



Рисунок 1.3 - Продукты ISS, частично решающие проблему внутренней ИТ-безопасности

Метод анализа текстовых файлов в продукте ISS Proventia Mail Filter также как и в программе КонфДетект основан на обнаружении совпадений с образцами по сигнатурам файлов.

1.5 Liquid Machines

Компания Liquid Machines [6] поставляет решения в сфере управления цифровыми правами в корпоративной среде (ERP). Продукты представляют собой расширение Microsoft RMS, а следовательно, накладывают строгие требования на ИТ-инфраструктуру компании, значительно сужая ее допустимую гетерогенность. В продуктовой линейке отсутствуют комплексных решения, однако у неё есть два отдельных, Document Control и Email Control, позволяющие защитить чувствительные данные.

Функциональные особенности продуктов Document Control и Email Control:

· Позволяют хранить конфиденциальную информацию только в зашифрованном виде, при этом лишь авторизованный пользователь может читать, изменять, копировать и печатать эти данные. Уровень привилегий пользователя задается соответствующими политиками ИТ-безопасности;

· Document Control требует для своей работы выделенного сервера. Он поддерживает функции централизованного ведения журналов событий и аудита.

Рисунок 1.4 - Схема работы продукта Email Control

В качестве метода анализа текстовых файлов в продукте Liquid Machines Email Control используется алгоритм цифровых отпечатков, что очень схоже с алгоритмом проверки на совпадение с образцами по сигнатурам файлов. Схема работы данного продукта под стать возможной схеме использования программы КонфДетект.

1.6 PortAuthority

Компания PortAuthority (ранее Vidius) [7] поставляет специализированные решения для защиты от утечки конфиденциальной информации. С точки зрения технологии компания использует алгоритмы, основанные на цифровых отпечатках пальцев, что позволяет предотвратить утечку не только всего документа целиком, но и его отдельных частей. Ее флагманский продукт - PortAuthority Platform, которое позволяет вести мониторинг передаваемой информации в режиме реального времени. PortAuthority охватывает довольно широкий спектр путей утечки конфиденциальных данных, все-таки некоторые ресурсы рабочих станций остаются совершенно открытыми. Так, сотрудник может переписать чувствительную информацию на мобильный накопитель или просто преобразовать данные из одного формата в другой, а потом попытаться переслать их по электронной почте или Web-каналам, что является одним из самых популярных способов кражи корпоративных секретов.

Функциональные особенности комплексного решения PortAuthority:

· Покрывает следующие каналы передачи данных: Web, исходящая и входящая почта, принтеры и факсы;

· Архитектура продукта такова, что на рабочие станции вовсе не требуется устанавливать агенты или клиентскую часть решения, т.е. проверка трафика и анализ информации вынесены на уровень промежуточного сервера;

· Позволяет архивировать и шифровать корпоративную корреспонденцию;

· Проверять сообщения на предмет соответствия политикам ИТ-безопасности, но не фильтрует спам;

· Пресекает нецелевое использование почтовых ресурсов;

· Контроль над Web-трафиком позволяет избежать кражи конфиденциальных сведений, но не пресечь посещение Web-страниц неделовой направленности.

Рисунок 1.5 - Схема анализа данных в PortAuthority Platform

Метод анализа текстовых файлов продукта PortAuthority Platform построен на проверке совпадений с образцами по ключевым фразам, а также по сигнатурам файлов.

1.7 SurfControl

Компания SurfControl [8] известна своими продуктами для контентной фильтрации любых типов данных. Так, комплексное решение SurfControl Enterprise Protection Suite позволяет фильтровать спам, контролировать обмен файлами в корпоративной сети, предотвращать нецелевое использование сетевых ресурсов, детектировать вирусы и шпионские коды, а также пресекать утечку конфиденциальных данных. Сильная сторона SurfControl Enterprise Protection Suite - очень широкая защита как от вредоносных и шпионских кодов, так и от спама и компьютерных игр в корпоративной среде. Однако любое решение общего назначения проигрывает более специализированным продуктам. В частности, комплекс SurfControl Enterprise Protection Suite не в состоянии предотвратить утечку конфиденциальных данных через мобильные носители, средства печати, а также помешать преобразованию и искажению этой информации на рабочих станциях сотрудников. Кроме того, решение SurfControl не позволяет управлять жизненным циклом корпоративной корреспонденции (архивировать ее, хранить, анализировать и т. д.), что требует дополнительных усилий для достижения совместимости с отраслевыми и законодательными стандартами.

SurfControl Enterprise Protection Suite состоит из трех основных модулей: E-mail Filter, Web Filter и Enterprise Threat Shield. Функциональные особенности продукта SurfControl Enterprise Protection Suite:

· Первый компонент, E-mail Filter (почтовый фильтр), необходим для контентной фильтрации электронных сообщений с целью отсеивания спама, пресечения рассылок неделовой направленности (развлекательных, порнографических и т. д.), а также предотвращения утечки конфиденциальной информации. Т.е. E-mail Filter позволяет полностью контролировать использование почтовых ресурсов предприятия;

· Второй компонент, Web Filter, осуществляет аналогичные функции для Web-трафика: запрашиваемые страницы анализируются на предмет соответствия политики внутренней ИТ-безопасности. Таким образом, Web Filter пресекает посещение сайтов в личных целях. В совокупности с предотвращает утечку чувствительных данных по Web-каналам;

· Третий компонент, Enterprise Threat Shield, защищает от шпионских кодов и клавиатурных шпионов, пресекает свободный обмен файлами и установку компьютерных игр в корпоративной среде.

Метод анализа текстовых файлов в комплексном решении SurfControl Enterprise Protection Suite проводится по некоторому лингвистическому алгоритму. По какому именно не уточняется. Поэтому можно только предполагать о совпадении с алгоритмом программы КонфДетект.

1.8 Инфосистемы Джет

Компания "Инфосистемы Джет" [9] предлагает два автономных продукта - "Дозор " и "Дозор-Джет ", позволяющие контролировать соответственно ресурсы электронной почты и Web-потоки. Но ни система контроля над Web-трафиком "Дозор", ни средство фильтрации и архивации почты "Дозор-Джет" не позволяют предотвратить утечку конфиденциальной информации через ресурсы рабочей станции. Т.е. сотрудники, у которых не получилось отослать важные записи по электронной почте, могут распечатать их или скопировать на мобильный носитель, а потом вынести из офиса. Функциональные особенности решения "Дозор":

· "Дозор" фильтрует трафик, пересылаемый по протоколам HTTP и FTP;

· Проводит авторизацию пользователей и протоколирует их действия. Таким образом, защищает Web-ресурсы компании от нецелевого использования и предотвращает утечку конфиденциальных данных через них;

· Все функции продукта разделены между несколькими модулями (схема их взаимодействия друг с другом показана на рис. 6);

· Подсистема аутентификации обеспечивает проверку прав доступа пользователя системы и определяет политику безопасности для данного пользователя;

· Подсистема фильтрации обеспечивает анализ передаваемых данных в обоих направлениях на основании политики безопасности, определенной для данного пользователя;

· Кэш-сервер используется для кэширования данных, получаемых от внешних серверов;

· Подсистема управления служит для управления политиками безопасности и пользователями;

· Подсистема отчетности - для формирования отчетов об использовании внешних ресурсов и т. п;

· Система управления базами данных предназначена для хранения политик безопасности для групп пользователей, а также для хранения журналов доступа пользователей к внешним ресурсам.

Функциональные особенности решения "Дозор-Джет":

· Обеспечивает ту же функциональность, что и "Дозор", для электронной почты;

· Способен архивировать корпоративную корреспонденцию и управлять ее жизненным циклом. Т.е. "Дозор-Джет" не разрешает сотрудникам использовать почтовые ресурсы компании в личных целях, предотвращает утечку секретной информации через эти ресурсы и обеспечивает хранение электронных сообщений;

· Ядро продукта образует модуль фильтрации, который выполняет основную функцию системы. Все письма, предназначенные для фильтрации, проходят обработку в данном модуле: разбираются на составные части, содержимое этих частей анализируется, по результатам анализа применяются действия, соответствующие выполненным или невыполненным условиям правил фильтрации. Наиболее распространенные действия: передать письмо почтовому серверу для доставки адресату, поместить письмо в почтовый архив, отправить уведомление администратору и/или адресату сообщения. В модуль фильтрации входят три подсистемы, которые отвечают соответственно за разбор почтового сообщения (подсистема разбора), его анализ (подсистема мониторинга) и реагирование системы по результатам анализа (подсистема реагирования).

Рисунок 1.6 - Схема взаимодействия различных подсистем продукта "Дозор"

Метод анализа текстовых файлов продукт "Дозор-Джет " проводит по эвристическому алгоритму, но не анализирует формат PDF. Если в программе КонфДетект реализовать анализ данного формата, то будет не только отличие, но и преимущество.

1.9 Raytown Corporation LLC

Компания Raytown Corporation LLC [10] разрабатывает и поставляет продукт под названием PC Activity Monitor, более известный как PC Acme, иногда рассматриваемый как средство для защиты от утечек конфиденциальных данных.

PC Activity Monitor Professional (максимально функциональная редакция) позволяет вести централизованный мониторинг активности пользователя. Продукт отличается чрезвычайно высокой степенью интеграции в ОС (агент, осуществляющий слежку, размещается в ядре Windows 2000 или Windows XP), благодаря чему удается незаметно контролировать и протоколировать любые действия пользователя (запуск приложений, нажатие клавиш, движение мышки, передачу фокуса ввода, буфер обмена и т. д.).

Важная деталь - наличие средства централизованного управления агентами. Агент PC Activity Monitor Professional можно незаметно установить на клиентскую рабочую станцию с помощью средства централизованного администрирования, которое может размещаться в любой точке сети. Продукт позволяет хранить протоколы активности пользователей в зашифрованных файлах на жестком диске наблюдаемой рабочей станции или передавать их на центральный узел, где администратор сможет создать на основе анализа событий соответствующий отчет и принять меры.

Функциональные особенности продукта PC Activity Monitor Professional:

· Обеспечивает лишь аудит активности персонала (ведет подробные журналы и протоколы);

· Не способен предотвратить никакое вредоносное или противоправное действие, в том числе уничтожение, изменение или кражу секретной информации;

· Анализ активности пользователя на предмет противоправности администратору приходится выполнять вручную (просматривая журналы событий), что абсолютно неприемлемо в корпоративной среде, где число пользователей и конфиденциальных документов может быть очень велико;

· В случае внедрения решения необходимо установить клиентскую часть продукта на каждую рабочую станцию;

· Даже если администратору удастся выявить вредоносное действие сотрудника, он сможет инициировать разбирательство лишь постфактум, а компании придется столкнуться с негативными последствиями уже совершенной кражи или акта саботажа.

Таким образом, функциональность PC Activity Monitor Professional недостаточна для предотвращения утечек конфиденциальных данных.

Решение PC Activity Monitor уступает программе КонфДетект по тем же самым характеристикам, что и продукт IPLocks Information Risk Management.

Таблица 1.1 - Характеристики средств защиты от утечек конфиденциальных данных

	Clearswift	Info Watch	IPLocks	ISS	Liquid Machines	Port Authority	Surf Control	Инфо-системы Джет	Raytown Corp. LLC
Комплексность решения	Да	Да	Да	Да	Нет	Да	Да	Нет	Нет
Функциональность
Защита от утечки посредством ресурсов электронной почты и Web-каналов	Да (только e-mail)	Да	Нет	Да (только e-mail)	Да	Да	Да	Да	Нет
Защита от утечки посредством мобильных носителей и ресурсов рабочей станции	Нет	Да	Нет	Нет	Да	Нет	Нет	Нет	Нет
Анализ текстовых файлов	Да	Да	Нет	Да	Да	Да	Да	Да	Нет
Анализ файлов Microsoft Office	Да	Да	Нет	Да	Да	Да	Да	Да	Нет
Анализ файлов формата PDF	Да	Да	Нет	Да	Да	Да	Да	Нет	Нет
Метод анализа	На совпадение с образцами по сигнатурам файлов	Лингвистические алгоритмы; поддержка нескольких языков;	Нет	На совпадение с образцами по сигнатурам файлов	Алгоритм цифровых отпечатков	По ключевым словам и фразам, словарям, на совпадение с образцами, по сигнатурам файлов	Лингвистические алгоритмы	Эвристический анализ слов	Нет
Разработка методов анализа в unix-подобной среде	Нет	Нет	Нет	Нет	Нет	Нет	Нет	Нет	Нет
Архивирование электронной почты	Нет	Да	Нет	Нет	Да	Да	Нет	Да	Нет
Уведомление офицера безопасности об инцидентах	Нет	Да	Да	Да	Да	Да	Да	Да	Нет
Централизованное управление	Да	Да	Да	Да	Да	Да	Да	Да	Да
Внедрение
Модернизация ПО в соответствии с задачами заказчика	Нет	Да	Нет	Нет	Нет	Нет	Нет	Нет	Нет
Разработка политики обращения с конфиденциальной информацией	Да	Да	Нет	Да	Нет	Нет	Нет	Нет	Нет

Комплексность решений в сфере предотвращения утечек конфиденциальных данных подразумевает не только перекрытие всех путей кражи чувствительных сведений, но и целый ряд сопроводительных услуг. Некоторые поставщики помогают своим клиентам внедрять решения, проводить аудит ИТ-безопасности, составлять политику внутренней ИТ-безопасности, готовить нормативные документы и улаживать возникающие юридические трудности, связанные, например, с перлюстрацией корпоративной корреспонденции, а также обучать персонал.

Заключение

Многие выше приведенные продукты обладают следующим недостатком: отсутствуют компоненты, контролирующих утечку конфиденциальной информации через ресурсы рабочих станций (мобильные накопители, принтеры и т. д.). Средства печати, USB-накопители и мобильные устройства - одни из самых распространенных путей утечки секретных данных, наряду с почтовым и Web-трафиком. Этим же недостатком будет обладать и программа КонфДетект. В тоже время у нее будет ряд преимуществ перед другими программными решениями. Ни в одном из продуктов метод анализа текстовых файлов не реализован в unix-подобной среде. В программе КонфДетект это будет новизной перед остальными решениями.

2 Аналитический обзор существующих методов сравнения текстовых файлов

Введение

На текущий момент вопрос обнаружения сходства документов хорошо проработан в области обнаружения плагиата. Это обнаружение основано на различных алгоритмах и подходах к поиску плагиата (автоматическому поиску). Чтобы проанализировать эффективность поиска плагиата, необходимо ввести некоторую функцию качества для оценки результата. Прежде рассмотрим что такое плагиат.

2.1 Различные понимания и определения плагиата

1.Плагиат - буквальное заимствование из чужого литературного произведения без указания источника;

2.Плагиат (от лат. plagio - похищаю) - вид нарушения прав автора или изобретателя. Состоит в незаконном использовании под своим именем чужого произведения (научного, литературного, музыкального) или изобретения, рационализаторского предложения (полностью или частично) без указания источника заимствования;

3.Плагиат - присвоение плодов чужого творчества: опубликование чужих произведений под своим именем без указания источника или использование без преобразующих творческих изменений, внесенных заимствователем;

4.Плагиат - умышленное присвоение авторства на чужое произведение науки, литературы или искусства. Не считается плагиатом заимствование темы или сюжета произведения либо научных идей, составляющих его содержание, без заимствования формы их выражения;

5.Плагиат - вид нарушения авторских прав, состоит в незаконном использовании под своим именем чужого произведения (научного, литературного, музыкального) или изобретения, рационализаторского предложения (полностью или частично) без указания источника заимствования. Принуждение к соавторству также рассматривается как плагиат.

Разрабатываемая программа КонфДетект обнаруживает плагиат в том смысле, что проверяет на сходство документы с файлами, запрещенными к копированию. Документы отправляются на проверку с помощью программы сторонних разработчиков.

2.2 Специфика автоматического поиска плагиата

Автоматический поиск -- это поиск без участия человека, как эксперта, поэтому все критерии должны быть заданы заранее и кроме того, быть достаточно четкими. В случае поиска плагиата, некоторые специфические нечеткие критерии обычно отбрасываются, такие как:

1.вопрос о соответствии законодательству (является ли совершенное действие преступлением?);

2.вопрос об умышленности деяния (было ли совершенное деяние, совершено намеренно?).

Таким образом, если не рассматривать смежные вопросы, описанные выше, задача поиска плагиата сводится к задаче -- определить была ли использована некоторая, чужая идея в документе.

На практике некоторым образом задается функция близости (или метрика) и некоторый порог, по которому можно определить насколько вероятно, что часть документа, в частности, текстового файла была украдена.

2.3 Общая схема поиска

1.Различные представления. Выше было рассказано про основные характеристики, которые учитываются при поиске плагиата. Процесс выделения основных характеристик - это введение представления, то есть из модели, с большим количеством избыточной информации, переходим в более компактную модель, где незначимая информация удалена. Выбирая разные представления, выбираем характеристики, которые для данного случая являются основными и оставляем их. После этого вводим функцию близости (или метрику), чтобы определить, какие характеристики из оставшихся более, а какие менее значимы. То, какие характеристики являются основными - это вопрос понимания плагиата.

2.Метрики. Следующими качествами должны обладать метрики, чтобы быть полезными на практике:

2.1. Они должны представлять такие характеристики, которые достаточно трудно изменить, пытаясь замаскировать копию;

2.2. Должны быть устойчивы к незначительным изменениям текстового файла;

2.3. Необходимо обеспечить простоту сравнения, используя эти метрики.

Изначально обнаружение плагиата использовалось среди исходных кодов программ. Устройство детектора плагиата документов разработано на основе детектора для программ.

Рисунок 2.1 - Устройство детектора плагиата документов

В качестве методов сравнения текстовых файлов можно выбрать общие алгоритмы сравнения текстовых файлов, а именно сравнение строк, такие как: стандартный алгоритм, алгоритм Кнута-Морриса-Пратта, алгоритм Бойера-Мура.

2.4 Стандартный алгоритм

Задача состоит в том, чтобы найти первое вхождение некоторой подстроки в длинном тексте. Поиск последующих вхождений основан на том же подходе. Это сложная задача, поскольку совпадать должна вся строка целиком. Стандартный алгоритм начинает со сравнения первого символа текста с первым символом подстроки. Если они совпадают, то происходит переход ко второму символу текста и подстроки. При совпадении выравниваются следующие символы. Так продолжается до тех пор, пока не окажется, что подстрока целиком совпала с отрезком текста, или пока не встретятся несовпадающие символы. В первом случае задача решена, во втором - сдвигается указатель текущего положения в тексте на один символ и заново начинается сравнение с подстрокой. Этот процесс изображен ниже.

Здесь поиск образца they в тексте there they are. При первом проходе три первых символов подстроки совпадают с символами текста. Однако только седьмой проход дает полное совпадение (оно находится после 13 сравнений символов).

Текст: t h e r e t h e y a r e

Проход 1: t h e y

Текст: t h e r e t h e y a r e

Проход 2: t h e y

Текст: t h e r e t h e y a r e

Проход 3: t h e y

Текст: t h e r e t h e y a r e

Проход 4: t h e y

Текст: t h e r e t h e y a r e

Проход 5: t h e y

Текст: t h e r e t h e y a r e

Проход 6: t h e y

Текст: t h e r e t h e y a r e

Проход 7: t h e y

Из алгоритма получается, что основная операция - сравнение символов, а именно число сравнений и следует подсчитывать.

Недостаток стандартного алгоритма заключается в том, что он затрачивает много усилий впустую. Если сравнение начала подстроки уже произведено, то полученную информацию можно использовать для того, чтобы определить начало следующего сравниваемого отрезка текста. Например, при первом проходе в выше приведенном примере расхождение с образцом осуществляется на четвертом символе, а в первых трех символах произошло совпадение. При взгляде на образец видно, что третий символ встречается в нем лишь однажды, поэтому первые три символа текста можно пропустить и начать следующее сравнение с четвертого, а не со второго символа текста. Существуют различные способы использования этой возможности, например: алгоритм Кнута-Морриса-Пратта, алгоритм Бойера-Мура.

2.5 Алгоритм Кнута-Морриса-Пратта

При построении конечного автомата для поиска подстроки в тексте легко построить переходы из начального состояния в конечное принимающее состояние: эти переходы помечены символами подстроки (рис. 1). Проблема возникает при попытке добавить другие символы, которые не переводят в конечное состояние.

Рисунок 2.2 - Начало построения автомата для поиска подстроки hello

Алгоритм Кнута-Морриса-Пратта основан на принципе конечного автомата, однако он использует более простой метод обработки неподходящих символов. В этом алгоритме состояния помечаются символами, совпадение с которыми должно в данный момент произойти. Из каждого состояния имеется два перехода: один соответствует успешному сравнению, другой - несовпадению. Успешное сравнение переводит в следующий узел автомата, а в случае несовпадения - в предыдущий узел, отвечающий образцу. Пример автомата Кнута-Морриса-Пратта для подстроки ababcb приведен на рисунке 2.3.



Рисунок 2.3 - Полный автомат Кнутта-Морриса-Пратта для подстроки ababcb

При любом переходе по успешному сравнению в конечном автомате Кнутта-Морриса-Пратта происходит выборка нового символа из текста. Переходы, отвечающие неудачному сравнению, не приводят к выборке нового символа; вместо этого они повторно используют последний выбранный символ. Если был переход в конечное состояние, то это означает, что искомая подстрока найдена. Можно проверить текст abababcbab на автомате, изображенном на рисунке 2.3, и посмотреть, как происходит успешный поиск подстроки.

Прежде, чем перейти к анализу этого процесса, рассмотрим как задаются переходы по несовпадению. Заметим, что при совпадении происходит переход к следующему узлу. Напротив, переходы по несовпадению определяются тем, как искомая подстрока соотносится сама с собой. Например, при поиске подстроки ababcb нет необходимости возвращаться назад на четыре позиции при необнаружении символа c. Если достигнут пятый символ в образце, то первые четыре символа совпали, и поэтому символы ab в тексте, отвечающие третьему и четвертому символам образца, совпадают также с первым и вторым символами образца.

К достоинствам данного алгоритма относится стабильная скорость работы на длинных строках. Эффективность не снижается и при сравнении “не удачных” данных.

2.6 Алгоритм Бойера-Мура

В отличие от двух выше описанных алгоритмов сравнения строк алгоритм Бойера-Мура осуществляет сравнение с образцом справа налево, а не слева направо. Исследуя искомый образец, можно осуществить более эффективные прыжки в тексте при обнаружении несовпадения.

В примере ниже сначала сравниваются y с r и обнаруживается несовпадение. Поскольку буква r вообще не входит в образец, можем сдвинуть текст на целых четыре буквы (то есть на длину образца) вправо. Затем сравниваются буквы y с h и вновь обнаруживается несовпадение. Однако поскольку на этот раз h входит в образец, можно сдвинуться вправо только на две буквы так, чтобы буквы h совпали. Затем начинается сравнение справа и обнаруживается полное совпадение кусочка текста с образцом. В алгоритме Бойера-Мура проводится 6 сравнений вместо 13 в стандартном алгоритме.

Пример 1. Поиск образца they в тексте there they are (совпадение находится после 6 сравнений символов):

Текст: t h e r e t h e y a r e

Проход 1: t h e y

Текст: t h e r e t h e y a r e

Проход 2: t h e y

Текст: t h e r e t h e y a r e

Проход 3: t h e y

Подобное улучшение порождает одну проблему. При сравнении в примере ниже происходит совпадение по буквам k, n, i, однако буква t в слове tinkle не совпадает с буквой h в слове think. Если ограничиваться предложенным улучшением, то придется сдвинуться вправо по тексту всего на один символ, несмотря на то, что совпадение подстрок ink означает, что после сдвига обнаружится несовпадение, и это несовпадение можно предугадать.

Пример 2. Проблема со сдвигом:

Текст: t h e t i n k l e o f a b e l l

Образец: t h i n k

Текст: t h e t i n k l e o f a b e l l

Образец: t h i n k

Алгоритм Бойера-Мура обрабатывает образец двумя способами. Во-первых, можно вычислить величину возможного сдвига при несовпадении очередного символа. Во-вторых, вычисляется величина прыжка после того, как выделены в конце образца последовательности символов, уже появлявшиеся раньше. Перед подсчетом величины прыжка, посмотрим, как используются результаты этого подсчета.

Массив сдвигов содержит величины, на которые может быть сдвинут образец при несовпадении очередного символа. В массиве прыжков содержатся величины, на которые можно сдвинуть образец, чтобы совместить ранее совпавшие символы с вновь совпадающими символами строки. При несовпадении очередного символа образца с очередным символом текста может осуществиться несколько возможностей. Сдвиг в массиве сдвигов может превышать сдвиг в массиве прыжков, а может и нет. (Совпадение этих величин - простейшая возможная ситуация.) О чем говорят эти возможности? Если элемент массива сдвигов больше, то это означает, что несовпадающий символ оказывается "ближе" к началу, чем повторно появляющиеся завершающие символы строки. Если элемент массива прыжков больше, то повторное появление завершающих символов строки начинается ближе к началу образца, чем несовпадающий символ. В обоих случаях следует пользоваться большим из двух сдвигов. Так, например, если значение сдвига равно 2, а значение прыжка 4, то сдвиг на два символа не позволит найти соответствие образцу: несовпадающий символ все равно окажется невыровненным. Однако, если сдвинуть на четыре символа, то под ранее несовпадающим символом окажется подходящий символ образца, и при этом сохраняется возможность того, что завершающие символы образца будут совпадать с новыми соответствующими символами текста.

Выполнив этот алгоритм на образце datadata, получается slide[d] = 3, slide[a] = 0 и slide[t] = 1; для всех остальных букв алфавита значение сдвига будет равно 8.

Массив jump, размер которого совпадает с длиной образца, описывает взаимоотношение частей образца. Этот массив позволяет, например, при несовпадении символа h образца с символом t текста в примере 2 сдвинуть образец целиком за сравниваемый символ. Этот новый массив также отслеживает повторение символов в конце образца, которые могут заменять сравниваемые символы. Пусть, например, образец имеет вид abcdbc, и в процессе сравнения два последних символа образца совпали с символами текста, а в третьем символе обнаружилось расхождение. Тогда массив jump говорит, насколько следует сдвинуть образец, чтобы символы bc в позициях 5 и 6 совпали с символами bc в позициях 2 и 2. Таким образом, массив jump содержит информацию о наименьшем возможном сдвиге образца, который совмещает уже совпавшие символы с их следующим появлением в образце.

Положим, что в некотором образце несовпадение очередного символа означает, что образец следует сдвинуть целиком на место начало сравнения. В примере 4 изображены отрезок текста и образец. Символы X в образце могут быть произвольными; они призваны проиллюстрировать процедуру.

Пример 4. Определение величины прыжка:

Текст: a b c d e f g h i j k l m n

Образец: X X X X X

Если образец нужно сдвинуть целиком на всю длину, то символы X должны соотнестись с символами от f до j, то есть новое значение переменной textLocбудет равно 10. Если несовпадение произошло на символе, когда textLoc = 5, то для сдвига образца нужно к textLoc прибавить 5.

Если же несовпадение произошло на символе d, то есть при textLoc = 4, то для сдвига нужно увеличить textLoc на 6. При несовпадении на символах c, b или a увеличение составит соответственно 7, 8 или 9. В общем случае при несовпадении последнего символа увеличение составляет длину образца, а при несовпадении первого символа - удвоенную длину без единицы. Эти соображения и служат основой для инициализации массива jump.

Достоинствами данного алгоритма на «хороших» данных является высокая скорость и крайне низкая вероятность появления «плохих» данных. Поэтому он оптимален в большинстве случаев, когда нет возможности провести предварительную обработку текста, в котором проводится поиск. Разве что на коротких текстах выигрыш не оправдает предварительных вычислений.

Недостатки алгоритма следующие:

1. Сравнение не является «чёрным ящиком», поэтому при реализации наиболее быстрого поиска приходится либо рассчитывать на удачную работу оптимизатора, либо вручную оптимизировать поиск на ассемблерном уровне;

2. Если текст изменяется редко, а операций поиска проводится много (например, поисковая машина), в тексте стоило бы провести индексацию, после чего поиск можно будет выполнять быстрее, чем даже алгоритмом Бойера-Мура;

3. На больших алфавитах (например, Юникод) таблица стоп-символов может занимать много памяти. В таких случаях либо обходятся хэш-таблицами, либо разбивают алфавит, рассматривая, например, 4-байтовый символ как пару двухбайтовых;

4. На искусственно подобранных «плохих» текстах (например, needle=«колоколоколоколоколокол») скорость алгоритма Бойера-Мура серьёзно снижается. Существуют попытки совместить присущую алгоритму Кнута-Морриса-Пратта эффективность в «плохих» случаях и скорость Бойера-Мура в «хороших» -- например, турбо-алгоритм.

2.7 Нейросетевые методы обнаружения плагиата

Поиск плагиата можно свести к задаче классификации, когда набор документов требуется разбить на несколько классов, в каждом из которых будут содержаться только списанные друг с друга документы. Как известно, нейронные сети -- это один из лучших инструментов для решения задачи аппроксимации функций, и в частности, классификации.

Нейронную сеть можно представить как черный ящик, на вход которому подается известная информация, а на выходе выдается информация, которую хотелось бы узнать. Например, входной информацией может служить набор программ, а выходной, являются ли программы плагиатом. Базовые элементы искусственных нейросетей - формальные нейроны - изначально нацелены на работу с широкополосной информацией. Каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Рисунок иллюстрирует наиболее широко распространенную в современных приложениях архитектуру многослойного персептрона. Типичный формальный нейрон производит простейшую операцию - взвешивает значения своих входов со своими же локально хранимыми весами и производит над их суммой нелинейное преобразование. Из-за нелинейности функции активации всю нейросеть нельзя свести к одному нейрону и возможности нейросети существенно выше возможностей отдельных нейронов. Состояние сети характеризуется набором весов, которые меняются в процессе поступления входной информации. Данный процесс называется обучением сети. Принцип обучения нейросетей основан на минимизации эмпирической ошибки. Функция ошибки, оценивающая данную конфигурацию сети, задается извне - в зависимости от того, какую цель преследует обучение. Но далее сеть начинает постепенно модифицировать свою конфигурацию - состояние всех своих весов - таким образом, чтобы минимизировать эту ошибку. В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей. Характерной особенностью нейросетей является их способность к обобщению, позволяющая обучать сеть на ничтожной доле всех возможных ситуаций, с которыми ей, может быть, придется столкнуться в процессе функционирования.

2.7.1. Виды нейронных сетей

Различие в подходах при решении задачи поиска плагиата и смежных с ней, таких как определения авторства и классификация текстов, заключается, в основном, в использовании той или иной разновидности сети. Все нейросети можно разделить на два класса по методу обучения: обучение с учителем и обучение без учителя (самообучение).

При обучении с учителем реальные выходы сети сравниваются с эталонными, и процесс обучения сводится к задаче максимального приближения выходов сети к эталону.

Многослойный персептрон - это один из самых распространенных видов сетей с учителем. При решении задачи классификации при обучении на вход сети подаются примеры, а на выход принадлежность к классу. После обучения на вход сети можно подавать новые примеры, и сеть будет выдавать принадлежность к классу.

...