Актуальность проблемы. В настоящее время нет ни одной области человеческой деятельности, которая не использовала бы возможности современных информационных технологий (ИТ) на базе телекоммуникаций. Сегодня мы являемся свидетелями стремительного развития мультисервисных сетей передачи данных (СПД), выполняющих обработку и передачу всех типов данных и информации, доступ к которым можно получить в любой точке мира.

Сеть передачи данных, являясь сложной организационно-технической системой, должна обеспечить бесперебойное и полноценное функционирование всех компонентов и гарантировать предоставление пользователям услуг связи и информатизации, в соответствии с принятыми оператором связи на себя обязательствами.

С ростом размеров, сложности оборудования и функциональных возможностей в значительной степени увеличивается ответственность должностных лиц за правильность и обоснованность принимаемых решений для эффективного управления СПД. Кроме того, должностным лицам приходится принимать решения в условиях неполной информации о состоянии элементов сети, ограниченного времени на анализ проблемных ситуаций. Все это приводит к несоответствию возможностей человека сложности задач, которые необходимо решать для поддержания сети в работоспособном состоянии, в том числе за счет использования современных методов ее диагностики. В связи с этим разработка и внедрение интеллектуальной системы поддержки принятия решения (ИСППР) для диагностики состояния современной СПД является актуальной научно-технической задачей.

Цель работы. Разработка ИСППР на базе комплексного подхода к проблеме диагностики СПД, включающего использование методов сигнатурного и статистического анализа сетевого трафика для обнаружения сетевых аномалий (СА) и нечеткой интеллектуальной (экспертной) системы (НИС) реагирования на нештатные ситуации, а также создание моделей, алгоритмов и программного обеспечения (ПО) поддержки профессиональной деятельности специалистов в области управления сетями передачи данных.

Задачи исследования:

- проведение анализа основных видов деятельности системных администраторов СПД регионального оператора связи по управлению программно-аппаратным комплексом и сетевыми службами;

- проведение анализа методов диагностики СА, являющихся причинами нарушения нормального режима функционирования СПД;

- проведение анализа существующих методов и приемов поддержки принятия решения (ППР) для задач управления СПД (в том числе задач диагностики и контроля состояния элементов сети);

- разработка моделей сигнатурного и статистического анализаторов сетевого трафика и НИС реагирования на нештатные ситуации в СПД;

- разработка метода машинной диагностики СПД;

- разработка комплекса алгоритмов и программ: мониторинга состояния элементов СПД, статистического анализа и детектирования СА, НИС;

- создание ИСППР на основе нечеткой логики для диагностики СПД;

- разработка системы показателей эффективности ИСППР;

- проведение экспериментальной проверки работоспособности и эффективности использования ИСППР для диагностики СПД.

Научная новизна:

- исследованы существующие методы диагностики СА;

- теоретически обоснован комплексный подход к решению задач мониторинга и диагностики СПД;

- исследовано содержание основных видов деятельности должностных лиц, методов и приемов ППР для задач мониторинга и диагностики СПД;

- обоснован выбор нечеткой модели для построения интеллектуальной системы реагирования на нештатные ситуации;

- разработано математическое обеспечение для построения комплексной ИСППР на базе нечеткой логики для диагностики СПД;

- разработан метод решения задачи машинной диагностики СПД;

- на основе разработанного метода диагностики СПД создана НИС реагирования на нештатные сетевые ситуации;

- разработана ИСППР, созданы алгоритмы и программы, обеспечивающие ее функционирование; проведены экспериментальные исследования по проверке эффективности использования разработанной системы.

Практическая ценность. Впервые комплексная ИСППР применена в такой области как диагностика СПД. На основе разработанного метода диагностики первая версия программного обеспечения для ППР после тестирования, испытания и оценки специалистов в 2006 г. была передана в опытную эксплуатацию в Центр новых технологий (филиал "Южной телекоммуникационной компании"), что подтверждается соответствующим актом. Комплексный подход при разработке ИСППР, методика построения и оптимизации нечеткой базы знаний НИС использованы в учебном процессе КубГТУ (на кафедре ВТиАСУ, в дисциплине "Системы искусственного интеллекта"), что также подтверждается актом.

Апробация работы. Основные положения работы докладывались и обсуждались на семи Всероссийских научных и научно-технических конференциях, в том числе: на II, III и IV Всероссийских научных конференциях молодых ученых и студентов "Современное состояние и приоритеты развития фундаментальных наук в регионах" (Краснодар, 2005 - 2007 гг.), II, III, IV и V межведомственных научно-технических конференциях "Проблемы комплексного обеспечения защиты информации и подготовки специалистов в области защиты информации" (Краснодар, 2001, 2002, 2003, 2005).

Публикации. По теме диссертации опубликовано 16 печатных работ, их них 3 - в периодических изданиях, рекомендованных ВАК России для публикации научных работ, получено 1 свидетельство об официальной регистрации программы для ЭВМ.

Основные положения, выносимые на защиту:

- принципы построения и структура ИСППР на основе нечеткой логики для диагностики состояния СПД;

- алгоритмическая реализация основных методов и этапов поддержки принятия решения для диагностики СПД;

- математические модели статистического анализатора сетевого трафика и НИС реагирования на нештатные сетевые ситуации;

- механизм применения метода машинной диагностики СПД на основе структурной декомпозиции диагностики отдельных уровней СПД;

- программное обеспечение ИСППР для диагностики СПД.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, изложенных на 191 страницах, 4 приложений и списка использованной литературы (109 наименований).

Краткое содержание диссертации

Во введении обоснована актуальность темы исследования, сформулирована цель работы, изложены полученные автором основные результаты проведенных исследований, показана их научная новизна, практическая значимость, отражены основные положения, выносимые на защиту.

В первой главе проведен анализ современных систем управления телекоммуникационных сетей, в том числе задач мониторинга, анализа и диагностики сетевых процессов. На примерах из практики работы системного администратора СПД регионального оператора связи показано, что эти задачи входят в критическое множество задач по управлению сетевыми ресурсами и для их решения требуется активное участие специалиста и использование различных (в том числе и компьютерных) систем обеспечения его деятельности. Проведен анализ методов диагностики СА (сигнатурный, статистический анализ, использование интеллектуальных (экспертных) систем, генетических алгоритмов, нейросетей и др.). На основании сравнительного анализа моделей диагностики СА сделан вывод о целесообразности применения комплексного подхода к решению задач диагностики СПД, включающего статистические методы, в дополнении к применяющимся на практике сигнатурным системам, а в качестве советующей системы использовать интеллектуальную (экспертную) систему. Проведенный анализ существующих методов ППР для задач диагностики СПД, позволил выбрать схему принятия решений в стандарте IDEF0, как основного стандарта, который используется для описания процессов и систем.

Практика показывает, что у должностных лиц, от которых зависит качество и надежность функционирования СПД, крайне мало времени на аналитическую работу, позволяющую избежать ошибок при принятии решений. Лучшим вариантом организации поддержки деятельности лиц, принимающих решения (ЛПР), является создание вокруг них среды человеко-машинной поддержки, в которой главная роль отводилась бы СППР.

На основании проведенного анализа направлений деятельности должностных лиц, управляющих функционированием СПД оператора связи, сделан вывод, что интеллектуальная составляющая занимает ведущее место в обеспечении принятия решений. Это позволило выбрать интеллектуальную систему в качестве базы СППР, а экспертную систему - как ядро ИСППР. Из всех моделей представления знаний для использования в ИСППР для диагностики СПД была выбрана нечеткая продукционная модель. В заключении главы сформулированы цели и задачи исследования.

Во второй главе диссертации решены вопросы разработки математического обеспечения ИСППР на основе нечеткой логики для диагностики СПД. Для реализации выбранного метода определения и идентификации СА разработаны модели сигнатурного и статистического анализаторов сетевого трафика, а для определения источников СА и выбора вариантов по их устранению - нечеткая интеллектуальная система. Структура универсального сигнатурного анализатора потока пакетов сетевого трафика представлена на рисунке 1. Механизм функционирования сигнатурного анализатора включает два этапа: фильтрация и сборка фрагментов пакетов, распознавание СА по сигнатурам. Работа анализатора описывается следующей моделью. Обозначим сетевой трафик, поступающий из модуля захвата пакетов, как поток в виде множества , где n - общее количество пакетов. Базу сигнатур представим в виде множества B, объединяющего кластеры типов сигнатур :

(1)

где m - количество кластеров сигнатур; - j-й кластер, являющийся множеством однотипных сигнатур; K - общее количество сигнатур в j-м кластере. На вход модуля реагирования поступает сигнал только в том случае, если .

При разработке статистического анализатора была выбрана модель на основе анализа среднего значения и среднеквадратичного отклонения параметров сетевого трафика. Данный метод основан на сравнении локальных (текущих) характеристик потока пакетов с усредненными за некоторый промежуток времени (глобальными характеристиками) . В качестве статистических характеристик потока пакетов используются выборочное среднее значение , выборочная дисперсия и критерий согласия . Если локальные характеристики значительно отличаются от глобальных, то делается вывод об аномальном поведении потока пакетов и вполне вероятны сбои в работе оборудования, ПО или нарушения политики безопасности. Структура статистического анализатора, реализующего данный метод диагностики СА, приведена на рисунке 2.

Работа статистического анализатора описывается следующей моделью. Числовая величина представляет собой некоторое событие (например, поступление нового пакета) из потока событий, произошедшее в СПД в момент времени . Множество значений характеризуется средним значением и дисперсией величины X. Для определения локальных характеристик среднее значение будем вычислять не для всего потока из N событий, а только для последних n событий. С этой целью используется весовая функция F (z) и значения локальных характеристик можно вычислять по следующей формуле:

(2)

В качестве весовой функции F (z) для нахождения W (N) была выбрана функция вида:

(3)

где t - временной интервал, на котором вычисляются локальные характеристики, - нормировочный коэффициент.

мультисервисная сеть передача информация

Для определения локальных характеристик область возможных значений X разбивается на B интервалов: и подсчитываются частоты попадания в соответствующие интервалы не для всего потока, а только для n последних событий. Локальные характеристики вычисляются по формулам (2) и (3).

Для выявления СА в потоке пакетов в качестве статистических характеристик используются:

- выборочное среднее числовой величины , где середина интервала , - локальная характеристика;

- выборочная дисперсия ;

- статистика , где - глобальная характеристика, определяемая на этапе настройки и обучения системы.

Рисунок 1 - Структура универсального сигнатурного анализатора

Рисунок 2 - Структура статистического анализатора

Признаком появления СА в потоке пакетов считается значительное отклонение локальных характеристик от глобальных характеристик. Критериями присутствия СА считается превышение локальных характеристик установленных пороговых значений. Для выборочного среднего таким критерием будет , где - математическое ожидание величины , определяемое как ; параметр k задает границы интервала, выход за пределы которого считается как СА. Для выборочной дисперсии критерием аномальности в потоке пакетов считается где - задает нижнюю границу, выход за пределы которой воспринимается как СА. Аналогично для статистики , где - установленное пороговое значение.

При разработке интеллектуальной (экспертной) системы была выбрана нечеткая модель. Это связано с тем, что значительная часть информации о причинах и источниках СА может быть получена только экспертным путем или в виде эвристических описаний процессов.

Для определения источников СА СПД была представлена семиуровневой эталонной моделью OSI. Эталонная модель делит задачу перемещения информации между компьютерами через среду сети на семь менее крупных и более легко разрешимых подзадач. Каждая из этих подзадач решается с помощью одного уровня сети (физического, канального, транспортного и т.д.). Поэтому первоначальная задача по диагностике СПД может быть представлена декомпозицией семи задач по диагностике отдельных уровней сети.

Представим отдельный уровень СПД в виде нелинейного объекта с множеством входных переменных и одной выходной переменной y:

(4)

В качестве входных переменных выберем признаки источников СА. Выходная переменная y представляет собой показатель степени возможности состояния уровня сети.

В модели используются следующие допущения и ограничения:

- входные переменные в пределах одного уровня независимы;

- на каждом из уровней сети изолируются отдельные сетевые функции;

- модель не применима для сетей, не использующих идеологию OSI.

Для установления зависимости между и y в соответствии с (4) будем использовать качественные термы из следующих терм-множеств, заданных на универсальном множестве:

- терм-множество переменной ;

- терм-множество переменной y.

Нечеткая база знаний (НБЗ) представлена базой знаний Мамдани с MISO - структурой:

(5)

где - нечеткий терм, которым оценивается значение входа , выход y оценивается нечетким термом , m - количество термов, используемых для лингвистической оценки выходных данных, - весовой коэффициент правил в НБЗ с номером jp.

Логический вывод основывается на алгоритме нечеткого вывода Мамдани, формализованное обобщение которого представляется как:

- пусть - функция принадлежности входа нечеткому терму , т.е. (фаззификация переменной );

- - функция принадлежности выхода нечеткому терму-решению , т.е. (фаззификация переменной y);

- степень принадлежности входа нечеткому терму из базы знаний (5) определяется следующей системой нечетких логических уравнений:

;

- нечеткое подмножество , соответствующее входному вектору , определяется как ;

четкое значение выхода y, соответствующее входу , определяется в результате дефаззификации нечеткого методом "центра тяжести" функции принадлежности:

- в случае количественных переменных и y,

- в случае качественных переменных и y, где k - число элементов в дискретизированной области D.

Для улучшения НБЗ применяется метод оптимизации с использованием обучающей выборки. Настраиваемыми параметрами являются веса правил и формы функций принадлежности. Оптимизация проводится в два этапа: 1 этап - структурная идентификация, 2 этап - параметрическая идентификация. На этапе структурной идентификации осуществляется грубая настройка НБЗ по доступной экспертной информации (используются методы попарного сравнения). На этапе параметрической идентификации проводится тонкая настройка НБЗ с использованием обучающей выборки. Согласно методу наименьших квадратов, настройка НБЗ Мамдани сводится к решению следующей задачи математического программирования: необходимо найти такой вектор , чтобы минимизировать целевую функцию CF (среднеквадратичную невязку) вида:

(6)

где - входной вектор в r-й паре обучающей выборки и - соответствующий выход; M - количество пар экспериментальных данных обучающей выборки; P - вектор параметров функций принадлежности термов входных и выходной переменных; - вектор весовых коэффициентов правил НБЗ.

Задача (6) может быть решена различными технологиями нелинейной оптимизации, среди которых наиболее часто применяются градиентные методы, квазиньютоновские методы, методы квадратичного программирования и генетические алгоритмы.

Третья глава посвящена разработке структуры, алгоритмической и программной реализации ИСППР для диагностики СПД. При разработке структуры ИСППР были использованы методы объектно-ориентированного проектирования, включающего два вида деятельности: проектирование структуры системы и проектирование элементов системы.

Комплексная ИСППР для диагностики СПД содержит набор функциональных компонент, позволяющих максимально автоматизировать и ускорить выработку управляющих воздействий при изменении ситуации в СПД. В состав ИСППР (рисунок 3) входят:

- подсистема мониторинга, выполняющая процедуру сбора первичной информации о работе сетевого оборудования и ПО. Источниками информации являются: журналы событий, базы данных управляющей информации (базы MIB) маршрутизаторов, коммутаторов, межсетевых экранов и другого телекоммуникационного оборудования;

Рисунок 3 - Структурa ИСППР для диагностики СПД

- блоки статистического и сигнатурного анализа. В основу статистического анализа положено вычисление локальных статистических характеристик потока пакетов по укороченной выборке: выборочного среднего , выборочной дисперсии , статистики . При нормальной работе СПД эти статистики не превышают глобальных значений, полученных на этапе настройки и обучения системы. При возникновении СА их значения выходят за пределы установившего диапазона на величину , определяющую степень серьезности i-й СА. При проведении сигнатурного анализа осуществляется выявление СА в поступающих данных с помощью поиска соответствующих правил аномального поведения, содержащихся в периодически обновляемой базе сигнатур;

- нечеткая интеллектуальная (экспертная) система, принимающая информацию об обнаруженных СА. Здесь происходит анализ источников СА и выработка предложений и управляющих воздействий по их устранению. Структура НИС представлена на рисунке 4. В состав НИС входят 12 программных блоков, 7 из которых составляют собственно интеллектуальную систему, а остальные - среду разработки НИС. Поясним назначение тех блоков, которые не упоминались ранее при описании модели НИС.

Блок модифицирования нечеткой базы знаний - осуществляет задание функций принадлежности лингвистических термов методом Саати и заполнение НБЗ.

Блок моделирования - используется для получения графиков и поверхностей, отражающих зависимость выходной переменной от одной или двух входных переменных при фиксированных значениях остальных переменных. Цель подобного моделирования состоит в исследовании поведения объекта в различных областях факторного пространства.

Блок настройки - предназначен для решения задач оптимизации НБЗ с целью повышения качества идентификации нелинейных объектов. Блок выполняет функции запроса обучающей выборки и решения задачи нелинейной оптимизации НБЗ.

Блок тестирования - осуществляет запрос тестирующей выборки и оценку качества идентификации в точках тестирующей выборки.

Архив функций принадлежности - содержит описание и набор стандартных функций принадлежности.

Процесс построения НИС выполняется по следующему алгоритму:

- определение характеристик системы - задаются входные и выходные лингвистические переменные и их термы;

- определение функций принадлежности лингвистических термов;

- формирование НБЗ, описывающей поведение обьекта;

- настройка НИС путем решения задач оптимизации с использованием обучающей выборки.

Рисунок 4 - Структура нечеткой интеллектуальной системы

В результате нечеткого логического вывода получаются функции принадлежности выходной переменной каждому из классов решений. В процессе моделирования инженер по знаниях и эксперт могут наблюдать за поведением моделируемого объекта в разных областях входных переменных. Настройка модели по экспериментальным данным позволяет повысить адекватность НИС.

В данной главе представлена также алгоритмическая реализация подсистемы мониторинга состояния СПД, статистического и сигнатурного анализаторов сетевого трафика. Показаны структура и состав входных данных, используемых для контроля состояния сетевого оборудования и ПО, обоснован выбор инструментальных средств (Java и Fuzzy Logic Toolbox) для разработки ИСППР.

В заключении главы изложены особенности программной реализации элементов ИСППР. При разработке подсистемы мониторинга, статистического анализатора использован язык Java. Для выполнения сигнатурного анализа сетевого трафика использован блок, реализующий эти функции в системе Snort. Для его подключения к ИСППР разработан специализированный модуль вывода, встроенный в Snort. В качестве среды разработки НИС выбран пакет Fuzzy Logic Toolbox среды MatLab.

Четвертая глава диссертации посвящена экспериментальному исследованию разработанной ИСППР для диагностики СПД. Для оценки эффективности функционирования ИСППР разработана система показателей эффективности (таблица 1). Проверка работоспособности системы проводилась в ходе эксперимента в два этапа: первый этап - испытания системы на модели СПД, второй этап - проверка в реальных условиях на действующей сети.

Модель сети построена на трех компьютерах: генератора трафика, генератора SNMP информации телекоммуникационных устройств и генератора журналов событий, а также компьютера с установленным на нем ПО ИСППР. Работу сети обеспечивает специализированное ПО, предназначенное для эмуляции работы указанных генераторов.

При испытании ИСППР в реальных условиях система была включена в действующую СПД. Техническое обеспечение сети включает: 5 межсетевых экранов Cisco PIX Firewall, 13 магистральных маршрутизаторов Cisco 7200, более 200 коммутаторов, 20 серверов доступа Cisco AS5400, более 40 DSLAM-стоек и другое оборудование. В качестве источников информации о состоянии элементов СПД использовались данные: поток пакетов сетевого трафика, журналы событий в формате Syslog, базы данных управляющей информации (MIB-I, MIB-II, а также MIB фирмы Cisco). Результаты испытаний ИСППР на модели и в реальных условиях представлены в таблице 2 и на графиках (рисунки 5 и 6).

Таблица 1 - Перечень показателей эффективности ИСППР

Таблица 2 - Результаты испытаний программных средств ИСППР

В работе приведены результаты эксперимента по настройке НБЗ НИС. Для настройки использовался пакет расширений Optimization Toolbox. Нелинейная оптимизация НБЗ Мамдани проводилась методом квадратичного программирования. Использовались две обучающие выборки. В качестве функций принадлежности были выбраны гауссовы кривые. Объем исследовательского прототипа НБЗ содержал 312 правил.

Экономическая эффективность внедрения ИСППР для диагностики СПД оценивается соотношением затрат на ее разработку и эксплуатацию и экономической прибыли, которую может принести система, своевременно обнаруживая и предотвращая нарушения работоспособности сети или ее отдельных узлов. Проведенные расчеты показали, что прямые затраты составят: на разработку ПО ИСППР - 387.200 рублей, на эксплуатацию системы в течение года - 247.200 рублей. Экономическая выгода от внедрения системы только для одного узла СПД в год составляет 2.884.600 рублей.

В заключении приводится обобщение основных результатов диссертационной работы.

В приложениях приводятся: листинг программы мониторинга СПД, акты внедрения результатов диссертации и свидетельство об официальной регистрации программы для ЭВМ.

Рисунок 5 - Диаграммы эффективности работы ИСППР по выявлению СА

Рисунок 6 - Зависимость коэффициента выявления СА от временных интервалов срабатывания статистического анализатора

Основные результаты и выводы