Автоматизация мониторинга и системного анализа распределенной проблемно-ориентированной информации в среде Интернет

2. Основное содержание работы

Во введении обоснована актуальность проводимой работы, а также необходимость разработки новых подходов и исследования процессов мониторинга и системного анализа распределенной проблемно-ориентированной информации в компьютерных сетях, а также создания программных продуктов обеспечивающих быстрый доступ к слабоструктурированной или неструктурированной информации. Здесь сформулирована цель работы и задачи, которые необходимо решить для достижения поставленной цели, указана научная новизна и приводится краткий обзор структуры работы.

В первой главе анализируются проблемы разработки и применения методов системного анализа обработки распределенной проблемно-ориентированной информации в среде Интернет. На основании работ В.Н. Волковой, А.А. Денисова, О.Г. Тайца, С. Оптнера, Д. Клиланда, Н.Н. Моисеева, Ю.И. Черняка, Ф.И. Перегудова и других ученых рассмотрены подходы к выполнению системного анализа информационных ресурсов. Также рассмотрены подходы и пути автоматизации анализа данных (работы: И.Ф. Кодда, Н. Пендса, С.К. Дулина, И.А. Киселева, А.В. Заболеева-Зотовой, А.В. Андрейчикова, Т.А. Гавриловой, В.Ф. Хорошевского и др.), мониторинга информации (работы: С.В. Кузнецова, О.Б. Сладковой, С.К. Дулина, Т.Я. Ашихминой, Б.А. Баллода, Э.С. Манелиса и др.), теории информационного поиска (работы: Дж. Солтона, К. Спарк-Джоунз, И.И. Попова, А.Г. Романенко, О.Ф. Самойлюка, В.А. Копылова, Ю.И. Шемакина, П.Б. Храмцова и др.)

Анализ результатов научных исследований в области мониторинга и системного анализа информационных ресурсов, а также информации web-серверов компаний-производителей современных средств поиска и систем управления знаниями («Microsoft», «IBM», «Google», «Яndex», «Рамблер Интернет Холдинг» и др.) показал наличие в них средств, позволяющих решать отдельные задачи обработки информации. В связи с этим были сделаны следующие выводы:

1. Ввиду специфики темы работы, ориентированной на обеспечение постоянного мониторинга и системного анализа информации, проанализированы подходы к организации хранения и анализа данных на основе использования технологий хранилищ данных.

2. Методы, используемые для обработки информации Интернета, в том числе для поиска информации, и созданные с их использованием автоматизированные программные системы реализуют лишь часть реально необходимых в организациях функций по управлению информацией. К основным нереализуемым современными подходами и системами функциям относятся:

· описание проблемы в соответствии со структурой предметной области;

· автоматическое расширение накопленных знаний полученных из информации сети Интернет;

· автоматизированный анализ всего перечня результатов в средствах поиска;

· централизованное управление запросами и результатами поиска из различных систем.

На рис. 1 представлен сравнительный анализ основных параметров существующих систем и разработанной в рамках диссертационной работы системы формирования знаний, а также определено место данной информационно-аналитической системы среди этих систем.

Система формирования знаний является для организации связующим звеном между системами информационного поиска Интернета и системами управления знаниями, позволяя накапливать необходимые информационные ресурсы. Проведенный на рис. 1 сравнительный анализ рассматриваемых систем выявил их основные отличительные признаки: использование модели предметной области, возможность кластеризации информации и анализа результата поиска.

Рис. 1. Место системы формирования знаний среди подобных систем и их характеристики

Вторая глава посвящена постановке задачи мониторинга и системного анализа распределенной проблемно-ориентированной информации в среде Интернет.

В этой главе приводится обоснование выбора и анализ свойств объекта исследования. Вводится новый тип систем - системы формирования знаний (knowledge forming system), под которыми понимается программное средство, выполняющее специально организованное, систематическое наблюдение за состоянием проблемно-ориентированных данных и получение из них знаний на основе моделей, методов и алгоритмов, опирающихся на комплексный подход и учет взаимосвязей между данными (рис. 2).

Рис. 2 Структура системы формирования знаний

Система формирования знаний должна обеспечивать следующие функциональные возможности:

1) описание предметной области;

2) мониторинг проблемно-ориентированной информации;

3) индексирование информации;

4) предварительная обработка собранной и индексированной информации (очищение, согласование, агрегирование и др.);

5) структурирование (кластеризация, классификация) информации для построения на основе этого хранилища данных;

6) хранение и управление информацией в хранилище данных;

7) понимание запроса, сформулированного пользователем, причем от пользователя не требуется знание способа организации информации в системе;

8) выборка информации, релевантной запросу пользователя, представленной разнотипными документами;

9) представление информации на запрос пользователя в виде удобном для восприятия и анализа.

Рассмотрен принцип работы данного типа систем, которые автоматизируют процесс сбора и анализа информации из сети Интернет, что значительно облегчает работу пользователя. Общая схема работы предлагаемой системы включает два этапа:

1. Периодически с использованием модуля управления системы запускаются на выполнение модули мониторинга и индексирования. Цель работы данных модулей - найти новые и измененные информационные ресурсы в сети Интернет относящиеся к тематике предметной области, на которую ориентирована система, скорректировать хранилище данных системы и базу знаний в соответствии с текущим состоянием информационных ресурсов.

2. Параллельно с модулями мониторинга и индексирования и независимо от них в системе выполняются другие два модуля - модуль аналитики и модуль поиска. Цель этих модулей - отобрать данные, соответствующие запросам пользователей и провести их аналитическую обработку, используя для этого многомерное хранилище данных системы и базу знаний. При этом в ответ на запрос выдаются только те данные, информация о которых уже известна системе к моменту поступления запроса, т.е. эти данные проиндексированы и занесены в хранилище данных.

Следует отметить, что разработанная система универсальна в том смысле, что подходы, используемые в ней, не зависят от конкретной предметной области. Система может быть настроена на работу с информацией из широкого спектра различных предметных областей.

Рассмотренный тип систем, основанный на формировании знаний, позволяет эффективно выполнять мониторинг и системный анализ проблемно-ориентированной информации и таким образом способствует решению многих задач в организации.

Были разработаны общие принципы математического моделирования системы формирования знаний (рис 3.). Математическая модель включает модель предметной области, а также модели процессов мониторинга, индексирования, классификации и кластеризации.

Рис. 3 Общая структура математической модели задачи

Документы, поступающие на вход в систему, проверяются на соответствие предметной области. Все соответствующие заданной предметной области документы образуют множество проблемно-ориентированных документов, каждый из которых в системе представляется в виде поискового образа. Документы классифицируются в соответствии с построенной моделью. Значительные по объему группы документов разделяются на более мелкие на основе алгоритмов кластеризации.

Сделано описание модели предметной области, на которую ориентирована система. В основе модели, описываемой предметной области, была положена семантическая сеть S:

S = <N, R_N, D, R_ND >,(1)

Где N = {N₁, N₂, …, N_K} - множество элементов, отражающих понятия предметной области;

R_N = R_N ( N_i, N_j ) - отношение задающее тип и силу взаимодействия между понятиями.

D = {D₁, D₂, …, D_L} - множество документов, относящихся к заданной предметной области;

R_ND = R_ND ( N_i, D_j ) - отношение сопоставляющее понятиям предметной области документы.

Третья глава посвящена исследованию системных связей и закономерностей функционирования процессов мониторинга и анализа распределенной проблемно-ориентированной информации в среде Интернет.