Но если нам известно, что объект обладает не одним, а несколькими признаками, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

,

где: M - количество градаций описательных шкал (признаков);

- вектор состояния j-го класса;

- вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M - количество градаций описательных шкал (признаков);

- средняя информативность по вектору класса;

- среднее по вектору объекта;

- среднеквадратичное отклонение частных критериев знаний вектора класса;

- среднеквадратичное отклонение по вектору распознаваемого объекта.

- вектор состояния j-го класса;

- вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j-го класса и состояния распознаваемого объекта.

3.8 Результаты верификации моделей

Результаты верификации (оценки достоверности) моделей, отличающихся частными критериями (таблица 3) с двумя приведенными выше интегральными критериями приведены:

Рисунок Результаты верификации моделей

Наиболее достоверной в данном приложении оказались модели INF4 при интегральном критерии «Резонанс знаний» (на рисунке 15 эта модель выделена красным цветом). Данная модель обеспечивает 100% достоверность идентификации статьи и ее авторов по библиографическому описанию этой статьи (достоверность отнесения объекта к классу, к которому он действительно относится), и 98% достоверность не отнесения статьи и ее авторов к тем классам, к которым они не относятся.

Для оценки достоверности моделей в АСК-анализе и системе «Эйдос» используется метрика, предложенная автором, сходная с F-критерием и дающая те же результаты ранжирования моделей по их качеству.

Кроме того в системе «Эйдос» используют уточненную F-меру, учитывающую не только сам факт идентификации или не идентификации, но и уровень сходства-различия при этом.

Также обращает на себя внимание, что статистические модели, как правило, дают более низкую средневзвешенную достоверность идентификации и не идентификации, чем модели знаний, и практически никогда - более высокую. Этим и оправдано применение моделей знаний.

4. Решение задач идентификации текстов и их авторов в наиболее достоверной модели

В соответствии со схемой этапов последовательного преобразования данных в информацию, а ее в знания в системе "Эйдос", приведенной на рисунке 3, присвоим статус текущей модели INF4, наиболее достоверной модели по данным верификации (рисунок 15). Для этого в режиме 5.6 системы «Эйдос» зададим эту модель и кликнем по кнопке Ok:

Рисунок Экранные формы режима присвоения модели статуса текущей

4.2 Отображение результатов идентификации

Режим 4.1.3 системы «Эйдос» обеспечивает отображение результатов идентификации в различных формах:

1. Подробно наглядно: "Объект - классы".

2. Подробно наглядно: "Класс - объекты".

3. Итоги наглядно: "Объект - классы".

4. Итоги наглядно: "Класс - объекты".

5. Подробно сжато: "Объект - классы".

6. Обобщенная форма по достоверности моделей при разных интегральных критериях.

7. Обобщенный статистический анализ результатов идентификации по моделям и интегральным критериям.

8. Статистический анализ результатов идентификации по классам, моделям и интегральным критериям.

9. Распознавание уровня сходства при разных моделях и интегральных критериях.

10. Достоверность идентификации классов при разных моделях и интегральных критериях.

Рассмотрим некоторые из них.

Рисунок Экранная форма результатов идентификации статьи и ее авторов

На рисунке 20 приведены результаты идентификации автора данной статьи по библиографическим описаниям его статей.

Рисунок Результаты идентификации автора данной статьи
по библиографическим описаниям его статей

Однако возникает закономерный вопрос о том, а будет ли вообще работать предлагаемый алгоритм и инструментарий на больших базах данных и о том, как он будет работать. Для ответа на этот вопрос был проведен численный эксперимент на выборке 3949 статьи.

Это означает, что поставленная в статье задача успешно решена. Если же различие в уровне сходства наиболее сходной статьи и следующей за ней незначительное, то информацию об этих статьях необходимо предоставить для принятия решения специалисту.

Рассмотрим теперь идентификацию статей с нестандартными и некорректными библиографическими описаниями в модели INF1, созданной на основе 3949 библиографических описаний статей.

Для формирования некорректных библиографических ссылок возьмем стандартную ссылку на статью автора (1-я строка таблицы 7) и будем, начиная с конца библиографического описания, последовательно удалять из него элементы описания и создавать новые строки с неполными библиографическими описаниями. Две последних строки получены не путем удаления элементов библиографического описания, что приводит к неполноте описания, а путем добавления лишних элементов (шума, выделено желтым фоном): наклонной черты после имени автора и неверного указания страниц. Как показывает опыт, в настоящее время подобные описания не идентифицируются программным обеспечением РИНЦ.

Рисунок Экранная форма универсального программного интерфейса с внешними базами данных для ввода распознаваемой выборки

Рисунок Экранная форма распознаваемой выборки некорректных библиографических описаний

Рисунок Экранная форма отображения стадии процесса идентификации нестандартных и некорректных библиографических описаний

На основе выше изложенного можно сделать обоснованный вывод о том, что АСК-анализ и его программный инструментарий интеллектуальная система «Эйдос», обеспечивают решение задачи идентификации текстов и авторов на основе библиографических описаний публикаций, в том числе нестандартных и некорректных, неполных и зашумленных. При этом обеспечивается очень высокий уровень достоверности идентификации объектов с классами, к которым он действительно принадлежат (100%) и очень высокий уровень достоверности не идентификации объектов с классами, к которым они действительно не принадлежат (около 98%).

5. Некоторые недостатки и перспективы

Основной недостаток предлагаемых решений, выявленный на приведенных в данной статье примерах, состоит в довольно значительных затратах вычислительных ресурсов, внешней памяти и времени на создание моделей, их верификацию и решение в этих моделях задач идентификации. Особенно это заметно на примере со 3949 статей, 19989 слов.

Таким образом, как обычно возникает вопрос о том, что делать в этих условиях.

Прежде всего, возникает мысль о том, что в больших библиографических базах типа РИНЦ, Скопус и т.п., предлагаемые в данной статье решения целесообразно применять не ко всем статьям и авторам, а лишь к тем, которые не удалось идентифицировать с помощью более простых и быстродействующих алгоритмов, уже реализованных в программном обеспечении этих систем. Иначе говоря применять их в тех случаях, в которых ранее было необходимо участие человека.

Следующая очевидная мысль состоит в том, что необходимо оптимизировать предлагаемые решения алгоритмы и решения специально для их реализации в программном обеспечении больших библиографических баз данных, таких как РИНЦ, Скопус и др. Для того, чтобы это сделать необходимо предварительно разобраться с причинами возникновения этой ситуации. Мы видим две такие основные причины:

Во-первых, это универсальность и независимость от предметной области алгоритма, реализованного в системе «Эйдос». В процессе синтеза и верификации моделей в системе производится расчет большого количества различных выходных форм, которые не нужны при решении задач, поставленных в статье.

Во-вторых, это отсутствие морфологического анализатора в текущей версии системы «Эйдос», в результате чего слова не приводятся к начальной форме и используются все словоформы, реально встретившиеся в библиографических ссылках. Это на порядок увеличивает размерность моделей и время их создания и использования для решения задач.

Соответственно, представляется, что есть два основных пути повышения быстродействия предложенных алгоритмов при их использовании для решения задач идентификации литературных источников и авторов на основе библиографических описаний:

1) оптимизация алгоритма специально для очень больших библиографических баз данных, типа РИНЦ и Скопус;

2) лемматизация текста на основе морфологического анализа, т.е. приведение слов к их исходной форме, и сокращение за счет этого размерностей баз данных на порядок и такое же повышение быстродействия алгоритма.

Кроме того, на взгляд автора, для повышения быстродействия алгоритмов обработки матриц чрезвычайно перспективным является применение в системе «Эйдос» технологии CUDA или другой функционально аналогичной, но более универсальной и менее зависимой от аппаратного обеспечения технологии, обеспечивающей высокопроизводительные параллельные неграфические вычисления на графических процессорах, обладающих огромными вычислительными ресурсами, на порядки превосходящими ресурсы центрального процессора.

5.2 Перспективы применения АСК-анализа и системы «Эйдос» для решения задач идентификации и прогнозирования на основе анализа Internet-контента

Литература