Атрибуция текстов, как обобщенная задача идентификации и прогнозирования

Размещено на http://www.allbest.ru/

Атрибуция текстов, как обобщенная задача идентификации и прогнозирования

Луценко Е.В., к.т.н.

Рассмотрим классическую тестовую задачу для систем искусственного интеллекта, предложенную Рышардом Михальски и Джеймсом Ларсоном и подробно описанную на страницах 205-208 в книге Д.Мичи и Р.Джонстона "Компьютер - творец".

Суть этой задачи сводится к тому, чтобы выработать правила, обеспечивающие идентификацию железнодорожных составов и прогнозирование направления их следования на основе их формализованных или вербальных описаний.

Выбор данной задачи не накладывает ограничений на выводы, полученные в результате ее исследования. Это обусловлено тем, что она имеет ряд характерных особенностей, наблюдающихся в подобных задачах в самых различных предметных областях, т.е. по сути данная задача с полным основанием может рассматриваться как типовая для широкого класса задач идентификации и прогнозирования.

Эти особенности состоят в следующем:

1. Имеется ряд объектов, имеющих сложную многоуровневую структуру признаков.

2. Для каждого из этих объектов известно, к каким обобщенным категориям (классам) он относится.

3. Необходимо сформировать модель, обеспечивающую как идентификацию объектов, так и определение их принадлежности к обобщенным классам.

Если признаки и классы относятся к одному времени, то имеет место задача идентификации (распознавания). Если же признаки (факторы, причины) относятся к прошлому, а классы, характеризующие состояния объектов - к будущему, то это задача прогнозирования. Математически эти задачи не отличаются.

Существуют различные подходы к решению данной задачи различаются способами формализации предметной области, объектов обучающей выборки и синтеза математической модели.

В данной статье мы рассмотрим два основных подхода:

1. "Классический", т.е. основанный на изучении объектов предметной области экспертами (когнитивный анализ), выделении признаков объектов и формирования описательных шкал и градаций, в которых шкалам и градациям соответствуют уникальные коды.

2. "Лингвистический", в котором вербальные описания объектов предметной области на естественном языке используются для автоматизированной формализации предметной области, формирования обучающей выборки и синтеза модели.

Кратко рассмотрим реализацию обоих этих подходов в интеллектуальной технологии "Эйдос".

Железнодорожный состав является сложным объектом, имеющим несколько иерархических уровней и допускающим, соответственно, несколько уровней описания.

Можно, например, описывать составы с использованием шкал только 2-го уровня или только 3-го уровня. Возможны и смешанные варианты.

1-й вариант соответствует гипотезе, что на запад или восток идут не составы, а отдельные вагоны (отличающиеся типом и грузом), а состав идет туда же, куда и большинство вагонов.

2-й вариант соответствует гипотезе, что составы как бы не состоят из различных вагонов с различными грузами, а свойства вагонов и грузов являются свойствами непосредственно состава.

Необходимо отметить, что сравнительно небольшое количество признаков вагонов обеспечивает огромное количество различных типов вагонов, из которых реально в приведенных составах встречается лишь незначительная часть. Очевидно, существует еще большее количество вариантов сочетаний различных типов вагонов с различными грузами, следования их друг за другом и т.п..

Из этого следует по крайней мере два основных вывода:

1. Составить исчерпывающий справочник для описания состава на 2-м уровне, в котором бы указывались все варианты сочетаний различных типов вагонов с различными грузами на практике довольно трудоемко и вряд ли нецелесообразно (из-за его огромной размерности).

2. Реально встречающиеся в составах сочетания типов вагонов и видов грузов практически все будут являться уникальными, что обеспечит однозначную идентификацию составов, если их описывать только на 2-м уровне. Это превращает задачу в тривиальную. Поэтому будем рассматривать описание составов на 3-м уровне с элементами 2-го.

Вербальные описания железнодорожных составов практически на естественном языке являются их лингвистическими моделями, которые могут обрабатываться в системе "Эйдос". При этом в справочники будут заноситься, причем автоматически, только реально встретившиеся признаки составов. информационный аналитический эйдос автоматизация

Задача 1.

1. Формализовать задачу, создав классификационные и описательные шкалы с использованием таблицы 1 и обучающую выборку на основе рисунка 1.

2. Осуществить синтез и верификацию модели.

3. Провести анализ модели, сформулировав правила для прогнозирования направления движения составов (в режиме: "Типология", "Информационные портреты классов").

4. Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи.

5. Сравнить составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). Вывести в графической форме семантические сети составов, построить классические когнитивные карты для составов идущих на запад и на восток.

Задача 2

1. Создать стандартизированные с использованием таблицы 1 текстовые описания составов в виде отдельных файлов стандарта DOS-текст с концами строк, записать их в поддиректорию DOB в виде: ####-zap.txt и ####-vos.txt.

2. Сгенерировать классификационные и описательные шкалы в режиме: "Автоввод первичных признаков и TXT-файлов", "Признаки - слова".

3. Сгенерировать обучающую выборку с использованием режима: "Ввод-корректировка обучающей выборки", "F7 InpTXT", "F6 Ввод из всех файлов". Дополнить анкеты, соответствующие составам, кодами принадлежности к обобщенным образам классов: "Идущие на запад", "Идущие на восток".

4. Осуществить синтез и верификацию модели.

5. Провести анализ модели, сформулировав правила для прогнозирования направления движения составов (в режиме: "Типология", "Информационные портеры классов").

6. Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи.

7. Сравнить составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). Вывести в графической форме семантические сети составов, построить классические когнитивные карты для составов идущих на запад и на восток.

Пример решения задачи 1

Пример решения задания 2.1: "Формализовать задачу, создав классификационные и описательные шкалы и обучающую выборку"