Нечеткие математические модели терминосистем для определения предметной области текста

Размещено на http://www.allbest.ru/

Ульяновский государственный технический университет

Нечеткие математические модели терминосистем для определения предметной области текста

И.В. Арзамасцева (lingua@ulstu.ru)

Ульяновск

Аннотация

В работе описываются способы нечеткого математического моделирования терминологических систем проектных документов для определения предметной области текста и возможности их использования в системах автоматизированного проектирования.

Введение

Разнообразные лингвистические методики формирования словаря-тезауруса можно обобщить на основе нечеткого математического моделирования терминологической модели промышленного изделия. Нечеткие математические модели должны отражать структуру и характерные признаки терминологической системы в такой степени, что они позволили решить задачу идентификации предметной области проектного документа. Для достижения адекватности и применимости к автоматизированному проектированию подобные математические модели должны обобщать не произвольный корпус текстов, а корпус проектных документов.

1. Математическая модель, построенная на основе редукции конечного количества правил

Входные переменные модели определяются словарями предметной области (в нашем случае Нечеткой логики). В процессе исследования были выделены 6 подсловарей данной предметной области - «Нечеткая логика», «Логика», «Математика», «Компьютер», «Искусственный интеллект» и «Управляющие системы». Таким образом в модели нечеткого вывода выделяем 6 входных переменных, которые могут принимать значения, соответствующие относительной частоте встречаемости терминов данного словаря в множестве терминов предметной области. Обозначим их F, L, M, C, KI и LT.

F - относительная частота встречаемости терминов подсловаря «Нечеткая логика» (X₁).

L - относительная частота встречаемости терминов подсловаря «Логика» (X₂).

M - относительная частота встречаемости терминов подсловаря «Математика» (X₃).

LT - относительная частота встречаемости терминов подсловаря «Управляющие системы» (X₄).

C - относительная частота встречаемости терминов подсловаря «Компьютер» (X₅).

KI - относительная частота встречаемости терминов подсловаря «Искусственный интеллект» (X₆).

Для описания переменных введены три терма {«min», «med» и «max»}, описывающие значения этой переменной.

Очевидно, что степень принадлежности «0» к «min» = 1, а степень принадлежности «0» к «max» - соответственно 0. В качестве значений степени принадлежности возьмем нормированную относительную частоту, описываемую стандартными треугольными функциями принадлежности. На Рис. 1 представлены функции принадлежности первой входной переменной модели.

Рис. 1. Функции принадлежности входной переменной X₁

По данным о 30 группах текстов, полученных статистическим путем, были сформулированы нечеткие правила отнесения текста к определенной предметной области (в нашем случае - к области НЛ). [Арзамасцева и др., 2008а]

Выходная переменная отражает принадлежность текста к предметной области НЛ. Для описания переменной использованы два терма {«F», и «nF»}, отражающие принадлежность текста к данной предметной области.

F - степень принадлежности текста к предметной области НЛ.

nF - степень непринадлежности текста к предметной области НЛ.

Для каждого терма использована линейная функция принадлежности:

Рис.2. Функции принадлежности выходной переменной модели

Таким образом, рассмотрена моделирующая зависимость вида

y = f(x_1, x_2, x_3, x_4, x_5, x₆)

с использование одной базы знаний.

Введем оператор Fuzzy, который будет выполнять набор операций: импликация и агрегация. Результатом выполнения этих операций над фаззифицированным вектором входных переменных X оператора F будет множество

где м - функция принадлежности,

Х - входной вектор,

d - степень принадлежности текста к предметной области.

Для базы продукций получаем:

Оператор fuzzy

(x_i) =

Получаем следующую математическую модель определения принадлежности текста предметной области на основе нечеткого вывода по Мамдани:

или

Где ? - нечеткая выходная переменная;

x - входная переменная;

i - индекс для входов;

Г - функции принадлежности входных переменных

{A₁, A_2, A_3, A_4, A_5, A₆};

R_k - множество правил.

2. Математическая модель, построенная на основе мультисловарей

лингвистический словарь тезаурус терминологический

Для второй модели в качестве входных параметров системы нечёткого вывода также будем рассматривать 6 нечётких лингвистических переменных (см. модель 1.). А в качестве выходных параметров - 3 нечеткие лингвистические переменные, определяющие принадлежность текста к предметной области: «Fuzzy» - F, «Logik» - L, «Mathematik» - M.

В качестве терм-множества всех лингвистических переменных (ЛП) будем использовать множество Т1={«min», «med», «max», «none»} (Рис.3). При этом каждый из термов ЛП будем оценивать по шкале от 0 до 1, при которой цифре 0 соответствует наименьшая принадлежность терминов текста к определенному подсловарю, а цифре 1 - наибольшая.

Рис.3. Функции принадлежности выходной переменной F

После обработки 18 текстов по НЛ, 10 текстов по математике и 10 текстов по логике программой Fuzzy Base были получены частотные характеристики, на основе которых по средним значениям относительных частот встречаемости терминов построен частотный портрет (Рис. 4.). [Арзамасцева и др., 2008b]

Рис. 4. Частотный портрет

Затем по данным усредненных частот групп текстов каждой предметной области были найдены минимальные и максимальные значения. (Табл.1.)

Табл. 1.

По данным этих усредненных частот были сформулированы 3 нечетких правила отнесения текста к предметной области Нечеткой логики, Математики и Логики (система нечёткого вывода типа Мамдани):

ПРАВИЛО 1: ЕСЛИ уровень относительной частоты терминов F в тексте - «средний» И уровень относительной частоты терминов L - «средний» И уровень относительной частоты терминов M - «минимальный» И уровень относительной частоты терминов LT - «минимальный» И термины словарей C и KI - отсутствуют, ТО степень уверенности, что текст принадлежит к предметной области F - максимальная.

ПРАВИЛО 2: ЕСЛИ уровень относительной частоты терминов F в тексте - «минимальный» И уровень относительной частоты терминов L - «максимальный» И уровень относительной частоты терминов M - «минимальный» И термины словарей C, LT и KI - отсутствуют, ТО степень уверенности, что текст принадлежит к предметной области L - максимальная.

ПРАВИЛО 3: ЕСЛИ уровень относительной частоты терминов F в тексте - «минимальный» И уровень относительной частоты терминов L - «средний» И уровень относительной частоты терминов M - «максимальный» И термины словарей C, LT и KI - отсутствуют, ТО степень уверенности, что текст принадлежит к предметной области М - максимальная.

Формализованное множество данных правил выглядит следующим образом:

R₁ - IF X₁ is «med» AND X₂ is «med» AND X₃ is «min» AND LT is «min» then Text is F.

R₂ - IF X₁ is «min» AND X₂ is «max» AND X₃ is «min» then Text is L.

R₂ - IF X₁ is «min» AND X₂ is «med» AND X₃ is «max» then Text is M.

В таблице 2 приведены эти 3 правила базы знаний, сформулированные на основе частотных портретов текстов.

Табл. 2.

Задача идентификации предметной области состоит в определении степени принадлежности определенного текста к предметной области НЛ на основе нечеткого вывода на базе построенной модели. Точность модели будем оценивать с помощью значения среднеквадратической невязки [Штовба, 2003].

Где F(X) - значение выхода нечеткой модели при значении входов, заданных вектором X = [F, L, M, LT, C, KI], М - количество текстов, ? = 1 - степень уверенности принадлежности текста к предметной области НЛ.

На вход модели в качестве степени уверенности принадлежности терминов текста к соответствующему словарю подаются относительные частоты терминов всех подсловарей в каждом тексте.

Рис. 5. Правила нечеткого вывода для вектора данных средних значений текстов по НЛ

Расчет выбранной оценки по первым десяти текстам представлен в таблице 3.

Табл. 3.

Математическая модель определения принадлежности текста предметной области на основе мультисловарей, построенная на базе нечеткого вывода по Мамдани:

где

? - нечеткая выходная переменная;

x - входная переменная;

i - индекс для входов;

j - индекс для выходов;

Г - функция принадлежности входных переменных {A₁, A_2, A_3, A_4, A_5, A₆};

R_k - множество правил.

3. Использование математических моделей в САПР

В ФНПЦ ОАО «НПО «МАРС»» (г. Ульяновск) уже используется программное средство собственной разработки для автоматизации деятельности архивной службы электронных информационных ресурсов (ЭИР). Однако функционал этого средства недостаточно широк. Требуется доработка данной системы с целью автоматизации части функций архивариусов и интеллектуализации части процессов по управлению информацией. Расширением функционала данной системы является разработанный интеллектуальный сетевой архив электронных информационных ресурсов (ИСА ЭИР).

Ранее в подсистемах индексации применялись следующие модели:

· взвешивание терминов;

· «стоп-листы» - механизм уменьшения размерности индекса и шума вносимого в индекс документа за счет удаления наиболее часто употребляемыми терминами, предлогами;

· «stemming» - приведение термов к основной форме;

· «soundex» - механизмы, учитывающие опечатки и орфографические ошибки;

· устранение проблем синонимии и омонимии. [Наместников, 2009]

Одной из подсистем интеллектуального проектного репозитария является индексатор. Он отбирает из текста стоп-слова и на основе оставшихся терминов частично определяет предметную область документа.

Мы заменили в индексаторе словарь со стоп-словами на словарь-тезаурус, сформированный на основе анализа ТС. Тезаурус ? это терминологический ресурс, реализованный в виде словаря понятий и терминов со связями между ними. Основное назначение тезауруса в нашей системе ? определение предметной области: на основе связей тезауруса можно построить терминосистему, а навигация по связям тезауруса помогает получать на базе ТС точную идентификацию предметной области документа.

На первой стадии анализа в тексте происходит поиск терминов, описанных в Тезаурусе (как слов, так и словосочетаний). На основе связей Тезауруса термины группируются по смысловой близости во фреймы и подфреймы.

Каждый термин в тексте получает свою оценку релевантности относительно содержания документа, в зависимости от того, элементом какой ТС он является. Максимальный вес получают термины той ТС, которые встречались чаще, минимальный - упоминавшиеся термины. Иногда в тексте встречается минимальное количество терминов, но они настолько значимы, что текст необходимо отнести их именно к данной области. В этих случаях в программе используется коэффициент значимости термина, который можно настраивать.

Понятия с определенной таким образом оценкой релевантности образуют терминологический поисковый образ документа или тематическое представление содержания документа. Тематическое представление является основой для рубрицирования и аннотирования.

Для более точного определения предметной области документов необходимо было расширить словари ПО «Нечеткая логика», распределить данные подсловаря «НЛ» по фреймам и построить иерархический словарь-тезаурус.

Список литературы

1. Арзамасцева И.В., Евсеева О.Н. Построение правил нечеткого вывода для идентификации текстов проблемной области // Информационные технологии: межвузовский сборник научных трудов. Ульяновск: УлГТУ, 2008.

2. Арзамасцева И.В., Евсеева О.Н. Построение частотного портрета текстов проблемной области // Информационные технологии: межвузовский сборник научных трудов. Ульяновск : УлГТУ, 2008.

3. Наместников А.М. Интеллектуальные проектные репозитории / А.М. Наместников. - Ульяновск : УлГТУ, 2009.

4. Штовба С.Д. Идентификация нелинейных зависимостей с помощью нечеткого логического вывода в системе MATLAB // Exponenta Pro. Математика в приложениях, №2, 2003. URL: http://soft.mail.ru/journal/pdfversions/519588.pdf

Размещено на Allbest.ru