Выбор метода вычисления информативности признаков

Размещено на http://www.allbest.ru/

Аннотация

ВЫБОР МЕТОДА ВЫЧИСЛЕНИЯ ИНФОРМАТИВНОСТИ ПРИЗНАКОВ

М.О. Корлякова, Н.С. Твердохлеб Россия, Калуга, КФ МГТУ, mkorlyakova@yandex.ru.

В работе представлен подход к определению информативного состава признаков для описания предметной области. Рассмотрены меры информативности и показано, что они отбирают разные признаки. Предложен метод подбора мер информативности.

Введение

Способ представления известной информации зависит от смысла задачи, которую необходимо решать. Причем большое влияние на то, как эксперт представит знания, оказывает и традиционная форма представления, принятая для данной предметной области, и объем, и возможности интеллектуальной системы. Однако выбор технологии интеллектуального анализа информации должен быть сделан с учетом характера предметной области и целей обработки. В рамках подготовки известной информации к анализу необходимо решить несколько важных задач:

· Какие составляющие входной информации следует учитывать при создании модели предметной области?

· Какой объем информации необходимо и достаточно сохранять для адекватной работы базы знаний?

· Какова технология организации базы знаний?

· Какие технологии обработки информации следует использовать для создания концептуальных правил данной предметной области?

Решение всех перечисленных задач, как правило, ложится на плечи эксперта. При этом опыт человека определит общее качество решения. Зачастую недостаточно квалифицированная постановка задачи дискредитирует технологии интеллектуальной обработки информации в целом. Примером может быть многолетняя практика лабораторных работ по курсу "Информационные системы" на каф. ЭИУ 3-КФ в Калужском филиале МГТУ. Рядовым явлением при постановке учебных задач оказалось неумение пользователей четко описать цель анализа даже для знакомой предметной области. Однако, когда цель была описана, не менее сложным, оказалось определить признаки объектов. Самой частой ошибкой стало включение бессмысленных с точки зрения цели признаков (например, при выборе ЭВМ-сервера в качестве признака добавляется "цвет системного блока"). Не менее сложны и остальные вопросы организации модели предметной области. Однако первая составляющая постановки задачи интеллектуального анализа информации оказывает чрезвычайно важное влияние на все последующие этапы работы. Исследованию и разработке методов вычисления информативности посвящено огромное количество работ [Загоруйко, 1999, Вагин и др. 2004, Комарцова и др. 2002, Корлякова и др., 2006, Гайдышев, 2001 и др.]. Будем рассматривать наиболее простые формы представления информации - признаковые представления.

1. Методы вычисления информативности признаков

Выбор наиболее подходящей меры информативности для некоторой конкретной предметной области позволяет определить с одной стороны небольшое, а с другой стороны достаточное множество признаков. При этом нет формального критерия качества сделанного выбора, а рекомендации в пользу той или иной меры носят характер мнений эксперта и имеют неточный вид.

Рассмотрим процедуру постановки задачи на примере анализа выборки сигналов. Информация, которую необходимо анализировать, предоставлена ФГУП "Сосенский приборостроительный завод". Это сигнал, полученный с антенного комплекса системы контроля доступа "СОМО". Образцы сигнала снимались в двух режимах: без маркированного объекта (без метки) и с магнитной меткой в поле антенн. Каждый образец был, подвергнут обработке по БПФ (быстрое преобразование Фурье) и объект для работы состоит из 513 коэффициентов спектра. Пример образца с меткой и без метки приведен на Рис. 1 (временной вариант сигнала), Рис. 2 (спектральный вариант сигнала).

а) б)

Рис. 1. Образец сигнала без метки: а) и с меткой на расстоянии 20 см. от антенн б)

Размещено на http://www.allbest.ru/

Рис. 2. Спектр: а) - без метки, б)- метка на расстоянии 20 см., в) - 30 см., г) - 45 см

Объем доступной для работы выборки составляет несколько тысяч образцов. Каждый образец отнесен к классу "шум" (образцы без метки) или "метка". Среди полученных признаков (коэффициентов разложения) экспертом на основе визуального анализа выделено наиболее информативное подмножество в диапазоне от 100-го до 200-го признака. Для решения задачи разделения была организована нейронная сеть обратного распространения ошибки из 2-х слоев с 10-ю нейронами сигмоидального типа в скрытом слое [Комарцова и др. 2002]. Моделирование сети осуществлялось в среде Matlab 6.5 NeuroToolBox. Качество распознавания составило 66.4 % на обучающей выборке 600 образов за 55 эпох. С целью повышения качества было принято решение о выделении меньшего подмножества наиболее информативных признаков.

Процедуру поиска информативных признаков можно реализовать с использованием различных методов. Среди них можно выделить следующие подходы: информативность признак мера модель

Коэффициенты корреляции, такие как коэффициенты Пирсона, Фехнера, Кендалла, Спирмена и др. [Гайдышев, 2001]. Они предъявляют достаточно жесткие требования к закону распределения значений и виду признаков. Например, Коэффициент корреляции Спирмена может определять монотонные зависимости (т.е. монотонно возрастающие, либо монотонно убывающие). Он может применяться для признаков, измеренных как в количественной шкале, так и в порядковой. С другой стороны, коэффициент Пирсона применяется для вычисления силы линейной связи между количественными признаками

Информативность по Шеннону, которая использует меру трудности распознавания [Вагин и др. 2004].

Мера Хемминга, интерпретируемая как количество попарно одинаковых битов векторов [Гайдышев, 2001].

Оценку информативности признаков можно получить и непосредственно в процессе построения решающего правила в виде дерева дихотомических делений выборки по отдельным признакам [Загоруйко, 1999].

Все предъявленные меры с той или иной точностью решают вопрос информативности. Для сравнения результатов их работы провели численный эксперимент. Результаты формирования списка 10 наиболее важных признаков с точки зрения разных мер информативности приведены в Табл. 1.

Табл. 1

Очевидно, что на одном и том же наборе данных был получен существенно отличающийся порядок признаков с точки зрения информативности. Результаты моделирования нейросети для сокращенных в соответствии с полученной информативностью подмножеств признаков приведены в Табл. 2.

Табл. 2

Результаты решения одной и той же задачи существенно зависят от способа вычисления информативности. Это хорошо видно для случая пространства из 50 признаков, где разброс ошибки разделения объектов достиг 9.1 %. Качество выделения информативной составляющей зависит от применяемой меры и ее совместимости с конкретной задачей, что не всегда легко определить при постановке интеллектуальной задачи. Таким образом, подбор способа определения наиболее важных составляющих описания носит все признаки плохо формализуемой задачи. Следовательно, имеет смысл решать задачу выбора метода вычисления информативности как задачи интеллектуального анализа информации.

2. Исследование мер информативности

Будем рассматривать наиболее простой подвид фреймовых представлений - признаковые. Объектом исследования в данной постановке задачи является пространство признаков и множество объектов, для которых известно значение признаков и имя целевого класса или значение количественной меры цели. Такое представление некоторой предметной области задается через набор признаков в следующем виде

- множество значений j-го признака объектов предметной области,

- значение j-го признака i-го объекта предметной области,

С - множество значений цели, с_i - значение цели i-го объекта,

n - число рассматриваемых объектов предметной области.

Размещено на http://www.allbest.ru/

C = {c₁, c₂, …, c_n}

Для удобства в дальнейшем будем называть вектором-признаком, а С вектором-целью. Каждый признак имеет определенный формат. Признак может быть номинальным, дихотомическим, порядковым или количественным. В выше приведенном примере вектором-целью является тип объекта "шум" или "метка", а векторами-признаками - значения коэффициентов спектра.

Из множества признаков выбираем один, например и обозначим его символом P (). Размерность векторов P и C равна n и:

,

.

В рамках численного эксперимента P и C формировались как случайные последовательности значений. Для анализа методов вычисления информативности введена дополнительная "идеальная мера", которая определена как косинус угла между векторами и в n-мерном пространстве, где n - число рассматриваемых объектов предметной области и вычисляется по формуле:

где - скалярное произведение векторов, а - произведение модулей соответствующих векторов.

Для полностью коррелированных последовательностей , а для полностью различных (Рис. 3). Графически данную меру можно представить в n-мерном пространстве. Для пространства трех объектов n=3 она выглядит следующим образом (Рис. 3).

Исследуется отношение некоторой мер информативности для векторов Р и С к их "идеальной мере". Анализа различных методов вычисления информативности провели на основе нескольких тысяч вычислительных экспериментов и построили интервалы значений, которые принимали меры информативности.

Размещено на http://www.allbest.ru/

Рис. 3. Графическая интерпретация "идеальной меры"

Для 1000 пар векторов и получены результаты по мерам информативности Пирсона, Шеннона и Хемминга, которые приведены на Рис. 5.

Рис. 5. Меры информативности: а) Пирсона (Pir), б) Шеннона (Shen), в) Хемминга (Hem)

Анализ результатов показал, что методы вычисления информативности можно разделить на несколько групп. Условно были выделены три группы методов: с жесткими, слабыми и средними требованиями. Жесткими считаем требования, которые лежат выше "идеальной меры информативности", слабыми - те, которые лежат ниже, а средними - требования, которые совпадают с "идеальной меры информативности".

Сведение разброса значений по разным коэффициентам позволило получить дисперсию и среднее отклонение. Интервалы изменения значений мер информативности (k) приведены на Рис. 6, где они рассмотрены по отношению к "идеальной мере".

Рис. 6. Интервалы изменения значений мер информативности

Диапазон жестких, слабых, средних требований отмечены на Рис. 6. На основании исследования мер информативности удалось сформировать нечеткую базу правил. В качестве входных параметров используются количество объектов, количество признаков, вычисленная в результате эксперимента мера жесткости мер информативности, процент отбрасываемых признаков и эвристические представления эксперта. На основе построенной базы знаний создана система, использующая нечеткий вывод по Мамдани [Комарцова и др., 2002], которая определяет степень жесткости требований эксперта. В результате удается получить сокращенное подмножество рекомендуемых мер информативности. В частности, для выше приведенного примера выбор меры информативности при сокращении пространства на 50 %(50 признаков) требования эксперта признаны жесткими, а в качестве мер информативности следует использовать коэффициент Фехнера, меру Хемминга или Шеннона, но т.к. признаки носят количественный характер, то наиболее пригодной признан корреляционный коэффициент Фехнера. Эта мера позволяет получить качество решения на уровне 22 % ошибок (это практически лучший результат по всем опытам см. Табл. 2).

Заключение

Исследован ряд методов вычисления информативности и показано, что они дают существенно отличающиеся решения.

Качество решения интеллектуальных задач значительно зависит от набора признаков, а следовательно, необходимо решить вопрос выбора наиболее подходящей модели информативности для каждой задачи и каждого из признаков.

Разработана технология анализа мер информативности и построена база правил для выбора наиболее подходящей среди всех доступных в каждой конкретной предметной области.

На основе разработанной технологии анализа мер информативности, можно проанализировать другие меры, что позволит расширить доступное для работы множество методов вычисления близости элементов описания объектов.

Дальнейшая работа будет направлена на детализацию базы правил с целью повышения качества принимаемого системой решения.

Список литературы

1. [Загоруйко, 1999] Загоруйко Н.Г. Прикладные методы анализа данных и знаний. - Новосибирск: Из-во Ин-та математики, 1999. - 270 с.

2. [Вагин и др., 2004] Вагин В.Н., Головина Е.Ю., Загорянская А.А., Фомина М.В. Достоверный и правдоподобный вывод в интеллектуальных системах. - М.: Физматлит, 2004. - 704 с.

3. [Комарцова и др., 2002] Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры: учебное пособие для вузов. - М.: Из-во МГТУ им Н.Э. Баумана, 2002. - 320 с.

4. [Корлякова и др., 2006] Корлякова М.О., Твердохлеб Н.С. Анализ подходов к определению информативности признаков. // Научная сессия МИФИ-2006. Сборник научных трудов. В 16 томах. Т.3. Интеллектуальные системы и технологии. М.: МИФИ, 2006. 256 с. С. 146-147.

5. [Гайдышев, 2001] Гайдышев И. Анализ и обработка данных: специальный справочник. - СПб: Питер, 2001. - 752 с.

Размещено на Allbest.ru