Известно, что более общие модели включают в себя частные и в предельном случае асимптотически переходят в них, т.е. удовлетворяют принципу соответствия, и это является обязательным для более общих теорий.

Возникает естественный вопрос о том, выполняется ли этот фундаментальный методологический принцип для L-меры и F-меры.

Ответ на этот вопрос совершенно элементарен и очевиден: «конечно соответствует». Убедиться в этом просто. Для этого достаточно, чтобы уровни сходства-различия i-го объекта с j-м классом в соответствии с моделью при истино-положительных, истино-отрицательных и ложно-отрицательных решениях асимптотически стремились к 1:

(6)

Тогда выражения (5) асимптотически перейдут в (4), и L-мера в F-меру. Проще говоря, если в некоторой модели считать, что объект относится к классу, если уровень сходства объекта с классом больше нуля, и считать что не относится, если уровень сходства объекта с классом меньше нуля, то L-мера переходит в классическую F-меру Ван Ризбергена.

3. Численный пример применения L-меры и сравнение L-меры с F-мерой

Кратко рассмотрим простой численный пример, наглядно иллюстрирующий вышеизложенные теоретические положения.

Для численного примера используем лабораторную работу 3.03, встроенную в интеллектуальную систему «Эйдос», которая является программным инструментарием АСК-анализа.

Для этого скачиваем систему «Эйдос» с сайта автора по адресу: http://lc.kubagro.ru/aidos/_Aidos-X.htm и запускаем ее, следуя инструкциям на сайте.

Затем в режиме 1.3 устанавливаем лабораторную работу 3.03, следуя инструкциям системы с параметрами по умолчанию. При этом в приведенной последовательности будут открываться следующие экранные формы, представленные на рисунке 1:

Рисунок 1. Экранные формы системы «Эйдос», открывающиеся при установке встроенной лабораторной работы 3.03.

Исходные данные для построения модели

Структура таблицы исходных данных 1 соответствует требованиям системы «Эйлос», представленным в Help на рисунке 2:

Рисунок 2. Help программного интерфейса ввода данных из внешних баз данных системы «Эйдос»

Каждая строка таблицы содержит информацию об одном физическом объекте обучающей выборки. Классификационные шкалы выделены желтым фоном и представляют собой способы группировки объектов для формирования классов. Классы представляют собой градации классификационных кал. Каждый физический объект обучающей выборки включает два логических объекта, относящихся к конкретным и обобщающим классам. Поэтому получается, что 20 физических объектов в таблице представлены в форме 40 логических объектов.

На рисунке 3 представлены классификационные шкалы и градации, а на рисунке 4 - описательные шкалы и градации:

Рисунок 3. Классификационные шкалы и градации

Рисунок 4. Описательные шкалы и градации

На рисунке 5 представлена обучающая выборка, представляющая собой нормализованную с помощью справочников классификационных и описательных шкал и градаций (рисунки 3. 4) таблицу исходных данных (таблица):

Рисунок 5. Обучающая выборка

Синтез и верификация моделей осуществляется в режиме 3.5 (рисунок 6):

Рисунок 6. Экранная форма режима 3.5 системы «Эйдос»

На рисунке 7 приведена экранная форма режима 3.5 с отображением стадии исполнения синтеза и верификации моделей:

Рисунок 7. Экранная форма режима 3.5 с отображением стадии исполнения синтеза и верификации моделей

На рисунке 8 приведена выходная экранная форма с отображением результатов верификации моделей с применением классической F-меры Ван Ризбергена и L-меры проф.Е.В.Луценко, которая представляет собой ее нечеткое мультиклассовое обобщение.

Из сравнения значений F-меры и L-меры мы видим, что L-мера имеет большие значения. Это обусловлено тем, что при истинных результатах классификации (как идентификации, так и неидентификации), уровень сходства-различия выше, чем при ложных результатах классификации, в классической F-мере это не учитывается.

Это наглядно видно на форме, представленной на рисунке 9.

Рисунок 8. Выходная экранная форма с отображением результатов верификации моделей с применением классической F-меры Ван Ризбергена и L-меры проф.Е.В.Луценко, которая представляет собой ее нечеткое мультиклассовое обобщение

Рисунок 9. Частотное распределение уровней сходства верно и ошибочно идентифицированных и неидентифицированных объектов обучающей выборки при их сравннии со всеми классами в наиболее достоверной модели INF4

Из рисунка 9 видно, что:

-в модели INF4 встречаются только положительные ошибочные решения;

- при ошибочных решениях (синий цвет графика) уровень сходства объектов с классами не превосходит 45%, а при истинных он достигает, 100%;

- при отрицательных решениях в модели INF4 уровень различия по модулю значительно выше, чем сходства при положительных.

Поэтому если при положительных решениях игнорировать те из из них, которые с уровнем сходства ниже 45%, то модель вообще не будет иметь ложных решений. При использовании классической F-меры Ван Ризбергена аналогичная возможность вообще отсутствует в принципе.

На рисунке 10 приведен Help режима вывода результатов верификации моделей.

Рисунок 10. Help режима 4.1.3.6 системы «Эйдос»

В соответствии с порядком преобразования данных в информацию, а ее в знания, в соответствии с которым построена система «Эйдос» (рисунок 11), наиболее достоверная модель делается текущей и в ней решаются все задачи АСК-анализа:

- классификации, прогнозирования, идентификации, диагностики, распознавания;

- поддержки принятия решений;

- исследования моделируемой предметной области путем исследования ее модели:

Рисунок 11. Порядок преобразования данных в информацию, а ее в знания, в соответствии с которым построена система «Эйдос»

Различные модели отличаются частными критериями знаний [9].

В соответствии с этой схемой и рисунком 8 установим в качестве текущей модель INF4 (рисунок 12):

Рисунок 12. Присвоение наиболее достоверной модели статуса текущей модели

Пакетное распознавание в наиболее достоверной модели INF4 (рисунок 13):

Рисунок 13. Экранная форма, отражающая процесс пакетного распознавания в наиболее достоверной модели INF4

На рисунке 14 приведен фрагмент меню системы «Эйдос», на котором показаны режимы отображения результатов распознавания:

Рисунок 14. Фрагмент меню системы «Эйдос», на котором показаны
режимы отображения результатов распознавания

На рисунке 15 мы видим один из этих результатов классификации, отображаемых в режиме 4.1.3.2:

Рисунок 15. Одна из выходных форм система «Эйдос» с отображением результатов классификации в наиболее достоверной модели INF4

На рисунке 15 мы видим три ложно-положительных решения, но мы и видим также, что уровни сходства объектов с классом при этих решениях значительно (в разы) меньше, чем при истино-положительных решениях (отмечены «птичкой»). Из предыдущего изложения ясно, что F-мера не учитывает этого существенного обстоятельства и этот ее недостаток преодолевается предложенной в данной работе L-мерой.

На рисунках 16 выходные формы по результатам классификации с расчетом F-меры и L-меры для классов и объектов тестовой выборки.

Необходимо отметить также, что все выходные экранные формы в системе «Эйдос» просто визуализируют в окнах специально созданные выходные базы данных DBF-стандарта, которые открываются всеми версиями MS Excel и практически готовы для печати.

Рисунок 16. Выходные экранные формы по результатам классификации с расчетом F-меры и L-меры для классов и объектов тестовой выборки

Выводы

Классическая количественная мера достоверности моделей: F-мера Ван Ризбергена основана на подсчете суммарного количества верно и ошибочно классифицированных и не классифицированных объектов обучающей выборки. В мультиклассовых системах классификации объект может одновременно относится ко многим классам. Соответственно при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической F-мере, но правильно или ошибочно относится или не относится к ним в различной степени. Однако классическая F-мера не учитывает того, что объект может фактически одновременно относится ко многим классам (мультиклассовость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость). На численных примерах автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами значительно выше, чем при ложно-положительных и ложно-отрицательных решениях. Поэтому было бы рационально в мере достоверности модели учитывать не просто сам факт истинно или ложно положительного или отрицательного решения, но и учитывать степень уверенности классификатора в этих решениях. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), изначально используется предложенная их разработчиком мера достоверности моделей, по сути являющаяся нечетким мультиклассовым обобщением классической F-меры (предлагается называть ее L-мерой). В данной статье L-мера описана математически и ее применение продемонстрировано на простом численном примере.

Предлагаемые технологии синтеза и верификации моделей могут быть использованы при создании и применении адаптивных интеллектуальных измерительных систем [10], а также разработке нечетких мультиклассовых обобщений других мер достоверности моделей, которые довольно разнообразны и многочисленны [6].

Литература

1. Сайт: http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html

2. Сайт: https://habrahabr.ru/post/228963/

3. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос". Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-830-0. http://elibrary.ru/item.asp?id=22401787

4. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-757-0. http://elibrary.ru/item.asp?id=21358220

5. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с. http://elibrary.ru/item.asp?id=18632909

6. Амелькин С.А. Оценка эффективности рекомендательных систем. http://rcdl.ru/doc/2012/paper44.pdf

7. Шевелев О.Г. Методы автоматической классификации текстов на естественном языке: Учебное пособие. Томск: ТМЛ-Пресс, 2007. - 144c.

8. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с. http://elibrary.ru/item.asp?id=21745340

9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

10. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы «Эйдос» и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. - IDA [article ID]: 1161602001. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.

11. https://yandex.ru/search/?msid=1478655999.15495.22884.13159&text=коэффициенты%20эмерджентности%20Хартли%20%20Харкевича&lr=35

12. Луценко Е.В. Количественные меры возрастания эмерджентности в процессе эволюции систем (в рамках системной теории информации) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2006. - №05(021). С. 355 - 374. - Шифр Информрегистра: 0420600012\0089, IDA [article ID]: 0210605031. - Режим доступа: http://ej.kubagro.ru/2006/05/pdf/31.pdf, 1,25 у.п.л.

13. Луценко Е.В. Обобщенный коэффициент эмерджентности Хартли как количественная мера синергетического эффекта объединения булеанов в системном обобщении теории множеств / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №02(066). С. 535 - 545. - Шифр Информрегистра: 0421100012\0031, IDA [article ID]: 0661102045. - Режим доступа:http://ej.kubagro.ru/2011/02/pdf/45.pdf, 0,688 у.п.л.

14. Луценко Е.В. Исследование влияния подсистем различных уровней иерархии на эмерджентные свойства системы в целом с применением АСК-анализа и интеллектуальной системы "Эйдос" (микроструктура системы как фактор управления ее макросвойствами) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №01(075). С. 638 - 680. - Шифр Информрегистра: 0421200012\0025, IDA [article ID]: 0751201052. - Режим доступа: http://ej.kubagro.ru/2012/01/pdf/52.pdf, 2,688 у.п.л.

15. Луценко Е.В. Количественная оценка уровня системности на основе меры информации К. Шеннона (конструирование коэффициента эмерджентности Шеннона) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №05(079). С. 249 - 304. - IDA [article ID]: 0791205018. - Режим доступа: http://ej.kubagro.ru/2012/05/pdf/18.pdf, 3,5 у.п.л.

16. Луценко Е.В. Коэффициент эмерджентности классических и квантовых статистических систем / Е.В. Луценко, А.П. Трунев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 214 - 235. - IDA [article ID]: 0901306014. - Режим доступа: http://ej.kubagro.ru/2013/06/pdf/14.pdf, 1,375 у.п.л.

17. Трунев А.П. Гравитационные волны и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 1343 - 1366. - IDA [article ID]: 0971403092. - Режим доступа: http://ej.kubagro.ru/2014/03/pdf/92.pdf, 1,5 у.п.л.

18. Трунев А.П. Логарифмический закон и коэффициент эмерджентности классических и квантовых систем / А.П. Трунев, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №06(120). С. 1659 - 1685. - IDA [article ID]: 1201606110. - Режим доступа: http://ej.kubagro.ru/2016/06/pdf/110.pdf, 1,688 у.п.л.

Размещено на Allbest.ru