Размещено на http://www.allbest.ru/

Аск-анализ как метод выявления когнитивных функциональных зависимостей в многомерных зашумленных фрагментированных данных

Луценко Е.В.

Определим понятие "система" классическим способом, т.е. путем его подведения под более общее понятие "множество" и выделение специфических признаков. Система представляет собой множество элементов, объединенных в целое за счет взаимодействия элементов друг с другом, т.е. за счет отношений между ними, и обеспечивает преимущества в достижении целей. Преимущества в достижении целей обеспечиваются за счет системного эффекта. Системный эффект состоит в том, что свойства системы не сводятся к сумме свойств ее элементов, т.е. система как целое обладает рядом новых, т.е. эмерджентных свойств, которых не было у ее элементов. Уровень системности тем выше, чем выше интенсивность взаимодействия элементов системы друг с другом, чем сильнее отличаются свойства системы от свойств входящих в нее элементов, т.е. чем выше системный эффект, чем значительнее отличается система от множества. Элементы взаимодействуют (вступают в отношения) друг с другом с помощью имеющихся у них общих свойств, а также свойств, которые коррелируют между собой.

Таким образом, система обеспечивает тем большие преимущества в достижении целей, чем выше ее уровень системности. В частности, система с нулевым уровнем системности вообще ничем не отличается от множества образующих ее элементов, т.е. тождественна этому множеству и никаких преимуществ в достижении целей не обеспечивает. Этим самым достигается выполнение принципа соответствия между понятиями системы и множества. Из соблюдения этого принципа для понятий множества и системы следует и его соблюдение для понятий, основанных на теории множеств и их системных обобщений.

На этой основе можно ввести и новое научное понятие: понятие "антисистемы", применение которого оправдано в случаях, когда централизация (монополизация, интеграция) не только не дает положительного эффекта, но даже сказывается отрицательно. Антисистемой называется система с отрицательным уровнем системности, т.е. это такое объедение некоторого множества элементов за счет их взаимодействия в целое, которое препятствует достижению целей.

Фундаментом современной математики является теория множеств. Эта теория лежит и в основе самого глубокого на сегодняшний день обоснования таких базовых математических понятий, как "число" и "функция". Определенный период этот фундамент казался незыблемым. Однако вскоре работы целой плеяды выдающихся ученых XX века, прежде всего Давида Гильберта, Бертрана Рассела и Курта Гёделя, со всей очевидностью обнажили фундаментальные логические и лингвистические проблемы, в частности проявляющиеся в форме парадоксов теории множеств, что, в свою очередь, привело к появлению ряда развернутых предложений по пересмотру самых глубоких оснований математики [20].

В задачи данной статьи не входит рассмотрение этой интереснейшей проблематики, а также истории возникновения и развития понятий числа и функции. Отметим лишь, что кроме рассмотренных в литературе вариантов существует возможность обобщения всех понятий математики, базирующихся на теории множеств, в частности теории информации, путем тотальной замены понятия множества на понятие системы и тщательного отслеживания всех последствий этой замены. Это утверждение будем называть "программной идеей системного обобщения понятий математики".

Строго говоря, реализация данной программной идеи потребует прежде всего системного обобщения самой теории множеств и преобразования ее в математическую теорию систем, которая будет плавно переходить в современную теорию множеств при уровне системности, стремящемся к нулю. При этом необходимо заметить, что существующая в настоящее время наука под названием "Теория систем" ни в коей мере не является обобщением математической теории множеств, и ее не следует путать с математической теорией систем. Вместе с тем, на наш взгляд, существуют некоторые возможности обобщения ряда понятий математики и без разработки математической теории систем. К таким понятиям относятся прежде всего понятия "информация" и "функция".

Системному обобщению понятия информации посвящены работы автора [5], [6], [9], [10], [11] и др., поэтому в данной статье на этом вопросе мы останавливаться не будем. Отметим лишь, что на основе предложенной системной теории информации (СТИ) были разработаны математическая модель и методика численных расчетов (структуры данных и алгоритмы), а также специальный программный инструментарий (система "Эйдос") автоматизированного системно-когнитивного анализа (АСК-анализ), который представляет собой системный анализ, автоматизированный путем его рассмотрения как метода познания и структурирования по базовым когнитивным операциям.

В АСК-анализе теоретически обоснована и реализована на практике в форме конкретной информационной технологии процедура установления новой универсальной, сопоставимой в пространстве и времени, ранее не используемой количественной, т.е. выражаемой числами, меры соответствия между событиями или явлениями любого рода, получившей название "системная мера целесообразности информации", которая по существу является количественной мерой знаний [10]. Это является достаточным основанием для того, чтобы назвать эти числа "когнитивными" от английского слова "cognition" - "познание".

В настоящее время функция понимается как соответствие нескольких множеств чисел друг другу. Поэтому виды функций можно классифицировать по крайней мере в зависимости от:

- природы этих чисел (натуральные, целые, дробные, действительные, комплексные и т.п.);

- количества и вида множеств чисел, связанных друг с другом в функции (функции одного, нескольких, многих, счетного или континуального количества аргументов, однозначные и многозначные функции, дискретные или континуальные функции) [10];

- степени жесткости и меры силы связи между множествами чисел (детерминистские функции, функции, в которых в качестве меры связи используется вероятность, корреляция и другие меры);

- степени расплывчатости чисел в множествах и самой формы функции (четкие и нечеткие функции, использование различных видов шкал, в частности интервальных оценок).

Так как функции, выявляемые в модели предметной области методом АСК-анализа, связывают друг с другом множества когнитивных чисел, то предлагается называть их "когнитивными функциями". Учитывая перечисленные возможности классификации, когнитивные функции можно считать недетерминистскими многозначными функциями многих аргументов, в которых в качестве меры силы связи между множествами используется количественная мера знаний, т.е. системная мера целесообразности информации, основанная на интервальных оценках, номинальных и порядковых шкалах и шкалах отношений. Отметим, что детерминистские однозначные функции нескольких аргументов могут рассматриваться как частный случай когнитивных функций, к которому они сводятся при анализе жестко детерминированной предметной области, скажем, явлений, описываемых классической физикой.

Рассмотрим пример выявления и определения вида когнитивной функции на данных, моделирующих результаты физического эксперимента Галилея с бросанием бильярдных шаров с разных этажей Пизанской башни

Затем также средствами Excel первые три столбца данной таблицы записаны в стандарте DBF 4 (dBASE IV) (*.dbf) для передачи в систему "Эйдос", которая работает с этим стандартом баз данных. Затем с использованием стандартного программного интерфейса импорта данных из файлов стандарта, впервые предложенного автору профессором А.Н. Лебедевым при проведении одной из совместных работ, осуществляется автоматизированное формирование классификационных и описательных шкал и градаций и обучающей выборки, т.е. формализация предметной области.

После синтеза семантической информационной модели (СИМ) (уже содержащей все когнитивные функции) в 3-м режиме 2-й подсистемы системы "Эйдос" осуществляется переход в режим, обеспечивающий графическое отображение когнитивных функций.

Сравнение функций показывает их высокую идентичность, что позволяет сделать вывод о том, что технология АСК-анализа обеспечивает выявление закономерностей в эмпирических данных и их отображение в графической форме. Однако остается вопрос о степени адекватности данной технологии при решении подобных задач на многомерных зашумленных фрагментированных данных большой размерности, т.е. на данных, которые чаще всего и встречаются на практике. Под фрагментированными мы понимаем данные с неполными повторностями. Стандартные статистические методы, такие, например, как индексный метод, не позволяют обрабатывать подобные данные, поэтому приходится либо заполнять отсутствующие повторности каким-либо способом, не всегда обоснованным и корректным, либо вообще отказаться от обработки полного массива данных, выбрав из него очень небольшие "корректные" с этой точки зрения фрагменты.

Возможность использования АСК-анализа для выделения сигнала из шума даже при небольшом объеме обучающей выборки (всего 51 пример) и довольно жестких условиях:

- амплитуда шума результата была взята в 5000 раз выше минимального ненулевого значения амплитуды полезного сигнала и в 2 раза выше его максимального значения;

- шум аргумента составлял около 20 % от значения аргумента, т.е. был способен смещать данные до 10 позиций между группами всего при 51 позиции.

Сравнение рисунков 4, 5 и 6 показывает, что даже в этих условиях, при которых вид полезного сигнала на фоне шума уже практически не просматривается, вид когнитивной функции изменился весьма незначительно, и в основном это изменение связано с "краевыми эффектами". Причем краевые эффекты хорошо предсказуемы и могут быть скомпенсированы дополнительно, т.к. приводят к увеличению минимальных значений когнитивной функции и уменьшению ее максимальных значений. При увеличении объема исходных данных вклад краевых эффектов в общую картину значительно уменьшается.

Рассмотрим влияние фрагментации на результаты выявления и определение вида когнитивной функции.

Сравнение вида когнитивной функции показывает, что даже 33-процентная фрагментация не оказывает какого-либо существенного влияния на ее вид, тогда как при применении стандартных методов даже отсутствие двух данных в строке или столбце уже превращаются в настоящую проблему, т.к. такие пропуски уже некорректно восстанавливать путем интерполяции.

В заключение необходимо сказать несколько слов о взаимосвязи, существующей между информационными (семантическими) портретами факторов, которые позволяет генерировать технология АСК-анализа, и когнитивными функциями.

Информационный (семантический) портрет фактора - это список классов, ранжированный в порядке убывания силы влияния данного фактора на переход объекта управления в состояния, соответствующие данным классам.

Информационный портрет фактора называется также его семантическим портретом, т.к. в соответствии с концепцией смысла системно-когнитивного анализа, являющейся обобщением концепции смысла Шенка-Абельсона, смысл фактора состоит в том, какие будущие состояния объекта управления он детерминирует [10].

Сначала в этом списке идут состояния объекта управления, на переход в которые данный фактор оказывает наибольшее влияние, затем состояния, на которые данный фактор не оказывает существенного влияния, и далее состояния, переходу в которые данный фактор препятствует (также в порядке увеличения силы).

Информационные портреты факторов могут быть отфильтрованы по диапазону классов, в результате чего отображается влияние данного фактора на переход объекта управления не во все возможные будущие состояния, а только в те состояния, коды которых попадают в определенный диапазон, например, относящиеся к определенным классификационным шкалам.

Если взять несколько информационных портретов факторов, соответствующих градациям одной описательной шкалы, отфильтровать их по диапазону градаций некоторой классификационной шкалы и взять из каждого информационного портрета по одному состоянию, на переход в которое объекта управления данная градация фактора оказывает наибольшее влияние, то мы получим зависимость, отражающую "вероятность" перехода объекта управления в будущие состояния под влиянием различных значений некоторого фактора. Если на когнитивной функции отображать не по одному, а по два состояния или более будущих состояний объекта управления, на переход в которые значения факторов оказывают наибольшее влияние, то будут получены многозначные когнитивные функции, которые в данной статье не приводятся.

Когнитивная функция представляет собой график зависимости "вероятностей" перехода объекта управления в будущие состояния под влиянием различных значений некоторого фактора.

Когнитивные функции влияния являются наиболее развитым средством изучения причинно-следственных зависимостей в моделируемой предметной области, предоставляемым АСК-анализом и его программным инструментарием - системой "Эйдос". Необходимо отметить, что на вид когнитивных функций математической моделью СК-анализа не накладывается никаких ограничений, в частности они могут быть и нелинейные.

Смысл когнитивной функции влияния можно прояснить, если представить себе очень упрощенный случай, когда у нас есть всего две описательные шкалы, формализующие факторы, и одна классификационная, формализующая состояния объекта управления. В этом случае когнитивные функции влияния можно считать сечениями поверхности двумерного графика, отражающего зависимость состояний объекта от факторов, поверхностью, параллельной классификационной шкале и одной из описательных шкал. Этот же смысл сохраняется у функций влияния и тогда, когда классификационных и описательных шкал много, но наглядно представить себе это сложнее. Подобный численный пример, аналогичный приведенным в данной статье, разработан и исследован автором, однако здесь он не приводится по причине значительного объема. Так, например, таблица исходных данных, созданная на основе приведенного в данной статье 51 примера, по каждой из осей составит уже 2601 строку.

Каждая опорная точка на графиках когнитивных функций снабжена числом и вертикальным интервалом, которые отражают вклад данного значения фактора в детерминацию конкретного состояния объекта управления. Это в определенной мере является аналогом доверительного интервала в СК-анализе [9]. Число означает процент количества информации от теоретически максимально возможного, которое мы получаем из факта действия данного значения фактора о переходе объекта управления в данное состояние. Вертикальный интервал тем меньше, чем выше степень детерминации.

В системе "Эйдос" в режиме импорта данных реализована возможность генерации случайной модели (классификационных и описательных шкал и обучающей выборки), которая позволяет исследовать влияние белого шума на характеристики семантической информационной модели.

В частности, этот режим позволяет определить, какая часть валидности обусловлена законами теории вероятностей, а какая работой системы распознавания, причем в зависимости от параметров модели (размерности по классам и признакам и объема обучающей выборки). Например, при увеличении объема выборки результат все ближе к предсказываемому теорией вероятностей. Но при небольших объемах выборки модель даже в шуме находит "нешумовые" особенности, в результате чего валидность модели получается заметно выше, чем по теории вероятностей даже при довольно больших выборках. Это позволяет сделать вывод, что при анализе величины интегральной валидности конкретной модели и попытках оценивать ее в категориях "довольно хорошая" или "не достаточно высокая", необходимо сравнивать ее с валидностью, получаемой по теории вероятностей. Например, если в модели есть два класса, то валидность даже с неработающей системой распознавания или при полном отсутствии каких-либо закономерностей в предметной области должна быть 50 % при равновероятных классах, а если классов 10, то валидность должна быть 10 %. И только то, что выше значения, предсказываемого теорией вероятности, можно считать вкладом в валидность системы распознавания.

Если статистика мала и закон больших чисел неприменим, то система "Эйдос" воспринимает шум как закономерности (причем даже иногда детерминистского характера, когда статистики вообще нет) и работает с очень высокой валидностью, тем выше, чем меньше статистика.

Получается, что о выявлении закономерностей в предметной области можно говорить только тогда, когда статистика достаточно велика, т.е. настолько велика, что если бы в ней закономерностей не было (а был только шум), то валидность была бы близка с предсказываемой теорией вероятностей, а фактически она значительно выше, чем эта величина.

Это позволяет сделать некоторые выводы.

Во-первых, валидность при уменьшении отношения сигнал/шум должна стремиться не к нулю, а к величине, предсказываемой теорией вероятностей для равновероятных событий. Можно, конечно, ввести некую величину (каузальная валидность) как разность фактической валидности в системе "Эйдос" и теоретически предсказанной по теории вероятностей. Вот она уже и будет стремиться к нулю.

Во-вторых, белый шум обладает такими статистическими характеристиками (автокорреляция белого шума равна нулю), что при увеличении объема исследуемой выборки эта каузальная валидность стремится к нулю и при внутренней, и при внешней валидности.

В-третьих, то, что каузальная валидность на практике весьма медленно стремится к нулю, может означать, с одной стороны, невысокое качество генератора псевдослучайных чисел, а с другой стороны - высокое качество семантической информационной модели, являющейся мощным средством выявления закономерностей в предметной области. Кстати, это можно рассматривать как процедуру, позволяющую количественно сравнивать различные генераторы "на степень их случайности".

Интересно сделать случайную модель с такими же параметрами, как какая-нибудь из реальных моделей (с таким же количеством классов, признаков, анкет), и сравнить валидность с валидностью реальной модели. Можно считать, что разница между валидностью в реальном примере и случайной модели обусловлена наличием причинно-следственных связей в предметной области.

В качестве развернутых примеров применения аппарата когнитивных функций, реализованного в АСК-анализе, при проведении реальных исследований на многомерных зашумленных фрагментированных данных можно рассматривать работы [1-4], [12-20].

Список литературы

1. Калустов А.А. Применение автоматизированного системно-когнитивного анализа для совершенствования методов компьютерной селекции подсолнечника / А.А. Калустов, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2005. - №02(10). - Режим доступа: http://ej.kubagro.ru/2005/02/10/p10.asp.

2. Крохмаль В.В. Когнитивная структуризация и формальная постановка задачи устойчивости перерабатывающего комплекса / В.В. Крохмаль // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - № 01(3). - Режим доступа: http://ej.kubagro.ru/2004/01/15/p15.asp.

3. Крохмаль В.В. Синтез численной модели и анализ устойчивости перерабатывающего комплекса АПК Краснодарского края / В.В. Крохмаль // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №01(3). - Режим доступа: http://ej.kubagro.ru/2004/01/09/p09.asp.

4. Лопатина Л.М. Концептуальная постановка задачи: "Прогнозирование количественных и качественных результатов выращивания заданной культуры в заданной точке" / Л.М.Лопатина, И.А. Драгавцева, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05(7). - Режим доступа: http://ej.kubagro.ru/2004/05/08/p08.asp.

5 . Луценко Е.В. Интеллектуальные информационные системы: Учебное пособие для студентов специальности 351400 "Прикладная информатика (по отраслям)". - Краснодар: КубГАУ, 2004. - 633 с.

6 . Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем) // Монография (научное издание). - Краснодар: КубГАУ, 2002. - 605 с.

7. Луценко Е.В. Виртуализация общества как основной информационный аспект глобализации (основы информационно-функциональной теории развития техники и информационной теории стоимости) / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2005. - №01(9). - Режим доступа: http://ej.kubagro.ru/2005/01/02/p02.asp.

8. Луценко Е.В. Критерии реальности и принцип эквивалентности виртуальной и "истинной" реальности / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №06(8). Режим доступа: http://ej.kubagro.ru/2004/06/10/p10.asp.

9 . Луценко Е.В. Расчет эластичности объектов информационной безопасности на основе системной теории информации // Безопасность информационных технологий. - М.: МИФИ, 2003. - №2. - С. 82-90.

10. Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка-Абельсона / Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №03(5). Режим доступа: http://ej.kubagro.ru/2004/03/04/p04.asp.

11 . Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1") // Монография (научное издание). - Краснодар: КЮИ МВД РФ, 1996. - 280 с.

12. Сафронова Т.И. Исследование семантической информационной модели управления качеством грунтовых вод на рисовых оросительных системах / Т.И. Сафронова, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05(7). - Режим доступа: http://ej.kubagro.ru/2004/05/14/p14.asp.

13. Сафронова Т.И. Когнитивная структуризация и формализация задачи управления качеством грунтовых вод на рисовых оросительных системах / Т.И. Сафронова, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05(7). - Режим доступа: http://ej.kubagro.ru/2004/05/13/p13.asp.

14. Сафронова Т.И. Проблема управления качеством грунтовых вод на рисовых оросительных системах и концепция ее решения / Т.И. Сафронова, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05(7). - Режим доступа: http://ej.kubagro.ru/2004/05/11/p11.asp.

15. Сафронова Т.И. Синтез, оптимизация и верификация семантической информационной модели управления качеством грунтовых вод на рисовых оросительных системах / Т.И. Сафронова, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №05(7). - Режим доступа: http://ej.kubagro.ru/2004/05/12/p12.asp.

16. Ткачев А.Н. Гуманистическая экономика, качество жизни и цели региональной администрации / А.Н. Ткачев, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/18/p18.asp.

17. Ткачев А.Н. Исследование многоуровневой семантической информационной модели влияния инвестиций на уровень качества жизни населения региона / А.Н. Ткачев, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/19/p19.asp.

18. Ткачев А.Н., Луценко Е.В. Постановка задачи и синтез многоуровневой модели влияния инвестиций на качество жизни. Труды Кубанского государственного аграрного университета, 2002. - Вып. 401 (429), юбилейный. - С. 314-326.

19. Ткачев А.Н. Формальная постановка задачи и синтез многоуровневой семантической информационной модели влияния инвестиций на уровень качества жизни населения региона / А.Н. Ткачев, Е.В. Луценко // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №04(6). - Режим доступа: http://ej.kubagro.ru/2004/04/17/p17.asp.

Размещено на Allbest.ru