Автоматизированный системно-когнитивный анализ и его применение для управления социально-экономическими системами в АПК

Размещено на http://www.allbest.ru/

Кубанский государственный аграрный университет

Автоматизированный системно-когнитивный анализ и его применение для управления социально-экономическими системами в АПК

Луценко Евгений Вениаминович, д.э.н., к.т.н., профессор

Лойко Валерий Иванович, заслуженный деятель науки РФ, д.т.н., профессор

Макаревич Олег Александрович, к.э.н., доцент

Макаревич Лилия Олеговна, соискатель

Краснодар

Аннотация

В статье сформулированы проблема и задачи управления социально-экономическими системами в агропромышленном комплексе (АПК) и для их решения предложено применить автоматизированный системно-когнитивный анализ (АСК-анализ). Решение данной проблемы рассматривается на примере многоотраслевой интегрированной производственной системами АПК (МИПС АПК). Кратко рассмотрены теоретические основы, математическая модель, методика численных расчетов и программный инструментарий АСК-анализа, а также основные результаты и перспективы его применения для управления социально-экономическими системами в АПК

Ключевые слова: системный подход, системно-когнитивный анализ, многоотраслевая корпорация, прогнозирование, семантическая информационная модель.

Введение

Агропромышленный комплекс (АПК) представляет собой реальный сектор экономики, во многом определяющий продовольственную безопасность и само существование страны (глобальная цель АПК). Государственная аграрная политика направлена на достижение глобальной цели АПК путем согласования и корректировки целей хозяйств, отраслей и регионов с использованием в основном экономических рычагов.

Наработанные за прошедшие десятилетия экономические схемы хозяйствования, технологии производства, заготовки, хранения и переработки сельскохозяйственной продукции были ориентированы на приоритеты плановой затратной экономики, экономики недопроизводства, поэтому в настоящее время они быстро теряют адекватность и настоятельно требуют пересмотра. Разработка новых подходов к управлению в АПК, основанных на непредвзятом учете и признании складывающихся макроэкономических реалий, на критериях эффективности и качества рыночной экономики, требует срочных согласованных усилий ученых - аграриев и является одним из приоритетов экономической теории и практики.

Управление в АПК всегда представляло собой проблему, имеющую комплексную межотраслевую природу и состоящую как в рациональном выборе целей производства для конкретных хозяйств, так и в оценке достижимости этих целей и выборе путей их достижения.

Экономической целью каждого хозяйства в АПК в рыночных условиях безусловно является получение максимальной прибыли. Достичь этой цели можно путем производства и реализации на рынке наиболее рентабельных видов продукции в необходимых потребителям объемах. Поэтому для достижения экономической цели хозяйству необходимо решить следующие задачи:

1. Поставить предварительную цель производству - выпустить в рациональных объемах востребованные виды продукции, на основе прогнозирования спроса (коньюнктуры рынка) на сельскохозяйственную продукцию в номенклатуре в натуральном и стоимостном выражении.

2. Выработать реальную цель производства путем корректировки предварительной цели с учетом ограничений: прогнозируемых возможностей производственного потенциала хозяйства (прогнозирования предложения) при различной рентабельности видов продукции. Оценка производственного потенциала хозяйства должна осуществляться по каждому виду продукции в натуральном и стоимостном выражении по количественному и качественному критериям. Для этого необходимо:

а) для каждого пункта выращивания (зоны и подзоны) ранжировать культуры по степени соответствия их генотипа условиям данного пункта;

б) для каждой культуры ранжировать зоны и подзоны выращивания по степени соответствия их условий требованиям генотипа.

3. Выбрать пути достижения целей (способ управления), т.е. реализовать поддержку принятия решений по рациональному выбору агротехнологий (агротехнологических факторов), обеспечивающих перевод объекта управления в заданное целевое состояние, соответствующее поставленной реальной цели производства.

Вышеперечисленные проблемы рассматриваются в работе с точки зрения проектирования информационных технологий и автоматизированных систем управления (АСУ). Решение этих проблем с помощью стандартных математических методов и инструментария математической экономики наталкивается на ряд сложностей:

- специфика объектов АПК, как объектов управления, а именно их слабодетерминированность, многофакторность и активность, а также малоисследованный характер реагирования объекта управления на управляющие факторы;

- комплексный многофакторный характер управляющих воздействий;

- очень большая длительность цикла управления (от одного года до 5-10 и более лет);

- неполнота (фрагментарность), неточность, зашумленность исходной информации;

- сложность доступа к исходной информации, в частности отсутствие или недоступность (часто из-за местнических или узкопонимаемых профессиональных интересов) электронных баз данных, которые могли бы послужить основной для разработки современных систем поддержки принятия управленческих решений.

Автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий представляют собой один из возможных подходов к решению сформулированных выше проблемы и задач. АСК-анализ представляет собой системно-когнитивный анализ (СК-анализ), рассматриваемый совместно с его программным инструментарием, в качестве которого в настоящее время выступает интеллектуальная система «Эйдос».

АСК-анализ позволяет непосредственно на основе эмпирических данных в количественной сопоставимой форме выявить силу и направление влияния значений факторов различной природы (измеряемых в различных единицах измерения) на переход моделируемого объект в различные будущие состояния [1]. При этом метод обеспечивает обработку данных очень большой размерности, является непараметрическим и не требует полных повторностей всех сочетаний значений факторов и будущих состояний моделируемой системы, а также эффективно подавляет шум в исходных данных и выделяет полезный сигнал из шума [1]. АСК-анализ и его инструментарий - это метод исследования не зависящий от предметной области, т.е. применимый во многих предметных областях. Но перечисленные его особенности и возможности очень важны именно при моделировании социально-экономических систем, т.к. с ними невозможно планировать и проводить эксперименты (по крайней мере это очень рискованно и дорого) и исходные данные, описывающие подобные системы, обычно сильно зашумлены, т.е. имеют высокую погрешность.

Ниже рассмотрим:

1. Теоретические предпосылки АСК-анализа.

2. Математическую модель автоматизированного СК-анализа (системная теория информации).

3. Методику численных расчетов АСК-анализа.

4. Специальный программный инструментарий АСК-анализа - Интеллектуальную систему "Эйдос".

5. Опыт и перспективы применения АСК-анализа для управления социально-экономическими системами в АПК.

1. Теоретические предпосылки АСК-анализа

Системно-когнитивный анализ является новым и сравнительно малоизвестным математическим и инструментальным методом экономики, поэтому авторы посчитали целесообразным привести в данной статье краткую информацию об этом методе, полностью основываясь на работе [1], в которой предложен и впервые в развернутом виде описан этот метод.

Системно-когнитивный анализ представляет собой системный анализ, рассматриваемый как метод познания и структурированный по базовым когнитивным (познавательным) операциям (БКОСА). Сам набор БКОСА следует из формализуемой когнитивной концепции, рассматривающей процесс познания как многоуровневую иерархическую систему обработки информации, в которой когнитивные структуры каждого уровня являются результатом интеграции структур предыдущего уровня.

На 1-м уровне этой системы (рис. 1) находятся дискретные элементы потока чувственного восприятия, которые на 2-м уровне интегрируются в чувственный образ конкретного объекта. Те, в свою очередь, на 3-м уровне интегрируются в обобщенные образы классов и факторов, образующие на 4-м уровне кластеры, а на - 5-м конструкты. Система конструктов на 6-м уровне образуют текущую парадигму реальности (т.е. человек познает мир путем синтеза и применения конструктов). На 7-м же уровне обнаруживается, что текущая парадигма не единственно-возможная (рис. 1).

Рис. 1. Обобщенная схема формализуемой когнитивной концепции (иерархия базовых когнитивных операций)

Ключевым для когнитивной концепции является понятие факта - соответствие дискретного и интегрального элементов познания (т.е. элементов разных уровней интеграции-иерархии), обнаруженное на опыте. Факт рассматривается как квант смысла, что служит основой для его формализации. Таким образом, происхождение смысла связывается со своего рода "разностью потенциалов", существующей между смежными уровнями интеграции-иерархии обработки информации в процессах познания. В полном виде когнитивная концепция приведена в работе [1]. Из данной концепции выводятся структура когнитивного конфигуратора, система базовых когнитивных операций и обобщенная схема автоматизированного системного анализа, структурированного до уровня базовых когнитивных операций (СК-анализ) (рис. 2). Между когнитивными структурами разных уровней иерархии существует отношение "дискретное - интегральное", которое служит основой формализации смысла. Когнитивный конфигуратор представляет собой минимальную полную систему когнитивных операций, названных базовые когнитивные операции системного анализа. Всего выявлено 10 таких операций, каждая из которых достаточно элементарна для формализации и программной реализации. Перечислим их: присвоение имен; восприятие; обобщение (синтез, индукция); абстрагирование; оценка адекватности модели; сравнение, идентификация и прогнозирование; дедукция и абдукция; классификация и генерация конструктов; содержательное сравнение; планирование и принятие решений об управлении.

Рис. 2. Обобщенная схема системно-когнитивного анализа

В работе [1] предложены математическая модель, методика численных расчетов, включающая структуры данных и алгоритмы реализации БКОСА, а также программный инструментарий СК-анализа - универсальная когнитивная аналитическая система "Эйдос".

2. Математическая модель автоматизированного СК-анализа: системная теория информации

2.1 Системное обобщение формулы Хартли

Классическая формула Хартли имеет вид:

(1)

Будем искать ее системное обобщение в виде:

(2)

Где W количество элементов в множестве;

- коэффициент эмерджентности, названный в [1] коэффициентом эмерджентности Хартли.

В работе [7] предлагается системное обобщение формулы Хартли в виде:

(3)

где количество подсистем и m элементов;

m сложность подсистем;

M максимальная сложность подсистем.

Так как , то при M=1 система переходит в множество и выражение (3) приобретает вид (1), т.е. для него выполняется принцип соответствия, являющийся обязательным для более общей теории.

Учитывая, что при M = W:

(4)

в этом случае:

(5)

Выражение (5) дает приближенную оценку максимального количества информации в элементе системы. Из выражения (5) видно, что при увеличении числа элементов W количество информации I очень быстро стремится к W (6) и уже при W>4 погрешность выражения (5) не превышает 1%:

при (6)

Приравняв правые части выражений (2) и (3):

(7)

получим выражение для коэффициента эмерджентности Хартли:

(8)

Смысл этого коэффициента раскрыт в работе [1]. Здесь отметим лишь, что при M1 система асимптотически переходит в множество 1 и (2) (1), как и должно быть согласно принципу соответствия.

С учетом (8) выражение (2) примет вид:

(9)

или при M=W и больших W, учитывая (4 и 5):

(10)

Выражение (9) и представляет собой искомое системное обобщение классической формулы Хартли, а выражение (10) - его достаточно хорошее приближение при большом количестве элементов в системе W.

2.2 Системное обобщение формулы Харкевича

Классическая формула А. Харкевича имеет вид:

(11)

где Pij условная вероятность перехода объекта в j-е состояние при условии действия на него i-го значения фактора;

Pj безусловная вероятность перехода объекта в j-е состояние (вероятность самопроизвольного перехода или вероятность перехода, посчитанная по всей выборке, т.е. при действии любого значения фактора).

Выражению (11) может быть придан следующий эквивалентный вид, который и будет использоваться ниже:

(12)

Из (12) видно, что формула Харкевича для семантической меры информации по сути является логарифмом от формулы Байеса для апостериорной вероятности (отношение условной вероятности к безусловной). Вопрос об эквивалентности выражений (11) и (12) рассмотрим ниже.

Известно, что классическая формула Шеннона для количества информации для неравновероятных событий преобразуется в формулу Хартли при условии, что события равновероятны, т.е. удовлетворяет фундаментальному принципу соответствия. Поэтому теория информации Шеннона справедливо считается обобщением теории Хартли для неравновероятных событий. Однако выражения (11) и (12) при подстановке в них реальных численных значений вероятностей Pij, Pj и Pi не дают количества информации в битах, т.е. для этого выражения не выполняется принцип соответствия, обязательный для более общих теорий. Возможно, в этом состоит причина довольно сдержанного, а иногда даже скептического отношения специалистов по теории информации Шеннона к семантической теории информации Харкевича.

Причина этого, согласно [1], состоит в том, что в выражениях (11) и (12) отсутствуют глобальные параметры, характеризующие размерность конкретных моделей W и M, т.е. А.Харкевич в своем выражении для количества информации не ввел зависимости от мощности пространства будущих состояний объекта W и количества значений факторов M, обуславливающих переход объекта в эти состояния.

В [1] поставлена и решена задача получить такое обобщение формулы Харкевича, которое бы удовлетворяло тому же самому принципу соответствия, что и формула Шеннона, т.е. преобразовывалось в формулу Хартли в предельном детерминистском равновероятном случае, когда каждому классу (состоянию объекта) соответствует один признак (значение фактора), и каждому признаку - один класс, и эти классы (а, значит и признаки), равновероятны, и при этом каждый фактор однозначно, т.е. детерминистским образом определяет переход объекта в определенное состояние, соответствующее классу и между классами и признкакми существует взаимно-однозначное соответствие.

Для этой цели в [1] в выражение (12) введен коэффициент :

(13)

В [1] поставлена и решена задача нахождения такого выражение для коэффициента , названого в этой работе в честь А. Харкевича "коэффициентом эмерджентности Харкевича", которое обеспечивает выполнение для выражения (13) принципа соответствия с классической формулой Хартли (1) и ее системным обобщением (2 и 3) в равновероятном детерминистском случае.

Для этого вероятности Pij, Pj и Pi рассматриваются как пределы, к которым стремятся относительные частоты при увеличении объема выборки, и требуется выразить их через абсолютные частоты наблюдения признаков по классам.

2.3 Алгоритм формирования матрицы абсолютных частот

Объекты обучающей выборки описываются векторами (массивами) имеющихся у них признаков:

Первоначально в матрице абсолютных частот все значения равны нулю. Затем организуется цикл по объектам обучающей выборки. Если у предъявленного объекта, относящегося к j-му классу есть i-й признак, то в терминах программирования:

Здесь можно провести очень интересную и важную аналогию между способом формирования матрицы абсолютных частот и работой многоканальной системы выделения полезного сигнала из шума. Представим себе, что все объекты, предъявляемые для формирования обобщенного образа некоторого класса, в действительности являются различными реализациями одного объекта - "Эйдоса" (в смысле философии Платона), по-разному зашумленного различными случайными обстоятельствами. И наша задача состоит в том, чтобы подавить этот шум и выделить из него то общее и существенное, что отличает объекты данного класса от объектов других классов. Учитывая, что шум чаще всего является "белым" и имеет свойство при суммировании с самим собой стремиться к нулю, а сигнал при этом, наоборот, возрастает пропорционально количеству слагаемых, увеличение объема обучающей выборки приводит к тому, что отношение сигнал/шум в матрице абсолютных частот все время улучшается, т.е. происходит выделение полезной информации из шума. Примерно таким образом мы начинаем постепенно понимать смысл фразы, которую не сразу расслышали по телефону и несколько раз переспрашивали. При этом в повторах шум не позволяет понять то одну, то другую часть фразы, но, в конце концов, за счет использования памяти и интеллектуальной обработки информации мы понимаем ее всю. Так и объекты, описанные признаками, можно рассматривать как зашумленные фразы, несущие нам информацию об обобщенных образах классов - "Эйдосах", к которым они относятся. И эту информацию мы выделяем из шума при синтезе модели.

Для выражения (11):

(14)

Для выражений (12) и (13):

(15)

Для выражений (11), (12) и (13):

(16)

Отметим, что К. Шеннон при выводе своей знаменитой формулы для средневзвешенного количества информации в сообщении, использовал другое, чем (16), выражение для вероятности, считая, что вероятность выборки определенного конкретного i-го символа из множества этих символов, мощностью Ni, составляет:

(а)

Представим себе, что в некотором сообщении i-й символ встречается N_i раз. Тогда при выборке конкретного i-го символа мы по Р.Хартли получаем:

(б)

информации. В среднем же при выборке i-го символа мы получаем:

(в)

Используя в выражении (в) формулу для вероятности выборки конкретного i-го символа (а) получим:

(г)

В выражении (г) для среднего количества информации в i-м символе учтено, что , т.к. . Всего же в сообщении из N символов в среднем будет содержаться:

(д)

Выражение (д) и представляет собой знаменитую формулу К. Шеннона для среднего количества информации в сообщении из N символов.

2.4 Формирование матрицы условных и безусловных вероятностей (относительных частот)

Классы можно сравнивать по наблюдаемым частотам признаков только в том случае, если количество объектов по всем классам одинаково, как и суммарное количество признаков по классам. Если они отличаются, то корректно сравнивать классы можно только по условным и безусловным вероятностям наблюдения признаков, посчитанных на основе матрицы частот в соответствии с выражениями (14) и (15), в результате чего получается матрица условных и безусловных вероятностей (процентных распределений).

Nj представляет собой "суммарное количество признаков у всех объектов, использованных для формирования обобщенного образа j-го класса". В результате получаем семантическую информационную модель (СИМ).

Эквивалентность выражений (11) и (12) устанавливается, если подставить в них выражения вероятности Pij, Pj и Pi через частоты наблюдения признаков по классам из (14-16). В обоих случаях из выражений (11) и (12) получается одно и то же выражение:

(17)

а из (13) выражение (18), с которым мы и будем работать далее.

(18)

В этом случае к каждому классу относится один объект, имеющий единственный признак. Откуда получаем для всех i и j (19):

(19)

Таким образом, обобщенная формула А.Харкевича (18) с учетом (19) в этом случае приобретает вид:

(20)

откуда:

(21)

или, учитывая выражение для коэффициента эмерджентности Хартли (8):

(22)

Подставив коэффициент эмерджентности Харкевича (21) в выражение (18), получим:

или окончательно:

(23)

Отметим, что первая задача получения системного обобщения формул Хартли и Харкевича и вторая задача получения такого обобщения формулы Харкевича, которая удовлетворяет принципу соответствия с формулой Хартли, - это две разные задачи. Первая задача является более общей и при ее решении, которое приведено выше, автоматически решается и вторая задача, которая является, таким образом, частным случаем первой задачи.

Однако представляет самостоятельный интерес и частный случай, в результате которого получается формула Харкевича, удовлетворяющая в равновероятном детерминистском случае принципу соответствия с классической формулой Хартли (1), а не с ее системным обобщением (2) и (3). Ясно, что эта формула получается из (23) при = 1.

(24)

Из выражений (21) и (22) видно, что в этом частном случае, т.е. когда система эквивалентна множеству (M=1), коэффициент эмерджентности Харкевича приобретает вид:

(25)

На практике для численных расчетов удобнее пользоваться не выражениями (23) или (24), а формулой (26), которая получается непосредственно из (18) после подстановки в него выражения (25):

(26)

В классическом анализе Шеннона идет речь лишь о передаче символов по одному информационному каналу от одного источника к одному приемнику. При этом исследуется прежде всего передача самого сообщения.

В данной работе решается другая задача - идентифицировать или распознать информационный источник по сообщению от него. Поэтому метод Шеннона был обобщен путем учета в математической модели возможности существования многих источников информации, от которых к приемнику по зашумленному каналу связи приходят не отдельные символы-признаки, а сообщения, состоящие из последовательностей символов (признаков) любой длины.

Следовательно, ставится задача идентификации информационного источника по сообщению от него, полученному приемником по зашумленному каналу. Метод, являющийся обобщением метода Шеннона, позволяет применить классическую теорию информации для построения моделей систем распознавания образов и принятия решений, ориентированных на применение для синтеза адаптивных АСУ сложными объектами.

Для решения поставленной задачи необходимо вычислять не средние информационные характеристики, как в теории Шеннона, а количество информации, содержащееся в конкретном i-м признаке (символе) о том, что он пришел от данного j-го источника информации. Это позволит определить и суммарное количество информации в сообщении о каждом информационном источнике, что дает интегральный критерий для идентификации или прогнозирования состояния объекта.

Логично предположить, что среднее количество информации, содержащейся в системе признаков о системе классов

(27)

является ничем иным, как усреднением (с учетом условной вероятности наблюдения) "индивидуальных количеств информации", которые содержатся в конкретных признаках о принадлежности обладающих ими объектов к конкретным классам (источникам), т.е.:

(28)

Это выражение определяет так называемую плотность информации, т.е. количество информации, которое содержится в одном отдельно взятом факте наблюдения i-го символа (признака) на приемнике о том, что этот символ (признак) послан j-м источником.

Если в сообщении содержится M символов, то суммарное количество информации о принадлежности данного сообщения j-му информационному источнику (классу) составляет:

(29)

Необходимо отметить, что применение сложения в выражении (29) вполне корректно и оправданно, так как информация с самого начала вводилась как аддитивная величина, для которой операция сложения является корректной.

Преобразуем выражение (29) к виду, более удобному для применения на практике для численных расчетов. Для этого традиционным для теории информации Шеннона способом выразим вероятности встреч признаков через частоты их наблюдения:

(30)

Подставив (30) в (29), получим:

(31)

Если ранжировать классы в порядке убывания суммарного количества информации о принадлежности к ним, содержащейся в данном сообщении (т.е. описании объекта), и выбирать первый из них, т.е. тот, о котором в сообщении содержится наибольшее количество информации, то мы получим обоснованную статистическую процедуру, основанную на классической теории информации, оптимальность которой доказывается в фундаментальной лемме Неймана-Пирсона [1].

Подставим значения вероятностей из (30) в (28) и получим выражение для плотности информации Шеннона, выраженное не через вероятности, а через частоты наблюдения символов, которые рассматриваются как признаки объектов, т.е. количество информации, содержащееся в отдельном i-м признаке о том, что другом конце канала связи находится j-й объект:

(32)

Сравнивая выражения (23) и (32) видим, что в системном обобщении формулы Харкевича первое слагаемое практически тождественно выражению Шеннона для плотности информации, а второе слагаемое представляет собой плотность информации по Хартли.

Различия состоят в том, что в выражении (23) это слагаемое возведено в степень, имеющую смысл коэффициента эмерджентности Харкевича. Поэтому вполне оправданным называть это слагаемое не коэффициентом эмерджентности Харкевича, а коэффициентом эмерджентности Шеннона-Харкевича. Необходимо отметить также, что значения частот в этих формулах связаны с вероятностями несколько различным образом (выражения 14-16 и 30).

Из этого также следует, что выражение (23) представляет собой нелинейную суперпозицию выражений для плотности информации Шеннона и Хартли, и, таким образом, является обобщающим выражением для плотности информации, которое при различных условиях асимптотически переходит в классические выражения Хартли и Харкевича, а от выражения Шеннона отличается лишь константой, т.е. вторым слагаемым, характеризующим мощность множества состояний объекта в модели.

Это позволяет обоснованно высказать гипотезу о том, что системная теория информации (СТИ), базирующаяся на выражении (23) для плотности информации, является более общей, чем теории Хартли, Шеннона и Харкевича и асимптотически связана с ними через принцип соответствия (рис. 3).

Рис. 3. Генезис системной (эмерджентной) теории информации

2.5 Взаимосвязь системной меры целесообразности информации со статистикой 2 и новая мера уровня системности предметной области

Статистика 2 представляет собой сумму вероятностей совместного наблюдения признаков и объектов по всей корреляционной матрице или определенным ее подматрицам (т.е. сумму относительных отклонений частот совместного наблюдения признаков и объектов от среднего:

(33)

(34)

Отметим, что статистика 2 математически связана с количеством информации в системе признаков объекта о его принадлежности к классу распознавания в соответствии с системным обобщением формулы Харкевича для плотности информации (18):

(35)

а именно, из (34) и (35) получаем:

(36)

Из (36) очевидно:

(37)

Сравнивая выражения (33) и (37), видим, что числитель в выражении (33) под знаком суммы отличается от выражения (37) только тем, что в выражении (37) вместо значений Nij и t взяты их логарифмы. Учитывая, что логарифм является монотонно возрастающей функцией аргумента, то введение логарифма не меняет общего характера поведения функции.

Фактически это означает, что:

(38)

Из вышеизложенного следует интерпретация системной меры информации (35) с учетом статистики 2 (33): если фактическая вероятность наблюдения i-го при-знака при предъявлении объекта j-го класса равна ожидаемой (средней), то наблюдение этого признака не несет никакой информации о принадлежности объекта к данному классу. Если она выше средней, то это свидетельствует о том, что предъявлен объект данного класса, если ниже - то другого.

Поэтому наличие статистической связи (информации) между признаками и классами распознавания, т.е. отличие вероятностей их совместных наблюдений от предсказываемого в соответствии со случайным нормальным распределением, приводит к увеличению фактической статистики 2 по сравнению с теоретической величиной.

Это дает основания говорить о возможности использования в качестве количественной меры степени выраженности закономерностей в предметной области не матрицы абсолютных частот и меры 2, а новой меры H, основанной на матрице информативностей и системном обобщении формулы Харкевича для количества информации:

(39)

Меру H в выражении (39) в [7] предлагается назвать обобщенным критерием степени сформированности модели Харкевича. Значение данной меры показывает среднее отличие количества информации в факторах о будущих состояниях активного объекта управления от среднего количества информации в факторе (которое при больших выборках близко к 0). По своей математической форме эта мера сходна с мерами для значимости (интегральной информативности) факторов и степени сформированности образов классов и коррелирует с объемом неортонормированного семантического информационного пространства классов и семантического информационного пространства атрибутов.

С помощью вышеописанной математической модели достигается инвариантность результатов ее синтеза относительно следующих параметров обучающей выборки: суммарное количество и порядок ввода анкет обучающей выборки; агропромышленный программный экономический

- количество анкет обучающей выборки по каждому классу распознавания;

- суммарное количество признаков во всех анкетах обучающей выборки;

- суммарное количество признаков по классам распознавания; количество признаков и их порядок в отдельных анкетах обучающей выборки.

В результате обеспечивается высокая степень качества решения задач распознавания на неполных и разнородных (в вышеперечисленных аспектах) данных как обучающей, так и распознаваемой выборки, т.е. при таких статистических характеристиках потоков этих данных, которые чаще всего и встречаются на практике и которыми невозможно или очень сложно управлять.

2.6 Получение матрицы знаний (информативностей)

На основе анализа матрицы условных и безусловных вероятностей наблюдений признаков по классам и всей выборке можно сравнивать признаки друг с другом по их роли для сравнения классов друг с другом и конкретных объектов с обобщенными классами. При этом существует три основных группы признаков:

Группа первая. К этой группе относятся признаки, которые в одном классе встречаются, а в других нет. Это детерминистские признаки; обнаружение такого признака у объекта однозначно определяет его принадлежность к соответствующему классу.

Группа вторая. В этой группе объединены признаки, которые в одном классе встречаются чаще, чем в других. Это статистические признаки; обнаружение такого признака у объекта несет некоторую информацию о его принадлежности к соответствующему классу.

Группа третья. К этой группе относятся признаки, которые в разных классах встречаются с одной и той же вероятностью. Обнаружение этих признаков у объекта не несет никакой информации о его принадлежности к тем или иным классам.

Таким образом, если анализировать условные вероятности (или процентные распределения) признаков по классам, то можно вынести правдоподобные суждения о принадлежности объектов, обладающих этими признакам к тем или иным классам.

Однако такой метод сравнения имеет по крайней мере два существенных недостатка.

1. Для того чтобы отнести признак к одной из вышеперечисленных групп, нужно сравнивать вероятности его наблюдения по классам, т.е. каждый раз при таком сравнении выполнять соответствующую необходимую для этого работу.

2. Отнесение признака ко второй группе еще не позволяет использовать этот признак для идентификации объекта; необходимо оценить количество информации, которое содержится в факте обнаружения у объекта этого признака о принадлежности этого объекта к каждому из классов, что требует применения математического и численного методов.

По поводу первого недостатка можно сказать, что для реальных задач большой размерности выполнение этого сравнения вручную практически невозможно, а значит невозможно и использование результатов этого сравнения для решения задач идентификации, прогнозирования и поддержки принятия решений, а тем более для исследования предметной области путем изучения ее модели. Все это обусловлено тем, что результат сравнения вероятностей встречи признака по классам не представляется при ручной обработке в количественной форме некоторого одного числа: частного критерия, величина и знак которого отражали бы результат такого сравнения.

Второй недостаток преодолевается методом, который предложен А.Харкевичем в выражениях (11) и (12) и уточнен в работе [7] в системном обобщении этих выражений (18). В этом методе предложено сравнивать не условные вероятности наблюдения признаков по различным классам друг с другом, а условную вероятность наблюдения признака по классу с безусловной вероятностью его наблюдения по всей выборке.

Это предложение по сути полностью соответствует известному статистическому методу отклонений от средних и нормативному подходу, когда в качестве базы сравнения выбирается норма, т.е. среднее по всей группе. На основе этого подхода формируются и критерии сравнения, т.е. можно сказать, что критериальный подход изначально основан на нормативном.

Здесь - это среднее количество знаний в i-м значении фактора:

Количественные значения коэффициентов Iij являются знаниями о том, что "объект перейдет в j-е состояние" если "на объект действует i-е значение фактора".

Принципиально важно, что эти весовые коэффициенты не определяются экспертами на основе опыта интуитивным неформализуемым способом, а рассчитываются непосредственно по эмпирическим данным на основе теоретически обоснованной модели, хорошо зарекомендовавшей себя на практике при решении широкого круга задач в различных предметных областях.

Когда количество информации Iij > 0 - i-й фактор способствует переходу объекта управления в j-е состояние, когда Iij < 0 - препятствует этому переходу, когда же Iij = 0 - никак не влияет на это. В векторе i-го фактора (строка матрицы информативностей) отображается, какое количество информации о переходе объекта управления в каждое из будущих состояний содержится в том факте, что данный фактор действует. В векторе j-го состояния класса (столбец матрицы информативностей) отображается, какое количество информации о переходе объекта управления в соответствующее состояние содержится в каждом из факторов.

Таким образом, матрица знаний (информативностей), является обобщенной таблицей решений, в которой входы (факторы) и выходы (будущие состояния объекта управления) связаны друг с другом не с помощью классических (Аристотелевых) импликаций, принимающих только значения: "истина" и "ложь", а различными значениями истинности, выраженными в битах, и принимающими значения от положительного теоретически-максимально-возможного ("максимальная степень истинности"), до теоретически неограниченного отрицательного ("степень ложности").

Фактически предложенная модель позволяет осуществить синтез обобщенных таблиц решений для различных предметных областей непосредственно на основе эмпирических исходных данных и продуцировать прямые и обратные правдоподобные (нечеткие) логические рассуждения по неклассическим схемам с различными расчетными значениями истинности, являющимися обобщением классических импликаций.

Таким образом, данная модель позволяет рассчитать, какое количество информации содержится в любом факте о наступлении любого события в любой предметной области, причем для этого не требуется повторности этих фактов и событий. Если данные повторности осуществляются и при этом наблюдается некоторая вариабельность значений факторов, обуславливающих наступление тех или иных событий, то модель обеспечивает многопараметрическую типизацию, т.е. синтез обобщенных образов классов или категорий наступающих событий с количественной оценкой степени и знака влияния на их наступление различных значений факторов. Причем эти значения факторов могут быть как количественными, так и качественными и измеряться в любых единицах измерения, в любом случае в модели оценивается количество информации, которое в них содержится о наступлении событий, переходе объекта управления в определенные состояния или просто о его принадлежности к тем или иным классам.

2.7 Решение задач идентификации (распознавания образов), прогнозирования и поддержки принятия решений

Данная модель позволяет прогнозировать поведение объекта управления при воздействии на него не только одного, но и целой системы факторов:

(40)

В теории принятия решений скалярная функция Ij векторного аргумента называется интегральным критерием. Основная проблема состоит в выборе такого аналитического вида функции интегрального критерия, который обеспечил бы эффективное решение сформулированной выше задачи АСУ.

Учитывая, что смысл частных критериев (18) состоит в том, что они содержат информацию, а информация по определению является аддитивной функцией, предлагается ввести интегральный критерий, как аддитивную функцию от частных критериев в виде:

(41)

В выражении (41) круглыми скобками обозначено скалярное произведение, т.е. свертка. В координатной форме это выражение имеет вид:

(42)

В простейшем варианте значения координат вектора состояния предметной области принимаются равными либо 1 (действует i-е значение фактора a), либо 0 (фактор не действует). В более развитом варианте i-е значение фактора a интерпретируется как i-я градация описательной шкалы a, т.е. как i-й признак, поэтому в этой интерпретации можно считать, что L_i = n, если у объекта обучающей выборки i-й признак встречается n раз. В системе «Эйдос» реализован именно этот вариант.

Таким образом, интегральный критерий представляет собой суммарное количество информации, содержащееся в системе значений факторов различной природы (т.е. факторов, характеризующих объект управления, управляющее воздействие и окружающую среду) о переходе объекта управления в то или иное будущее состояние.

В многокритериальной постановке задача прогнозирования состояния объекта управления при оказании на него заданного многофакторного управляющего воздействия Ij сводится к максимизации интегрального критерия:

(43)

т.е. к выбору такого состояния объекта управления, для которого интегральный критерий максимален.

Задача принятия решения о выборе наиболее эффективного управляющего воздействия является обратной задачей по отношению к задаче максимизации интегрального критерия (идентификации и прогнозирования), т.е. вместо того, чтобы по набору факторов прогнозировать будущее состояние объекта, наоборот, по заданному (целевому) состоянию объекта определяется такой набор факторов, который с наибольшей эффективностью перевел бы объект управления в это состояние.

Предлагается еще одно обобщение фундаментальной леммы Неймана-Пирсона, основанное на косвенном учете корреляций между информативностями в векторе состояний при использовании средних по векторам. Соответственно вместо простой суммы количеств информации предлагается использовать корреляцию между векторами состояния и объекта управления, которая количественно измеряет степень сходства этих векторов:

(44)

Выражение (44) получается непосредственно из (42) после замены координат перемножаемых векторов их стандартизированными значениями:

Необходимо отметить, что выражение для интегрального критерия сходства (42) по своей математической форме является корреляцией двух векторов. Это означает, что если эти векторы являются суммой двух сигналов: полезного и белого шума, то при расчете интегрального критерия белый шум практически не будет играть никакой роли, т.е. его корреляция с самими собой равна нулю по определению. Поэтому интегральный критерий сходства объекта со случайным набором признаков с любыми образами классов, или реального объекта с образами классов, сформированными случайным образом, будет равен нулю. Это означает, что выбранный интегральный критерий сходства является высокоэффективным средством подавления белого шума и выделения полезной информации из шума, который неизбежно присутствует в эмпирических данных.

Важно также отметить неметрическую природу предложенного интегрального критерия сходства, благодаря чему его применение является корректным и при неортонормированном семантическом информационном пространстве, каким оно в подавляющем количестве случае и является, т.е. в общем случае.

Результат прогнозирования поведения объекта управления, описанного данной системой факторов, представляет собой список его возможных будущих состояний, в котором они расположены в порядке убывания суммарного количества информации о переходе объекта управления в каждое из них.

2.8 Сравнение, идентификация и прогнозирование, как разложение векторов объектов в ряд по векторам классов (объектный анализ)

Ранее были введены неметрические интегральные критерии сходства объекта, описанного массивом-локатором Li с обобщенными образами классов Iij (выражения 40-42).

Для непрерывного случая выражение (42) принимает вид:

(45)

Таким образом, выражение (45) представляет собой обобщение интегрального критерия сходства конкретного объекта и обобщенного класса (42) для непрерывного случая в координатной форме.

Отметим, что коэффициенты ряда Фурье (24) по своей математической форме и смыслу сходны с ненормированными коэффициентами корреляции, т.е. по сути скалярными произведениями для непрерывных функций в координатной форме: выражением (45) между разлагаемой в ряд кривой f(x) и функциями Sin и Сos различных частот и амплитуд [7].

(46)

где n = {1, 2, 3,…} - натуральное число.

Сравнение выражений (45) и (46) позволяет сделать вывод о том, что процесс идентификации и прогнозирования (распознавания, реализованный в предложенной математической модели, может рассматриваться как разложение вектора-локатора распознаваемого объекта в ряд по векторам информативностей классов распознавания (которые представляют собой произвольные функции, сформированные при синтезе модели путем многопараметрической типизации на основе эмпирических данных).

Например, представим результаты идентификации на рисунке 2:

Рис. 4. Пример разложения профиля состояния МИПС АПК, сложившегося в 2001 г., в ряд по образам классов

Продолжая развивать аналогию с разложением в ряд, данный результат идентификации можно представить в векторной аналитической форме:

или в координатной форме, более удобной для численных расчетов:

(47)

Предполагается, что . Таким образом, массив-локатор, характеризующий распознаваемый объект, рассматривается как сумма произведений профилей классов на интегральный критерий сходства массива-локатора с этими профилями (т.е. взвешенная суперпозиция или разложение в ряд по профилям классов).

В выражении (47):

где I(j) - интегральный критерий сходства массива-локатора, описывающего состояние объекта и j-го класса рассчитываемый, согласно выражений (42) или (44):

(48)

I(i,j) - вектор обобщенного образа j-го класса, координаты которого рассчитываются в соответствии с системным обобщением формулы Харкевича (18):

(49)

Обозначения I(i,j) и Iij, и т.п. эквивалентны. Смысл всех переменных, входящих в выражения (48) и (49) раскрыт выше.

При дальнейшем развитии данной аналогии естественно возникают вопросы: о полноте, избыточности и ортонормированности системы векторов классов как функций, по которым проводится разложение вектора объекта; о сходимости, т.е. возможности и корректности такого разложения.

В общем случае вектор объекта совершенно не обязательно должен разлагаться в ряд по векторам классов таким образом, чтобы сумма ряда во всех точках совпадала со значениями исходной функции. Это означает, что система векторов классов может быть неполна по отношению к профилю распознаваемого объекта, и, тем более, всех возможных объектов.

Предлагается считать не разлагаемые в ряд, т.е. плохо распознаваемые объекты суперпозицией хорошо распознаваемых объектов ("похожих" на те, которые использовались для формирования обобщенных образов классов), и объектов, которые и не должны распознаваться, так как объекты этого типа не встречались в обучающей выборке и не использовались для формирования обобщенных образов классов и не коррелирует с ними, а также не относятся к представляемой обучающей выборкой генеральной совокупности.

Нераспознаваемую компоненту можно рассматривать либо как шум, либо считать ее полезным сигналом, несущим ценную информацию о неисследованных объектах интересующей нас предметной области (в зависимости от целей и тезауруса исследователей). Использование первого варианта не приводит к осложнениям, так как примененный в математической модели алгоритм сравнения векторов объектов и классов, основанный на вычислении нормированной корреляции Пирсона (сумма произведений), является весьма устойчивым к наличию белого шума в идентифицируемом сигнале. При использовании второго варианта необходимо дообучить систему распознаванию объектов, несущих такую компоненту (в этой возможности и заключается адаптивность модели). Технически этот вопрос решается копированием описаний плохо распознавшихся объектов из распознаваемой выборки в обучающую, их идентификацией экспертами и дообучением системы. Кроме того, может быть целесообразным расширить справочник классов распознавания новыми классами, соответствующими этим объектам, и осуществить пересинтез модели. Это позволяет расширить генеральную совокупность, отражаемую моделью, по отношению к которой обучающая выборка репрезентативна.

Однако на практике гораздо чаще наблюдается противоположная ситуация (можно даже сказать, что она типична), когда система векторов избыточна, т.е. в системе классов распознавания есть очень похожие классы (между которыми имеет место высокая корреляция, наблюдаемая в режиме кластерно-конструктивный анализ). Это означает, что в системе сформировано несколько практически одинаковых образов с разными наименованиями. Для исследователя это само по себе является очень ценной информацией. Однако если исходить только из потребности разложения распознаваемого объекта в ряд по векторам классов (чтобы определить суперпозицией каких образов он является, т.е. "разложить его на компоненты"), то наличие сильно коррелирующих друг с другом векторов представляется неоправданным, так как просто увеличивает размерности данных, внося в них мало нового по существу. Поэтому возникает задача исключения избыточности системы классов распознавания, т.е. выбора из всей системы классов распознавания такого минимального их набора, в котором профили классов минимально коррелируют друг с другом, т.е. ортогональны в фазовом пространстве признаков. Это условие в теории рядов называется "ортонормируемостью" системы базовых функций, а в факторном анализе связано с идеей выделения "главных компонент".

В предлагаемой математической модели реализованы два варианта выхода из данной ситуации:

1) исключение неформирующихся, расплывчатых классов;

2) объединение почти идентичных по содержанию (дублирующих друг друга) классов.

Однако выбрать нужный вариант и реализовать его, используя соответствующие режимы, пользователь технологии АСК-анализа должен сам. Вся необходимая и достаточная информация для принятия соответствующих решений предоставляется пользователю инструментария АСК-анализа.

Если считать, что функции образов составляют формально-логическую систему, к которой применима теорема Геделя, то можно сформулировать эту теорему для данного случая следующим образом: "Для любой системы базисных функций в принципе всегда может существовать по крайней мере одна такая функция, что она не может быть разложена в ряд по данной системе базисных функций, т.е. функция, которая является ортонормированной ко всей системе базисных функций в целом". Поэтому для адекватного отражения подобных функций в модели необходимо повышение размерности семантического информационного пространства, т.е. увеличение размерности справочников классов и признаков.

Очевидно, не взаимосвязанными друг с другом могут быть только четко оформленные, детерминистские образы, т.е. образы с высокой степенью редукции ("степень сформированности конструкта"). Поэтому в процессе выявления взаимно-ортогональных базисных образов в первую очередь из модели будут исключены аморфные "расплывчатые" образы, которые связаны практически со всеми остальными образами.

В некоторых случаях результат такого процесса представляет интерес, и это делает оправданным его реализацию. Однако можно предположить, что наличие расплывчатых образов в системе является оправданным, так как в этом случае система образов не будет формальной и подчиняющейся теореме Геделя. Следовательно, система распознавания будет более полна в том смысле, что увеличится вероятность идентификации любого объекта, предъявленного ей на распознавание. Конечно, уровень сходства с аморфным образом не может быть столь высоким, как с четко оформленным, в связи с чем в этом случае более уместно применять термины "ассоциация" или нечеткая, расплывчатая идентификация, чем "однозначная идентификация".

Итак, можно сделать следующий вывод: допустимость в математической модели СК-анализа не только четко оформленных (детерминистских) образов, но и аморфных, нечетких, расплывчатых, рыхлых образов является важным достоинством данной модели. Это обусловлено тем, что данная модель обеспечивает корректные результаты анализа, идентификации и прогнозирования даже в тех случаях, когда модели идентификации и информационно-поисковые системы детерминистского типа традиционных АСУ практически неработоспособны. В этих условиях данная модель СК-анализа работает как система ассоциативной (нечеткой) идентификации.

Таким образом, в предложенной семантической информационной модели при идентификации и прогнозировании, по сути, осуществляется разложение векторов идентифицируемых объектов по векторам классов распознавания, т.е. выполняется "объектный анализ" (по аналогии с спектральным, гармоническим или Фурье-анализом), что позволяет рассматривать идентифицируемые объекты как суперпозицию обобщенных образов классов различного типа с различными амплитудами (25). При этом вектора обобщенных образов классов, с математической точки зрения, представляют собой произвольные функции и не обязательно образуют полную и не избыточную (ортонормированную) систему функций.

...