Асимптотический информационный критерий качества шума
Шум как сигнал, в котором на практике не удается выявить информацию. Некая последовательность элементов как его характеристики. Разработка асимптотического информационного критерия оценки шума, метод, технология и методика его применения на практике.
Рубрика | Коммуникации, связь, цифровые приборы и радиоэлектроника |
Вид | статья |
Язык | русский |
Дата добавления | 22.05.2017 |
Размер файла | 837,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Асимптотический информационный критерий качества шума
Интуитивно все понимают, что шум, это сигнал, в котором нет информации или в котором на практике не удается выявить информацию.
Точнее, понятно, что некая последовательность элементов (ряд) тем в большей степени является шумом, чем меньше информации содержится в значениях одних элементов о значениях других. Тем более странно, что никто не предложил не только способа, но даже идеи измерения количества информации в одних фрагментах сигнала о других его фрагментах и его использования в качестве критерия оценки степени близости данного сигнала к шуму. Авторами предложен асимптотический информационный критерий качества шума, а также метод, технология и методика его применения на практике. В качестве метода применения асимптотического информационного критерия качества шума на практике предлагается автоматизированный системно-когнитивный анализ (АСК-анализ), в качестве технологии - программный инструментарий АСК-анализа: универсальная когнитивная аналитическая система «Эйдос», в качестве методики - методика создания приложений в данной системе, а также их использования для решения задач идентификации, прогнозирования, принятия решений и исследования предметной области путем исследования ее модели. Приводится наглядный численный пример, иллюстрирующий излагаемые идеи и подтверждающий работоспособность предлагаемого асимптотического информационного критерия качества шума, а также метода, технологии и методики его применения на практике
1. Формулировка проблемы
сигнал шум асимптотический информационный
Данная статья является продолжением серии работ авторов, посвященных системной нечеткой интервальной математике [1, 2, 3] и применению теории информации для решения задач математической статистики [4, 5, 6], в частности анализа текстов и рядов объектов числовой и нечисловой природы (слов, чисел, символов, цифр).
Шум есть везде или выражаясь более точным языком математики «почти везде». Любой сигнал, получаемый нами, может рассматриваться как сумма истинного сигнала и шума. Понятие шума является одним из основополагающих понятий в теории связи, в которой решается важнейшая задача подавления шума и повышения отношения сигнал/шум [7, 8, 9]. Но смысл понятия «Шум» гораздо шире, что будет видно из последующего обсуждения. Поэтому очень важно уметь исследовать шум, выявлять его, идентифицировать тип шума, оценивать качество шума, подавлять (отфильтровывать) шум, генерировать шум с заранее заданными характеристиками и качеством и т.д.
В теоретическом исследовании и практических решениях всех этих вопросов, связанных с шумом, большую роль играют физические и численные эксперименты с шумом. В численных экспериментах в качестве источников шума используются различные генераторы псевдослучайных последовательностей, основанные на различных алгоритмах. На использовании этих генераторов основано целое научное направление: «Метод статистических испытаний или статистического моделирования Монте-Карло» Датой рождения метода Монте-Карло принято считать 1949 г., когда появилась статья под названием «The Monte Carlo method». Создателями этого метода считают американских математиков Дж. Фон Неймана и С. Улама. [10].
Понятно, что результаты статистического моделирования напрямую зависят от качества используемых генераторов шума. Вопросам исследования шума посвящено огромное количество научных работ. Надо отметить, что используются разные терминологические системы. При рассмотрении пары сигнал/шум говорят о выделении (или оценке) сигнала. Если есть зависимость от времени, то обсуждают временные ряды (когда время лискретно) и случайные процессы (когда время непрерывно). Решают задачи выделения тренда [49], оценки периода [50] и др.
Однако, количественное измерение качества шума остается недостаточно исследованной проблемой, которую необходимо решать и теоретически, и практически. Данная статья посвящена поиску подходов к решению этой проблемы с применением методов, основных на теории информации.
2. Идея решения проблемы - Асимптотический информационный критерий качества шума
В 60-х годах XX века А.Н.Колмогоров связывал случайность с алгоритмизацией. Он считал, что последовательность чисел является случайной, если ее нельзя задать с помощью алгоритма, заметно более короткого по сравнению с длиной самой последовательности [44 - 48]. Очевидно, все генераторы случайных чисел задаются сравнительно короткими алгоритмами, а потому по А.Н.Колмогорову получить с их помощью действительно случайную последовательность невозможно. По этой причине будем использовать термин «псевдослучайный» и для самих генераторов, и для получаемых с их помощью последовательностей.
Теоретически возможность создания эффективных алгоритмов генерации псевдослучайных чисел обычно обосновывается с помощью теорем теории чисел. Но с появлением в распоряжении исследователей мощных компьютеров возрастает роль и численных экспериментов в исследованиях шума.
В 1985 г. известным журналом «Заводская лаборатория. Диагностика материалов» http://www.zldm.ru/ была развернута научная дискуссия по поводу статистических свойств генерации псевдослучайных последовательностей. Все началось с того, что И.Г.Журбенко (МГУ им. М.В. Ломоносова) обнаружил, что в рядах, полученных с помощью распространенного в те годы генератора псевдослучайных последовательностей, три последовательных значения довольно точно связаны линейной зависимостью. Такие аномалии для конкретных датчиков обнаруживают и сейчас См., например, http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=426&p=9206#p9206 Но что значит «Связаны»?
Интуитивно все понимают, что шум, это сигнал, в котором нет информации или в котором на практике не удается выявить информацию. Точнее, понятно, что некая последовательность элементов (ряд) тем в большей степени является шумом, чем меньше информации содержится в значениях одних элементов о значениях других. Тем более странно, что никто не предложил не только способа, но даже лежащей на поверхности идеи измерения количества информации в одних фрагментах сигнала о других его фрагментах и использования этого количества информации в качестве критерия оценки степени близости данного сигнала к шуму. При этом сходные подходы к приятию решений хорошо известны [7, 8, 9].
Авторы предлагают асимптотический информационный критерий качества шума, представляющий собой вариабельность количества информации в значениях одних элементов последовательности (ряда) о значениях других его элементов.
Отметим, что в работе [17] еще в 2002 году на стр. 290 См, например: http://elibrary.ru/download/62451150.pdf одним из авторов было предложено использовать аналогичный критерий в качестве количественной меры степени выраженности закономерностей в предметной области. написано: «Из этого следует возможность использования в качестве количественной меры степени выраженности закономерностей в предметной области использовать не матрицу абсолютных частот и меру X2, а новую меру, основанную на матрице информативностей и системном обобщении формулы Харкевича для количества информации:
(3. 81)
где:
- средняя информативность признаков по матрице информативностей.
Значение данной меры показывает среднее отличие количества информации в факторах о будущих состояниях активного объекта управления от среднего количества информации в факторе (которое при больших выборках близко к 0). По своей математической форме эта мера сходна с мерами для значимости факторов и степени сформированности образов классов и коррелирует с объемом пространства классов и пространства атрибутов». В данной же статье предлагается количественную меру степени выраженности закономерностей в предметной области использовать в качестве критерия близости этой предметной области к шуму.
Данный критерий является асимптотическим, т.к. результаты измерения с помощью этого критерия, по-видимому, должны сходится к истинному значению при увеличении количества исследуемых элементов последовательности. Математические формулировки этого утверждения о состоятельности критерия будут обсуждаться в дальнейшем.
Количество информации может вычисляться для различных элементов последовательности: например в значении каждого элемента о значении последующего элемента, в паре элементов о паре последующих, в тройке значений последовательных элементов о значении последующего и т.п., и т.д.
Количество информации может рассчитываться с помощью различных количественных мер измерения информации: Найквиста, Хартли, Больцмана, Шеннона, Харкевича, алгоритмических подходов к измерению информации и др.
Вариабельность может рассчитываться с помощью различных мер вариабельности: среднего модуля отклонения от среднего, среднеквадратичного отклонения и др.
Поэтому существует много различных вариантов применения предложенного критерия.
3. Обсуждение понятия «Шум» и теоретическое обоснование Асимптотического информационного критерия качества шума
3.1 Соотношение содержания понятий: «Шум», «Данные», «Информация» и «Знания»
Как мы видели выше, понятие «Шум» тесно связано с понятием «Информация», точнее с отсутствием информации в сигнале или невозможностью ее извлечения из сигнала. Но как связано содержание понятий: «Данные», «Информация», «Знания»? В рассмотрении этого вопроса будем основываться на статье [11] См., например: «Подборка публикаций по вопросам выявления, представления и использования знаний»: http://www.twirpx.com/file/793311/.
Данные - это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.
Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ) [12, 17], для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на объект управления к каким его изменениям обычно, как показывает опыт, приводят.
Информация есть осмысленные данные.
Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона [13], состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных» (этот термин используется и в иных смыслах, например, как синоним термина "прикладная статистика" [41, 42]), которая состоит из двух этапов:
1. Выявление событий в данных (разработка классификационных и описательных шкал [15, 41] и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий - эвентологическую базу). По сути, этот этап является нормализацией базы исходных данных.
2. Выявление причинно-следственных зависимостей между событиями.
В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения показателей) [1].
Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?
Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так (пассивный эксперимент дает возможности выявить связи, но не причины). Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу [15, 17].
Знания - это информация, полезная для достижения целей.
Значит, для преобразования информации в знания необходимо:
1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).
2. Оценить полезность информации для достижения этой цели (знак и силу влияния).
Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные. Отметим, что это делается, в частности, при SWOT и PEST анализе [16].
Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:
- вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);
- знания, формализованные в естественном вербальном языке;
- знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);
- знания в форме технологий, организационных, производственных, социально-экономических и политических структур;
- знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).
Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:
- преобразовать исходные данные в информацию;
- преобразовать информацию в знания;
- использовать знания для решения задач управления, принятия решений и исследования предметной области.
Таким образом, понятие «Шум» по своему содержанию наиболее близко к понятию «Данные». Для того, чтобы выяснить являются ли данные просто шумом или содержат информацию, нужно выявить в них причинно-следственные зависимости.
3.2 Процедуры преобразования данных в информацию, а ее в знания
Процедуры преобразования данных в информацию, а ее в знания, реализованные в системе «Эйдос», приведены на рисунке 2:
Рисунок 2. Процедуры преобразования данных в информацию, а ее в знания
Отметим в этой связи известное высказывание Альберта Эйнштейна, приведенное в качестве эпиграфа к статье: «…законы природы являются лишь высказываниями о пространственно-временных совпадениях…» [43]. Учитывая вышесказанное, можно сказать, что законы природы отражают реально существующие причинно-следственные зависимости, т.е. содержат информацию о них. Отметим также, что расчет этого количества информации основывается на матрице абсолютных частот, т.е. на предварительном определении абсолютного количества этих совпадений (фактов), о которых говорит Альберт Эйнштейн. Фактом в АСК-анализе является совпадение действия на моделируемый объект определенного значения фактора и перехода этого объекта в определенное состояние.
3.3 Шум как данные, которые не удается преобразовать в информацию имеющимися средствами (абракадабра)
Шум можно определить, как сигнал, в котором нет закономерностей. Но как доказать что их нет? Возможно ли даже в принципе доказать, что чего-то нет? Здесь необходимо вспомнить о критерии Поппера и принципе Эшби [14]. По мнению авторов, это невозможно даже в принципе. На практике возможно доказать лишь, что с помощью имеющихся в нашем распоряжении методов обнаружения закономерностей их выявить не удалось. Это позволяет провести различие между абстрактным теоретическим понятием шума и понятием «практически шума». Реально мы всегда исследуем лишь практически шум. В определение шума входит не только характеристика самого сигнала (отсутствие закономерностей), но и характеристика нас самих, точнее наших возможностей обнаружения закономерностей в этом сигнале. А они, во-первых, ограничены, во-вторых, изменяются от места к месту (доступ к вычислительным ресурсам и средствам обнаружения закономерностей), в третьих, изменяются со временем (вычислительные технологии быстро эволюционируют). Поэтому то, что еще вчера считалось где-то шумом, сегодня где-то уже им не будет признаваться.
Если в результате применения процедур выявления причинно-следственных закономерностей в данных, например, реализованных в системе «Эйдос», не удается выявить эти закономерности, т.е. не удается преобразовать эти данные в информацию, то можно говорить о том, что эти данные являются «практически шумом», т.е. на данном этапе развития для нас неотличимы от шума. Вопрос о том, являются ли «на самом деле» эти данные шумом, имеет скорее философско-методологический характер [14].
3.4 Сообщение, как система, смысл как эмерджентное свойство систем, шум как деструктурированное сообщение, т.е. сообщение, в котором утрачен смысл
Все свойства систем имеют эмерджентную природу [1, 37]. Не является исключением и свойство текстов иметь смысл. Любое сообщение на естественном языке является системой символов некоторого алфавита, образующих иерархическую систему с многими уровнями иерархии (например: слова, предложения, абзацы, параграфы, главы, книги), и между элементами всех этих уровней существует множество горизонтальных и вертикальных взаимосвязей, в результате чего у этой системы появляется новое эмерджентное свойство, отсутствовавшее у элементов: смысл. Смысл - это эмерджентное свойство символических систем. Уровень системной организации, количественно измеряемый предложенным автором [1, 2, 27] Есть много попыток прямого плагиата (см., например: Виктор Вяткин. Групповой плагиат: от студента до министра. http://trv-science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/) и просто непонимания того, что этот коэффициент эмерджентности предложен не Хартли, а Е.В.Луценко в работе [17]. коэффициентом эмерджентности Хартли, своего рода «плотность смысла на символ» у стихов выше, чем у прозы, а у песен, еще выше, чем у стихов.
С этой точки зрения шум представляет собой бессмысленное сообщение. Но как на практике сообщение может стать бессмысленным? Это оказывается возможным, если нарушить или разрушить его внутреннюю иерархическую структуру и взаимосвязи элементов в этой структуре. Нечто подобное происходит с древними текстами, подвергшимся разрушительному действию факторов окружающей среды в течение длительного времени. В качестве других примеров можно привести костры из книг, а также действие уничтожителя бумаги. Когда люди не хотят, чтобы содержимое записки стало кому-либо известным, они просто разрывают ее на мелкие кусочки и кидают их в разные урны.
3.5 Шум как архив, который уже не удается заархивировать имеющимися средствами
Если в данных выявлены закономерности, то их можно использовать для сжатия данных, т.е. создания архива. При этом если в архиве обнаружены закономерности, то его можно еще сжать, но уже в меньшей степени. Чем лучше степень сжатия в архиве (чем лучше архиватор), тем меньше в нем можно обнаружить закономерностей, т.е. тем больше он становится похожим на шум, а наилучший архив вообще не отличим от шума. Идеальный архив вообще невозможно сжать, как и шум, в котором вообще нет закономерностей. При архивировании плотность записи информации на символ увеличивается.
Так может быть шум, - это не бессмысленный сигнал, т.е. сигнал, в котором нет информации, а наоборот, сигнал, с наивысшей в принципе возможной плотностью записью информации?
Это значит, что архиваторы можно считать генераторами шума.
По-видимому, можно доказать теорему: при итерационном применении архиватора к архиву этот архив сходится к шуму.
В этом подходе, в отличие от подхода А.Н. Колмогорова [44 - 48], шум создается не просто программой, но программой, использующей внешние данные, причем данные, даже возможно, содержащие закономерности. Необходимо отметить, что эти исходные данные могут быть весьма велики по объему, что делает шум более качественным, несмотря на то, что алгоритм работы программы может быть очень коротким. В этом важное отличие нашего подхода от подхода А.Н. Колмогорова.
Во многих языках программирования (например, на Паскале) для улучшения псевдослучайного сигнала перед запуском функции, возвращающей случайное число, можно задать некоторое числовое значение, изменяющее ее работу. Ясно, что желательно, чтобы и само это значение тоже не было постоянным, т.к. иначе работа генератора псевдослучайных чисел будет изменяться одинаково. Поэтому часто в качестве такого значения часто используется как-либо функция от текущего значения компьютерного таймера.
3.6 Шум как зашифрованный информационный сигнал, который не удается расшифровать имеющимися средствами. Ключ дешифрования как способ извлечения смысла
Чтение, можно рассматривать как извлечение информации из книги, т.е. дешифрованием записанного в книге сигнала. Познание представляет собой извлечение информации из объекта познания. Если провести аналогию между объектом познания и книгой, то можно считать, что познание представляет собой чтение объекта познания, пользуясь термином К. Маркса, его распредмечивание. С этой точки зрения вся природа представляет собой зашифрованное послание, а познание представляет собой ничто иное как чтение книги природы. Научный метод с этой точки зрения представляет собой проверенный и доказавший свою высокую эффективность ключ дешифрования книги природы, даже может быть своего рода отмычку, позволяющую вскрыть «тайну за семью печатями». Конечно, при такой точке зрения возникает закономерный вопрос об авторстве книги природы. Здесь ничего не приходит на ум, кроме первых слов Евангелия от Иоанна, приведенных в качестве эпиграфа к статье: «В начале было Слово» и далее по тексту. Слово, или выражаясь современным языком - информация, преобразует первозданный Хаос во Вселенную, полную чудес, информация способна структурировать бессмысленный набор символов в гениальное высокоорганизованное литературное произведение [39].
Но человек не только может читать книгу природы, он может и вносить в нее некоторые не очень большие правки и дополнения. Труд представляет собой процессе записи информации, содержащейся в субъективном образе будущего продукта труда, в предмет труда [40], выражаясь термином К. Маркса: опредмечивание. С этой точки зрения можно рассматривать труд и его результат - антропоморфное общество, как внесение поправок и дополнений в книгу природы.
Шум - это текст на неизвестном языке. Чтобы его расшифровать - надо перевести его на известный язык.
В принципе не взламываемый шифр - это шифр, в котором каждый символ встречается лишь один раз и нет никаких «пространственно-временных совпадений», хотя бы в принципе позволяющих выявить смысл. Примером такого шифра является замена каждого символа исходного сообщения на номер этого символа в некотором очень большом тексте (можно псевдослучайном), при этом каждый символ из большого текста используется лишь один раз или не используется ни разу.
Таким образом, системы шифрования можно рассматривать как генераторы шума, и чем сложнее взломать шифр, тем ближе зашифрованный сигнал к идеальному шуму.
Так может быть шум, - это не бессмысленный сигнал, т.е. сигнал, в котором нет информации, а наоборот, сигнал, с очень важной информацией, зашифрованный очень стойким шифром?
По-видимому, можно доказать теорему: при итерационном применении шифрования (одного метода или различных методов в определенном порядке) к уже зашифрованному сигналу результат шифрования сходится к шуму. Для получения математических утверждений нужно тем или иным способом дать строгие определения понятиях "шум" и "шифрование".
3.7 Шум и Хаос в древнегреческой и древнеиндийской космогонии
По-видимому, в момент большого взрыва (если принять эту распространенную космогоническую модель, предложенную иезуитом Жоржем Леметром в 1927 г.) мир был менее структурирован, чем сейчас, и имел более низкий, чем сейчас, уровень системности [1].
Индусы в своих учениях говорили, что дифференцированная вселенная периодически возникает и опять и переходит в не проявленное состояние (день и ночь Брамы). Это очень напоминает архивирование (или шифрование) и разархивирование (дешифрование) и опять архивирование и т.д. Дух дифференцирует материю, затем материя одухотворяется (круг Сансары). Из хаоса, утверждали древние греки, Вселенная родилась, и в Хаос же возвратится. Этому же учил Пифагор, об этом же глубокомысленно и красноречиво молчит Дао. Вселенная периодически становится более доступной для познания, как если бы Изида под нашим пристальным взором иногда немного приоткрывала свое покрывало, скрывающее ее прекрасное (как говорят) лицо. Можно утверждать, что сходные космогонические концепции пронизывают все древние мировоззренческие системы и, похоже, в современной науке получают еще одну интерпретацию, которая в чем-то глубже, а в чем-то более поверхностна, чем древние Сегодня изложение этих учений легко найти в Internet.
4. Метод, технология и методика применения асимптотического информационного критерия качества шума на практике
4.1 АСК-анализ как метод применения асимптотического информационного критерия качества шума
Системный анализ представляет собой современный метод научного познания, общепризнанный метод решения проблем. Однако возможности практического применения системного анализа ограничиваются отсутствием развернутого программного инструментария, обеспечивающего его автоматизацию. Существуют программные системы, автоматизирующие отдельные этапы или функции системного анализа в конкретных предметных областях. Автоматизированный системно-когнитивный анализ (АСК-анализ) представляет собой системный анализ, структурированный по базовым когнитивным операциям (БКО), благодаря чему удалось разработать для него математическую модель, методику численных расчетов (структуры данных и алгоритмы их обработки), а также реализующую их программную систему - систему Эйдос [17, 18]. Система Эйдос разработана в постановке, не зависящей от предметной области, и имеет ряд программных интерфейсов с внешними данными различных типов. АСК-анализ может быть применен как инструмент, многократно усиливающий возможности естественного интеллекта во всех областях, где используется естественный интеллект. АСК-анализ был успешно применен для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта путем исследования его модели во многих предметных областях, в частности в экономике, технике, социологии, педагогике, психологии, медицине, экологии, ампелографии (см. [14, 17, 31] и др.).
4.1.1 Введение
Известно, что системный анализ является одним из общепризнанных в науке методов решения проблем и многими учеными рассматривается вообще как метод научного познания. Однако как заметил еще в 1984 году проф. И. П. Стабин [19], на практике применение системного анализа наталкивается на проблему. Суть этой проблемы в том, что обычно системный анализ успешно применяется в сравнительно простых случаях, в которых в принципе можно обойтись и без него, тогда как в действительно сложных ситуациях, когда он действительно чрезвычайно востребован и у него нет альтернатив, сделать это удается гораздо реже. Проф. И. П. Стабин предложил и путь решения этой проблемы, который он видел в автоматизации системного анализа [19].
Путь от идеи до создания программной системы включает ряд этапов:
- выбрать теоретический математический метод;
- разработать методику численных расчетов, включающую структуры данных в оперативной памяти и внешних баз данных (даталогическую и инфологическую модели) и алгоритмы обработки этих данных;
- разработать программную систему, реализующую эти математические методы и методики численных расчетов.
4.1.2 Методика
Предпосылки решения проблемы
Перегудов Ф. И. и Тарасенко Ф. П. в своих основополагающих работах 1989 и 1997 годов [20, 21] подробно рассмотрели математические методы, которые в принципе могли бы быть применены для автоматизации отдельных этапов системного анализа. Однако даже самые лучшие математические методы не могут быть применены на практике без реализующих их программных систем, а путь от математического метода к программной системе долог и сложен. Для этого необходимо разработать численные методы или методики численных расчетов (алгоритмы и структуры данных), реализующие математический метод, а затем разработать программную реализацию системы, основанной на этом численном методе.
В числе первых попыток реальной автоматизации системного анализа следует отметить докторскую диссертацию проф. Симанкова В. С. (2001) [22]. Эта попытка была основана на высокой детализации этапов системного анализа и подборе уже существующих программных систем, автоматизирующих эти этапы. Идея была в том, что чем выше детализация системного анализа, чем мельче этапы, тем проще их автоматизировать. Эта попытка была реализована, однако, лишь для специального случая исследования в области возобновляемой энергетики, т.к. объединяемые системы оказались различных разработчиков, созданные с помощью различного инструментария и не имеющие программных интерфейсов друг с другом, т.е. не образующие единой автоматизированной системы. Эта попытка, безусловно, явилась большим шагом по пути, предложенному проф. И. П. Стабиным, но и ее нельзя признать обеспечившей достижение поставленной цели, сформулированной Стабиным И.П. (т.е. создание автоматизированного системного анализа), т.к. она не привела к созданию единой универсальной программной системы, автоматизирующий системный анализ, которую можно было бы применять в различных предметных областях. Парадоксалаьно, но эта попытка автоматизации системного анализа была несистемна.
Необходимо отметить работы Дж. Клира по системологии и автоматизации решения системных задач [23], которые внесли большой вклад в автоматизацию системного анализа путем создания и применения универсального решателя системных задач (УРСЗ), реализованного в рамках оригинальной экспертной системы. Обсуждение проблем развития системного анализа продолжается (см., например, [51]).
АСК-анализ, как решение проблемы
Автоматизированный системно-когнитивный анализ разработан профессором Е. В. Луценко и предложен в 2002 году [12, 17, 18]. Основная идея, позволившая сделать это, состоит в рассмотрении системного анализа как метода познания (отсюда и «когнитивный» от «cognitio» - знание, познание, лат.). Это позволило структурировать системный анализ не по этапам, как пытались сделать ранее, а по базовым когнитивным операциям системного анализа (БКОСА), т.е. таким операциям, к комбинациям которых сводятся остальные. Эти операции образуют минимальную систему, достаточную для описания системного анализа, как метода познания, т.е. когнитивный конфигуратор (Лефевр В.А., 1962) [24] и их оказалось не очень много, всего 10:
1) присвоение имен;
2) восприятие (описание конкретных объектов в форме отнологий, т.е. их признаками и принадлежностью к обобщающим категориям - классам);
3) обобщение (синтез, индукция);
4) абстрагирование;
5) оценка адекватности модели;
6) сравнение, идентификация и прогнозирование;
7) дедукция и абдукция;
8) классификация и генерация конструктов;
9) содержательное сравнение;
10) планирование и поддержка принятия управленческих решений.
Каждая из этих операций оказалась достаточно элементарна для формализации и программной реализации.
Компоненты АСК-анализа [12, 17, 18]:
- формализуемая когнитивная концепция и следующий из нее когнитивный конфигуратор;
- теоретические основы, методология, технология и методика АСК-анализа;
- математическая модель АСК-анализа, основанная на системном обобщении теории информации;
- методика численных расчетов, в универсальной форме реализующая математическую модель АСК-анализа, включающая иерархическую структуру данных и 24 детальных алгоритма 10 БКОСА;
- специальное инструментальное программное обеспечение, реализующее математическую модель и численный метод АСК-анализа - Универсальная когнитивная аналитическая система "Эйдос".
Этапы АСК-анализа:
1) когнитивная структуризация предметной области;
2) формализация предметной области (конструирование классификационных и описательных шкал и градаций и подготовка обучающей выборки);
3) синтез системы моделей предметной области (в настоящее время система Эйдос поддерживает 3 статистические модели и 7 моделей знаний);
4) верификация (оценка достоверности) системы моделей предметной области;
5) повышение качества системы моделей;
6) решение задач идентификации, прогнозирования и поддержки принятия решений;
7) исследование моделируемого объекта путем исследования его моделей: кластерно-конструктивный анализ классов и факторов; содержательное сравнение классов и факторов; изучение системы детерминации состояний моделируемого объекта, нелокальные нейроны и интерпретируемые нейронные сети прямого счета; построение классических когнитивных моделей (когнитивных карт); построение интегральных когнитивных моделей (интегральных когнитивных карт).
В АСК-анализе все факторы рассматриваются с одной единственной точки зрения: сколько информации содержится в их значениях о переходе объекта, на который они действуют, в определенное состояние, и при этом сила и направление влияния всех значений факторов на объект измеряется в одних общих для всех факторов единицах измерения: единицах количества информации. Это напоминает подход Дугласа Хаббарда [25], но, в отличие от него, имеет универсальный программный инструментарий, разработанный в постановке, не зависящей от предметной области и находящийся в полном открытом бесплатном доступе (даже с исходными текстами) на сайте автора: http://lc.kubagro.ru/aidos/_Aidos-X.htm. Поэтому АСК-анализ обеспечивает корректную сопоставимую обработку числовых и нечисловых данных, представленных в разных типах измерительных шкал и разных единицах измерения. Метод АСК-анализа является устойчивым непараметрическим методом, обеспечивающим создание моделей больших размерностей при неполных и зашумленных исходных данных о сложном нелинейном динамичном объекте управления. Этот метод является чуть ли не единственным, обеспечивающим многопараметрическую типизацию и системную идентификацию методов, инструментарий которого (интеллектуальная система Эйдос) находится в полном открытом бесплатном доступе.
В развитии различных теоретических и практических аспектов АСК-анализа приняли участие многие ученые: Луценко Е.В. http://lc.kubagro.ru/ , Лойко В.И., Трунев А.П. (Канада) http://chaosandcorrelation.org/ , Орлов А.И. http://orlovs.pp.ru/ , Коржаков В.Е., Барановская Т.П., Ермоленко В.В., Наприев И.Л., Некрасов С.Д., Лаптев В.Н., Третьяк В.Г., Щукин Т.Н., Симанков В.С., Ткачев А.Н., Сафронова Т.И., Макаревич О.А., Макаревич Л.О., Сергеева Е.В. (Фомина Е.В.), Бандык Д.К., Артемов А.А., Крохмаль В.В., Рябцев В.Г. и другие.
4.1.3 Результаты
Метод системно-когнитивного анализа и его программный инструментарий интеллектуальная система "Эйдос" были успешно применены при проведении научных исследований, по результатам которых защищено довольно много докторских и кандидатских диссертаций в различных направлениях науки: 3 доктора экономических наук (+1 в стадии подтверждения в ВАК РФ, +1 в стадии подготовки к защите), 2 доктора технических наук, 4 кандидата психологических наук, 1 кандидат технических наук, 1 кандидат экономических наук, 1 кандидат медицинских наук:
АСК-анализ был успешно применены при выполнении десятков грантов РФФИ и РГНФ различной направленности за длительный период с 2002 года по настоящее время (2016 год).
По проблематике АСК-анализа издана 21 монография, получено 28 патентов на системы искусственного интеллекта, их подсистемы, режимы и приложения, опубликовано 196 статей в изданиях, входящих в Перечень ВАК РФ (по данным РИНЦ). В одном только Научном журнале КубГАУ (входит в Перечень ВАК РФ с 26-го марта 2010 года) автором АСК-анализа Луценко Е.В. опубликовано 175 статей по различным теоретическим и практическим аспектам АСК-анализа, общим объёмом 297,246 у.п.л., в среднем 1,699 у.п.л. на одну статью http://ej.kubagro.ru/a/viewaut.asp?id=11 .
По этим публикациям, грантам и диссертационным работам видно, что АСК-анализ уже был успешно применен в следующих предметных областях и научных направлениях: экономика (региональная, отраслевая, предприятий, прогнозирование фондовых рынков), социология, эконометрика, биометрия, педагогика (создание педагогических измерительных инструментов и их применение), психология (личности, экстремальных ситуаций, профессиональных и учебных достижений, разработка и применение профессиограмм), сельское хозяйство (прогнозирование результатов применения агротехнологий, принятие решений по выбору рациональных агротехнологий и микрозон выращивания), экология, ампелография, геофизика (глобальное и локальное прогнозирование землетрясений, параметров магнитного поля Земли, движения полюсов Земли), климатология (прогнозирование Эль-Ниньо и Ла-Нинья), возобновляемая энергетика, мелиорация и управление мелиоративными системами, и ряд других областей.
АСК-анализ вызывает большой интерес во всем мире. Сайт автора АСК-анализа посетило около 500 тыс. посетителей с уникальными IP-адресами со всего мира http://lc.kubagro.ru/ . Еще около 500 тыс. посетителей (в расчете на фамилию автора) открывали статьи по АСК-анализу в Научном журнале КубГАУ http://ej.kubagro.ru/a/viewaut.asp?id=11&order=viewed .
Все это позволяет говорить о том, что АСК-анализ представляет собой современную инновационную технологию искусственного интеллекта и постепенно превращается в новое междисциплинарное научное направление.
4.2 Математическая модель и методика численных расчетов (алгоритмы и структуры данных) асимптотического информационного критерия качества шума
В этом качестве и для этой цели предлагается применить математическую модель и методику численных расчетов (алгоритмы и структуры данных) АСК-анализа, которая подробно описана в ряде работ [1, 2, 14, 17] и других. Суть этой математической модели состоит в том, что сначала рассчитывается матрица абсолютных частот, отражающая «пространственно-временные совпадения», т.е. факты, содержащиеся в исходных данных, а затем на основе на основе нее рассчитываются матрицы условных и безусловных процентных распределений (относительные частоты), матрица информативностей и другие модели знаний [15].
Методика численных расчетов включает структуры внешних баз данных и данных в оперативной памяти, а также алгоритмы их обработки, реализующие математическую модель [17]. Основными алгоритмами являются алгоритмы, реализующие базовые когнитивные операции системного анализа (БКОСА).
4.3 Система «Эйдос», как технология и методика применения асимптотического информационного критерия качества шума
Система «Эйдос» является программным инструментарием АСК-анализа и подробно описана в ряде работ [18] См., например: http://lc.kubagro.ru/aidos/_Aidos-X.htm (список работ в нижней части страницы), поэтому здесь приведем лишь графическую схему преобразования данных в информацию, а ее в знания и решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта путем исследования его модели в системе «Эйдос» (рисунок 2):
Рисунок 2. Схема преобразования данных в информацию, а ее в знания и решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта путем исследования его модели в системе «Эйдос»
5. Описание численного эксперимента и его результатов
5.1 Программа подготовки исходных данных
При работе над данной статьей авторами разработана специальная программа, скриншоты окна которой при выборе различных пунктов приведены на рисунке 3:
Рисунок 3. Скриншоты окна программы подготовки исходных данных
Эта программа предназначена для подготовки исходных данных для системы «Эйдос» и обеспечивает
- ввод из внешнего DOS-TXT-файла числовой или символьной последовательности с заданными параметрами (в качестве элементов последовательности можно рассматривать числа-слова или цифра-символы, можно переводить или не переводить символы в верхний регистр) и преобразования ее в форму базы данных, непосредственно воспринимаемой одним из программных интерфейсов системы «Эйдос» с внешними базами данных (стандарт этой базы данных описан на рисунке 4);
- генерации известных неслучайных последовательностей: арифметической и геометрической прогрессий и ряда Фибоначчи с заданными параметрами;
- генерации псевдослучайных последовательностей с использованием стандартного генератора использованного языка программирования (xBase++).
Рисунок 4. Описание стандарта базы данных, непосредственно воспринимаемой одним из программных интерфейсов системы «Эйдос» с внешними базами данных
Исходный текст этой программы приведен ниже:
FUNCTION Main()
LOCAL GetList[0], GetOptions, nColor, oMessageBox, oMenuWords, oDlg
DC_IconDefault(1000)
SET DECIMALS TO 15
SET DATE GERMAN
SET ESCAPE On
SET COLLATION TO SYSTEM // Руссификация
*SET COLLATION TO ASCII // Руссификация
PUBLIC aSay[30], Mess97, Mess98, Mess99 // Массив сообщений отображаемых стадий исполнения (до 30 на экране)
PUBLIC Time_progress, Wsego, oProgress, lOk
PUBLIC nEvery := 100 // Количество корректировок прогресс-бар
***********************************************************************************************************************
g = 0
s = 0
mRegim = 1
@g , 0 DCGROUP oGroup1 CAPTION 'Задайте вариант использования программы:' SIZE 78.0, 7.5
@++s, 2 DCRADIO mRegim VALUE 1 PROMPT 'Загрузка символьного ряда из файла:' PARENT oGroup1
@++s, 2 DCRADIO mRegim VALUE 2 PROMPT 'Расчет арифметической прогрессии' PARENT oGroup1
@++s, 2 DCRADIO mRegim VALUE 3 PROMPT 'Расчет геометрической прогрессии' PARENT oGroup1
@++s, 2 DCRADIO mRegim VALUE 4 PROMPT 'Расчет ряда Фибоначчи' PARENT oGroup1
@++s, 2 DCRADIO mRegim VALUE 5 PROMPT 'Расчет ряда случайных чисел:' PARENT oGroup1
P1 = 45
P2 = 60
// Загрузка символьного ряда из файла
s = 1
cFile = 'Inp_data.txt'
nElement = 1
mUpper = .T.
@0.7,43 DCGROUP oGroup2 CAPTION '' SIZE 33, 5.5 HIDE {||.NOT.mRegim=1} PARENT oGroup1
@ 1+0.1, 4.5 DCSAY "Имя файла:" EDITPROTECT {||.NOT.mRegim=1} HIDE {||.NOT.mRegim=1} PARENT oGroup2
@ 1,15 DCSAY "" GET cFile PICTURE "XXXXXXXXXXXX" EDITPROTECT {||.NOT.mRegim=1} HIDE {||.NOT.mRegim=1} PARENT oGroup2
@ 2, 2 DCRADIO nElement VALUE 1 PROMPT 'Элементы-слова (числа)' EDITPROTECT {||.NOT.mRegim=1} HIDE {||.NOT.mRegim=1} PARENT oGroup2
@ 3, 2 DCRADIO nElement VALUE 2 PROMPT 'Элементы-символы (цифры)' EDITPROTECT {||.NOT.mRegim=1} HIDE {||.NOT.mRegim=1} PARENT oGroup2
@ 4, 2 DCCHECKBOX mUpper PROMPT 'Перевести в заглавные' EDITPROTECT {||.NOT.mRegim=1} HIDE {||.NOT.mRegim=1} PARENT oGroup2
P1 = 35
P2 = 61
// Расчет арифметической прогрессии
s = 2
N1 = 1
N2 = N1+99
D = 1
@ s+0.2, P1 DCSAY "Номер начального элемента ряда:" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
@ s , P2 DCSAY "" GET N1 PICTURE "##########" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
@++s+0.2, P1 DCSAY "Номер конечного элемента ряда:" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
@ s , P2 DCSAY "" GET N2 PICTURE "##########" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
@++s+0.2, P1 DCSAY "Шаг прогрессии:" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
@ s , P2 DCSAY "" GET D PICTURE "##########" EDITPROTECT {||.NOT.mRegim=2} HIDE {||.NOT.mRegim=2} PARENT oGroup1
// Расчет геометрической прогрессии
s = 3
N1 = 1
N2 = N1+99
Q = 1.1
@ s+0.2, P1 DCSAY "Номер начального элемента ряда:" EDITPROTECT {||.NOT.mRegim=3} HIDE {||.NOT.mRegim=3} PARENT oGroup1
@ s , P2 DCSAY "" GET N1 PICTURE "##########" EDITPROTECT {||.NOT.mRegim=3} HIDE {||.NOT.mRegim=3} PARENT oGroup1
@++s+0.2, P1 DCSAY "Номер конечного элемента ряда:" EDITPROTECT {||.NOT.mRegim=3} HIDE {||.NOT.mRegim=3} PARENT oGroup1
@ s , P2 DCSAY "" GET N2 PICTURE "##########" EDITPROTECT {||.NOT.mRegim=3} HIDE {||.NOT.mRegim=3} PARENT oGroup1
@++s+0.2, P1 DCSAY "Знаменатель прогрессии:" EDITPROTECT {||.NOT.mRegim=3} HIDE {||.NOT.mRegim=3} PARENT oGroup1
...Подобные документы
Приборы для измерения уровня шума (шумомеры). Основные способы выполнения требований стандартов по снижению уровня звукового воздействия. Разработка структурной принципиальной схемы индикатора уровня шума. Классификация видов операционных усилителей.
курсовая работа [1,6 M], добавлен 15.01.2015Характеристики суммарного процесса на входе и на выходе амплитудного детектора. Амплитудно-частотная характеристика усилителя промежуточной частоты. Спектральная плотность сигнала. Корреляционная функция сигнала. Время корреляции огибающей шума.
курсовая работа [314,9 K], добавлен 09.12.2015Расчет спектрально-корреляционных характеристик сигнала и шума на входе усилителя промежуточной частоты (УПЧ). Анализ прохождения аддитивной смеси сигнала и шума через УПЧ, частотный детектор и усилитель низкой частоты. Закон распределения частоты.
курсовая работа [1,8 M], добавлен 22.03.2015Вероятность битовой ошибки в релеевском канале в системе с разнесенным приемом. Использование искусственного шума и пропускная способность. Соотношение амплитуд полезного сигнала и искусственного шума. Влияние шума на секретность передачи информации.
лабораторная работа [913,8 K], добавлен 20.09.2014Разработка усилителя в однокристальном исполнении. Использование полевых транзисторов в качестве активных элементов. Обеспечение минимизации дифференциального коэффициента шума в полосе рабочих частот. Влияние входного сопротивления на коэффициент шума.
контрольная работа [472,7 K], добавлен 24.05.2015Структурные схемы радиоприемных устройств. Частотные диапазоны, сигналы, помехи. Чувствительность приемника, коэффициент шума, шумовая температура. Избирательность радиоприемника. Расчет коэффициента шума РПУ. Транзисторные преобразователи частоты.
учебное пособие [7,1 M], добавлен 22.11.2010Проведение проверки характеристики смоделированной схемы усилителя НЧ на МДП-транзисторах на соответствие с техническими данными согласно результатам температурного, переходного, параметрического анализа, оценки переменного тока, сигнала и шума.
курсовая работа [3,3 M], добавлен 05.04.2010Назначение, технические описания и принцип действия устройства. Разработка структурной и принципиальной схем цифрового генератора шума, Выбор микросхемы и определение ее мощности. Расчет блока тактового генератора. Компоновка и разводка печатной платы.
курсовая работа [434,5 K], добавлен 22.03.2016Краткое описание принципиальной схемы и назначения устройства. Выбор элементной базы и конструирование устройства генератора "воющего" шума. Конструирование печатного узла и деталей (корпуса). Технология проектирования, изготовления, сборки и монтажа.
курсовая работа [2,4 M], добавлен 19.09.2010Расчет информационных характеристик источников дискретных сообщений и канала. Согласование дискретного источника с дискретным каналом без шума, методы кодирования и их эффективность. Информационные характеристики источников сообщений, сигналов и кодов.
курсовая работа [503,7 K], добавлен 14.12.2012Шумомер - прибор для объективного измерения уровня громкости шума, основные требования к нему. Измерение акустического шума, его характеристика по шкале. Выбор и обоснование материалов. Разработка и расчёт принципиальной схемы, программы и алгоритма.
курсовая работа [2,2 M], добавлен 12.03.2012Этапы проектирования датчика шума в виде субблока, разработка его принципиальной электрической схемы и принципы функционирования данного устройства. Выбор и обоснование элементной базы датчика. Расчет конструкции при действии вибрации, ее аттестация.
курсовая работа [150,3 K], добавлен 08.03.2010Разработка радиотехнической системы детектирования многопозиционного цифрового кода Баркера на фоне гауссовского шума. Формирование фазово-манипулируемого сигнала и принцип его согласованной фильтрации. Разработка радиотехнических систем в среде OrCAD.
курсовая работа [1,2 M], добавлен 18.02.2011Синусоидальное немодулированное колебание и белый шум в типовых каскадах радиоканала, состоящего из резонансного усилителя промежуточной частоты, частотного детектора и усилителя низкой частоты. Особенности преобразований аддитивной смеси сигнала и шума.
курсовая работа [851,1 K], добавлен 15.03.2015Классический метод оценки качества методом решения неоднородных дифференциальных уравнений. Проектирование систем управления методами моделирования: аналогового, цифрового, имитационного. Метод корневого годографа и применение критерия Найквиста.
реферат [156,8 K], добавлен 12.08.2009Расчет дисперсии шума квантования, вероятности дибитов и энтропии источника. Помехоустойчивое кодирование двоичных информационных комбинаций. Схемы кодера и декодера, модулятора и демодулятора. Корреляционная функция огибающей модулированного сигнала.
курсовая работа [1,1 M], добавлен 22.11.2014Расчёт ширины спектра, интервалов дискретизации и разрядности кода. Автокорреляционная функция кодового сигнала и его энергетического спектра. Спектральные характеристики, мощность модулированного сигнала. Вероятность ошибки при воздействии "белого шума".
курсовая работа [1,0 M], добавлен 07.02.2013Физические характеристики речи. Характеристики некоторых источников шума. Акустические и виброакустические каналы утечки информации. Технология работы инфракрасных прослушивающих устройств. Существующие схемы реализации модуляторов оконного стекла.
курсовая работа [705,8 K], добавлен 04.02.2015Проведение испытания на ударную прочность и устойчивость. Испытание на воздействие одиночных ударов. Характеристики оборудования для испытаний: ударные стенды. Проведение испытания на воздействие линейных нагрузок и на воздействие акустического шума.
реферат [251,3 K], добавлен 25.01.2009Понятие и сущность пространственного сигнала в дальней зоне источника излучения. Принципы и характеристика пространственно-временной эквивалентности обработки сигналов. Случайный пространственный сигнал, его характеристика и особенности. Отражение шума.
реферат [184,6 K], добавлен 28.01.2009