Размещено на http://www.allbest.ru/

Кубанский государственный аграрный университет

ТИПИЗАЦИЯ И ИДЕНТИФИКАЦИЯ РЕСПОНДЕНТОВ В СОЦИОЛОГИИ ПО ИХ АСТРОНОМИЧЕСКИМ ПОКАЗАТЕЛЯМ НА МОМЕНТ РОЖДЕНИЯ

Луценко Е.В., д.э.н., к.т.н., профессор

г. Краснодар

Аннотация

В статье описывается масштабный эксперимент по применению нового метода искусственного интеллекта - автоматизированного системно-когнитивного анализа (АСК-анализ) для выявления зависимостей между астропризнаками и обобщенными категориями (на основе исследования выборки из 20007 респондентов) путем типизации (обобщения), а также использования знания этих зависимостей для идентификации новых респондентов, не входящих в обучающую выборку, по этим категориям и проведения исследования созданной модели.

Постановка проблемы

В последнее время [15] среди исследователей часто возникает вопрос, действительно ли существуют практически значимые зависимости между астрономическими признаками респондентов на момент рождения (астропризнаками) и обобщенными категориями, отражающими физический, психофизиологический и социальный статус личности, а также ключевые события жизни? Однако, как это часто бывает, положительный ответ на этот вопрос сам ставит больше вопросов, чем решает. И вот лишь некоторые из них:

1. Если эти зависимости существуют, то возможно ли их выявить и использовать для идентификации респондентов, а также для выработки рекомендаций по коррекции их целей, ценностей, мотиваций, а также семейного, социального и профессионального поведения?

2. Если подтвердятся те зависимости, которые уже известны астрологам, то возникает вопрос о том, откуда (из какого источника) они стали известны им еще в глубокой древности, когда не было мощных компьютеров и интеллектуальных систем?

3. Можно ли использовать модель, содержащую эти зависимости между астропризнаками и категориями для астрологических исследований или даже для развития астрологии?

В данной статье мы не ставим себе целью ответить на все эти вопросы и лишь надеемся приблизиться к ответу на первый из них путем применения интеллектуальных систем анализа. Отметим, что принципы построения и некоторые результаты применения интеллектуальных систем для решения подобных задач даны в работах [1-15].

Традиционные подходы к решению проблемы

Ответы на эти вопросы в наше время исследователи искали в основном путем применения математической статистики. При этом были получены неоднозначные результаты, на основе которых можно высказать гипотезу, что если подобные зависимости и существуют, то, скорее всего они очень слабы и являются достаточно выраженными лишь для очень ограниченного количества категорий личности (прежде всего спортсменов). Заметим, среди исследователей сложилось мнение, что решение этой проблемы может быть получено путем применения многопараметрической регрессии и интеллектуальных систем анализа [14, 15].

Ограничения традиционных подходов

Обычно статистические методы предъявляют к исследуемой выборке жесткие требования (например, необходимость полных повторностей), которые на практике очень сложно соблюсти для данных достаточно большой размерности. В ряде случаев, т.е. при решении ряда задач в различных предметных областях, это создает практически непреодолимые проблемы на пути применения этих методов или приводит к необходимости обработки лишь подматриц малых размерностей, для которых эти требования полностью выполняются (из исходных больших матриц). Поэтому является актуальной задача разработки других методов, предъявляющих менее жесткие требования, чем классическая статистика, к исходным данным, в частности к их объему, и в то же время позволяющих решать практически значимые задачи.

Однако, сама необходимость повторностей предъявляется к исходным данным далеко не во всех статистических методах, а только в таких параметрических методах, как индексный метод и факторный анализ, которыми чаще всего и пользуются в подобных случаях, при этом ограничения и требования этих методов к исходным данным автоматически (по умолчанию, не критически) распространяют на все методы вообще. Это очень сильное неоправданное и ни на чем не основанное обобщение, т.к. существуют и другие методы, к которым относится и АСК-анализ, в которых этого требования нет или оно не является столь жестким (т.е. оно конечно желательно, но вовсе не обязательно).

Кроме того, мы можем и не исследовать всю систему первичных возможных астропризнаков признаков, а брать для исследования лишь одну из подсистем, например исследовать только влияние одной из планет или только стихию, и т.п. В этом случае необходимый корректный с точки зрения наличия полных повторностей объем выборки существенно сокращается.

В АСК-анализе недостаточность статистики с точки зрения классических представлений не приводит вообще к невозможности получения осмысленного результата, а приводит лишь к возможному, но вовсе не обязательному, понижению его качества за счет невозможности в этом случае исключения артефактов и менее эффективному подавлению шумов в исходных данных, но сами зависимости и в этом случае все равно будут выявлены.

Таким образом, по нашему мнению, АСК-анализ [1-8] не является статистическим методом (мы считаем, что это метод искусственного интеллекта, основанный на теории информации) и по этой причине не должен сравниваться со статистическими методами и оцениваться как статический метод по критериям, принятым в этих случаях.

Авторы хотели бы отметить также следующее важное обстоятельство. Не смотря на то, что астропризнаки респондентов на момент рождения (связанные также с местом рождения) впервые стали использоваться в астрологии и поэтому традиционно ассоциируются именно с астрологией, но по своей сути они являются чисто астрономическими и сами по себе к астрологии, ее практике и теоретическим концепциям не имеют непосредственного отношения. Этим мы хотим сказать, что использование этих признаков в данном исследовании не является достаточным основанием отождествлять его с астрологическим исследованием или относить его к астрологии.

Таким образом, по нашему мнению, данное исследование не является исследованием в области астрологии, а представляет собой экспериментальную попытку применения технологий искусственного интеллекта для постановки и решения некоторых задач, которые ранее (до этого) решались лишь астрологическими методами. При этом все зависимости между астропризнаками и обобщенными категориями выявляются в АСК-анализе непосредственно на основе анализа эмпирических данных и при этом никак не используются какие-либо априорные астрологические теоретические положения.

Поэтому, с одной стороны, интересно конечно сравнить результаты данного исследования с астрологическими прогнозами для тех же респондентов, но, с другой стороны, данное исследование некорректно было бы оценивать с точки зрения астрологии, т.е. можно рассматривать как попытку независимой проверки некоторых положений самой астрологии методами искусственного интеллекта.

Авторская концепция решения проблемы

В данной статье для решения поставленных задач предлагается применить автоматизированный системно-когнитивный анализ (АСК-анализ) - новый непараметрический метод искусственного интеллекта, основанный не на статистике, а на системном обобщении теории информации, системном анализе и когнитивном моделировании [1-8, 12]. Этот метод позволяет выделять полезный сигнал о связи признаков с обобщенными категориями из шума путем обобщения (многоканальной типизации), осуществлять синтез информационным моделей больших размерностей, а также использовать их для решения задач идентификации (прогнозирования), поддержки принятия решений и просто исследования предметной области путем исследования ее модели.

Теоретические основы АСК-анализа

Метод и технология АСК-анализа включает:

- базовую когнитивную концепцию;

- математическую модель;

- методику численных расчетов;

- специальный программный инструментарий - универсальную когнитивную аналитическую систему "Эйдос".

Базовая когнитивная концепция АСК-анализа рассматривает процесс познания, как многоуровневую иерархическую систему обработки информации, причем когнитивные структуры каждого уровня являются результатом интеграции структур предыдущего уровня.

На 1-м уровне этой системы находятся дискретные элементы потока чувственного восприятия, которые на 2-м уровне интегрируются в чувственный образ конкретного объекта. Те, в свою очередь, на 3-м уровне интегрируются в обобщенные образы классов и факторов, образующие на 4-м уровне кластеры, а на 5-м конструкты. Система конструктов на 6-м уровне образуют текущую парадигму реальности (т.е. человек познает мир путем синтеза и применения конструктов). На 7-м же уровне обнаруживается, что текущая парадигма не единственно-возможная, т.к. существуют другие формы сознания и реальности, кроме известных до этого.

Ключевым для когнитивной концепции является понятие факта, под которым понимается соответствие дискретного и интегрального элементов познания (т.е. элементов разных уровней интеграции-иерархии), обнаруженное на опыте. Факт рассматривается как квант смысла, что является основой для его формализации [6]. Мысль представляет собой действие над данными, извлекающее из них смысл. Таким образом, происхождение смысла связывается со своего рода "разностью потенциалов", существующей между смежными уровнями интеграции-иерархии обработки информации в процессах познания. Между когнитивными структурами разных уровней иерархии существует отношение "дискретное - интегральное". Именно это служит основой формализации смысла. Из базовой когнитивной концепции следует когнитивный конфигуратор, представляющий собой минимальную полную систему когнитивных операций, названных "базовые когнитивные операции системного анализа" (БКОСА).

Всего выявлено 10 таких операций, каждая из которых оказалась достаточно элементарной для формализации и программной реализации:

1) присвоение имен;

2) восприятие;

3) обобщение (синтез, индукция);

4) абстрагирование;

5) оценка адекватности модели;

6) сравнение, идентификация и прогнозирование;

7) дедукция и абдукция;

8) классификация и генерация конструктов;

9) содержательное сравнение;

10) планирование и принятие решений об управлении.

Математическая модель АСК-анализа основана на системной теории информации (СТИ), которая создана в рамках реализации программной идеи обобщения всех понятий математики, в частности теории информации, базирующихся на теории множеств, путем тотальной замены понятия множества на более общее понятие системы и тщательного отслеживания всех последствий этой замены [7]. Благодаря математической модели, положенной в основу АСК-анализа, этот метод является непараметрическим и позволяет сопоставимо обрабатывать тысячи градаций факторов (астропризнаков) и будущих состояний объекта управления (категорий) при неполных (фрагментированных), зашумленных данных различной природы, т.е. измеряемых в различных единицах измерения [4].

При этом на этапе синтеза модели осуществляется многокритериальная типизация респондентов обучающей выборки по исследуемым категориям, т.е. рассчитывается количество информации, которое содержится в фактах попадания долгот углов в интервалы (рассматриваемые как критерии), о принадлежности респондента к тем или иным категориям, а на этапе идентификации эта информация используется для расчета степени сходства конкретных респондентов с обобщенными категориями.

Результат идентификации респондента, описанного данной системой астропризнаков, представляет собой список обобщенных категорий (классов), в котором они расположены в порядке убывания суммарного количества информации о принадлежности респондента к каждому из них. Математическая модель позволяет сформировать информационные портреты классов и астропризнаков, а также осуществить их кластерный и конструктивный анализ.

Информационный портрет класса (обобщенной категории) показывает какое количество информации содержит каждый астропризнак о принадлежности респондента к данной категории.

Информационный (семантический) портрет астропризнака является его развернутой смысловой количественной характеристикой, в которой содержится информация о принадлежности респондента, обладающего данным признаком, ко всем обобщенным категориям.

Кластеры классов представляют собой группы категорий, сходных по характерным для них астропризнакам.

Кластеры астропризнаков представляют собой группы признаков, сходных по их смыслу, т.е. по тому, какую информацию о принадлежности респондентов, обладающих этими признаками к обобщенным категориям они содержат.

Под конструктом понимается система противоположных (наиболее сильно отличающихся) кластеров, которые называются "полюсами" конструкта, а также спектр промежуточных кластеров, к которым применима количественная шкала измерения степени их сходства или различия.

Конструкты могут быть получены как результат кластерного анализа кластеров категорий или астропризнаков, при этом конструкт рассматривается как кластер с нечеткими границами, включающий в различной степени, причем не только в положительной, но и в отрицательной, все классы или астропризнаки.

Конструктивный анализ позволяет определить в принципе совместимые и в принципе несовместимые по характерным для них астропризнакам классы или обобщенные категории. Совместимыми называются классы, для которых характерны сходные системы астропризнаков, а несовместимыми - для которых они диаметрально противоположны и одновременно неосуществимы.

По результатам кластерно-конструктивного анализа строятся диаграммы смыслового сходства-различия классов (признаков), соответствующие определению семантических сетей и нечетких когнитивных схем, т.е. представляющие собой ориентированные графы, в которых классы (признаки) соединены линиями, толщина которых соответствует модулю, а цвет знаку их сходства-различия.

Предложенная математическая модель в обобщенной постановке обеспечивает содержательное сравнение классов друг с другом и астропризнаков друг с другом, т.е. построение когнитивных диаграмм. Например, информационные портреты классов содержат информацию о характерности признаков для классов. Кластерно-конструктивный анализ обеспечивает сравнение классов друг с другом, т.е. дает степень их сходства и различия. Но он не дает информации о том, какими признаками эти классы похожи и какими отличаются, и какой вклад каждый признак вносит в сходство или различие некоторых двух классов. Информация об этом генерируется на основе анализа и сравнения двух информационных портретов, что и осуществляется при содержательном сравнении классов. Каждая пара признаков, принадлежащих сравниваемым классам, образует "смысловую связь", вносящую определенный вклад в сходство/различие между этими классами если эти признаки тождественны друг другу или между ними имеется определенное сходство/различие по смыслу. Список связей сортируется в порядке убывания модуля силы связи, причем учитывается не более заданного их количества (это связано с ограничениями при графическом отображении). Графической визуализацией результатов содержательного сравнения классов являются когнитивные диаграммы с много-многозначными связями. На когнитивной диаграмме классов отображены их информационные портреты, в которых факторы расположены в порядке убывания их характерности для этих классов, а линии, соединяющие астропризнаки, имеют толщину и цвет, соответствующие модулю и знаку их вклада в сходство-различие классов. Когнитивная диаграмма классов дает детальную расшифровку структуры конкретной линии связи семантической сети. Кроме того, предложены и реализованы в модели инвертированные когнитивные диаграммы, детально раскрывающие сходство-различие двух астропризнаков по их влиянию на принадлежность респондента к различным категориям, а также прямые и инвертированные диаграммы В.С. Мерлина (1986), в которых показаны уровни и знаки связей между астропризнаками различных уровней интегративности по их характерности для различных категорий. Предложены и реализованы также классические и интегральные когнитивные карты, представляющие собой диаграммы, объединяющие семантические сети классов и признаков и нелокальные нейронные сети [3].

Методика численных расчетов АСК-анализа включает структуры данных, способы представления и формализации (кодирования) входных, промежуточных и выходных данных, а также алгоритмы реализации базовых когнитивных операций системного анализа.

Специальный программный инструментарий АСК-анализа - универсальная когнитивная аналитическая система "Эйдос" (система "Эйдос") обеспечивает:

- формализацию предметной области;

- подготовку обучающей выборки и управление ей, в т.ч. взвешивание или "ремонт" данных;

- синтез семантической информационной модели предметной области (обобщение или типизация);

- оптимизацию модели;

- проверку адекватности модели;

- идентификацию и прогнозирование;

- типологический анализ (включая решение обратной задачи идентификации и прогнозирования, семантический информационный и кластерно-конструктивный анализ классов и факторов);

- оригинальную графическую визуализация результатов анализа в форме когнитивной графики (простых и интегральных когнитивных карт, семантических сетей и когнитивных диаграмм).

Этапы АСК-анализа

В работах [1-10] приведен перечень этапов системно-когнитивного анализа, которые необходимо выполнить, чтобы осуществить синтез и исследование модели объекта управления:

1. Когнитивная структуризация, а затем и формализация предметной области [5].

2. Ввод данных мониторинга в базу прецедентов (обучающую выборку).

3. Синтез семантической информационной модели (СИМ).

4. Оптимизация СИМ (в случае целесообразности).

5. Проверка адекватности СИМ (верификация модели, измерение внутренней и внешней, дифференциальной и интегральной валидности).

6. Решение задач идентификации состояний объекта управления, прогнозирование и поддержка принятия управленческих решений по управлению с применением СИМ.

7. Системно-когнитивный анализ СИМ.

Важной особенностью АСК-анализа является возможность единообразной числовой обработки разнотипных числовых и нечисловых данных [4]. Это обеспечивается тем, что нечисловым величинам тем же методом, что и числовым, приписываются сопоставимые в пространстве и времени, а также между собой, количественные значения, позволяющие обрабатывать их как числовые:

- на первых двух этапах АСК-анализа числовые величины сводятся к интервальным оценкам, как и информация об объектах нечисловой природы (фактах, событиях) (этот этап реализуется и в методах интервальной статистики);

- на третьем этапе АСК-анализа всем этим величинам по единой методике, основанной на системном обобщении семантической теории информации А.Харкевича, сопоставляются количественные величины (имеющие смысл количества информации в признаке о принадлежности объекта к классу), с которыми в дальнейшем и производятся все операции моделирования (этот этап является уникальным для АСК-анализа).

Краткое описание технологии применения АСК-анализа для решения поставленных задач

1. В результате когнитивной структуризации предметной области:

- сформирована база данных дерева категорий;

- подсчитано количество категорий;

- создана база данных респондентов с указанием категорий, к которым они относятся;

- сформирована база данных событий жизни;

- информация о событиях жизни включена в базу данных респондентов;

- создана база данных, непосредственно-воспринимаемая стандартным интерфейсом для внешних баз данных системы "Эйдос", объединяющая данных из базы категорий и астропризнаков по всем респондентам обучающей выборки.

Все эти работы были выполнены с помощью специальной программы, разработанной для этой цели автором статьи (работа этой программы на объеме выборки 20007 респондентов составляет несколько минут на P4). При этом в качестве исходной информации использовались Excel-файлы, содержащие для каждого респондента информацию о категориях, к которым он относится и полную характеристику в форме астропризнаков. Основным источником астрологической базы данных, подготовленной для системы ЭЙДОС, является Lois Rodden's AstroDatabank (см. www.astrodatabank.com). Эта база содержит жизнеописание знаменитостей и простых людей, проживавших (или проживающих) в США. Достоинством этой базы данных является то, что, все события жизни классифицированы, а все профессиональные и иные категории упорядочены. На первом этапе данные были конвертированы в формат баз данных JDataStore фирмы Borland. Затем данные были тщательно отсортированы, с использованием SQL запросов и специальных функций на языке Java. В результате были получены астрологические и биографические данные для 20007 уникальных персон и 16360 записей событий, происходивших с ними. Для них всех с помощью библиотеки швейцарских эфемерид (см. www.astro.com) были вычислены координаты небесных тел (долгота и широта в градусах и расстояние в астрономических единицах). Для записей с точным временем вычислялись куспиды астрологических домов в системе Плацидуса, а также звездные стоянки Луны - накшатры (использовалась система из 27 стоянок). В анализе были использованы эфемериды следующих небесных тел: Солнца, Луны, Меркурия, Венеры, Марса, Юпитера, Сатурна, Урана, Нептуна, Плутона и Хирона. Следующим шагом является сортировка персон по категориям. В результате было получено XML дерево категорий исходной базы данных. Для этой цели была написана процедура, позволяющая безошибочно изменять категории, сортируя его. Далее база данных была полностью экспортирована в формат Excel, а из него в формат интеллектуальной системы ЭЙДОС. Архив исходных данных в формате Excel доступен по адресу: http://astro.proforums.ru/tmp/abank.rar. Отметим, что работа с категориями продолжается и в настоящее время, поэтому архив обновляется и пополняется по мере пополнения исходной базы данных.

Исполнимый и исходный текст программы преобразования исходных данных в файлы, непосредственно воспринимаемые одним из стандартных интерфейсов системы "Эйдос" для внешних баз данных, вместе со всеми исходными, промежуточными и результирующими базами данных а полностью функциональном состоянии можно скачать с сайта автора по ссылкам:

http://lc.kubagro.ru/astrolog/astr-all.rar и http://lc.kubagro.ru/1/astr7.rar.

2. В результате формализации предметной области:

- получены справочники классов (классификационные шкалы и градации), т.е. обобщенных категорий, включающие категории из дерева категорий, предоставленного В.Шашиным, а также события жизни;

- получены справочники астропризнаков (49 описательных шкал с суммарным количеством градаций: 532, т.е. по 12 для всех шкал, кроме накшатр);

- получена обучающая выборка, включающая данные о принадлежности к категориям и астропризнаки по 20007 респондентам.

Первоначально справочник категорий включал 10988 категорий (http://lc.kubagro.ru/1/astr8.rar), затем из него были удалены все наименее представленные респондентами категории, так что в результате осталось 500 категорий, каждая из которых была представлена не менее чем 27 респондентами. Это было необходимо сделать как для проведения обобщения (типизации), так и для того, чтобы модель просчитывалась на реально имеющихся в распоряжении авторов персональных компьютерах за разумное время.

Все эти работы выполнены автоматически одним из стандартных интерфейсов системы "Эйдос" с внешними базами данных.

3. Синтез семантической информационной модели (СИМ).

Этот этап осуществляется автоматически в системе "Эйдос" на основе баз данных, подготовленных на предыдущем этапе. Весь процесс для объема выборки 20007 респондентов при указанном количестве классов и астропризнаков занимает несколько часов машинного времени на PC IBM Pentium-4.

4. Оптимизация СИМ (в случае целесообразности).

Этот этап представляет собой ортонормирование семантического пространства астропризнаков и состоит в удалении из модели тех из них, которые оказались наименее существенными для идентификации респондентов по категориям. В данном исследовании этого не делалось.

5. Проверка адекватности СИМ (верификация модели, измерение внутренней и внешней, дифференциальной и интегральной валидности).

Данный этап является весьма существенным по двум основным причинам.

Во-первых, если модель предметной области адекватна, то непосредственное исследование предметной области корректно можно заменить исследованием ее модели, т.е. считать исследование модели исследованием самой предметной области.

Во-вторых, если модель предметной области адекватна, то можно утверждать, что получен положительный результат в проводимом исследовании, т.е. выявлены значимые зависимости между астропризнаками и принадлежностью респондентов к тем или иным категориям.

В технологии АСК-анализа и системе "Эйдос" предусмотрено несколько способов и вариантов проверки модели на адекватность из которых мы воспользовались наиболее жестким: адекватность проверялась путем контрольной идентификации случайно отобранных 1000 респондентов, данные которых не использовались при синтезе модели (бутстрепный метод [4]).

6. Решение задач идентификации респондентов.

В исследовании решалось две задачи идентификации респондентов:

1. Идентификация группы из 1000 респондентов, выбранных случайным образом из исходной выборки объемом 20007 респондентов, данные которых не использовались при синтезе модели, которая была построена на данных оставшихся 19007 респондентов.

2. Идентификация группы из 69 респондентов, данные по которым были представлены участниками форума на сайте http://trounev.net. При этом использовались различные варианты моделей отличающиеся как наборами описательных шкал, так и количеством градаций в них.

Анализ результатов идентификации 2-й группы приведен в статьях авторов [10, 11], поэтому в данной статье мы на нем останавливаться не будем, а подробнее рассмотрим результаты измерения внешней валидности путем идентификации группы из 1000 случайно отобранных респондентов, данные которых не использовались при синтезе модели.

7. Системно-когнитивный анализ СИМ.

Возможности системно-когнитивного анализа семантической информационной модели кратко описаны выше и подробнее в работах [1-10]. Часть предварительных выходных форм, получающихся при проведении АСК-анализа СИМ размещено на сайте автора по ссылкам, которые даны на упоминаемых в начале статьи форумах. Однако полное исследование полученных моделей еще предстоит выполнить.

Краткое описание некоторых полученных результатов

Итак, была измерена внешняя дифференциальная (в разрезе по категориям) и интегральная (общая средневзвешенная по всем категориям) валидность модели путем идентификации группы из 1000 случайно отобранных респондентов, данные которых не использовались при синтезе модели.

Система "Эйдос" выдает две обобщенные формы по результатам идентификации:

1. В разрезе по категориям в порядке убывания достоверности их идентификации.

2. В разрезе по респондентам в порядке убывания достоверности их идентификации.

В первой форме дается эвристическая оценка достоверности идентификации категорий, а во второй - конкретных респондентов (каждого из 1000). Рассмотрим эти формы, приведенные в таблицах 1 и 2.

Таблица 1 - Некоторые обобщенные категории, ранжированные в порядке убывания достоверности идентификации

Код	Наименование	Максимальный уровень сходства	Достоверность идентификации (эвристический критерий)
327	CATEGORIES: C1603-Sports.	32,524	56,195
52	CATEGORIES: ###-Disk Collection	9,043	44,192
454	EVENT_LIFE: Death, Cause unspecified.	13,973	43,433
24	CATEGORIES: ###-Basketball.	22,299	33,469
374	CATEGORIES: C282-Football	32,450	29,927
190	CATEGORIES: A1-Book Collection.	11,734	26,847
156	CATEGORIES: ###-Sexuality	17,248	24,181
194	CATEGORIES: A25-Writers	13,226	24,158
499	SEX: Ж.	17,681	23,722
84	CATEGORIES: ###-Homosexual male	16,699	20,322
338	CATEGORIES: C17817-Birth.	23,537	19,778
118	CATEGORIES: ###-Occult Fields	14,241	16,252
319	CATEGORIES: C15021-Astrologer	14,484	15,846
325	CATEGORIES: C1592-Death	15,781	15,833
38	CATEGORIES: ###-Childhood	25,122	15,765
183	CATEGORIES: ###-Unusual circumstances	27,587	14,819
192	CATEGORIES: A19-Famous.	14,981	13,669
66	CATEGORIES: ###-Family noted.	26,419	12,394
199	CATEGORIES: A38-Business.	16,811	12,085
95	CATEGORIES: ###-Long life >80 yrs	16,425	11,913
500	SEX: М.	48,477	11,875
264	CATEGORIES: B66-American Book	24,495	11,814
202	CATEGORIES: A7-Relationship	15,796	10,311
298	CATEGORIES: C12770-Entertain.	11,449	9,830
35	CATEGORIES: ###-Cesarean.	27,538	9,480
107	CATEGORIES: ###-Misc.	19,925	9,405
182	CATEGORIES: ###-UFO sighting.	18,269	9,158
305	CATEGORIES: C13294-Science.	17,188	9,079
197	CATEGORIES: A32-Body.	21,872	-0,474
403	CATEGORIES: C7039-D.J	18,462	-0,490
65	CATEGORIES: ###-Family large.	15,681	-0,516
122	CATEGORIES: ###-Other Engineer.	19,722	-0,521
149	CATEGORIES: ###-Same location lifetime.	20,151	-0,531
371	CATEGORIES: C2726-Columnist	22,126	-0,538
429	EVENT_LIFE: Assault/ Battery Perpetratio.	21,036	-0,551
428	EVENT_LIFE: Arrest.	13,478	-0,604
324	CATEGORIES: C1586-journalist.	20,905	-0,610
456	EVENT_LIFE: Deinstitutionalized - prison.	17,895	-0,615
470	EVENT_LIFE: Great Publicity	16,112	-0,617
145	CATEGORIES: ###-Rags to riches.	18,369	-0,803
270	CATEGORIES: B806-Child performer.	22,950	-0,973
471	EVENT_LIFE: Homicide Perpetration	22,974	-1,037
64	CATEGORIES: ###-Extremes in quantity.	23,394	-1,230

Рассмотрим каким образом определяется достоверность идентификации обобщенной категории. Сделаем это на примере категории "CATEGORIES: C1603-Sports". Рассмотрим карточку идентификации респондентов с этой категорией - рис. 1.

Рис. 1. Результаты идентификации категории С 1603

Из-за того, что в этой карточке 1000 строк (по числу респондентов) мы сочли возможным показать не их все, а часть исключили (показаны пунктиром). В верхней части карточки приведены респонденты, которых система отнесла к данной категории. Против тех респондентов, которые к ней действительно относятся стоит знак: "v".

Система при идентификации может совершать четыре вида ошибок:

1. Относить респондентов к категории, хотя они к ней не относятся ("ошибочная идентификация", например, респондент: 15051 Prostitute 580).

2. Не относить респондентов к категории, хотя они к ней относятся ("ошибочная неидентификация", например, респондент: 15625 Rigoulot, Charl).

Эвристический критерий качества идентификации обобщенной категории сконструирован таким образом, что качество равное (+100%) получается если ошибки этих двух видов отсутствуют. При этом увеличение количества ошибок 1-го рода приближает значение критерия к 0, а 2-го рода к (-100%).

Обратим внимание на то, что в конце таблицы 1 приведены категории, с которыми респонденты чаще идентифицируются ошибочно, чем правильно. Как это может быть пока не совсем понятно.

Таблица 2 - Обобщенные данные идентификации некоторых респондентов, ранжированные в порядке убывания достоверности идентификации

Код	Респондент	Максимальный уровень сходства	Достоверность идентификации (эвристический критерий)
707	Alcoholic 8302	30,616	20,116
615	Alcoholic 5950	31,856	19,320
583	Alcoholic 5544	33,596	19,289
584	Alcoholic 5564	32,657	19,138
14009	Out of Body Exp	32,216	17,683
499	Alcoholic 10406	34,213	17,631
668	Alcoholic 6925	35,167	16,900
564	Alcoholic 5300	31,512	16,384
18142	Tolliver, B.J.	46,818	16,254
7001	Graham, Jeff Qb	46,252	16,223
10121	Johnson, R. Te	47,534	16,129
5485	Eaumua, D. Sal	47,782	16,107
14360	Pavan, Marisa	32,490	-2,620
18366	Twiggy	37,565	-2,769
3654	Chaplin, Michae	20,143	-2,943
16973	Speakman, Hugh	16,097	-2,947
5777	Estrich, Susan	19,235	-3,036
14571	Phillips, Mark	20,767	-3,529
10062	Johnson, Abigai	17,987	-4,097

При анализе этой таблицы мы прежде всего обращаем внимание на то, что наиболее высокий уровень достоверности идентификации наблюдается у алкоголиков и имеющих внетелесный опыт (ВТО), т.е. опыт в измененных формах сознания. В конце этой таблицы также есть респонденты, которые системой чаще относятся к тем категориям, к котором они в действительности не принадлежат (причины чего еще предстоит выяснить в будущих исследованиях).

Эвристический критерий достоверности идентификации респондента рассчитывается по алгоритму, аналогичному описанному выше. В качестве примера приведем карточку респондента, который был идентифицирован системой с наибольшей достоверностью из всех 1000 респондентов - рис. 2. При этом система не допустила ни одной (!!!) ошибки ошибочной неидентификации, хотя и несколько раз отнесла респондента к категориям, к которым он не относится (ошибочная идентификация).



Рис. 2. Результат идентификации анкеты 707

Об этой форме можно высказать гипотезу, что те категории, с которыми у данного респондента высокое сходство но он к ним фактически не относится соответствуют его нереализованным предрасположенностям, а категории, к которым он фактически относится, но система его к ним не отнесла - тем занятиям, к которым у него не было предрасположенности, но которыми он все же занимался (скорее всего не очень успешно).

Для сравнения с таблицей 1 приведем таблицу 3 с эвристической оценкой достоверности идентификации категорий на при измерении внешней валидности путем синтеза модели на основе данных 15007 респондентов и идентификации 5000 респондентов, данные которых не использовались при синтезе модели. При этом приведем два варианта, полученных, соответственно, при отборе 5000 респондентов случайным образом и как каждого 4-го из исходной выборки.

Приведем на наш взгляд интересный результат, полученный на основе идентификации 5000 респондентов (выбранных как каждый 4-й из исходной выборки), данные которых не использовались при синтезе модели, созданной на основе данных оставшихся 15007 респондентов - рис. 3.

Рис. 3. Результат идентификации категории В 1590

Из этой карточки мы видим, что всех респондентов, в действительности относящихся к категории 221, модель смогла отнести к этой категории. На основе этого результат можно высказать гипотезу, что врожденные способности к внетелесному опыту (ВТО) в высокой степени предопределяются астрономическими показателями, определяемыми временем и местом рождения респондента. Какими именно астрономическим показателями мы видим в информационном портрете категории: В 1590:

Система детерминации обобщенной категории:

221 В 1590: "Внетелесный опыт" (фрагмент)

№	Код признака	Наименование признака	Кол-во инф. в признаке (бит)	Кол-во информации в признаке о принадлежности респондента к данной обобщенной категории (в % от теоретически max. возможного)
1	388	nodedist: {0.003, 0.003}	1,02534	11,44
2	389	HOUSE1: {0.000, 29.978}	0,75514	8,42
3	521	HOUSE12: {0.000, 29.975}	0,74047	8,26
4	401	HOUSE2: {0.000, 29.967}	0,74030	8,26
5	413	HOUSE3: {0.000, 29.972}	0,73670	8,22
6	509	HOUSE11: {0.000, 29.985}	0,72843	8,12
7	461	HOUSE7: {0.000, 29.978}	0,72242	8,06
8	473	HOUSE8: {0.000, 29.983}	0,72133	8,05
9	485	HOUSE9: {0.000, 29.966}	0,71677	7,99
10	497	HOUSE10: {0.000, 29.983}	0,70899	7,91
11	425	HOUSE4: {0.000, 29.998}	0,67937	7,58
12	437	HOUSE5: {0.000, 29.966}	0,66257	7,39
13	449	HOUSE6: {0.000, 29.982}	0,62306	6,95
14	173	JUPITERLON: {269.821, 299.795}	0,59354	6,62
15	66	MOONDIST: {0.002, 0.002}	0,54703	6,10
16	121	VENUSDIST: {0.839, 0.952}	0,53606	5,98
17	115	VENUSLAT: {7.151, 8.594}	0,52123	5,81
18	214	SATURNLAT: {-0.931, -0.478}	0,51645	5,76
19	62	MOONLAT: {1.886, 2.718}	0,48100	5,36
20	217	SATURNLAT: {0.430, 0.883}	0,47612	5,31
21	251	URANUSLAT: {-0.127, -0.020}	0,47180	5,26
22	80	MERCURYLAT: {-4.204, -3.484}	0,46167	5,15
23	338	PLUTODIST: {43.058, 44.793}	0,45034	5,02
24	160	MARSDIST: {1.923, 2.103}	0,44342	4,95
25	326	PLUTOLAT: {6.192, 9.031}	0,43519	4,85
26	140	MARSLAT: {-6.763, -5.824}	0,42598	4,75
27	176	JUPITERLAT: {-1.628, -1.362}	0,42350	4,72
28	183	JUPITERLAT: {0.234, 0.500}	0,40183	4,48
29	347	CHIRONLON: {149.887, 179.864}	0,40127	4,48
30	105	VENUSLAT: {-7.275, -5.832}	0,38355	4,28
321	204	SATURNLON: {180.033, 209.958}	-0,36078	-4,02
322	311	PLUTOLON: {150.084, 180.045}	-0,36278	-4,05
323	112	VENUSLAT: {2.823, 4.266}	-0,36662	-4,09
324	85	MERCURYLAT: {-0.605, 0.115}	-0,36775	-4,10
325	150	MARSLAT: {2.624, 3.563}	-0,37246	-4,15
326	218	SATURNLAT: {0.883, 1.337}	-0,38674	-4,31
327	300	NEPTUNEDIS: {30.270, 30.434}	-0,39554	-4,41
328	308	PLUTOLON: {60.201, 90.162}	-0,39579	-4,41
329	138	MARSLON: {299.639, 329.577}	-0,40220	-4,49
330	119	VENUSDIST: {0.612, 0.725}	-0,41812	-4,66
331	371	CHIRONDIST: {13.015, 14.642}	-0,43369	-4,84
332	159	MARSDIST: {1.744, 1.923}	-0,44268	-4,94
333	258	URANUSDIST: {17.397, 17.700}	-0,44573	-4,97
334	58	MOONLAT: {-1.445, -0.612}	-0,44841	-5,00
335	71	MERCURYLON: {119.987, 149.931}	-0,46713	-5,21
336	145	MARSLAT: {-2.069, -1.131}	-0,46773	-5,22
337	100	VENUSLON: {239.780, 269.738}	-0,47704	-5,32
338	67	MERCURYLON: {0.212, 30.156}	-0,48269	-5,38
339	118	VENUSDIST: {0.498, 0.612}	-0,48557	-5,42
340	339	PLUTODIST: {44.793, 46.528}	-0,49928	-5,57
341	243	URANUSLON: {269.679, 299.638}	-0,50066	-5,58
342	61	MOONLAT: {1.053, 1.886}	-0,50321	-5,61
343	250	URANUSLAT: {-0.235, -0.127}	-0,51340	-5,73
344	233	SATURNDIST: {10.660, 10.861}	-0,53567	-5,97
345	328	PLUTOLAT: {11.870, 14.709}	-0,53748	-5,99
346	178	JUPITERLAT: {-1.096, -0.830}	-0,61394	-6,85
347	170	JUPITERLON: {179.897, 209.872}	-0,62957	-7,02
348	456	HOUSE6: {209.875, 239.857}	-0,63831	-7,12
349	194	JUPITERDIS: {5.129, 5.236}	-0,64718	-7,22
350	163	MARSDIST: {2.461, 2.641}	-0,66613	-7,43
351	90	MERCURYLAT: {2.993, 3.713}	-0,67980	-7,58
352	19	NAKSATRA_M: Uttara Bhadra	-0,68277	-7,62
353	283	NEPTUNELAT: {-1.417, -1.131}	-0,69146	-7,71
354	186	JUPITERDIS: {4.276, 4.382}	-0,71620	-7,99
355	385	NODELON: {299.846, 329.803}	-0,72375	-8,07
356	442	HOUSE5: {149.828, 179.794}	-0,73965	-8,25
357	320	PLUTOLAT: {-10.843, -8.004}	-0,74727	-8,33
358	477	HOUSE8: {119.933, 149.916}	-0,78037	-8,70
359	464	HOUSE7: {89.933, 119.911}	-0,79657	-8,88
360	92	VENUSLON: {0.113, 30.072}	-0,79883	-8,91
361	174	JUPITERLON: {299.795, 329.770}	-0,83403	-9,30
362	451	HOUSE6: {59.964, 89.947}	-0,83415	-9,30
363	411	HOUSE2: {299.675, 329.642}	-0,84124	-9,38
364	256	URANUSLAT: {0.412, 0.520}	-0,85599	-9,55
365	490	HOUSE9: {149.829, 179.795}	-0,85820	-9,57
366	242	URANUSLON: {239.719, 269.679}	-0,87107	-9,72
367	424	HOUSE3: {329.693, 359.666}	-0,87175	-9,72
368	522	HOUSE12: {29.975, 59.951}	-0,87728	-9,78
369	450	HOUSE6: {29.982, 59.964}	-0,90076	-10,05
370	436	HOUSE4: {329.979, 359.977}	-0,90227	-10,06
371	438	HOUSE5: {29.966, 59.931}	-0,90420	-10,09
372	60	MOONLAT: {0.221, 1.053}	-0,91167	-10,17
373	520	HOUSE11: {329.840, 359.825}	-0,91706	-10,23
374	489	HOUSE9: {119.863, 149.829}	-0,92871	-10,36
375	398	HOUSE1: {269.805, 299.783}	-0,93812	-10,46
376	423	HOUSE3: {299.721, 329.693}	-0,94387	-10,53
377	502	HOUSE10: {149.916, 179.899}	-0,95274	-10,63
378	463	HOUSE7: {59.955, 89.933}	-0,95521	-10,65
379	429	HOUSE4: {119.992, 149.990}	-0,95796	-10,68
380	476	HOUSE8: {89.950, 119.933}	-0,96362	-10,75
381	503	HOUSE10: {179.899, 209.882}	-0,96566	-1...

Подобные документы

• Создание и развитие искусственного интеллекта

  Начало современного этапа развития систем искусственного интеллекта. Особенности взаимодействия с компьютером. Цель когнитивного моделирования. Перспективы основных направлений современного развития нейрокомпьютерных технологий, моделирование интеллекта.
  
  реферат [24,7 K], добавлен 05.01.2010
  

• Проблемы искусственного интеллекта

  Сущность и проблемы определения искусственного интеллекта, его основных задач и функций. Философские проблемы создания искусственного интеллекта и обеспечения безопасности человека при работе с роботом. Выбор пути создания искусственного интеллекта.
  
  контрольная работа [27,9 K], добавлен 07.12.2009
  

• Система искусственного интеллекта

  Понятие искусственного интеллекта как свойства автоматических систем брать на себя отдельные функции интеллекта человека. Экспертные системы в области медицины. Различные подходы к построению систем искусственного интеллекта. Создание нейронных сетей.
  
  презентация [3,0 M], добавлен 28.05.2015
  

• Сущность искусственного интеллекта

  Искусственный интеллект – научное направление, связанное с машинным моделированием человеческих интеллектуальных функций. Черты искусственного интеллекта Развитие искусственного интеллекта, перспективные направления в его исследовании и моделировании.
  
  реферат [70,7 K], добавлен 18.11.2010
  

• История развития искусственного интеллекта

  Сущность искусственного интеллекта, сферы человеческой деятельности, в которых он распространен. История и этапы развития данного явления. Первые идеи и их воплощение. Законы робототехники. Использование искусственного интеллекта в коммерческих целях.
  
  реферат [40,8 K], добавлен 17.08.2015
  

• Концептуальные основы искусственного интеллекта

  Общая характеристика дисциплины "Основы искусственного интеллекта". Ее предмет, цели и задачи. Особенности и расшифровка ряда понятийных терминов, характеризующих сущность кибернетики. Методы и алгоритмы анализа данных для получения знаний и обучения.
  
  презентация [10,9 K], добавлен 03.01.2014
  

• Идентификация динамических систем по методу МНК

  Проведение идентификации модели по схеме МНК. Запись исходной модели в дискретной форме. Сравнение параметров модели и результатов идентификации. Анализ графиков модельного выходного сигнала и оценки выходного сигнала, восстановленных по схеме МНК.
  
  лабораторная работа [461,0 K], добавлен 19.02.2015
  

• Идентификация динамических объектов

  Содержание активного и пассивного методов идентификации динамических объектов. Проведение полного факторного эксперимента, в котором реализуются все возможные сочетания уравнений факторов. Применение метода наименьших квадратов и регрессионного анализа.
  
  контрольная работа [140,1 K], добавлен 05.11.2011
  

• Функция принадлежности

  Эволюция систем искусственного интеллекта. Направления развития систем искусственного интеллекта. Представление знаний - основная проблема систем искусственного интеллекта. Что такое функция принадлежности и где она используется?
  
  реферат [49,0 K], добавлен 19.05.2006
  

• Области применения искусственного интеллекта на предприятии

  Области человеческой деятельности, в которых может применяться искусственный интеллект. Решение проблем искусственного интеллекта в компьютерных науках с применением проектирования баз знаний и экспертных систем. Автоматическое доказательство теорем.
  
  курсовая работа [41,3 K], добавлен 29.08.2013
  

• Проблемы создания искусственного интеллекта

  Характеристика сущности искусственного интеллекта. Проблема создания искусственного интеллекта. Базовые положения, методики и подходы построения систем ИИ (логический, структурный, эволюционный, имитационный). Проблемы создания и реализация систем ИИ.
  
  реферат [43,1 K], добавлен 19.07.2010
  

• Современные подходы к созданию искусственного интеллекта

  Может ли искусственный интеллект на данном уровне развития техники и технологий превзойти интеллект человека. Может ли человек при контакте распознать искусственный интеллект. Основные возможности практического применения искусственного интеллекта.
  
  презентация [511,2 K], добавлен 04.03.2013
  

• История и тенденции развития искусственного интеллекта

  История создания и основные направления в моделировании искусственного интеллекта. Проблемы обучения зрительному восприятию и распознаванию. Разработка элементов интеллекта роботов. Исследования в области нейронных сетей. Принцип обратной связи Винера.
  
  реферат [45,1 K], добавлен 20.11.2009
  

• Искусственный интеллект: перспективы развития

  История развития искусственного интеллекта в странах дальнего зарубежья, в России и в Республике Казахстан. Разработка проекта эффективного внедрения и адаптации искусственного интеллекта в человеческом социуме. Интеграция искусственного в естественное.
  
  научная работа [255,5 K], добавлен 23.12.2014
  

• Разработка и исследование метода компараторной идентификации модели многофакторного оценивания

  Анализ современного состояния общей проблемы синтеза моделей многофакторного оценивания и подходов к ее решению. Разработка математической модели метода компараторной идентификации модели многофакторного оценивания. Описание генетического алгоритма.
  
  дипломная работа [851,7 K], добавлен 11.09.2012
  

• Аппаратно-программный комплекс для идентификации объектов управления на основе вещественного интерполяционного метода

  Разработка аппаратно-программного комплекса для осуществления идентификации объектов управления на основе вещественного интерполяционного метода. Анализ работоспособности аппаратно-программного комплекса, пример идентификации объекта управления.
  
  магистерская работа [2,2 M], добавлен 11.11.2013
  

• Параметрическая идентификация объекта методом наименьших квадратов

  Анализ методов идентификации, основанных на регрессионных процедурах с использованием метода наименьших квадратов. Построение прямой регрессии методом Асковица. Определение значения дисперсии адекватности и воспроизводимости, коэффициентов детерминации.
  
  курсовая работа [549,8 K], добавлен 11.12.2012
  

• Общее понятие о системах искусственного интеллекта

  Исторический обзор развития работ в области искусственного интеллекта. Создание алгоритмического и программного обеспечения вычислительных машин, позволяющего решать интеллектуальные задачи не хуже человека. От логических игр до медицинской диагностики.
  
  реферат [29,1 K], добавлен 26.10.2009
  

• Системы искусственного интеллекта

  Понятие и суть нечеткой логики и генетических алгоритмов. Характеристика программных пакетов для работы с системами искусственного интеллекта в среде Matlab R2009b. Реализация аппроксимации функции с применением аппарата нечеткого логического вывода.
  
  курсовая работа [2,3 M], добавлен 23.06.2012
  

• Введение в теорию искусственного интеллекта

  Современные разработки в области искусственного интеллекта: составление расписаний, принципы автономного планирования и управления, диагностика, понимание естественного языка, ведение игр, автономное управление, робототехника. Направления исследований.
  
  реферат [24,0 K], добавлен 11.03.2014
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам