Интеллектуальные системы и технологии

Размещено на http://www.allbest.ru/

Лабораторная работа

по теме: Интеллектуальные системы и технологии

Введение

Классификация - особый вид логической операции, заключающейся в распределении элементов рассматриваемого множества по подмножествам (делении на классы) в соответствии с определённым признаком (группой признаков). Совокупность правил на основе взаимосвязанных признаков, в соответствии с которыми производится упорядоченное расположение классифицируемых элементов, составляет систему классификации.

Любая классификация основана на делении исходного множества на подмножества по каким-либо признакам. Множество или подмножество, объединяющее часть объектов классификации по одному или нескольким признакам, носит название классификационной группировки. Признаком классификации называется реквизит (свойство объекта, характеристика, значение), позволяющий установить сходство или различие с другими объектами классификации. Синонимом признака классификации является основание деления.

Классификатор - систематизированный свод наименований и кодов классификационных группировок (более подробному раскрытию понятия «классификатор» посвящён один из последующих подразделов настоящего пособия).

Рассмотрим вкратце виды и методы классификации которыми будем пользоваться в настоящей работе.

Виды и методы классификации объектов

Логистическая регрессия -- это статистический метод классификации объектов. Это только одна часть машинного обучения, используемая для решения этой проблемы бинарной классификации. Существует несколько других методов машинного обучения, которые уже разработаны и применяются для решения других видов проблем. Существуют и другие проблемы классификации, в которых выходные данные могут быть классифицированы более чем на два класса.

В математической статистике задачи классификации называются также задачами дискриминантного анализа. В машинном обучении задача классификации решается, в частности, с помощью методов искусственных нейронных сетей при постановке эксперимента в виде обучения с учителем.

Существуют также другие способы постановки эксперимента -- обучение без учителя, но они используются для решения другой задачи -- кластеризации . В этих задачах разделение объектов обучающей выборки на классы не задаётся, и требуется классифицировать объекты только на основе их сходства друг с другом. В некоторых прикладных областях, и даже в самой математической статистике, из-за близости задач часто не различают задачи кластеризации от задач классификации.

Некоторые алгоритмы для решения задач классификации комбинируют обучение с учителем с обучением без учителя

Наимвный бамйесовский классификамтор -- простой вероятностный классификатор, основанный на применении теоремы Байеса со строгими (наивными) предположениями о независимости.

В зависимости от точной природы вероятностной модели, наивные байесовские классификаторы могут обучаться очень эффективно. Во многих практических приложениях для оценки параметров для наивных байесовых моделей используют метод максимального правдоподобия; другими словами, можно работать с наивной байесовской моделью, не веря в байесовскую вероятность и не используя байесовские методы.

Несмотря на наивный вид и, несомненно, очень упрощенные условия, наивные байесовские классификаторы часто работают намного лучше во многих сложных жизненных ситуациях.

Достоинством наивного байесовского классификатора является малое количество данных, необходимых для обучения, оценки параметров и классификации.

Случайный лес -- один из самых потрясающих алгоритмов машинного обучения, придуманные Лео Брейманом и Адель Катлер ещё в прошлом веке. Он дошёл до нас в «первозданном виде» (никакие эвристики не смогли его существенно улучшить) и является одним из немногих универсальных алгоритмов. Универсальность заключается, во-первых, в том, что он хорош во многих задачах в том, что есть случайные леса для решения задач классификации, регрессии, кластеризации, поиска аномалий, селекции признаков и т.д.

RF (random forest) -- это множество решающих деревьев. В задаче регрессии их ответы усредняются, в задаче классификации принимается решение голосованием по большинству. Все деревья строятся независимо по следующей схеме:

· Выбирается подвыборка обучающей по ней строится дерево (для каждого дерева -- своя подвыборка).

· Для построения каждого расщепления в дереве просматриваем max_features случайных признаков (для каждого нового расщепления -- свои случайные признаки).

· Выбираем наилучшие признак и расщепление по нему (по заранее заданному критерию). Дерево строится, как правило, до исчерпания выборки.

Дерево принятия решений (также может называться деревом классификации или регрессионным деревом) -- средство поддержки принятия решений, использующееся в машинном обучении, анализе данных и статистике. Структура дерева представляет собой «листья» и «ветки». На рёбрах («ветках») дерева решения записаны атрибуты, от которых зависит целевая функция, в «листьях» записаны значения целевой функции, а в остальных узлах -- атрибуты, по которым различаются случаи. Чтобы классифицировать новый случай, надо спуститься по дереву до листа и выдать соответствующее значение. Подобные деревья решений широко используются в интеллектуальном анализе данных. Цель состоит в том, чтобы создать модель, которая предсказывает значение целевой переменной на основе нескольких переменных на входе. Каждый лист представляет собой значение целевой переменной, изменённой в ходе движения от корня по листу. Каждый внутренний узел соответствует одной из входных переменных. Дерево может быть также «изучено» разделением исходных наборов переменных на подмножества, основанные на тестировании значений атрибутов. Это процесс, который повторяется на каждом из полученных подмножеств. Рекурсия завершается тогда, когда подмножество в узле имеет те же значения целевой переменной, таким образом, оно не добавляет ценности для предсказаний.

Интеллектуальные информационные системы сосредоточили в себе наиболее наукоемкие технологии с высоким уровнем автоматизации не только процессов подготовки информации для принятия решения, но и самих процессов выработки вариантов, опирающихся на полученные данные. Поэтому изучение практических составляющих технологий искусственного интеллекта актуально и одна из задач курса «Представление знаний в информационных системах»

В настоящее время промышленности требуются информационные системы, которые, с одной стороны, могут использовать большое количество знаний, передаваемых специалистами, а с другой -- способны вступать в диалог и объяснять свои собственные выводы. Это предполагает наличие эффективного управления большой по объему и хорошо структурированной базой знаний, строгое разграничение между различными уровнями знаний, наличие множества удобных представлений для правил, схем предикатов или прототипов и четко определенный процесс обмена информацией между различными источниками.

Общение с компьютерной системой на уровне знания предопределяет возможность ввода и использования ею некоторой совокупности взаимосвязанной информации.

Чтобы манипулировать знаниями из реального мира с помощью компьютера, необходимо осуществлять их моделирование.

Провести исследования известных типов данных train.csv, и провести сравнительный анализ с типом данных test. csv, по методам:

· логистическая регрессия;

· наивный байесовский метод;

· деревья решений;

· нейронные сети;

· оценка и сравнение моделей.

В данной работе нами будут использоваться методы компьютерного моделирования и анализа поступающих данных, и в возможности непосредственно запрограммировать механизм вывода синтаксически правильных высказываний.

Для достижения целей нашего исследования воспользуемся программой Orange.

Аналитическая система Orange - это программа с открытым исходным кодом для машинного обучения и визуализации данных, обладающая большим набором исследовательских функций.

На рисунке представлен скриншот главного окна программы Orange3.

Рабочее пространство состоит из виджетов и связей между ними.

Каждый виджет имеет свой тип. Тип виджета можно определить по его иконке.

Виджеты сгруппированы по разделам: Data, Visualization, Predictions и пр. Группа виджета определяет цвет иконки.

Рис. 1

Каждый виджет имеет множество (возможно, пустое) входных и множество выходных сигналов. Сигнал определяет данные, которые поступают на вход виджету или являются его результатом. При получении входного сигнала виджет выполняет определенные действия и оповещает связанные с ним виджеты путем отправки им соответсвующих сигналов.

Для загрузки датасета имеется множество виджетов. Самый простой (File) считывает данные из файла или загружает по URL. Существуют виджеты для получения данных из базы данных PostgreSQL, Google Docs и других источников.

Практическая работа

1.Выбираем данные для исследования № 1

набор ---- train.csv

Видим загруженные данные

Сигнал Data принимает данные для отображения на графике, а сигнал Data Subset - подмножество данных. Если Data Subset определен, то на графике будут заштрихованы точки, соответствующие Data Subset.

Так, можно выбрать некоторые элементы из таблицы данных Data Table, и увидеть, как они расположены на графике по отношению к другим точкам. В примере на рисунке выбраны образы

Можно выделить некоторые точки на графике и изучить значения признаков соответствующих им объектов в таблице.

видим нормально-рапределенную структуру данных

проверим корреляцию.

Разделим данные на обучающую и тестовую выборку

регрессия байесовский классификатор orange

Заключение

В настоящее время технологии искусственного интеллекта стали эффективным средством решения сложных задач в распознавании речи и текста, медицине, экономике, прикладной химии и др. Достигнуты определенные успехи в становлении прикладных областей инженерии знаний. Научиться применять технологии искусственного интеллекта в своей будущей профессиональной деятельности, развивать их дальше, можно только при полном овладении приемами и методами практического решения задач на компьютере. Эту цель и преследует данное учебное пособие, в котором основное внимание уделено методам машинного представления и использования знаний.

Дальнейшее развитие информатики, несомненно, послужит повышению роли технологий искусственного интеллекта для решения разнообразных задач.

Orange - это кроссплатформенный пакет для интеллектуального анализа данных и машинного обучения с открытым исходным кодом. Это показывает визуальное программирование как интуитивное средство объединения анализа данных и интерактивных методов визуализации в мощные рабочие процессы. Визуальное программирование позволяет пользователям, которые не являются программистами, управлять, предварительно обрабатывать, исследовать и моделировать данные. Имея множество функций на борту, это программное обеспечение может облегчить интеллектуальный анализ данных и машинное обучение для начинающих и опытных пользователей.

Размещено на Allbest.ru