Применение методов интеллектуального анализа данных для решения задач классификации в программной среде RapidMainer

Размещено на http://www.allbest.ru/

ПРАКТИЧЕСКАЯ РАБОТА

Тема: Применение методов интеллектуального анализа данных для решения задач классификации в программной среде RapidMainer

По дисциплине: Интеллектуальная обработка данных

Красноярск 2016



Содержание

Введение

1. Теоретическая информация

2. Тестирование методов

2.1 Задача определения типа вина

2.2 Задача обнаружения кишечной палочки

2.3 Задача проверки подлинности банкнот

Выводы

Список используемой литературы



Введение

интеллектуальный нейронный байесовский регрессия

В век всеобщей компьютеризации каждый день производятся терабайты информации и практически вся она хранится в электронном виде. Но сама по себе информация, тем более в таких объемах, не представляет собой ценности. Ценны знания, которые можно получить, при помощи правильной обработки и анализа этой информации. Таким образом, выявление закономерностей и скрытых связей в информации на сегодняшний день является одной из наиболее актуальных задач. Научное направление, которое занимается подобного рода задачами носит название Интеллектуальный анализ данных (Data Mining). Data Mining - это процесс обнаружения в сырых данных ранее неизвестных нетривиальных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Для изучения и тестирования технологий Data Mining была выбрана программная система Rapidminer, которая является средой для проведения экспериментов и решения задач машинного обучения и интеллектуального анализа данных. Ее преимущество заключатся в том, что для решения задач не нужно иметь глубоких знаний о технологиях, которые применяются, достаточно общего представления и понимания механизма работы.

Цель: Изучить на практике технологии решения задач интеллектуального анализа данных.

Задачи:

Ознакомиться с описанием основных технологий решения задач Data Mining:

Выбрать три задачи для решения;

Выбрать пять технологий (методов) для решения выбранных задач;

Решить задачи при помощи каждого из методов их ансамблей;

Проанализировать результаты; сделать выводы.



1. Теоретическая информация

Задачи Data Mining:

Для практического изучения технологий интеллектуального анализа данных необходимо выбрать задачи для решения. Data Mining занимается решением следующих типов задач:

Классификация. Наиболее простая и распространённая задача Data Mining. В результате решения задачи классификации обнаруживаются признаки, которые характеризуют группы объектов исследуемого набор данных - классы; по этим признакам объект можно отнести к тому или иному классу;

Кластеризация. Особенность заключается в том, что классы объекта изначально не предопределены. Результатом кластеризации является разбиение объектов на группы;

Ассоциация. В ходе решения задачи поиска ассоциативных правил отыскиваются закономерности между связанными событиями в наборе данных. Отличие ассоциации заключается в том, что поиск закономерностей осуществляется не на основе свойств анализируемого объекта, а между несколькими событиями, которые происходят одновременно;

Последовательность (последовательная ассоциация). Позволяет найти временные закономерности между транзакциями. Задача последовательности подобна ассоциации, но её целью является установления закономерностей не между одновременно наступающими событиями, а между событиями, связанными во времени. Правило последовательности: после события X через определённое время произойдёт событие Y;

Прогнозирование. В результате решения задачи прогнозирования на основе особенностей исторических данных оцениваются пропущенные или же будущие значения целевых численных показателей;

Определение отклонений или выбросов. Цель решение данной задачи - обнаружение и анализ данных, наиболее отличающихся от общего множества данных, выявление так называемых нехарактерных шаблонов;

Оценивание. Задача оценивания сводится к предсказанию непрерывных значений признака;

Анализ связей. Задача нахождения зависимостей в наборе данных;

Визуализация. В результате визуализации создается графический образ анализируемых данных. Для решения задачи визуализации используются графические методы, показывающие наличие закономерностей в данных. [1, стр. 1]

После ознакомления была выбрана задача классификации, которая представляется тремя базами данных:

Проверка подлинности банкнот (Banknote authentication Data Set);

Обнаружение кишечной палочки (Ecoli Data Set);

Определение типа вина (Wine Quality ).

Технологии Data Mining:

В программной системе Rapidminer реализовано большое количество технологий, при помощи которых можно достаточно эффективно решать задачи Data Mining. Ниже приведены основные из них:

искусственные нейронные сети;

деревья решений, символьные правила;

методы ближайшего соседа и k-ближайшего соседа;

метод опорных векторов;

байесовские сети;

линейная регрессия;

корреляционно-регрессионный анализ;

иерархические методы кластерного анализа;

неиерархические методы кластерного анализа, в том числе алгоритмы k-средних и k-медианы;

методы поиска ассоциативных правил, в том числе алгоритм Apriori;

метод ограниченного перебора;

эволюционное программирование и генетические алгоритмы;

разнообразные методы визуализации данных и множество других методов. [2, стр. 1]

Из всего многообразия методов и алгоритмов необходимо выбрать пять для более детального изучения и применения на практике:

искусственные нейронные сети - метод, который позволяет за счет нелинейности решать задачи большой размерности (часто справляется с ними даже быстрее, чем с задачами малой размерности);

метод k-ближайших соседей - метрической метод классификации, в основе которого лежит оценивание сходства объектов классификации. Позволяет классифицировать новые объекты, основываясь на уже имеющихся данных;

деревья принятия решений - метод, позволяющий принимать решения на основании правил, представленных в виде иерархической структуры;

наивный байесовский классификатор - метод, в основе которого лежит теорема Байеса. Способен хорошо обучаться в зависимости от природы вероятностной модели;

линейная регрессия - метод, позволяющий найти решение в виде линейной комбинации значений признаков. [3]

Rapidminer:

Программная система Rapidminer [4] позволяет проводить интеллектуальный анализ данных при помощи встроенных операторов, которые составляются в необходимом порядке в схему, у них настраиваются параметры и производится запуск алгоритма, полученного в схеме.

Основные операторы:

Оператор Read CSV. Используется для считывания данных из файла формата .csv.

Оператор Replace Missing Values. Этот оператор заменяет пропущенные значения в примерах выбранных атрибутов по заданной замене.

Оператор Normalize. Этот оператор нормализует значения выборки.

Оператор Apply Model. Этот оператор применяет уже изученную или обученную модель на типовом наборе данных.

Оператор Performance (Classification). Этот оператор используется для статистической оценки эффективности задач классификации

Оператор Multiply. Этот оператор копирует его входной объект ко всем связанным выходным портам.

Оператор Optimize Parameters (Evolutionary). Этот оператор находит оптимальные значения выбранных параметров операторов в подпроцессе. Использует эволюционный подход вычисления.

Оператор Set Parameters. Этот оператор применяет набор параметров для указанных операторов

Оператор Neural Net. Этот оператор изучает модель посредством прямого канала нейронной сети, обученной алгоритмом обратного распространения (многоуровневый персептрон).

Оператор K-NN. Этот оператор создает модель K-NN из входного типового набора. Эта модель может быть моделью классификации или регрессии в зависимости от входного типового набора.

Оператор Decision Tree. Генерирует дерево решений для классификации, номинальных и числовых данных.

Оператор Naive Bayes. Этот оператор производит наивную модель классификации Бейеса.

Оператор T-Test. Этот оператор используется для сравнения исполнительных векторов. T-тест оператор определяет, истинна ли нулевая гипотеза (все фактические средние значения совпадают) для данных исполнительных векторов.

Оператор Write Model. Этот оператор записывает модель в файл.

Оператор Split Data. Этот оператор производит необходимое количество подмножеств данного типового набора

Оператор Subprocess. Этот оператор вводит подпроцесс в рамках процесса.

Оператор X-Validation. Этот оператор выполняет кросс-проверки для оценки статистической характеристики оператора обучения. [5]



2. Тестирование методов

2.1 Задача определения типа вина

Имеется два набора данных связанных с красными и белыми вариантами португальского вина "Вино Верде". Необходимо классифицировать на основании значений атрибутов к какой разновидности относится конкретный образец.

Характеристики базы данных:

Количество экземпляров: красное вино - 1599; белое вино - 4898.

Количество атрибутов: 11 + выходной атрибут;

Входные переменные (на основе физико-химических испытаний):

фиксированная кислотность;

летучие кислоты;

лимонная кислота;

остаточный сахар;

хлориды;

свободный диоксид серы;

всего диоксида серы;

плотность;

pH;

сульфаты;

алкоголь;

Выходная переменная (на основе сенсорных данных): качество (оценка от 0 до 10)

Пропущенные значения атрибутов: Нет

На выборке при помощи методов, выбранных ранее, и их ансамблей было протестировано решение задачи классификации. В Таблице 1 приведены результаты тестирования.



Таблица 1. Точность классификации для выборки Wine Quality.

Метод	Точность решения задачи, %
	Без оптимизации	С оптимизацией	Ансамбли методов
			Все	Три худших	Два лучших
NN	99,54	99.54%	99,69	k + DT + NBK	NN+LR
k-NN	99,28	99,38		99,28	99,64
DT	98,41	98,10
NBK	98,61
LR	99,58	99,59

NN - это искусственные нейронные сети, k-NN - метод k-ближайших соседей, DT - деревья принятия решений, NBK - наивный Байесовский классификатор (Кернел), LR - линейная регрессия.

Для оценки полученных результатов была выполнена проверка критерия Стьюдента посредством проведения Т-теста, который показывает статистическую значимость результатов работы алгоритмов. Результаты теста представлены в Таблице 2.

Таблица 2. T-Test Стьюдента для выборки Wine Quality

Метод	DT (0.987 +/- 0.008%)	k-NN (0.993 +/- 0.006%)	BNK (0.986 +/- 0.006%)	NN (0.993 +/- 0.005%)	LR (0.995 +/- 0.004 %)
DT		0.007	0.430	0.005	0.000
k-NN			0.000	0.998	0.099
BNK				0.000	0.000
NN					0.072
LR

При проведении теста задается параметр alpha - это уровень значимости, если результат теста будет меньше или равен ему, то можно считать, что значение эффективности не достоверно.

По умолчанию это значение равно 0,05, это означает, что вероятность ошибки первого рода равна 5%. Такое значение достаточно для поставленных целей.

Из результатов тестирования видно, что высокую эффективность по критерию Стьюдента имеют методы: Нейронная сеть, Байесовский классификатор и Линейная регрессия. Значение критерия Стьюдента для результатов «Байесовский классификатор - Деревья принятия решений», «Нейронная сеть - k-ближайших соседей» и «Линейная регрессия - k-ближайших соседей - Нейронная сеть» больше, чем 0,05. Это указывает на то, что разница между значениями не существенна.

Из ансамблей наилучшие результаты дал ансамбль из пяти методов. Ансамбль из двух лучших методов показал более высокий результат, чем каждый из методов в отдельности, а ансамбль из трех худших методов дал результат хуже, чем каждый из них.

Стоит отметить, что все методы показали достаточно высокую эффективность при решении задачи, в таких условиях высока вероятность того, что ансамбли тоже окажутся на высоком уровне, ведь чем реже ошибается каждый из классификаторов в ансамбле, тем выше вероятность, что ошибаться они будут в разных местах, что и можно увидеть из результатов.

2.2 Задача обнаружения кишечной палочки

Имеется набор данных, связанный с местами скопления белков. Необходимо классифицировать на основании значений атрибутов к какой части кишечной палочки относится конкретный образец.

Характеристики базы данных:

Количество экземпляров: 336;

Количество атрибутов: 7 атрибутов, 1 выходной атрибут;

Входные переменные:

Имена последовательностей: инвентарный номер для базы данных SWISS-PROT;

mcg: метод McGeoch для распознавания сигнальной последовательности;

gvh: метод Heijne для распознавания сигнальной последовательности;

lip: оценка консенсусной последовательности Heijne;

chg: наличие заряда на конце предсказанных N-липопротеинов. Бинарный атрибут;

CBC: оценка дискриминантного анализа аминокислот наружной мембраны и периплазматических белков;

ALM1: прогнозируемая область охвата ALOM мембраны;

ALM 2: оценка ALOM программы после исключения предполагаемых расщепляемых областей сигнала из последовательности.

Выходные переменные:

cp (цитоплазма);

im (внутренняя мембрана без сигнальной последовательности);

pp (перисплазма);

imU (внутренняя мембрана, последовательность нерасщепляемого сигнала);

om (внешняя мембрана);

omL (внешняя мембрана липопротеинов);

imL (внутренняя липопротеидная мембрана);

imS (внутренняя мембрана, последовательность расщепляемого сигнала).

Пропущенные значения атрибутов: Нет

На выборке при помощи методов, выбранных ранее, и их ансамблей было протестировано решение задачи классификации. В Таблице 3 приведены результаты тестирования.

Таблица 3. Точность классификации для выборки ECOLI.

Метод	Точность решения задачи, %
	Без оптимизации	С оптимизацией	Ансамбли методов
			Все	Три худших	Два лучших
NN	81,19	87.13	87,13	DT + NBK + CBR	NN + k-NN
k-NN	80,20	88,12		85,15	84,16
DT	64,36	79,21
NBK	85,15
CBR	83,17

NN - это искусственные нейронные сети, k-NN - метод k-ближайших соседей, DT - деревья принятия решений, NBK - наивный Байесовский классификатор (Кернел), CBR - классификация посредством регрессии.

Для оценки полученных результатов была выполнена проверка критерия Стьюдента посредством проведения Т-теста, который показывает статистическую значимость результатов работы алгоритмов. Результаты теста представлены в Таблице 4.

Таблица 4. T-Test Стьюдента для выборки ECOLI

Метод	DT (0.843 +/- 0.098)	k-NN (0.884 +/- 0.101)	NBK (0.916 +/- 0.089 )	NN (0.866 +/- 0.095 )	CBR (0.851 +/- 0.097)
DT		0.143	0.004	0.362	0.767
k-NN			0.266	0.488	0.260
NBK				0.046	0.009
NN					0.535
CBR

Из результатов тестирования видно, что высокую эффективность по критерию Стьюдента имеют все методы. Значение критерия Стьюдента для результатов «Байесовский классификатор - k-ближайших соседей», «Нейронная сеть - Деревья принятия решений», «Нейронная сеть - Байесовский классификатор», «Классификация посредством регрессии - Деревья принятия решений», «Классификация посредством регрессии - k-ближайших соседей» и «Классификация посредством регрессии - Нейронная сеть» больше, чем 0,05. Это указывает на то, что разница между значениями не существенна.

Из ансамблей наилучшие результаты дал ансамбль из всех методов. Интересно, что ансамбль из трех худших алгоритмов дал более высокий результат, чем ансамбль из двух лучших.

Это можно объяснить лишь тем, что, несмотря на то, что лучшие методы ошибаются реже, область их ошибок совпадает, в отличие от худших методов.

2.3 Задача проверки подлинности банкнот

Имеется набор данных, связанный с изображениями банкнот. Необходимо определить подлинные банкноты или поддельные.

Характеристики базы данных:

Количество экземпляров: 1372;

Количество атрибутов: 4 атрибутов, 1 выходной атрибут;

Входные переменные:

дисперсия Вейвлетовского преобразования изображения (непрерывный);

асимметричность Вейвлетовского преобразования изображения (непрерывный);

эксцесс Вейвлетовского преобразования изображение (непрерывный);

энтропия изображения (непрерывный);

Выходные переменные: класс (целое число);

Пропущенные значения атрибутов: Нет.

На выборке при помощи методов, выбранных ранее, и их ансамблей было протестировано решение задачи классификации. В Таблице 5 приведены результаты тестирования.

Таблица 5. Точность классификации для выборки Banknote Authentication.

Метод	Точность решения задачи, %
	Без оптимизации	С оптимизацией	Ансамбли методов
			Все	Три худших	Два лучших
NN	100	100	100	LR + NBK + DT	NN + k-NN
k-NN	99,76	99,76		99,51	100
DT	98,54	98,79
NBK	93,93
LR	97,57	55,58

NN - это искусственные нейронные сети, k-NN - метод k-ближайших соседей, DT - деревья принятия решений, NBK - наивный Байесовский классификатор (Кернел), LR - линейная регрессия. Для оценки полученных результатов была выполнена проверка критерия Стьюдента посредством проведения Т-теста, который показывает статистическую значимость результатов работы алгоритмов. Результаты теста представлены в Таблице 6.

Таблица 6. T-Test Стьюдента для выборки Banknote Authentication.

Метод	DT (0.990 +/- 0.013)	k-NN (0.999 +/- 0.004)	NBK (0.922 +/- 0.035)	NN (1.000 +/- 0.000)	LR (0.974 +/- 0.020)
DT		0.001	0.000	0.000	0.000
k-NN			0.000	0.466	0.000
NBK				0.000	0.000
NN					0.000
LR

Из результатов тестирования видно, что высокую эффективность по критерию Стьюдента имеют методы: нейронная сеть и k-ближайших соседей. Значение критерия Стьюдента для результата «Нейронная сеть - k-ближайших соседей», больше, чем 0,05. Это указывает на то, что разница между значениями не существенна.

Из ансамблей наилучшие результаты дали ансамбли из всех методов и из двух лучших. Ансамбль из трех худших методов справляется с задачей хуже, но не существенно, а главное, лучше, чем каждый из них в отдельности. В ансамбль худших входит три метода, что тоже могло повлиять на эффективность, ведь голоса при голосовании двух методов могут разделиться и выбор будет делаться случайно, а не на основании результатов работы классификатора.



Выводы

Были изучены на практике технологии решения задач интеллектуального анализа данных на примере решения трех задач в программной системе Rpidminer.

В процессе анализа результатов работы было выявлено, что в большинстве случаев ансамбль из нескольких методов решения задачи справляется с ней лучше, чем каждый из них в отдельности, пусть даже это будут алгоритмы не с самой высокой эффективностью, что обуславливается тем, что области, в которых методы не ошибаются «перекрывают» области ошибок других методов, но при использовании методов с низкой эффективностью есть опасность, что при голосовании большинство вынесет ошибочное решение. С этим можно бороться путем увеличения веса классов, которые имеют для нас значение, но таким образом повышается вероятность ошибки второго рода. Также лучше формировать ансамбли из нечетного количества методов во избежание равного распределения голосов.

С задачей классификации лучше всего справлялись методы: Нейронная сеть и k-ближайших соседей.

Также в ходе работы были получены ценные навыки в области интеллектуального анализа данных.



Список используемой литературы

Задачи Data Mining. Информация и знания. [Электронный ресурс] Intuit.ru: Национальный открытый университет «ИНТУИТ». URL: http://www.intuit.ru/studies/courses/6/6/lecture/164 (дата обращения: 19.12.2016)

Обзор методов Data Mining. [Электронный ресурс] intellect-tver.ru: Интеллектуальный анализ данных. Сайт научно-исследовательского семинара студентов кафедры ПО Тверского технического университета. Ekaterina Lepshova, 2012. URL: http://intellect-tver.ru/?p=165 (дата обращения 19.12.2016)

Дьяконов Александр Геннадьевич. Анализ данных, обучение по прецедентам, логические игры, системы WEKA, RapidMiner и MatLab (Практикум на ЭВМ кафедры математических методов прогнозирования): Учебное пособие. - М.: Издательский отдел факультета ВМК МГУ имени М.В. Ломоносова, 2010.

RapidMiner Studio Download Page: [Электронный ресурс] https://my.rapidminer.com/nexus/account/index.html#downloads (дата обращения: 15.11.2016).

Обучение Rpidminer. [Информационный ресурс] rapidminer.com: Официальный сайт программного продукта. https://rapidminer.com/getting-started-central/ (дата обращения 17.12.2016)

Размещено на Allbest.ru

...