Автоматизированное проектирование коллективов интеллектуальных информационных технологий для задач анализа данных

Размещено на http://allbest.ru

Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева,

Автоматизированное проектирование коллективов интеллектуальных информационных технологий для задач анализа данных

Е.С. Семенкин (saor_semenkin@sibsau.ru)

А.А. Шабалов (shabalov-andrey@mail.ru)

Красноярск

Введение

Интеллектуальные технологии, такие как искусственные нейронные сети [Rojas, 1996], нечеткая логика [Yager et al., 1994], нейро-нечеткие ситемы [Tommi, 1995], эволюционные алгоритмы [Eiben, 2003], являются популярными инструментами исследования в силу их способности решать сложные интеллектуальные задачи, которые трудно решить с помощью классических методов [Konar, 2005]. Гибридные подходы привели к значительному росту интереса в сообществе проектирования ИИТ. Наиболее популярными являются гибридизация нейронных сетей и генетических алгоритмов (ГА), нечеткой логики и ГА, нейронных сетей и аппарата нечеткой логики.

Автоматическое проектирование ИИТ является сложной оптимизационной задачей, структура которой не позволяет эффективно решить ее с помощью классических методов. ГА - это хорошо известный и широко применяемый подход с возможностью исследовать большие и сложные пространства для поиска приемлемых решений, требуя только значение меры качества. Алгоритм генетического программирования оперирует компьютерными программами, представленными деревьями. Желаемая цель достигается путем выращивания популяции деревьев, используя принцип естественного отбора и генетические операторы (селекция, репродукция, рекомбинация, мутация и др.) [Koza, 1998].

В данной статье в первом разделе описывается предлагаемый подход к автоматизированному проектированию ИИТ, во втором - идея применения метода генетического программирования для формирования коллективов ИИТ, в третьем представлены результаты решения практических задач. В заключении подводятся итоги проделанной работы и обсуждаются направления развития подхода.

1. Автоматизированное проектирование ИИТ

Нейросетевые модели. В качестве структуры нейронной сети был взят многослойный персептрон ввиду его широкой распространенности. Обучение данной структуры обычно проводится на основе алгоритма обратного распространения ошибки. Сложность проектирования заключается в исходном выборе количества скрытых слоев и числа нейронов на каждом скрытом слое, структура которых для каждой задачи заранее неизвестна, а также в выборе функций активации нейронов. Недостатками алгоритма обратного распространения ошибки являются низкая скорость сходимости, чувствительность к шуму, зависимость качества функционирования от эвристики шага обучения, и, как правило, недостижение глобально экстремума ошибки моделирования в виду ее сложности [Уоссермен, 1992].

Для преодоления упомянутых проблем предлагается применить генетические алгоритмы для генерирования структуры персептрона и настройки его весовых коэффициентов.

Изначально исследователем задается максимальный размер сети, т.е. максимальное количество скрытых слоев и максимальное количество скрытых нейронов на каждом слое. Структура сети кодируется в бинарную строку при последовательном проходе по каждому нейрону. Первый бит отдельного нейрона определяет его наличие или отсутствие в сети. Остальные биты определяют вид активационной функции (4 бита - набор из 8 активационных функций, 5 бит - из 16). Аналогично кодируются весовые коэффициенты.

Таким образом, необходимо сгенерировать популяцию индивидов, представляющих структуры нейронной сети, и для каждой структуры - отдельную популяцию весовых коэффициентов. Условием останова является либо число поколений структуры, либо ошибка моделирования (обычно, среднеквадратичная).

Системы на нечеткой логике. При проектировании нечетких систем эксперт сталкивается с проблемой выбора исходных нечетких правил, набор которых может оказаться неполным или противоречивым. Выбор параметров функций принадлежности, описывающих входные и выходные переменные объекта, происходит субъективно и может некорректно отображать реальную действительность [Круглов и др., 2001].

Поэтому для повышения обоснованности принятия решений при проектировании нечетких систем были применены ГА. Кодирование битовой строки происходит следующим образом. Вначале кодируются входные параметры функций принадлежности, далее - выходные параметры и в конце строки добавляется на каждую входную переменную терм “игнорирования”, позволяющий управлять как размером базы правил (общее количество правил), так и ее длиной (количество условий в антецеденте). Априори исследователю необходимо задать максимальное количество правил.

Нейро-нечеткие системы. Процесс генерирования нейро-нечетких моделей происходит в два этапа [Castellano et al., 2000], [Castellano et al., 2001]. Первый этап (“обучение без учителя”) заключается в кластеризации исходных числовых данных методами конкурентного обучения с механизмом штрафования соперника, алгоритмом адаптивной резонансной теории или др., после чего получаем “грубые” нечеткие правила. Второй этап (“обучение с учителем”) состоит в “тонкой” настройке базы правил (семантики лингвистических термов) на основе градиентных алгоритмов, недостатки которых широко известны и препятствуют эффективному использованию нейро-нечетких систем. Поэтому в работе применяется ГА, эффективность использования которого на практических задачах показана в [Шабалов, 2009], [Шабалов, 2010] и превосходит метод наискорейшего спуска.

2. Применение метода генетического программирования при формировании коллектива ИИТ

Для повышения эффективности и надежности ИИТ предлагается применять метод генетического программирования при формировании состава коллектива ИИТ для решения сложных задач и формы взаимодействия участников коллектива при получении результирующего решения, основанного на частных решениях индивидуальных технологий.

В данном подходе существует два варианта гибридизации ИИТ. Первый заключается в построении математического выражения из результатов отдельных членов коллектива.

Таким образом, элементами терминального множества алгоритма генетического программирования являются частные решения отдельных систем. интеллектуальный нейронный генетический алгоритм

Второй - в формировании гибридной многослойной системы, состоящей из отдельных членов этого коллектива. Здесь терминальное множество представляется отдельной структурой ИИТ.

При первом подходе на предварительном этапе необходимо заранее сгенерировать и обучить заданное число элементов терминального множества, которые будут в дальнейшем использоваться в работе алгоритма.

При такой постановке задачи существует два способа реализации мутации в алгоритме генетического программирования: либо случайным образом выбирать элемент из терминального множества, либо генерировать полностью новую интеллектуальную систему. Функциональное множество при данном подходе включает в себя математические выражения.

При реализации второго подхода изначально необходимо задать число циклов обучения каждой технологии. При генерации новой популяции индивидов получаются новые структуры, вследствие чего каждая отдельная технология заново проектируется.

Элементами функционального множества в данном случае являются правила соединения отдельных технологий между собой.

3. Апробация на практических задачах

Для апробации предложенных схем генерирования алгоритмического ядра интеллектуальных информационных технологий была разработана программная система решения прикладных задач - моделирования, классификации, кластеризации, прогнозирования, управления.

При реализации генетического алгоритма вместо стандартного за основу был принят ГА с модифицированным оператором множественной равномерной рекомбинации [Шабалов, 2008a], [Шабалов, 2008b].

Были использованы следующие практические задачи, часть которых была взята из репозитория машинного обучения UCI:

Классификация ирисов (4 признака, 3 класса, обучающая выборка - 135 единиц, контрольная - 15) - UCI;

Классификация вин (13 признаков, 3 класса, обучающая выборка - 163 единиц, контрольная - 15) - UCI;

Предсказание лесных пожаров (12 входных переменных и 1 выходная, обучающая выборка - 477 единиц, контрольная - 40) - UCI;

Распознавание типов земель по спутниковым изображениям (36 признаков, 6 классов, обучающая выборка - 4435 единиц, контрольная - 2000) - UCI;

Прогнозирование состояния турбины по вибрационным характеристикам (11 входных и 12 выходных переменных, обучающая выборка - 1000 единиц, контрольная - 400) - реальные данные;

Моделирование процесса рудно-термической плавки (12 входных переменных и 1 выходная, обучающая выборка - 37 единиц, контрольная - 10) - реальные данные.

Прогнозирование деградации электрических характеристик солнечных батарей космического аппарата (7 входных и 4 выходных переменных, обучающая выборка - 177 единиц, контрольная - 20) - реальные данные.

Для каждого типа ИИТ было выполнено 20 запусков программы. При каждом запуске были получены работоспособные системы. В таблице 1 приведены лучшие результаты.

Табл. 1.

В таблице 1 приняты обозначения: О - обучение, Э - экзамен. В задачах классификации в качестве ошибки приводится количество неправильно классифицируемых признаков, в остальных задачах - средняя относительная ошибка.

Как видно из таблицы 1, во многих случаях наилучшее качество моделирования имеет нейро-нечеткая система. При этом все типы ИИТ демонстрируют эффективность, сопоставимую с известными результатами.

Ниже приведены примеры построения коллектива на основе математического выражения из частных решений отдельных технологий. Изначально заранее были сгенерированы и обучены по 10 ИИТ каждого типа.

В задаче классификации вин была получена следующая формула:

,

где C - номер класса. При этом ошибка распознавания составила 0% как на обучающей выборке, так и на контрольной, что лучше, чем у нейросетевых и нечетких моделей по отдельности и сравнимо с нейро-нечеткими. При этом отдельные ИИТ, превосходящие остальные по качеству моделирования, в коллектив не вошли.

В задаче моделирования процесса рудно-термической плавки получено выражение:

,

определяющее процентное содержание никеля в отработанном шлаке. Относительная ошибка составила: 2,21% на обучающей выборке и 2,33% на тестовой, что лучше, чем у каждой индивидуальной ИИТ в отдельности.

В ходе многочисленных экспериментов было выявлено, что отдельные технологии, превосходящие по качеству моделирования остальные, не всегда присутствуют в конечной формуле. В композиции могут принимать участие технологии с разным качеством моделирования, коллектив которых позволяет тем самым увеличить эффективность и надежность системы в целом.

Заключение

Таким образом, программная система, реализующая разработанный подход, позволяет автоматически генерировать нейросетевые модели, нечеткие и нейро-нечеткие системы, т.е. позволяет решать сложные задачи анализа данных и принятия решений (задачи моделирования, классификации, прогнозирования, управления и др.). Автоматическое формирование коллектива ИИТ позволяет увеличить надежность и эффективность системы. Полученные результаты подтверждены решением ряда практических задач.

Дальнейшее развитие системы направлено на расширение ее функциональности за счет включения других типов ИИТ (динамические нейросети, сети Кохонена и Хопфилда-Танка, деревья решений, многокритериальный выбор и т.д.), повышения адаптивности за счет автоматизации настройки эволюционных алгоритмов, а также доработки методов проектирования коллективов при сетевом подходе.

Список литературы

1. [Круглов и др., 2001] Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети - М.: Физматлит, 2001.

2. [Уоссермен, 1992] Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. - Пер. с англ., 1992.

3. [Шабалов, 2008a] Шабалов А.А. Исследование эффективности модификации оператора равномерного скрещивания эволюционного алгоритма в задаче управления реальными инвестициями // Информационные технологии и математическое моделирование: сб. научн. тр. VII Всероссийской научно-практической конференции с международным участием. - Томск:, 2008. - Ч. 1.

4. [Шабалов, 2008b] Шабалов А.А. Применение эволюционных алгоритмов с модифицированным оператором равномерного скрещивания в задаче поддержки принятия решений при управлении реальными инвестициями // «Решетневские чтения». - Материалы XII Международной научной конференции. - Красноярск, 2008.

5. [Шабалов, 2009] Шабалов А.А. Автоматическая настройка параметров нейро-нечетких систем генетическим алгоритмом // Информационные технологии и математическое моделирование: сб. научн. тр. VIII Всероссийской научно-практической конференции с международным участием. - Томск, 2009. Ч.2.

6. [Шабалов, 2010] Шабалов А.А. Автоматизация проектирования нейро-нечетких систем с помощью эволюционного алгоритма // Студент и научно-технический прогресс. Материалы XLVIII международной научной студенческой конференции - Новосибирск, 2010.

7. [Castellano et al., 2000] Castellano G. and Fanelli A. M. A self-organizing neural fuzzy inference network. In Proc. of IEEE Int. Joint Conference on Neural Networks (IJCNN2000), vol.5, Italy.

8. [Castellano et al., 2001] Castellano G. and Fanelli A. M. Information granulation via neural network based learning. In Proc. of Joint 9th IFSA World Congress and 20th NAFIPS International Conference (IFSA-NAFIPS 2001).

9. [Eiben, 2003] Eiben A.E., Smith J.E. Introduction to evolutionary computation. Springer, Berlin, 2003.

10. [Goldberg, 1989] Goldberg D.E. Genetic algorithms in search, optimization, and machine learning. Addison-Wesley, Reading, 1989.

11. [Konar, 2005] Konar A. Computational Intelligence: Principles, techniques and applications. Springer, Berlin, 2005.

12. [Koza, 1998] Koza J.R. Genetic programming. The MIT Press, London, England, 1998.

13. [Rojas, 1996] Rojas R. Neural networks: a systematic introduction. Springer, Berlin, 1996.

14. [Tommi, 1995] Tommi O. Neuro-fuzzy in control, Tampere University of Technology, 1995.

15. [UCI] UCI Machine Learning Repository http://kdd.ics.uci.edu/.

16. [Yager et al., 1994] Yager R.R. and Filev D.P. Essentials of fuzzy modeling and control. Wiley, New York, 1994.

Аннотация

Автоматизированное проектирование коллективов интеллектуальных информационных технологий для задач анализа данных. Е.С. Семенкин (saor_semenkin@sibsau.ru); А.А. Шабалов (shabalov-andrey@mail.ru). Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева, Красноярск

В работе рассматривается автоматизированное проектирование интеллектуальных информационных технологий (ИИТ) для решения сложных задач анализа данных и принятия решений. На основе эволюционных алгоритмов автоматически генерируются ядра нейросетевых моделей, систем на нечеткой логике и нейро-нечетких систем. Предложена идея применения метода генетического программирования в проектировании коллектива ИИТ с целью повышения эффективности и надежности системы.

Размещено на Allbest.ru