Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий моделирования и прогнозирования

Размещено на http://www.allbest.ru/

Сибирский государственный аэрокосмический университет, Красноярск

Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий моделирования и прогнозирования

В.В. Бухтояров (vladber@list.ru)

Аннотация

проектирование коллектив нейросетевой сеть

В работе рассматривается вопрос автоматического проектирования коллективов нейросетевых технологий. Предлагается комплексный подход для проектирования таких коллективов, включающий в себя методы формирования структуры нейронных сетей и их обучения, а также метод автоматического определения способа и параметров формирования общего решения в коллективе. Предлагаемый подход был использован для решения ряда тестовых и практических задач моделирования и прогнозирования.

Введение

Все актуальнее становится вопрос о совместном использовании в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом. В этой связи одним из возможных подходов повышения эффективности систем, основанных на нейронных сетях, видится использование автоматически генерируемых коллективов нейронных сетей.

1. Методы проектирования коллективов нейросетевых технологий

Коллектив нейронных сетей (НС) представляет собой некоторое множество отдельных НС, используемых совместно для решения одной задачи. Впервые идея об объединении отдельных НС в коллектив была предложена в [Hansen et al., 1990].

В общем случае проектирование коллектива НС включает в себя два этапа: первый этап заключается в формировании структуры и обучении отдельных НС. Второй этап включает в себя отбор тех НС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных НС.

1.1 Вероятностный эволюционный метод автоматического проектирования нейронных сетей

Для выполнения первого этапа формирования коллектива НС предлагается эволюционный метод, который основан на вычислении и использовании в эволюционном процессе оценок вероятностей , где - номер скрытого слоя НС, - максимальное число скрытых слоев, - номер нейрона на скрытом слое сети, - максимальное число нейронов на скрытом слое, , где - мощность множества активационных функций, которые могут быть использованы при формировании структуры НС. Если индекс лежит в интервале , то он соответствует номеру активационной функции в нейроне, если , то является оценкой вероятности того, что в сети отсутствует j-й нейрон на i-ом слое. Использование вероятностных оценок структуры НС позволяет производить обработку информации о ее структуре, без использования генетических операторов и кодирования структуры в бинарные строки. Это освобождает от необходимой процедуры настройки большинства параметров, характерных для генетического алгоритма (ГА).

1.2 Формирование общего решения в коллективах НС

Для повышения эффективности выполнения этого этапа был разработан подход, основанный на методе генетического программирования [Koza, 1992]. В качестве множества термов, из которых строятся решения, используются решения, полученные нейронными сетями из предварительного пула. Общее коллективное решение представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:

(1.1)

Здесь - общее решение, - индивидуальное решение i-ой сети, - число сетей в коллективе.

2. Экспериментальное исследование методов проектирования коллективов нейронных сетей

Предлагаемый метод был исследован в сравнении с методом GASEN, [Zhou et al., 2002]. В исследования также были включены два других метода, использующих ГА для формирования коллектива и распространенный подход взвешенного усреднения [Perrone et al., 1993] для формирования общего решения (GA-based1 и GA-based2).

Для НС максимальное число скрытых слоев было установлено равное трем, максимальное число нейронов на каждом слое равно пяти.

Примеры задач моделирования, использовавшихся в сравнительных исследованиях, приведены в [Бухтояров, 2010]. Для проведения исследований также был использован набор данных тестов по прогнозированию прочностных характеристик бетона из репозитория UCI Machine Learning Repository [Yeh, 2007]. В качестве главного критерия эффективности использовались оценка математического ожидания абсолютной ошибки моделирования (прогнозирования), рассчитанная по данным, полученным в ходе 50 независимых запусков алгоритмов.

Табл. 1.

Для исследования значимости различий в эффективности используемых подходов были использованы методы ANOVA.

При исследовании результатов сравнения предлагаемого вероятностного метода проектирования НС и «традиционного» метода, использующего ГА, статистически значимых различий в эффективности выявлено не было. В виду того, что предлагаемый метод обладает меньшим числом настраиваемых параметров, видится оправданным использовать его для проектирования НС.

Было показано, что использование коллективного подхода позволяет значимо повысить эффективность НС-подхода на всех использованных тестовых задачах, а на 9 из 11 использованных тестовых задачах предлагаемый комплексный эволюционный подход превосходит по эффективности другие исследуемые подходы. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы.

В качестве тестовых задач прогнозирования были использованы выборки данных, сгенерированные из набора данных Synthetic Control Chart Time Series, взятого из Machine Learning Repository [Frank et al., 2007]. В набор данных включены примеры различных классов временных рядов (ВР): обычный ВР без тренда и цикличности (задача 1), цикличный ВР (2), ВР с возрастающим трендом (3), ВР с убывающим трендом (4).

Табл. 2.

На всех задачах разработанный подход позволяет сократить ошибку прогнозирования относительно ошибок других методов по крайней мере на 20%. В дальнейшем подход был успешно апробирован для решения задач задачи моделирования процесса рудно-термической плавки и задачи прогнозирования вибрационных характеристик гидротурбины, прогнозирования содержания углекислого газа на выходе газовой печи и прогнозирования характеристик процесса деградации солнечных батарей космического аппарата.

Список литературы

[Бухтояров, 2010] Бухтояров В. В. Вероятностный метод формирования структуры нейронных сетей // Теория и практика системного анализа: Тр. I Всерос. науч. конф. мол. уч. - Т. I. - Рыбинск: РГАТА, 2010.

[Frank et al., 2007] Frank A., Asuncion A. UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

[Hansen et al., 1990] Hansen L.K., Salamon P., Neural network ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10). 1990.

[Koza, 1992] Koza J.R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems. - Cambridge, MA: MIT Press, 1992.

[Perrone et al., 1993] Perrone M.P., Cooper L.N., When networks disagree: ensemble method for neural networks, in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993.

[Yeh, 2007] Cheng Y.I. Modeling slump flow of concrete using second-order regressions and artificial neural networks // Cement and Concrete Composites, 2007, Vol.29, No. 6.

[Zhou et al., 2002] Zhou Z.H., Wu J., Tang W. Ensembling neural networks: Many could be better than all, Artif. Intell., 2002, vol.137, no.1-2.

Размещено на Allbest.ru