Разработка и исследование комплексного эволюционного подхода для проектирования коллективов нейросетевых технологий моделирования и прогнозирования

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Разработка и исследование комплексного эволюционного подхода для проектирования коллективов нейросетевых технологий моделирования и прогнозирования

Современное состояние науки и техники все больше актуализирует применение интеллектуальных информационных технологий (ИИТ) во многих отраслях человеческой деятельности. Однако уже сейчас становится понятно, что дальнейшее развитие систем на основе ИИТ не возможно за счет совершенствования и использования лишь одной из таких технологий. В этой связи все актуальнее становится вопрос о совместном использовании в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом.

Можно выделить два способа совместного синергетического использования нескольких ИИТ в рамках одной системы, решающей конкретную прикладную задачу. Первый способ - это совместное параллельное использование нескольких интеллектуальных технологий для выработки общего решения задачи.

Вторым способом объединения интеллектуальных информационных технологий в рамках одной системы является использование одних технологий для автоматического проектирования других. Потребность в таком объединении может быть обоснованна как необходимостью повышения эффективности проектирования ИИТ, так и стремлением к автоматизации процесса проектирования систем на основе ИИТ. Одним из наиболее ярких примеров такого объединения ИИТ может служить использование эволюционных алгоритмов для проектирования и обучения нейронных сетей.

Перспективным видится объединение в одной системе обоих способов совместного использования ИИТ, что, очевидно, позволит существенно повысить качество решений, получаемых с помощью такой системы, при минимизации требований к дорогостоящим ресурсам за счет интенсификации и автоматизации процессов генерации технологий для получения решений. В этой связи видится, что одним из подходов повышения эффективности систем, основанных на нейронных сетях, является использование автоматически генерируемых коллективов нейронных сетей.

Методы проектирования коллективов нейросетевых технологий

Коллектив нейронных сетей представляет собой некоторое множество отдельных нейронных сетей, используемых совместно для решения одной задачи. Впервые идея об объединении отдельных нейронных сетей в коллектив была предложена в [Hansen et al., 1990]. В этой работе было показано, что способность к обобщению системы, основанной на использовании нейросетевых технологий, может быть значительно повышена за счет замены одиночной нейронной сети на коллектив. В дальнейшем коллективный подход для нейросетевых технологий был значительно разработан и успешно использован для решения широкого круга практических задач, в частности, задач распознавания, медицинского диагностирования, классификации сейсмических сигналов.

В общем случае проектирование коллектива нейронных включает в себя два этапа:

1. Первый этап заключается в формировании структуры и обучении отдельных нейронных сетей.

2. Второй этап включает в себя отбор тех нейронных сетей, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных нейронных сетей.

Вероятностный эволюционный метод автоматического проектирования нейронных сетей

Для выполнения первого этапа формирования коллектива нейронных сетей часто используется подход, заключающийся в предварительном выборе и фиксации структуры нейронных сетей. Отдельную ветвь составляют подходы, основанные на использовании генетических алгоритмов для формирования структуры нейронных сетей. Главной сложностью при использовании этих подходов является необходимость в настройке большого числа параметров алгоритма. Зачастую достаточно сложно подобрать правильные настройки генетического алгоритма, так как это требует значительных вычислительных и временных затрат. В связи с этим для автоматического формирования структуры нейронных сетей предлагается новый вероятностный метод, использующий для проектирования сетей принципы, заложенные в операторах вероятностного генетического алгоритма [Семенкин и др., 2005].

Предлагаемый эволюционный метод проектирования нейронных сетей основан на вычислении и использовании в эволюционном процессе оценок вероятностей , где - номер скрытого слоя нейронной сети, - максимальное число скрытых слоев, - номер нейрона на скрытом слое сети, - максимальное число нейронов на скрытом слое, , где - мощность множества активационных функций, которые могут быть использованы при формировании структуры нейронной сети. Если индекс лежит в интервале , то он соответствует номеру активационной функции в нейроне, если , то является оценкой вероятности того, что в сети отсутствует й нейрон на ом слое. Использование вероятностных оценок структуры нейронной сети позволяет производить обработку информации о ее структуре, без использования генетических операторов и кодирования структуры в бинарные строки. Это освобождает от необходимой процедуры настройки большинства параметров, характерных для генетического алгоритма, весьма затруднительной при решении реальных задач проектирования структуры нейронных сетей.

Формирование общего решения в коллективах нейросетевых технологий

На втором этапе проектирования коллектива должны быть выбраны те нейронные сети, которые будут использованы для расчета коллективного решения, а также должен быть непосредственно определен способ, по которому в коллективном решении будут учтены решения отдельные его членов. Наиболее распространенными вариантами комбинирования решений отдельных нейронных сетей являются равноправное или неравноправное голосование для задач классификации [Hansen et al., 1990] и простое или взвешенное усреднение для задач регрессии [Perrone et al., 1993]. Наиболее разработаны варианты с взвешенным усреднением или неравноправным голосованием.

Для повышения эффективности выполнения этого этапа был разработан метод, позволяющий автоматически выбирать из сформированного предварительно пула те нейронные сети, которые будут участвовать в принятии коллективного решения, и формировать это коллективное решение в виде различных преобразований и комбинаций (линейных и нелинейных) решений отдельных участников коллектива. Предлагаемый метод основан на методе генетического программирования [Koza, 1992], который используется для решения задач символьной регрессии. Для построения решения предлагаемый метод использует элементы терминального и функционального множеств. В качестве множества термов, из которых будут строиться решения, используются решения, полученные нейронными сетями из предварительного пула, а не непосредственно переменные задачи, как в методе генетического программирования.

Общее коллективное решение, сформированное с помощью предлагаемого метода, представляет собой некоторую функцию, входными параметрами которой являются частные решения нейронных сетей, включенных в коллектив:

нейронный сеть автоматический прогнозирование

(1.1)

Здесь - общее решение, - индивидуальное решение -й сети, - число сетей в коллективе.

Предлагаемый метод позволяет расширить гибкость системы, основанной на использовании коллективов нейронных сетей, за счет отсутствия твердо закрепленной структуры взаимодействия между индивидуальными сетями, формирующими коллектив. При этом, рассматриваемый метод не только формирует структуру взаимодействия между членами коллектива, но и косвенно (за счет включения или не включения соответствующих аргументов в формулу общего решения) отбирает те нейронные сети, решения которых будут наиболее полезны в плане эффективности решения задачи.

Экспериментальное исследование методов проектирования коллективов нейронных сетей

Для исследования эффективности предлагаемого комплексного подхода к проектированию коллективов нейронных сетей был проведен ряд численных экспериментов на наборе тестовых задач.

Предлагаемый метод был исследован в сравнении с методом GASEN, использующим для назначения весов генетический алгоритм, с последующим учетом при формировании общего решения тех нейронных сетей, чей весовой коэффициент выше некоторого заданного заранее значения. Метод GASEN является одним из наиболее эффективных подходов для проектирования коллективов нейронных сетей [Zhou et al., 2002]. В исследования также были включены два других метода, использующих генетический алгоритм для формирования коллектива и распространенный подход взвешенного усреднения [Perrone et al., 1993] для формирования общего решения (GA-based1 и GA-based2).

Для нейронных сетей максимальное число скрытых слоев было установлено равное трем, максимальное число нейронов на каждом слое равно пяти. В ходе предварительного исследования было выяснено, что увеличение указанных не дает дополнительного преимущества при решении рассматриваемых задач.

Исследование эффективности на тестовых задачах моделирования

Примеры задач, использовавшихся в сравнительных исследованиях, приведены ниже в табл. 1.

Табл. 1.

Для проведения исследований также был использован набор данных тестов по прогнозированию прочностных характеристик бетона из репозитория UCI Machine Learning Repository [Yeh, 2007]. Этот набор данных включает 103 записи.

В качестве главного критерия эффективности использовались оценка математического ожидания ошибки, рассчитанная по данным, полученным в ходе 50 независимых запусков алгоритмов.

Для расчета ошибки аппроксимации в каждом запуске использовалась следующая формула:

. (2.1)

нейронный сеть автоматический прогнозирование

Здесь - номер записи в выборке, - выход сети или коллектива нейронных сетей, - значение выходной переменной в выборке, и - максимальное и минимальное значение выходной переменной, - число элементов в выборке.

В таблице 2 приведены результаты сравнительного исследования предлагаемого вероятностного метода автоматического формирования структуры нейронных сетей, метода, использующего для решения этой задачи генетический алгоритм, и рассматриваемых подходов для автоматического проектирования коллективов нейронных сетей. Критерий сравнения описан выше.

Табл. 2

Для исследования значимости различий в эффективности используемых подходов были использованы методы ANOVA. Было проведено попарное сравнение исследуемых методов для выявления статистической значимости в различимости получаемых в ходе тестирования результатов при уровне значимости .

При исследовании результатов сравнения предлагаемого вероятностного метода проектирования нейронных сетей и «традиционного» метода, использующего генетический алгоритм, статистически значимых различий в эффективности на всех тестовых функциях выявлено не было. В виду того, что предлагаемый метод обладает меньшим числом настраиваемых параметров, видится оправданным использовать его для проектирования нейросетевых технологий.

Результаты исследований накопленной статистической информации с помощью методов ANOVA также позволяют сделать следующие выводы:

1. Использование коллективного подхода позволяет значимо повысить эффективность нейросетевого подхода на всех использованных тестовых задачах.

2. На 8 из 11 использованных тестовых задачах предлагаемый комплексный эволюционный подход превосходит по эффективности другие исследуемые подходы. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы при заданном уровне значимости.

В дальнейшем предлагаемый подход был успешно апробирован для решения задачи моделирования процесса рудно-термической плавки и задачи прогнозирования вибрационных характеристик гидротурбины.

Исследование эффективности на тестовых задачах прогнозирования временных рядов

В качестве тестовых задач прогнозирования были использованы выборки данных, сгенерированные из большого набора данных Synthetic Control Chart Time Series Data Set, взятого их Machine Learning Repository [Frank et al., 2007]. Этот набор данных представляет собой синтетически тест для алгоритмов прогнозирования. Данные в нем представляют собой имитацию данных контрольных карт, составленных из наблюдений за технологическими процессами. В набор данных включены примеры, характерные для различных классов временных рядов.

1. Обычный временной ряд без тренда, цикличности и смещения.

2. Цикличный временной ряд.

3. Временной ряд с возрастающим трендом.

4. Временной ряд с убывающим трендом.

Использование в тестовых задачах различных типов временных рядов позволяет хорошо оценить алгоритмы прогнозирования с точки зрения их возможности предсказания временных рядов с различной характеристикой.

В качестве главного критерия эффективности использовались оценка математического ожидания, которая рассчитывалась по результатам работы исследуемых методов в 20 независимых запусках, в каждом из которых ошибка прогноза рассчитывалась по формуле (2.1). В каждом из запусков использовался уникальный временной ряд конкретного типа (1-4), сгенерированный из рассматриваемого набора данных. В каждом временном ряду 60 значений

Для всех методов, с целью получения корректных результатов численных экспериментов, использовалось одинаковое количество вычислительных ресурсов.

Попарное сравнение исследуемых методов для выявления статистической значимости в различимости получаемых в ходе тестирования результатов проводилось методами ANOVA при уровне значимости . Результаты исследования методов на задачах прогнозирования временных рядов приведены в таблице 3.

Табл. 3

Точность прогноза, достигаемая при помощи предлагаемого подхода для формирования общего коллективного решения, значительно выше по сравнению с результатами, получаемыми другими методами. На всех задачах разработанный подход позволяет сократить ошибку прогнозирования относительно ошибок других методов по крайней мере на на 20%.

Все коллективные нейросетевые методы позволяют достичь гораздо меньшей ошибки прогнозирования по сравнению с методом, основанным на использовании экспоненциального сглаживания.

В дальнейшем подход был успешно апробирован для решения задач прогнозирования содержания углекислого газа на выходе газовой печи и прогнозирования значений характеристик процесса деградации солнечных батарей космического аппарата.

Результаты статистических исследований показывают, что предлагаемый комплексный подход для проектирования коллективов нейронных сетей демонстрирует высокую эффективность на всех использованных тестовых задачах. Как видно из результатов исследований, предлагаемый подход для формирования коллективов нейросетевых технологий не уступает другим подходам ни на одной из использованных тестовых задач, а на большинстве задач оказывается эффективнее, чем другие подходы.

Таким образом, данный комплексный подход целесообразно использовать для повышения эффективности решения сложных прикладных задач, традиционно решаемых с помощью систем, использующих одну искусственную нейронную сеть, например, сложных задач аппроксимации и прогнозирования.

Список литературы

1. Семёнкин Е.С., Сопов Е.А. Вероятностные эволюционные алгоритмы оптимизации сложных систем // Труды Международных научно-практических конференций AIS'05/CAD-2005. - М.: Физматлит, 2005.

2. Frank A., Asuncion A. UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

3. Hansen L.K., Salamon P., Neural network ensembles, IEEE Trans. Pattern Analysis and Machine Intelligence 1990. №12 (10).

4. Koza J.R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems. - Cambridge, MA: MIT Press, 1992.

5. Perrone M.P., Cooper L.N., When networks disagree: ensemble method for neural networks, in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993.

6. Yeh, I-Cheng, «Modeling slump flow of concrete using second-order regressions and artificial neural networks,» Cement and Concrete Composites, 2007. Vol.29. №. 6.

7. Zhou Z.H., Wu J. and Tang W. Ensembling neural networks: Many could be better than all, Artif. Intell. 2002. Vol. 137, №.1-2.

Размещено на Allbest.ru