Выбор архитектуры нейронной сети для решения задач аппроксимации и регрессионного анализа экспериментальных данных

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Выбор архитектуры нейронной сети для решения задач аппроксимации и регрессионного анализа экспериментальных данных

К.В.Гулаков

Рассмотрена методика выбора нейронной сети для решения задач регрессионного анализа многомерных данных. Оценена эффективность выбранной нейросети при решении задачи аппроксимации зашумленных данных. Представлены результаты нейросетевого моделирования прочностных характеристик металла шва.

Ключевые слова: искусственные нейронные сети, сварочные материалы, аппроксимация нейронными сетями, нейросетевое моделирование, регрессионный анализ.

нейронный сеть многомерный зашумленный шов

Существует ряд задач, целью которых является поиск закономерностей при анализе экспериментальных данных и построение соответствующей математической модели исследуемого объекта или физического явления, а также поиск оптимальных параметров этой модели. При этом требуется, чтобы модель адекватно отражала исследуемый стохастический процесс и была достаточно устойчива к наличию помех в исходных данных. Дополнительно к модели может предъявляться требование экстраполяции данных вне диапазона, в котором она обучалась. Для некоторых из таких задач нет аналитических методов решения либо они весьма трудоёмки в реализации.

В предлагаемой статье рассматривается построение регрессионной модели некоторой многомерной тестовой функции на основе данных, содержащих шумы и погрешности, с целью оценки эффективности рассматриваемых методов. Задача решается с помощью различных архитектур нейросетей, и оценивается качество их работы. Разработанная методика применяется к задаче выбора состава покрытия электродов с целью моделирования прочностных характеристик сварного шва.

Анализ проблемы и существующие методы решения. Данные, которые используют методы поиска закономерностей, могут иметь различную природу происхождения и, как следствие, обладать некоторыми специфическими особенностями. Их можно условно разделить на следующие группы:

данные, полученные при лабораторных испытаниях (в том числе с применением методов планирования эксперимента);

данные, накопленные на производстве;

данные, полученные в результате численного моделирования.

Экспериментальные данные первой группы могут содержать случайные и системные ошибки их измерения и сбора. Случайные ошибки обусловлены воздействием неконтролируемых случайных возмущений, действующих как на объект исследования, так и на систему измерений в целом. Полностью избежать случайных ошибок в экспериментальных данных невозможно. Частично удалить такие ошибки можно с помощью специальных методов. К данным этой группы обычно применяют методы планирования эксперимента и теорию математической статистики для построения регрессионных моделей. Лабораторные испытания дают возможность провести испытания для всего множества комбинаций варьируемых параметров, проводя измерения в узлах координатной сетки. Однако недостатком таких методов является трудность подбора экспертом подходящих базисных функций в случае, когда зависимость плохо описывается полиномом.

Во второй группе данных помимо случайных и системных ошибок, разнообразие и число которых несравнимо больше, чем в первой группе, содержатся ошибки иного рода. Это ошибки, связанные с условиями проведения измерений и объемом накопленных данных. В реальном производстве обеспечить выполнение жестких требований к условиям проведения измерений (постоянство параметров окружающей среды, стабильность работы технологического оборудования и аппаратуры измерения, стабильность качества подготовки обрабатываемого изделия) практически невозможно. Часто эта группа данных находится в узком диапазоне варьируемых параметров, имеет значительный объем, и их обработка требует применения вычислительной техники. Они могут использоваться для поиска закономерностей, скрытых в данных, и закономерностей управления технологическим процессом или устройством.Для моделирования зависимостей, скрытых в экспериментальных данных, возможно применение методов искусственных нейронных сетей.

В некоторых случаях экспериментальные данные, необходимые для построения модели, имеют пробелы. Чтобы их восполнить, иногда возможно получение необходимых данных с помощью других известных моделей. Для решения этой задачи могут быть применены искусственные нейронные сети. Полученные результаты относятся к третьей группе данных.В них нет воздействия случайных возмущений, однако численные модели, как правило, имеют приближенный характер.

Обработка многомерных данных, включающая задачи классификации, создания новой структуры признакового пространства и интерпретации, хранения, передачи по каналам связи, представляет определенные трудности и является актуальной задачей, представляющей интерес для исследователей [4]. Решение этих задач значительно упрощается, если подвергнуть сжатию размерность признакового пространства. Такое сжатие возможно, поскольку в большинстве случаев признаки взаимосвязаны (коррелированы), следовательно, данные избыточны с точки зрения информации, и эта избыточность полностью определяется корреляционной матрицей исходных переменных X. Однако подобное сжатие всегда ведет к потере некоторой информации, что является существенным недостатком классических методов обработки многомерных данных.

На этом фоне использование нейросетей как универсальных аппроксиматоров для построения регрессионных моделей является менее трудоемким и значительно более универсальным методом. Нейросети открывают ряд качественно новых возможностей, особенно в отношении создания регрессионнных моделей, наиболее полно учитывающих реальные свойства системы, в том числе нелинейность, и обеспечения быстродействия для получения конечного результата.

Для определения архитектур нейронных сетей, применимых к построению регрессионной модели, был проведен анализ возможности использования различных типов сетей в различных классах задач. При этом рассматривались сеть Хопфилда, сеть встречного распространения, сеть радиального базиса, карта Кохонена, многослойный персептрон, двунаправленная ассоциативная память, сеть Хэмминга,вероятностная сеть,сеть адаптивного резонанса.

Результаты сравнения приведены в табл. 1 (плюсы означают возможность применения нейронной сети данного типа к решению соответствующей задачи).

Как следует из результатов анализа, для решения задачи аппроксимации могут быть использованы сети типа «многослойный персептрон» и сети радиального базиса.

Сети на основе радиальных базисных функций демонстрируют хорошие свойства аппроксимации. Семейство сетей на основе радиальных базисных функций является достаточно широким, чтобы равномерно аппроксимировать любую непрерывную функцию на компактном множестве.

Нейронная сеть типа «многослойный персептрон». Существует масса других названий данной сети: сеть обратного распространения, backpropagationnetwork, backprop, обобщенное дельта-правило, MLP-сеть и т.п. Многослойный персептрон относится к классу сетей с последовательными связями. В таких сетях нейроны делятся на группы с общим входным сигналом - слои. При этом на вход каждого нейрона подаются

Таблица 1

Сравнение различных типов нейронных сетей

выходы всех нейронов предыдущего уровня, а на нейроны входного уровня подается внешний входной сигнал. Уровни, расположенные между входным и выходным уровнями, называютсяскрытыми. При этом общее число уровней в сети считается равным числу слоев нейронов, учитывая также и входной слой. Число нейронов на входном уровне равно числу компонент входного вектора (каждому нейрону должно соответствовать одно значение).

Число нейронов входного слоя определяется числом независимых переменных аппроксимируемой функции, число нейронов выходного слоя равно числу зависимых переменных. Число скрытых слоев и количество нейронов в них определяется экспертом-разработчиком сети.

Нейронные сети радиального базиса.Сети радиальных базисных функций (RBF-сети)принципиально отличаются от многослойного персептрона. Многослойный персептрон решает задачу с помощью нейронов, производящих нелинейные преобразования своих взвешенных входов, алгоритм его обучения сложен и трудоемок. В RBF-сети активизация нейронов задается дистанцией между входным вектором и заданным в процессе обучения вектором-прототипом, а обучение происходит быстро и носит элементы обучения как «с учителем», так и «без учителя». Понятие радиальных базисных функций впервые было введено при решении задач интерполяции вещественных функций нескольких переменных. Анализ ранних работ по этой тематике представлен в [1]. В настоящее время радиальные базисные функции составляют одно из главных направлений исследований в области численного анализа.

В основе сетей радиального базиса (RBF-сетей) лежит подход, основанный на разбиении пространства окружностями или (в общем случае) гиперсферами. Гиперсфера задается своим центром и радиусом. Подобно тому как элемент MLP-сети реагирует (нелинейно) на расстояние от данной точки до линии «сигмоидного склона», в сети, построенной на радиальных базисных функциях, элемент реагирует (нелинейно) на расстояние от данной точки до центра, соответствующего этому радиальному элементу. Поверхность отклика радиального элемента представляет собой гауссову функцию (колоколообразной формы) с вершиной в центре и понижением к краям. Наклон гауссова радиального элемента можно менять подобно тому, как можно менять наклон сигмоидной кривой в MLP-сети.

Нейронные сети радиального базиса имеют три слоя. Нейроны входного слоя выполняют распределительные функции. Промежуточный слой состоит из нейронов Кохонена, при этом каждый нейрон слоя Кохонена воспроизводит гауссову поверхность отклика. Поскольку они нелинейны, для моделирования произвольной функции нет необходимости брать более одного промежуточного слоя, нужно лишь взять достаточное число радиальных элементов [3].

Сравнение сетей радиального базиса и многослойных персептронов. Сети на основе радиальных базисных функций (RBF) и многослойный персептрон (MLP) являются примерами нелинейных многослойных сетей прямого распространения. И те и другие являются универсальными аппроксиматорами. Таким образом, неудивительно, что всегда существует сеть RBF, способная имитировать многослойный персептрон (и наоборот). Однако эти два типа сетей отличаются по некоторым важным аспектам.

1. Сети RBF (в своей основной форме) имеют один скрытый слой, в то время как многослойный персептрон может иметь большее количество скрытых слоев.

2. Обычно вычислительные (computational) узлы многослойного персептрона, расположенные в скрытых и выходном слоях, используют одну и ту же модель нейрона. С другой стороны, вычислительные узлы скрытого слоя сети RBF могут в корне отличаться от узлов выходного слоя и служить разным целям.

3. Скрытый слой в сетях RBF является нелинейным, а выходной -- линейным. В то же время скрытые и выходной слои многослойного персептрона, используемого в качестве классификатора, являются нелинейными. Если многослойный персептрон используется для решения задач нелинейной регрессии, в качестве узлов выходного слоя обычно выбираются линейные нейроны.

4. Аргумент функции активации каждого скрытого узла сети RBF представляет собой евклидову норму -- расстояние между входным вектором и центром радиальной функции. В то же время аргумент функции активации каждого скрытого узла многослойного персептрона -- это скалярное произведение входного вектора и вектора синаптических весов данного нейрона.

5. Многослойный персептрон обеспечивает глобальную аппроксимацию нелинейного отображения. С другой стороны, сеть RBF с помощью экспоненциально уменьшающихся локализованных нелинейностей (функций Гаусса) создает локальную аппроксимацию нелинейного отображения.

Это, в свою очередь, означает, что для аппроксимации нелинейного отображения с помощью многослойного персептрона может потребоваться меньшее число параметров, чем для сети RBF, при одинаковой точности вычислений.

Линейные характеристики выходного слоя сети RBF означают, что такая сеть более тесно связана с персептроном Розенблатта, чем с многослойным персептроном. Тем не менее сети RBF отличаются от этого персептрона тем, что способны выполнять нелинейные преобразования входного пространства. Это было хорошо продемонстрировано на примере решения задачи XOR, которая не может быть решена ни одним линейным персептроном, но с легкостью решается сетью RBF.

Был выполнен сравнительный анализ архитектур двух нейронных сетей, которые могут быть использованы при решении рассматриваемой в работе задачи, - RBF-и MLP-сети[5]. Результаты анализа представлены в табл.2.

Таблица 2

Сравнительный анализ архитектуры MLP- и RBF- сети

Принципиальным различием этих сетей является способ кодирования информации на скрытых слоях (способ построения адаптивного рельефа ошибки). Для MLP - гиперплоскости, для RBF -- гиперсферы. Использование гиперсфер приводит к некоторой неэффективности сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных, а также необходимость использования при обучении большего числа примеров. В большинстве случаев при решении одной и той же задачи размер сети RBF будет превышать размер сети MLP [7].

Сети RBF позволяют использовать лишь гауссову функцию активации либо ее модификации. В тоже время MLP обладает способностью работать с различными функциями, что дает более широкие возможности для экспериментирования в процессе построения нейросетевой модели.

Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных, так как отклик сети быстро затухает при удалении от сформированных на обучающей выборке центров классов.

Недостатком сети MLP по сравнению с RBF является более высокая сложность обучения ввиду необходимости совместного обучения нескольких слоев нейронов.

Исследование эффективности методов. Для оценки эффективности сетей радиального базиса и многослойного персептрона рассмотрим показанную в [6] задачу аппроксимации функции при изменении переменных в пределах -3 ? x? 3 и -3 ? y? 3.

График данной функции представлен на рис. 1. На основе обучающей выборки из 625 групп данных ([x, y], d),сгенерированных при равномерном распределении переменных x и y в областях их определения, в [6] построена сеть со структурой 2-36-1 (2 входных нейрона, 36 радиальных нейронов гауссовского типа и один выходной линейный нейрон). В [6] применялся гибридный алгоритм обучения, в результате максимальная погрешность аппроксимации после 200 итераций составила 0,06.Таким образом, проведенный вычислительный эксперимент показал, что нейронная сеть эффективно восстановила функцию d(x, y) по ее табличным значениям. Однако в реальных условиях прикладные задачи, связанные с восстановлением функции, описывающей некоторое физическое явление, опираются на данные, содержащие различные помехи и погрешности измерения. По этой причине было решено повторить описанный вычислительный эксперимент, адаптировав его к прикладной области. Это значит, что данные, на которых строится нейросеть, должны быть не точными значениями функции, как в упомянутой работе, а содержать некоторый шум. Это позволит максимально приблизить эксперимент к реальным задачам.

Процесс построения нейросетевой модели можно условно разделить на 5 основных этапов (рис. 2).

Рис. 2. Основные этапы процесса построения нейросетевой модели

На первом этапе были сгенерированы 2 набора обучающих выборок ([x, y], d), содержащих случайные помехи (погрешности) с целью имитации данных, полученных при исследовании стохастического процесса или физического явления.Первая группа, d?, содержала сильно зашумленные данные (помехи на уровне 20%), вторая, d??, - слабо зашумленные (помехи на уровне 2%). Эти наборы данных были сгенерированы следующим образом. Функция d(x,y) протабулирована в пределах -3 ? x? 3 и -3 ? y? 3 с шагом 0,25,и составлена таблица значений функции d.К каждому значению функции добавлена некоторая величина , полученная с помощью генератора случайных чисел с равномерным распределением. При этом , где p - уровень помех в долях единицы. Таким образом, наборы точек [x, y, d?] и [x, y, d??] имитируют результаты наблюдений за некоторым физическим процессом, содержащие погрешности измерения, на основе которых будет моделироваться сам процесс d(x,y), в реальной задаче исследователю неизвестный.

На втором этапепроведено нормирование данных в диапазоне[-1…1]. Деление общей выборки на обучающую и тестовую в данном случае не требуется, так как для тестирования используется искомая функция d(x,y).

Третий этап подразумевает выбор типа нейросети из двух подходящих для решения задачи аппроксимации: многослойного персептрона и радиальной базисной сети. В данном эксперименте используются оба типа с целью сравнения их эффективности. Архитектура многослойного персептрона определялась следующим образом: сеть состояла из двух скрытых слоев по 8 нейронов в каждом. RBF-сеть содержит 1 скрытый слой, число нейронов в котором растет в процессе обучения.

На четвертом этапе на каждом из наборов данных обучались два указанных типа нейросетей. Для построения и обучения нейросетей использовался инструмент NeuralToolboxпакета Matlab.

На заключительномэтапе строились поверхности отклика полученных нейросетевых моделей(рис. 3,4). Оценено среднеквадратическое отклонение S2 как ошибка полученной модели.

На рис. 3а функция смоделирована на сильно зашумленных данных со среднеквадратическим отклонением S2=1,806 (22%) многослойным персептроном. S2 нейросети - 1,63 (20%).Отклонение нейросети от зашумленного сигналаS2 =0,844 (9%).

На рис. 3б функция содержит слабые помехи S2 =0,185 (2%), аппроксимирована многослойным персептроном. S2 нейросети - 0,179 (2%).Отклонение нейросети от зашумленного сигналаS2 =0,11 (1%).

На рис. 4а функция содержит помехи S2 =1,88 (23%), аппроксимирована сетью радиального базиса. S2 нейросети - 1,68 (20%). Отклонение нейросети от зашумленного сигнала S2 =0,85 (10%).

На рис. 4б функция содержит помехи S2 =1,185 (2%), аппроксимирована сетью радиального базиса. S2 нейросети - 0,184 (2%). Отклонение нейросети от зашумленного сигналаS2 =0,185 (2%).

Оба рассмотренных типа нейросетей справились с задачей построения регрессионной модели зашумленного сигнала. Во всех случаях сети продемонстрировали способность к фильтрации шумов. RBF-сеть во всех случаях демонстрировала несколько большее отклонение (погрешность), однако, учитывая слишком малую величину разницы с многослойным персептроном (рис.5),следует признать это несущественным.

Рис. 5. Среднеквадратическое отклонение рассмотренных нейросетей

Сеть радиального базиса выгодно отличается от многослойного персептрона, так как не требуется определение числа слоев и нейронов экспертом. В случае сети радиального базиса количество нейронов увеличивается в процессе обучения с целью достижения заданной точности модели. Однако число нейронов RBF-сети значительно (в данном исследовании - на порядок) больше, чем в персептроне, что снижает скорость работы с RBF-сетью. В задачах, которые требуют прогнозирования поведения функции за пределами диапазона обучения, выгоднее применять многослойный персептрон, так как он обладает способностью экстраполировать функцию.

Применение в прикладных задачах. Как было показано выше, нейросетевые методы способны эффективно аппроксимировать достаточно сложные зависимости, базируясь на сильно зашумленных данных. Основываясь на этом, можно утверждать, что более простые зависимости (с меньшим количеством экстремумов) будут смоделированы не менее эффективно. Так, большинство физических процессов, связанных со свойствами материалов, описываются более простыми функциями, чем рассмотренная зависимость d(x,y). Это означает, что применение нейросетевых методов является хорошей альтернативой ставшим классическими методам планирования эксперимента при математическом моделировании экспериментальных данных. При этом нейросетевые методы зачастую демонстрируют бульшую эффективность полученной модели и меньшую трудоемкость в использовании.

В [2;3] рассматривалась задача поиска состава покрытия электродов, обеспечивающего необходимые свойства сварного шва.Например, требуется получить сварной шов с заданными прочностными характеристиками. Известно, что различные присадки в составе покрытия электродов (CaO, MgO, TiO2, CaF2 и другие) определяют прочностные характеристики шва.

В задаче о выборе состава покрытия электродов рассматриваются следующие свойства шва:

P - ударная вязкость, Дж/см2;

Q - удельная энергия разрушения, Дж/см2;

R - удельная энергия зарождения трещины, Дж/см2;

S - удельная энергия распространения трещины, Дж/см2.

Эти свойства зависят от состава покрытия электродов, а также от температуры. Таким образом, имеем:

где X - вектор состава покрытия электрода, в котором каждый элемент xi - процентное содержание некоторого вещества в составе; T - скаляр, температура; P,Q,R,S образуют вектор свойств сварного шва.

Построена нейросетевая модель на основе многослойного персептрона, которая для заданного состава покрытия электрода и заданной температуры определяет прочностные характеристики металла шва (P, Q, R, S). Максимальная ошибка модели составила около 2%. Посредством полученной модели рассчитано оптимальное содержание легирующих элементов в составе покрытия электрода (CaO+MgO-30%, TiO2-10%, CaF2-20%), которое обеспечивает ударную вязкость P=244 Дж/см2, удельную энергию разрушенияQ=162 Дж/см2,удельную энергию зарождения трещины Q=65 Дж/см2, удельную энергию распространения трещины S=97 Дж/см2при температуре Т=+20°С. Построенная нейросетевая модель позволяет определить для заданного состава покрытия электрода X и заданной температурыT прочностные характеристики сварного шва P, Q, R, S. В табл. 3 представлен фрагмент результатов моделирования прочностных характеристик для T=20 °С.Возможно получение подобных данных для различных температур.

Среди рассмотренных архитектур нейросетей для решения задач аппроксимации и регрессионного анализа применимы следующие сети: многослойные персептроны и сети радиального базиса. Оба типа нейросетей имеют свои достоинства и недостатки при использовании в задачах восстановления зависимостей. Каждая из рассмотренных сетей эффективно аппроксимирует сложные функции, обучаясь на зашумленных данных. Многослойные персептроны показывают хорошие результаты при обработке экспериментальных данных, в том числе многомерных, позволяя моделировать скрытые в нихзакономерности. Эти методы нейросетевого моделирования успешно применялись в задаче выбора состава покрытия электрода, где требовалось смоделировать прочностные характеристики

Таблица 3

Результаты нейросетевого моделирования прочностных показателей металла шва

металла сварного шва в зависимости от состава покрытия электрода. Полученная нейросетевая модель согласуется с экспериментальными данными.

Список литературы

Light, W. Ridge functions, sigmoidal functions and neural networks / in E.W. Сhеnеy, С.К. Chui and L.L. Schumaker, eds., Approximation Theory VII.- Boston: Academic Press, 1992.-P. 163-206.

Гулаков, К.В. О возможности применения нейросетевого подхода к разработке электродных покрытий / К.В.Гулаков, М.Г.Шарапов, С.В.Юркинский // Международная конференция «Сварка и родственные технологии в современном судостроении, производстве морской техники и береговых объектов». - СПб., 2011.-С. 21.

Гулаков, К.В. Применение методов нейросетевого моделирования для уменьшения объемов экспериментальных работ при разработке сварочных материалов / К.В. Гулаков // Вестн. БГТУ. - 2011. -№3.- С. 111.

Мирошников, В.В. Применение метода главных компонент для обработки многомерных статистических данных / В.В. Мирошников, В.Н. Строителев, Н.М. Борбаць //Вестн. БГТУ. - 2012. -№1.- С. 139.

Родионов, П. Е. Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей: дис. … канд. техн. наук / П. Е. Родионов. - 2003. - 169 с.

Осовский, С. Нейронные сети для обработки информации / С. Осовский.-М.: Финансы и статистика, 2002.

Хайкин, С. Нейронные сети: полный курс: [пер. с англ.]/Саймон Хайкин. - 2-е изд. - М. :Вильямс, 2006. - 1104 с.

Размещено на Allbest.ru