Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Методика синтеза рекуррентных нейронных сетей для распознавания динамических образов

Никитин К.В., ассистент кафедры компьютерных систем и программных технологий СПбГПУ, execiter@mail.ru

Аннотация

импульсный нейронный сеть распознавание

В работе приводится описание разработанной методики синтеза импульсных рекуррентных нейронных сетей в составе машины неустойчивых состояний для решения задачи распознавания динамических образов в рамках парадигмы резервуарных вычислений.

Среди множества различных моделей нейронных сетей (НС) наибольшими вычислительными возможностями обладают НС с обратными связями или рекуррентные нейронные сети (РНС) [1]. РНС можно рассматривать как сложные нелинейные динамические системы, функционирующие как в устойчивых, колебательных и неустойчивых (хаотических) режимах. Однако платой за все преимущества РНС является значительное усложнение алгоритма их настройки или обучения.

Сложность и неэффективность существующих алгоритмов обучения РНС вынудила исследователей искать новые подходы, стратегии для использования их вычислительных возможностей. Одним из таких подходов стало новое направление - резервуарные вычисления (РВ).

Направление по РВ на данный момент развивается довольно динамично, но проблема синтеза резервуара под конкретную задачу является актуальной и нерешенной [4]. В работе была разработана методика синтеза резервуара - импульсной РНС в составе машины неустойчивых состояний (МНС) [3] - одной из основных моделей РВ, максимально приближенной к биологическому прототипу.

Модель машины неустойчивых состояний

Основная идея РВ заключается в использовании РНС как резервуара с богатой динамикой и мощными вычислительными возможностями. При этом резервуар формируется случайным образом, что исключает необходимость проводить его обучение [4]. При подаче на вход резервуара непрерывного сигнала он попадает в определенный динамический режим или состояние. Это состояние зависит от входного сигнала. Выход резервуара соединен со специальными устройствами - считывателями, которые выделяют из состояния резервуара полезную информацию и таким образом решают поставленную. Схема РВ в общем и МНС в частности, показана на рисунке 1.

Рисунок 1: Схема машины неустойчивых состояний

Резервуар в МНС является импульсной РНС [2] со случайной 3-х-мерной структурой, в которой импульсные нейроны соединены с помощью химических синапсов. Вероятность связи между двумя нейронами определяется по формуле [3]:

,

где буквами a и b обозначаются два нейрона, D(a,b) - евклидово расстояние между нейронами, л - средняя длина связи между нейронами, С(a,b) характеризует плотность связей.

Обобщенная методика синтеза импульсных РНС

Анализ результатов экспериментального исследования позволил построить обобщенную методику синтеза импульсных РНС и встроить ее в схему решения задачи распознавания динамических образов. Соответствующая схема представлена на рисунке 2.

Далее рассмотрим подробно каждый шаг методики.

Входные данные и их предобработка

Входные данные представлены набором примеров динамических образов в виде пар «входной сигнал-соответствующий ему выходной сигнал». Входной и выходной сигнал в общем случае являются многомерными функциями времени, размерность входного сигнала n_in, выходного - n_out. Возможны два способа задания - непрерывная и импульсная. В непрерывном случае каждая входная и выходная функция задаются аналитически (точно) либо численно (приближенно).

Рисунок 2: Методика синтеза импульсных РНС при решения задачи распознавания динамических образов с помощью МНС

При численном задании входная функция времени разбивается на набор интервалов и на каждом интервале задается значение этой функции. Количество интервалов определяет точность задания функции. Важными параметрами является количество и качество примеров.

После того, как определен набор примеров, необходимо выбрать способ их подачи на вход резервуара - импульсной РНС. Предпочтительной является импульсная форма представления входных сигналов. Поэтому если входной сигнал задан непрерывно, следует выполнить преобразование этого сигнала в импульсную форму. Среди всех алгоритмов преобразования из непрерывной в импульсную форму следует отдать предпочтение алгоритмам на основе пространственно-временного кодирования (п. 2.4.4), в частности, алгоритму на основе рецептивных полей. Этот алгоритм автоматически выполняет нормировку входных данных, поэтому никакая дополнительная предобработка не требуется. Ключевыми параметрами этого алгоритма являются k_x - во сколько импульсных входов преобразуется каждый непрерывный вход и T_min - минимальный период импульсов.

При выборе их значений следует руководствоваться соображениями, что чем сложнее форма непрерывного сигнала, тем больше значение k_x следует задавать). Следует начинать со значения k_x, равного 8 и далее увеличивая до 16, 32 и т.д. Минимальный период T_min следует задавать не меньше чем 1мс и не больше, чем постоянная времени нейрона (20-30 мс).

Если входной сигнал подается напрямую в непрерывной форме, то необходимо произвести его нормирование, так чтобы значения, которые он принимает, лежали в диапазоне от 0 до 1.

Помимо проблемы представления входных данных в импульсной форме существует проблема, связанная с временем представления входных образов. Это время не должно превышать глубину памяти резервуара - в противном случае часть информации о входном сигнале будет «забыта». Для решения этой проблемы может быть использована техника нормализации сигналов во временном диапазоне. Средняя глубина памяти импульсной РНС равна 0.1-0.5 с. Если время представления входного образа превышает эти значения, следует сжать входной образ во времени до t_norm (например, до 0.25 с).

Синтез резервуара

Вначале определяется количество входов n_vh РНС. Если преобразования из непрерывной в импульсную форму не происходит, то оно равно количеству входных сигналов n_in, если преобразование выполняется, то количество входов равно произведению количества входных сигналов на коэффициент размножения по входам k_x.

Вероятность связи между входами и нейронами резервуара p_vh следует задать равной 10_20 %.

Количество нейронов n_nrn резервуара определяется сложностью задачи распознавания и количеством входов. Чем выше сложность и чем больше количество входов, тем больше должно быть нейронов. Минимально-допустимое значение числа нейронов равно 125 и соответствует трехмерной решетке 5х5х5.

Процент подавляющих нейронов p_inh задается равным 20_30 % для любых типов нейронов.

Средняя длина связей л вначале задается равной 2. Затем можно будет скорректировать это значение, немного увеличив его (предельное значение равно 3).

Плотность связей задается матрицей C размерности 2x2 (С[i,j] - плотность связей между нейронами типа i и нейронами типа j, где тип 1 - подавляющий, тип 2 - возбуждающий). Возможные значения матрицы C:

, .

На основании значений n_nrn, n_vh, p_vh, p_inh, С, л и формулы (2.36) случайным образом генерируется структура РНС, содержащая информацию о наличии/отсутствии связей между входами и нейронами и между нейронами. Формально структуру можно описать с помощью матриц H_vh, H_int: H_vh[i,j] = 1, если связь между i входом и j входом есть; H_vh[i,j] = 0, если связь отсутствует; H_int[i,j] = 1, если связь между i и j нейроном есть; H_int[i,j] = 0, если связь между i и j нейроном отсутствует.

Тип нейронов. В качестве нейронов могут использоваться как простые нейроны типа «интегрирование и возбуждение», так и более сложные нейроны - Ижикевича, Ходжкина-Хаксли, Морриса-Лекара. Выбор той или иной модели зависит от сложности задачи. Для простых задач можно обойтись более простыми моделями «интегрирование и возбуждение», для более сложных задач - модели нейронов с более сложной динамикой (Ижикевича и др.). Выбор более сложной модели нейрона позволяет увеличить память резервуара за счет более длительной и уникальной реакции в ответ на входной изменяющийся сигнал.

При использовании нейронов типа «интегрирование и возбуждение» следует инициализировать их базовые параметры следующими значениями: v_rest=v_reset=0, и=15мВ, T_refrac=3мс, ф=30мс, утечка есть.

При использовании нейронов Ижикевича в качестве возбуждающих нейронов следует использовать модель RS с параметрами: a=0.02, b=0.2, c=-65, d=8, а в качестве подавляющих нейронов модель FS с параметрами: a=0.1, b=0.2, c= -65, d=2.

Тип связей - синапсов так же, как и тип нейронов определяется сложностью задачи, а также типом связи. Для связей, передающих входные непрерывные сигналы, используются электрические синапсы. Для связей, передающих импульсные входные сигналы, а также для всех связей между импульсными нейронами используются химические синапсы. Для увеличения вычислительных возможностей (нелинейность, глубина памяти) используются динамические синапсы с кратковременной памятью. Для адаптации РНС к входному импульсной сигналу используются синапсы с пластичностью, обладающие долговременной памятью.

Сила связей для всех синапсов вначале может быть задана детерминированной.

Сила связей между входами и нейронами для электрических синапсов задается вектором W_vh(el) из двух значений (1-е - для подавляющих нейронов, 2-е - для возбуждающих нейронов). Для нейронов «интегрировании и возбуждение» возможные значения W_vh(el) следующие:

, ,

а для нейронов Ижикевича:

, .

При этом значения непрерывного входного сигнала должны быть нормализованы и приведены к диапазону от 0 до 1.

Сила связей между входами и нейронами для химических синапсов задается вектором W_vh(chem) из двух значений (1-е - для подавляющих нейронов, 2-е - для возбуждающих нейронов). Для нейронов «интегрирование и возбуждение» (а) и нейронов Ижикевича (б) возможные значения W_vh(chem) следующие:

а) , б) .

Сила связей между нейронами (для химических синапсов) задается матрицей W_int размерности 2x2 (W_int[i,j] - сила связи между нейроном типа i и нейроном типа j, где тип 1 - подавляющий, тип 2 - возбуждающий). Для нейронов «интегрирование и возбуждение» (а) и нейронов Ижикевича (б) матрица W_int задается следующим образом:

а) , б) .

В дальнейшем силы связей можно сделать случайными - распределенными нормально с МО, равными приведенным выше значениям и СКО, равными 10-30% от значений математических ожиданий.

Постоянная времени затухания ф_syn импульсного тока задается для химических синапсов от входов и возбуждающих нейронов равной 3 мс и для подавляющих нейронов - 6 мс.

Задержки ф_delay для химических синапсов задаются равными 1 мс.

Выбор считывающих модулей

Последовательность выбора считывателей можно представить следующим образом:

· определение времени считывания - лучшие результаты получаются при времени считывании, соответствующем подаче ѕ входного образа;

· выбор алгоритма преобразования из импульсной формы в непрерывную - рекомендуемым является алгоритм, основанный на замене каждого импульса экспоненциально затухающим сигналом с постоянной времени ф_window=5-20 мс;

· выбор алгоритма сокращения размерности числа признаков - могут быть использованы как «фильтр» (PCA, LDA, Relieff, ISOMAP и др.), так и «враппер» методы; количество компонент - от 5 до 20;

· выбор алгоритма решения конечной задачи: классификация - НСПР, SVM, PNN, LVQ, k-NN, аппроксимация - НСПР, РБФ-НС, кластеризация - k-means, GMM.

Оценка качества распознавания

После того, как пройдены все предыдущие этапы, можно приступать непосредственно к решению поставленной задачи распознавания динамических образов и оценивать качество распознавания. Для этого лучше всего подходит процедура кросс-валидации.

Для расчета ошибки классификатора лучше всего вначале посчитать матрицу неточностей и по ней уже определить вероятности ошибок 1-го, 2-го родов для каждого из m классов. В качестве ошибки аппроксимации можно использовать усредненную (максимальную) абсолютную или относительную ошибки по всему множеству тестовых примеров. При решении задачи кластеризации качество анализируется с помощью специальных показателей - индекса Дэвиса-Болдуина, индекса Дана и др.

В случае, если полученное качество распознавания не устраивает, можно вернуться на один из предыдущих этапов. В итоге выполнения всех описанных выше действий (шагов) и рекомендаций задача распознавания динамических образов будет решена с требуемым качеством.

Заключение

Разработанная методика синтеза импульсных РНС в составе МНС отличается от известных подходов системностью, универсальностью, большей детализацией, что позволяет проводить целенаправленный синтез резервуара с требуемыми показателями, снизить трудоемкость разработки систем распознавания динамических образов и использовать новую модель МНС в системах резервуарных вычислений для задач распознавания динамических образов.

Применение методики для решения с помощью МНС задачи обработки реальных данных - электрокардиограмм с различными формами аритмии позволило повысить качество распознавания на 5-7 % по сравнению с известными классическими подходами. Таким образом, предложенная методика синтеза импульсных РНС может дополнить существующие подходы в системах обработки информации и распознавания динамических образов для повышения качества и скорости их работы.

Список литературы

1. Хайкин, С. Нейронные сети: полный курс: [пер. с англ.] / С. Хайкин, 2-е изд. - М. : Вильямс, 2000. - 1104 с.

2. Gerstner, W. Spiking Neuron Models. Single Neurons, Populations, Plasticity / W. Gerstner, W. M Kistler. - Cambridge : Cambridge University Press, 2002. - 480 p.

3. Maass, W. Real-time computing without stable states: a new framework for neural computations based on perturbations / W. Maass, T. Natschlдger, H. Markram // Neural Computation. - 2002. Vol. 11. - P. 2531-2560.

4. Schrauwen, B. An overview of reservoir computing theory, applications and implementations / B. Schrauwen, D. Verstraeten, J. V. Campenhout // Proc. of the 15th European Symposium on ANN. - 2007. - P. 471-482.

Размещено на Allbest.ru