Моделирование нейросетевых взаимодействий с использованием механизма клеточных автоматов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Моделирование нейросетевых взаимодействий с использованием механизма клеточных автоматов

Широкое распространение нейронных сетей (НС) для решения различных задач, относящихся к области интеллектуальных систем, обуславливает развитие исследований в данной области, направленное на формирование эффективных методов реализации НС-технологий [1-6]. В качестве одного из подобных перспективных методов, активно развиваемых в последнее время, является аппарат клеточных автоматов (КА) [7,8]. Так, в работе [8] отмечается следующее: «Последнее десятилетие ознаменовалось бумом публикаций в самых разных разделах науки, связанных с КА-моделями; одновременно с этим продолжает развиваться и математическая теория клеточных автоматов». В настоящей статье рассматриваются вопросы организации нейросетевых взаимодействий на основе механизмов клеточных автоматов.

Прежде всего, отметим общую черту нейронных сетей и клеточных автоматов: модели НС и КА можно представить в виде двухуровневых иерархических структур [9,10]. Нижний уровень составляют элементарные обработчики информации (для НС - это нейроны, для КА - ячейки). Верхний уровень образуют алгоритмы, формирующие последовательность обработки элементарных объектов и информационные связи элементарных объектов, которые, в свою очередь, формируются топологией сети. Отмечается, что искусственные нейронные сети представляют собой распределенные процессоры с массовым параллелизмом, реализованные на базе простых процессоров (нейронов) [11].

Определим вводимые в настоящей статье модели как «клеточный нейронный автомат» (КНА) - верхний уровень иерархии и «клеточный нейронный элемент» или «клеточный нейрон» (КНЭ) - нижний уровень иерархии.

Отметим, что как процессы реализация моделей (НС и КА), так и их обучение базируются на итерационных методах [11,12]. В соответствии с этим, при разработке моделей, определенных в настоящей статье, ставится задача повышения эффективности итерационных процессов за счет ввода параметров, которые способствуют росту уровня управляемости данных процессов.

Модель клеточного нейронного элемента

Модель КНЭ приводится на рисунке 1, где K_i - элемент.

автомат нейронный сеть

Модель КНЭ

Определим K₁(i) вх,…, K_r(i) вх в качестве элементов входной O окрестности K_i-го элемента и обозначим данную окрестность, как О_вх(K_i). При этом запись «K_r(i) вх» означает: r-ый элемент из набора входных элементов i-ой вершины. Сумму воздействий элементов из О_вх(K_i) на элемент K_i, масштабируемых через связи ? (запись ?_r(i), i обозначает синаптическую связь между r-ой вершиной из набора входной О - окрестности K_i, как начальной в связи с самой вершиной Ki, в качестве конечной. Можно определить сумму входов Кi, масштабируемых через синаптические связи, как «раздражение» K_i [7].

Аналогичным образом опишем выходную О-окрестность K_i: О_вых(K_i)={К₁(i) вых,…, K_q(i) вых}. Воздействие на элементы из O_вых масштабируемых синаптической связью будем рассматривать, как «реакцию» элемента K_i [7].

Каждый элемент K_i в каждый момент t будем сопоставлять со специально вводимой функцией состояния элементов (ее формальное описание приводится ниже). Функцию состояния можно представить, как «память» элемента, которая влияет на формирование активационной функции элемента. Совокупность подобных функций составляет обобщенную память автомата.

Следует отметить, что определенным образом функции памяти присутствуют и в классических НС-моделях. В динамических нейронах элементы запоминания предыдущего функционирования реализуются через мембранный потенциал клетки [10], хотя подобное запоминание действует на период между переходами через порог клетки.

Входной потенциал клетки можно вычислить по формуле (1).

PM_i(t) = ?г_j((i)вх),i · y_j((i)вх), (1)

где г_j((i)вх),i - коэффициент синаптической связи, ориентированной из j-ой вершины, входящей в состав входной O-окрестности i-ой вершины в данную вершину i. Следует отметить, что матрица синаптических связей Г=[г_ji] определяет топологию сети и, по существу является матрицей смежности взвешенного неориентированного графа. При этом y_j((i)вх) - активационная функция КНЭ j-го элемента из входной О-окрестности i-го КНЭ.

Внутренний потенциал клетки PV_i(t) можно вычислить по формуле (2).

PV_i(t) = Q_i - PM_i(t) - f(S_i(t-1)), (2)

где Q_i - пороговое значение внутреннего потенциала элемента; f(S_i(t-1)) - функция, учитывающая предыдущее (установленное на предыдущем шаге) значение состояния. Можно предложить различные варианты функции, например, f(S_i(t)) = k · S_i(t-1), где k - произвольно определяемый коэффициент, определяющий степень влияния предыдущих значений.

На основании значения PV_i(t) определяется активационный потенциал клетки PC_i(t), непосредственно влияющий на определение значений нового состояния клетки и активационной функции в новом состоянии. В зависимости от значения переходного потенциала, значение активационного потенциала определяется в трех интервалах:

(a): PC_i(t) = -1, если PV_i(t) < q;

(b): PC_i(t) = 0, если - q ? PV_i(t) ? +q;

(c): PC_i(t) = +1, если PV_i(t) > q,

где q - априори вводимое значение границы перехода. Из приведенных выражений видно, что попадание внутреннего потенциала в интервал (b) не приводит к изменению PCi(t) и, как будет показано ниже, изменению текущего состояния клетки.

Текущее состояние клетки S_i*(t) можно вычислить по формуле (3).

S_i*(t) = S_i(t-1) + PC_i(t). (3)

Значения состояния можно определить на интервале [1,…, 10]. Для этого введем следующий набор правил, ограничивающий область значений состояний назначенным интервалом:

(a): S_i(t) = 10, если S_i*(t) > 10;

(b): S_i(t) = S_i*(t), если 0 ?S_i*(t)?10;

(c): S_i(t) = 0, если S_i*(t) < 0.

Отметим, что результатом обработки НКЭ на каждом шаге итерации является определение нового значения состояния клетки и формирование активационных функций.

Механизм формирования активационных функций, в принципе, можно принять аналогичными используемыми в классической теории НС [10], однако предлагается определить собственные модели, вытекающие из общей логики построения НКЭ и НКА, связанной с повышением уровня их управляемости. В соответствии с этим, активационную функцию нейроклеточного элемента предлагается определить в четырех интервалах, в зависимости от текущего значения состояния клетки:

(a): -1, если S_i(t) Є {0,1,2} - «отрицательное» состояние нейрона;

(b): 0, если S_i(t) Є {3,4,5,6} - «нейтральное» состояние нейрона;

(c): +1, если S_i(t) Є {7,8,9} - «положительное» состояние нейрона;

(d): +2, если S_i(t) Є {10} - «напряженное» состояние нейрона.

Очевидно, что напряженные нейроны оказывают наибольшее воздействие на соседние клетки.

Здесь можно отметить, что основой модели КНЭ, по сути, является классическая модель динамического нейронного элемента с добавлением функции состояния и особым механизмом формирования активационных функций.

Модель сетевых взаимодействий

Как говорилось выше вводимая нами клеточная нейросетевая модель имеет двухуровневую структуру. На нижнем уровне рассматриваются базовые элементарные модели, которые мы определили и описали, как КНЭ. Верхний (общесетевой) уровень управляет последовательностью процессов обработки информации на нижнем (элементном) уровне.

Рассмотрим модель КНА с точки зрения традиционных графовых представлений:

G = {V, Г},

где V - множество вершин, соответствующих базовым элементарным обработчиком информации V_i (КНЭ), при этом V = {V_i}, i = 1, I (I - число КНЭ в КНА);

Г - множество дуг графа, соответствующих синаптическим связям, при этом Г = {г_i1,_i2}, i₁ ? (1, I); i₂ ? (1, I); i₁ ? i₂, где i₁ - номер выходного элемента (выход синаптической связи), i₂ - номер входного элемента (вход синаптической связи).

Отметим, что дуги являются взвешенными (вес синаптических связей).

Из стратегии построения моделей КНЭ/КНА можно указать основные свойства графовой модели: граф G является связным, ориентированным, взвешенным. Наличие циклов обуславливают обратные связи (т.е. итерационные зависимости вершин). Применительно к решению реальных задач можно указать, что граф имеет определенную потоковую структуру от входов к выходам (МСПР - многослойные сети прямого распространения [8,12]).

КНЭ, являясь элементарными обработчиками информации в КНА на каждом такте определяют новое текущее состояние автомата в целом.

В свою очередь, на уровне КНА определяется последовательность (очередность) обработки КНЭ и информационные связи между КНЭ. Процесс обработки информации в КНА заключается в приеме входных сигналов нейронами входного слоя (раздражение), последовательной обработкой промежуточных КНЭ и формированием активационных функций нейронов выходного слоя (реакция), которые, по существу и являются выходами сети. Выполнение алгоритма КНА, в данном случае заключается в упорядочивании множества V в виде маршрутов от входных вершин к выходным. Данное упорядочивание определяет порядок обработки КНЭ. Отметим, что обработка информации в КНЭ в соответствии с приведенной выше формальной моделью на каждом такте заключается в определении нового значения состояния нейрона (для случая а) и в формировании активационной функции (для случая б).

Можно рассмотреть различные варианты реализации алгоритмов КНА, обеспечивающих упорядочивание множества вершин графа. Как уже указывалось, эти задачи известны из теории графов, в том числе и разработаны алгоритмы, обрабатывающие обратные связи [13]. Применительно к рассматриваемым моделям определим следующие стратегии, связанные с обработкой обратных связей.

А). Тривиальная стратегия. Если в упорядоченном массиве вершин {V} вершина v_i1 встречается ранее v_i2, т.е. с точки зрения упорядочивания v_i2 > v_i1, но зависит от нее через обратную связь, то в t-ом шаге, при обработке v_i1 используется значение y_i2(t-1). Т.е. для вершин, которые в упорядоченном массиве {V} зависят от предшествующих по маршруту, используются активационные функции текущего шага, для вершин обратных связей - функции предыдущего шага.

B). Стратегия двух проходов. Заключается в выполнении нескольких шагов. На первом шаге выполняется стратегия «А». На втором шаге в качестве активационных функций обратных связей используются функции, вычисленные на предыдущем шаге.

С). Итерационная стратегия. Выполняется стратегия В. Производится для вершин, имеющих обратные связи, сравнение результатов на шагах 1 и 2: |PV_i(t) - PV_i(t-1)| ? е, где е - априорно задаваемый параметр итерации. В случае если разница результатов превышает значение параметра итерации, повторно выполняется стратегия «B».

Особенности введенных моделей

Отметим, что модели НКА/НКЭ строятся на базе НС-моделей с вводом элементов моделей КА (функции состояний) и особого механизма формирования активационных функций. Это, естественно, усложняет обрабатываемые модели и требует дополнительных вычислительных ресурсов. Вместе с тем, рассматриваемые модели позволяют повысить управляемость процессов обучения и настройки сети. За счет введения функций состояния и их стратификации повышается открытость сети для ручного анализа состояния и управления процессами настройки. Разделение нейронов на классы (напряженные, нейтральные и т.п.) наглядно отображает процесс эволюции сети при обучении и позволяет вмешиваться в этот процесс. Однако анализ эффективности различных моделей может быть выполнен на основе моделирующего комплекса, разрабатываемого в рамках проекта №16-07-00335 Российского фонда фундаментальных исследований.

Литература

1. Родзина О.Н. Нейроэволюция: проблемы, алгоритмы, эксперимент.

2. О.Н. Родзина, С.И. Родзин // В сборнике: Информационные технологии в науке, образовании и управлении материалы XLIV международной конференции и XIV международной конференции молодых учёных IT + S&E`16. 2016. С. 228-233.

3. Курейчик В.М. Компьютерный синтез программных агентов и артефактов.

4. В.М. Курейчик, С.И. Родзин // Программные продукты и системы. 2004. №1. С. 23-27.

5. Rodzin S. Theory of bioinspired search for optimal solutions and its application for the processing of problem-oriented knowledge. S. Rodzin, L. Rodzina // Сonference Proceeding 8th IEEE International Conference Application of Information Communication Technologes, AICT 2014. 2014. C. 142-146.

6. Чижов А.В. От моделей единичных нейронов к моделям популяций нейронов. А.В. Чижов, А.А. Турбин // Нейроинформатика. - 2006. - №1. - С. 76-88.

7. Осовский С. Нейронные сети для обработки информации. С. Осовский. - М.: Финансы и статистика. 2002. - 171 с.

8. Майоров В.В. Сообщение о сетях W-нейронов - В.В. Майоров, Г.В. Шебаршина // Моделирование и анализ информационных систем. - 1998. №4. - С. 37-50.

9. Астафьев Г.Б. Клеточные автоматы: Учебно-методическое пособие.

10. Г.Б. Астафьев, А.А. Короновский, А.Е. Храмов. - Саратов: Издательство ГосУНЦ «Колледж». - 2003. - 24 с.

11. Лобанов А.И. Модели клеточных автоматов А.И. Лобанов // Компьютерные исследования и моделирование. - 2010. - Т.2. №3. - С. 273-293.

12. Тимофеев А.В. Принципы построения иерархических нейросетей для анализа мультиизображений. А.В. Тимофеев, О.А. Дерин // Труды СПИИРАН. - 2009. Вып. 10. - С. 160-163.

13. Чернухин Ю.В. Нейропроцессоры. Ю.В. Чернухин Таганрог: ТРТУ. - 1995. -

14. 175 с.

15. Червяков Н.И. и др. Применение искусственных нейронных сетей и системы остаточных классов в криптографии. Н.И. Червяков - М.: Физматлит. - 2012. - 280 с.

16. Горбань А.Н. Нейронные сети на персональном компьютере. А.Н. Горбань, Д.А. Россиев. - Новосибирск: Наука. - 1996. - 276 с.

17. Конушин А. Эволюционные нейросетевые модели с незаданным заранее числом связей. А. Конушин // Компьютерная графика и мультимедиа. - Вып. №1 (2). - 2003. - С. 89.

18. Окулов С.М. Программирование в алгоритмах. С.М. Окулов М.: БИНОМ. Лаборатория знаний. - 2004. - С. 45.

Размещено на Allbest.ru