Размещено на http://www.allbest.ru/

УЗБЕКСКОЕ АГЕНТСТВО СВЯЗИ И ИНФОРМАТИЗАЦИИ

ТАШКЕНТСКИЙ УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Применение нейронных сетей в телекоммуникационных системах

Выпускник Кадиров.М.Ш

Руководитель Амирсаидов У.Б.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1.АНАЛИЗ МОДЕЛЕЙ НЕЙРОННЫХ СЕТЕЙ

1.1 Классификация нейронных сетей

1.2 Структура и принцип работы НС

1.3 Методы обучения НС

Выводы по разделу первого

2. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ В ТЕЛЕКОММУНИКАЦИОННЫХ СИСТЕМАХ

2.1 Особенность использования НС в системах управления

2.2 Применение нейронных сетей в телекоммуникационных системах

2.3 Нейронные сети для решения задач маршрутизации

Выводы по разделу второго

3. ПРОГНОЗИРОВАНИЕ ПОТОКОВ ДАННЫХ НА ОСНОВЕ НЕЧЕТКО-НЕЙРОННЫХ СЕТЕЙ

3.1 Система нейрон-нечеткого вывода

3.2 Реализация ANFIS в среде MATLAB

3.3 Прогнозирование потока данных

Выводы по разделу третього

4. БЕЗОПАСНОСТЬ ЖИЗНЕДЕЯТЕЛЬНОСТИ

4.1 Действие тока на организм человека и критерии безопасности по току

4.2 Обеспечение безопасности жизнедеятельности в чрезвычайных ситуациях

ЗАКЛЮЧЕНИЕ

Список использованной литературы

нейронный сеть телекоммуникационный поток

ВВЕДЕНИЕ

Теория нейронных сетей (НС) является активно развивающимся направлением науки. Основные перспективы использования этой теории связаны с решением сложных практических задач. Нейронные сети - один из основных архитектурных принципов построения ЭВМ шестого поколения.

Интерес к нейронным сетям как к моделям биологической обработки информации не угасает более 30 лет. Начало современным моделям НС было положено в работе У. Маккаллока и У. Питтса. Эти авторы сделали первую попытку эмулировать человеческие способности, классифицировать и распознавать образы. Дальнейшее развитие связано с работой Ф. Розенблатта. Его модель была названа перцептроном. После некоторого затишья, с начала 1980-х годов начался и продолжается до настоящего времени новый виток развития моделей НС. Он связан с

работами С. Гроссберга, Т. Кохонена, Д. Хопфилда и др. а также влиянием успехов развития оптических технологий и СБИС, способных обеспечить реализацию новых архитектур.

Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам. В настоящее время существует большое количество разнообразных типов НС, предназначенных для решения различных задач. Эти модели отличаются структурой связей, правилами определения весов или правилами обучения, программирования.

Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина "искусственный интеллект".

Цель работы - применение нейронных сетей в телекоммуникационных системах.

В работе рассмотрены особенности применения нейронных сетей в системах управления и маршрутизации данных. Предлагается метод прогнозирования потока данных на основе нечетко-нейронных сетей.

1.АНАЛИЗ МОДЕЛЕЙ НЕЙРОННЫХ СЕТЕЙ

1.1 Классификация нейронных сетей

Актуальность исследований искусственных нейронных сетей

подтверждается многообразием их возможных применений. Теория НС является алгоритмическим базисом развития нейрокомпьютеров, подобно тому, как булева алгебра более 50 лет являлась алгоритмическим базисом однопроцессорных и многопроцессорных ЭВМ.

Современные цифровые вычислительные машины превосходят

человека по способности производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавать в толпе знакомого только по его промелькнувшему лицу) с такой скоростью и точностью, что самый мощный в мире компьютер по сравнению с ним окажется безнадежным тугодумом. Причина столь значительного различия в их производительности заключена в том, что архитектура биологической нейронной системы совершенно не похожа на архитектуру машины фон Неймана (табл. 1.1) , а это существенно влияет на типы функций, которые более эффективно исполняются каждой из моделей.

Таблица 1.1

Машина фон Неймана по сравнению с биологической нейронной системой

Параметры сравнения	Машина фон Неймана	Биологическая нейронная система
	1	2
Процессор	Сложный	Простой
	Высокоскоростной	Низкоскоростной
	Один или несколько	Большое количество
Память	Отделена от процессора	Интегрирована в процессор
	Локализована	Распределенная
	Адресация не по содержанию	Адресация по содержанию
Вычисления	Централизованные	Распределенные
	Последовательные	Параллельные
	Хранимые программы	Самообучение
Специализация	Численные и символьные операции	Проблемы восприятия
Среда функционирования	Строго определенная	Плохо определенная
	Строго ограниченная	Без ограничений

Нейронная сеть - это сеть с конечным числом слоев из однотипных элементов - аналогов нейронов с различными типами связей между слоями. При этом число нейронов в слоях выбирается исходя из необходимости обеспечения заданного качества решения задачи, а число слоев нейронов - как можно меньшее для сокращения времени решения задачи.

Развитие искусственных нейронных сетей вдохновлялось и вдохновляется биологией. Однако наши знания о работе мозга ограничены, и разработчикам искусственных НС приходится выходить за пределы современных биологических знаний в поисках структур, позволяющих выполнять полезные функции. Так часто создаются сети невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.

Нервная система человека, построенная из элементов, называемых нейронами, очень сложна. Около 10 ¹¹ нейронов участвуют в примерно 10¹⁵ передающих связях. Уникальными способностями нейронов являются прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.

Несмотря на огромное количество нейронов, их тела занимают всего несколько процентов общего объема мозга. Почти все остальное

пространство занято межнейронными связями. Число связей каждого нейрона не имеет аналогов в современной технике. Понимание того, что межнейронные связи относятся к основным структурным компонентам мозга, в первую очередь, определяющим его функциональные характеристики, является одним из наиболее существенных выводов, сделанных нейрофизиологами. В подтверждение можно привести высказывание известного нейрофизиолога Э. Кэндела: "По убеждению многих нейробиологов в конце концов будет доказано, что уникальные свойства каждого человека - способность чувствовать, думать, обучаться и помнить - заключены в строго организованных сетях синаптических взаимосвязей между нейронами головного мозга" .

Общий вид нейрона приведен на рис. 1.1. Здесь множество входных сигналов обозначены вектором X. Каждый вес w_t соответствует "силе" одной биологической синаптической связи. Множество весов в совокупности обозначается вектором W

Рис. 1.1. Искусственный нейрон

Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически

Выход нейрона является функцией его состояния:

Y = F(x), (1.2)

Нелинейная функция F называется активационной и может иметь различный вид, что, в частности, показано на рис. 1.3.

В случае, когда функция активации одна и та же для всех нейронов сети, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).

Рис. 1.2. Типы активационных функций: а - функция единичного скачка; б - линейный порог (гистерезис); в - сигмоид - гиперболический тангенс; г - сигмоид - формула

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида)



При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличении а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0 . Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем,

(1.4)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.

Говоря о возможной классификации НС, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения. Еще одна классификация делит НС на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Для программных имитаторов нейронных сетей на цифровых ЭВМ, вопросы связанные с синхронизацией решаются компьютером, на котором реализуются НС.

Рассмотренная простая модель искусственного нейрона существенно упрощает ряд свойств своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействие синхронизирующей функции биологического нейрона, которую ряд исследователей считают решающей. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и дальнейшие исследования могут дать ответ на вопрос, являются ли подобные совпадения случайными или это следствие того, что в модели верно схвачены основные черты биологического нейрона.

Итак, дано описание основных элементов, из которых составляются нейронные сети. Перейдем теперь к вопросу: как составлять эти сети, как их конструировать? Строгих ограничений здесь нет, как угодно, лишь бы входы получали какие-нибудь сигналы. Возможности безграничны, но обычно используют несколько стандартных архитектур, из которых при некоторых небольших модификациях строят большинство используемых сетей.

1.2 Структура и принцип работы НС

Хотя один нейрон и способен выполнять простейшие процедуры

распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях.

Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам.

Выбор структуры НС осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации, описанные, например, в и других изданиях. Основные из них приведены на рис. 1.4

Рис. 1.3. Варианты наиболее распространенных архитектур искусственных нейронных сетей

Если же задача не может быть с ведена ни к одному из известных

типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими

основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев; введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов - возбуждающих, тормозящих и др.) также способствует усилению мощи НС. Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора. Единственное жесткое требование, предъявляемое архитектурой к элементам сети, это соответствие размерности вектора входных сигналов сети числу ее входов.

На п входов поступают некие сигналы, проходящие по синапсам на 3 нейрона, образующие единственный слой этой НС и выдающие три выходных сигнала:

(1.5)

где j=1,2,3.

Рис. 1.4. Однослойная НС

В искусственных и естественных (биологических) сетях многие

соединения могут отсутствовать, все соединения показаны в целях общности.

Очевидно, что все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент w_(/ задает

величину i -й синаптической связи j -го нейрона. Таким образом процесс,

происходящий в НС, может быть записан в матричной форме:

Y = F(XW), (1.6)

где X и Y - соответственно входной и выходной сигнальные векторы; F(V) - активационная функция, применяемая поэлементно к компонентам вектора V

На рис. 1.6 представлена двухслойная НС, полученная из однослойной (см. рис. 1.5) путем добавления второго слоя, состоящего из двух нейронов. Здесь уместно отметить важность роли рассмотренной ранее нелинейности активационной функции, так как, если бы она не обладала данным свойством или не входила в алгоритм работы каждого нейрона, результат функционирования любой р-слойной НС с весовыми матрицами

W⁽ⁱ⁾, где i = 1, 2,...,р для каждого слоя i сводился бы к перемножению

входного вектора сигналов X на матрицу

то есть фактически такая р-слойная НС эквивфлентна однослойной НС с весовой матрицей единственного слоя W^(?):



Рис. 1.6. двухслойная НС

Таким образом, для расширения вычислительных возможностей

многослойных НС по сравнению с однослойными НС необходимо использование нелинейных активационных функций.

Продолжая разговор о нелинейности, необходимо отметить, что она иногда может вводиться и в синаптические связи. В большинстве

известных на сегодняшний день НС для нахождения взвешенной суммы входов нейрона используют формулу (1.1), однако в некоторых приложениях НС полезно ввести другую запись, например:

(1.9)

Или

Вопрос в том, чтобы разработчик НС четко понимал, для чего он это делает, какими ценными свойствами он тем самым дополнительно наделяет нейрон, и каких лишает. Введение такого рода нелинейности, вообще говоря, увеличивает вычислительную мощь сети, то есть позволяет из меньшего числа нейронов с "нелинейными" синапсами сконструировать

НС, выполняющую работу обычной НС с большим числом стандартных нейронов и более сложной конфигурацией .

У сетей, рассмотренных до сих пор, не было обратных связей, то есть соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев. Этот специальный класс сетей, называемых сетями без обратных связей или сетями прямого распространения, представляет интерес и широко используется.

Несколько слов необходимо сказать о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию пространства состояний. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень - "1" и "О" - будет обозначать отдельный класс. На двух выходах можно закодировать уже четыре класса и т. д. Однако результаты работы сети, организованной таким образом недостаточно надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность конкретных состояний входов к определенному классу со своей степенью достоверности, например высокой, средней и низкой. Такие НС. позволяют проводить классификацию входных неявно выраженных состояний, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство позволяет широко использовать НС в практических приложениях.

1.3 Методы обучения НС

Когда идет разговор об использовании НС и нейросстевых алгоритмов, почти всегда подразумеваются определенные процедуры их обучения. НС представляет собой адаптивную систему, жизненный цикл которой состоит из двух независимых фаз - обучения и работы сети. Обучение считается законченным, когда сеть правильно выполняет преобразование на тестовых примерах и дальнейшее обучение не вызывает значительного изменения настраиваемых весовых коэффициентов. Далее сеть выполняет преобразование ранее неизвестных ей данных на основе сформированной ею в процессе обучения нелинейной модели процесса. Сеть успешно работает до тех пор, пока существенно не изменится реальная модель отображаемого явления (например, в случае возникновения ситуации, информация о которой никогда ни предъявлялась сети при обучении). После этого сеть может быть до обучена с учетом новой информации, причем при до обучении предыдущая информация не теряется, а обобщается с вновь поступившей. При "повреждении" части весовых коэффициентов НС ее свойства могут быть полностью восстановлены в процессе до обучения.

От того, насколько качественно будет выполнен этап обучения НС, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть и какие функции и границы принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению. Важной характеристикой является время затрачиваемое на обучение. Как правило, время обучения и качество обучения связаны обратной зависимостью и выбирать эти параметры приходится на основе компромиса.

Существуют три парадигмы обучения: "с учителем", "без учителя" (самообучение) и смешанная.

В свою очередь множество различных алгоритмов обучения делятся на два больших класса: детерминистских и стохастических алгоритмов. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором - она производится на основе действий, подчиняющихся некоторому случайному процессу.

Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Обычно сеть обучается на некотором числе таких обучающих пар.

Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети.

В многослойных же сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойную НС уже невозможно обучить, руководствуясь только величинами ошибок на выходах этой сети. Один из вариантов решения этой проблемы - разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что, конечно, является очень трудоемкой операцией и не всегда осуществимо. Второй вариант - динамическая под-24 стройка весовых коэффициентов синапсов, в ходе которой выбираются, как правило, наиболее слабые связи, которые изменяются на малую величину в ту или иную сторону. Сохраняются же только те изменения, которые повлекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод "проб", несмотря на свою кажущуюся простоту, требует громоздких рутинных вычислений. И, наконец, третий, более приемлемый вариант - распространение сигналов ошибки от выходов НС к ее входам, в направлении обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения (back-propagation algorithm) и является наиболее широко используемым. Именно он будет более подробно рассмотрен в дальнейшем.

Обучение без учителя является более правдоподобной моделью обучения в биологической системе. Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. Некоторые алгоритмы предусматривают изменение и структуры сети, то есть количество нейронов и их взаимосвязи, но такие преобразования правильнее назвать более широким термином - самоорганизацией. Очевидно, что подстройка синапсов может проводиться только на основании информации, доступной нейрону, то есть его состояния и уже имеющихся весовых коэффициентов. Исходя из этого соображения и, что более важно, по аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба.

Выводы по разделу 1

Основными выводами первого раздела работы являются:

- показана значимость теории нейронных в современных вычислительных системах и сетях;

- проведен анализ и классификация нейронных сетей;

- определены преимущества и недостатки структур нейронных сетей

- определены эффективные методы обучения нейронных сетей;

2. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ В ТЕЛЕКОММУНИКАЦИОННЫХ СИСТЕМАХ

2.1 Особенность использования НС в системах управления

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

этап разработки концепции построения СУ;

этап моделирования СУ, в соответствии с предлагаемой концепцией построения;

этап анализа получаемых результатов;

этап доработки (модернизации) концепции построения СУ.

На протяжении всех этих этапов не прекращаются теоретические исследования, которые позволяют выбирать основные направления совершенствования первоначально сформулированной концепции построения СУ и распространять ее основные идеи на ряд смежных областей.

По аналогичной схеме происходит развитие СУ, использующих искусственные НС. Однако следует заметить, что большое количество разработанных аппаратных и программных моделей нейросетевых СУ часто опережают теоретическое понимание происходящих при этом процессов и имеющихся проблем.

Необходимым этапом решения задач управления нелинейными динамическими системами является получение их адекватных математических моделей, базирующееся, как правило, на теоретическом и экспериментальном анализе свойств этих систем. Теоретический анализ процессов, происходящих в системе, позволяет получить математическое описание в виде, например, дифференциальных уравнений. При экспериментальном анализе на основе наблюдений входных и выходных сигналов системы получают либо ее параметрическую, либо непараметрическую модель. Наиболее широкое распространение получили параметрические модели, требующие решения задач структурной и параметрической идентификации и использующие ограниченное число параметров. Несмотря на огромное количество работ, многообразие видов нелинейностей не позволяет создать единую теорию идентификации нелинейных систем. Применяемый чаще всего классический подход основан на аппроксимации нелинейностей, например рядами Вольтера, Гаммерштейна, Винера, полиномами Колмогорова-Габора и др. Однако область применения таких моделей ограничена. Кроме того, дополнительные трудности получения адекватного математического описания обуславлено наличием в реальных сигналах помех.

Одной из классических моделей СУ является модель с обратной связью с регулируемыми в реальном масштабе времени коэффициентами, например самонастраивающийся регулятор Астрома . Коэффициенты такого контроллера регулируются в течении каждого цикла управления в соответствии с оценкой параметров системы. Блок-схема управления с обратной связью и регулируемыми в реальном масштабе времени коэффициентами приведена на рис. 2.1.

Рис. 2.1. Блок-схема управления с обратной связью и регулируемыми коэффициентами

Другой хорошо известной моделью СУ является модель Ляпунова. Системы адаптивного управления, использующие эталонную модель Ляпунова проектируются таким образом, чтобы выходной сигнал управляемой модели в конце концов соответствовал выходному сигналу предварительно определенной модели, которая имеет желаемые характеристики. Такая система должна быть асимптотически устойчивой, то есть управляемая система в итоге отслеживает эталонную модель с нулевой ошибкой. Более того, переходные процессы на этапе адаптивного управления или обучающего управления имеют гарантированные пределы. Блок-схема адаптивного управления с эталонной моделью представлена на рис. 2.2.

Системы управления, так или иначе использующие искусственные НС являются одной из возможных альтернатив классическим методам управления. Возможность использования НС для решения задач управления во многом основывается на том, что НС, состоящая из двух слоев и имеющая в скрытом слое произвольное большое количество узлов, может аппроксимировать любую функцию действительных чисел с заданной степенью точности. Доказательство этого положения, основанное на известной теореме Вейерштрасса. Таким образом, для решения задач идентификации и управления могут быть использованы НС даже с одним скрытым слоем.

Одним из первых используемых методов построения нейросетевых СУ был метод, основанный на "копированиии" существующего контроллера. Применив этот метод в 1964 Уидроу назвал его методом построения экспертной системы за счет получения знаний от уже существующего эксперта. Архитектура такой СУ представлена на рис. 2.3.



Рис. 2.2. Блок-схема адаптивного управления с эталонной моделью

Рис. 2.3. Нейросетевая СУ, основанная на "копировании" существующего контроллера

Глядя на этот рисунок можно усомниться в полезности этого метода. Зачем нужно использовать еще один управляющий контроллер (в виде НС). Однако, во-первых, существующий контроллер может быть неудобен при использовании (например, в роли такого контроллера может выступать человек), а во-вторых, для выработки эффективного управления НС может использовать отличную, от существующего контроллера, по способу представления (легче измерить, формализовать и т. д.) информацию о состоянии объекта управления.

В настоящее время достаточно хорошо разработан и широко используется целый ряд других возможных архитектур построения нейросетевых СУ. Во всех из них, назначением нейросетевого контроллера является выработка адекватного управляющего сигнала для управления динамикой состояний объекта управления от начального состояния до желаемого итогового состояния. Причем смена состояний должна происходить по оптимальной траектории. Организация контроля за состоянием объекта управления и реализация нейросетевого контроллера в значительной степени зависят от выбранного алгоритма обучения и используемой структуры управления. Наиболее широко используемыми являются схема прямого (непосредственного) управления и схема косвенного управления. При этом чаще всего в качестве алгоритма обучения используется алгоритм обратного распространения ошибки.

В схеме косвенного управления параметры объекта управления определяются в каждый момент времени и затем используются для оценки параметров контроллера (см. рис. 2.4). Таким образом, имеет место явно выраженный процесс идентификации.

Рис. 2.4. Схема косвенного управления

Недостатком такой схемы является то, что идентификация и управление основываются исключительно на ошибке е_и, и, следовательно, минимизацию ошибки на выходе системы е_у гарантировать нельзя.

В схеме прямого управления параметры нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода е_у (см. рис. 2.5).

Рис. 2.5. Схема прямого управления

В качестве целевеёвой функции, которая должна быть минимизирована контроллером используется среднеквадратическая ошибка на выходе объекта управления

(2.1)

Одной из областей теоретических исследований, рассматривающих проблемы использования НС в системах управления, является сравнение таких методов управления с другими известными типами СУ, выявление присущих нейросетевым методам особенностей и их анализ. В работе дан краткий обзор характеристик упомянутых выше СУ. Сравнивались устойчивость, скорость сходимости, работа в условиях шумов, требуемый объем памяти и др. Хотя каждый из рассмотренных методов имеет как хорошие, так и плохие характеристики следует заметить, что метод

нейросетевого управления имеет такие полезные свойства, которые плохо реализуются в двух других методах.

Основные результаты, полученные при сравнении, приведены в табл. 2.1.

Таблица 2.1

Обзор характеристик методов управления

Критерий	Управление с обратной связью и регулируемыми коэффициентами	Адаптивное управление с эталонной моделью Ляпунова	Нейросетевое управление
Устойчивость обратной связи	Наихудшая	Наилучшая	Средняя
Скорость сходимости	Наилучшая	Средняя	Наихудшая
Работа в реальном времени	Средняя	Средняя	Наилучшая
Сложность программы управления	Наихудшая	Средняя	Средняя
Ошибка слежения	Средняя	Наилучшая	Средняя
Подавление помех	Наилучшая	Наихудшая	Средняя
Робастность Рассогласования модели	Наихудшая	Средняя	Наилучшая

В методе с использованием НС отсутствуют ограничения на линейность системы, он эффективен в условиях шумов и после окончания обучения обеспечивает управление в реальном масштабе времени. Нейросетевые СУ более гибко настраиваются на реальные условия, образуя модели полностью адекватные поставленной задаче, не содержащие ограничений, связанных с построением формальных систем. Кроме того, нейросе-тевые СУ не только реализуют стандартные адаптивные методы управления, но и предлагают свои алгоритмические подходы к ряду задач, решение которых вызывает затруднение вследствие неформализованности. Так, появляется возможность обработки в рамках одной модели данных одной природы - для НС важна лишь их коррелированность.

Таким образом, напрашивается следующий вывод. Будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями и перспективами использования систем, основанных на использовании искусственных НС.

2.2 Применение нейронных сетей в телекоммуникационных системах

Длительное время считалось, что нейрокомпьютеры эффективны и применимы лишь для решения так называемых пеформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм их решения данных обучения на реальном экспериментальном материале. В первую очередь к таким задачам относятся задачи распознавания образов. В последнее время область применения нейроинформационных технологий динамично расширяется.Они все шире и шире используются в задачах с ярко выраженным естественным параллелизмом: обработка сигналов, изображений и т. п.

Среди основных выделяют четыре области применения нейрокомпьютеров в системах связи:

· управление коммутацией;

· маршрутизация;

· управление трафиком;

· распределение каналов в подвижных системах радиосвязи.

Решение практически любой задачи в нейросетевом логическом базисе предполагает наличие следующих этапов:

формирование входного и выходного сигналов НС;

формирование желаемого выходного сигнала НС;

формирование сигнала ошибки и функционала оптимизации;

формирование структуры НС, адекватной выбранной задачи;

разработка алгоритма настройки НС, эквивалентного процессу решения задачи в нейросетевом логическом базисе;

проведение исследований процесса решения задачи.

Метод обучения и нейронная сеть, используемая для управления работой высокоскоростной коммутационной сети с пакетной передачей в асинхронном режиме. Сеть используется для управления коммутацией пакетов при передаче речи, изображений и данных. Коммутатор представлен как логическое устройство, на вход которого поступает N сигналов и которое на выходе воспроизводит эти сигналы в любом представленном порядке.

В работе рассматривается пространственный коммутатор (входы и выходы коммутатора являются различными физическими линиями). Приводятся примеры формирования структуры НС для управления процессом коммутации в различных телекоммуникационных системах.

Использование НС для управления трафиком в сложных многоступенчатых системах связи предложено. Трудность задачи обусловлена тем, что, во-первых, заранее неизвестны параметры, характеризующие потоки информации, а во-вторых, требования к качеству могут меняться со временем. НС решает задачи оптимизации, связанные с нахождением бесконфликтных потоков при заданных входных и выходных значениях. При этом НС легко адаптируется к изменениям условий.

Постановка и решение задачи распределения каналов в подвижных системах радиосвязи в нейросетевом базисе мало отличаются от постановки и решения задачи маршрутизации. Разница заключена в сотовой структуре радиосети и большом числе коммутируемых узлов.

Кроме вышеперечисленных областей применения нейронных сетей в телекоммуникационных системах, перспективным является использование нейросетевых алгоритмов в задачах кодирования и декодирования информации. В качестве первоочередных можно рассматривать задачи связанные с обработкой речевой информации и изображений. Широко известным является метод сжатия информации, предложенный в 1987 году. При этом используется трехслойный перцеп-трон, у которого число элементов входного и выходного слоев одинаково, а число элементов скрытого слоя значительно меньше. Если обучение произведено таким образом, что на выходе воспроизводится тот же самый вектор, который подается на входной слой, то такой перцептрон автоматически осуществляет сжатие информации (на элементах скрытого слоя возникает представление каждого вектора, которое значительно короче, чем длина вектора, подаваемого на вход). Таким образом, передача предварительно сжатой информации по линии связи позволяет уменьшить число необходимых для этого каналов. Реализуется это следующим образом. На одном конце линии помещают входной и скрытый слои перцеп-трона, а результат работы элементов скрытого слоя (короткие векторы) подают в канал. Поместив- на другом конце линии копию скрытого слоя и выходной слой, можно на выходе последнего воспроизвести исходный вектор.

Большое количество работ посвящено построению нейросетевых приемников систем множественного доступа.

2.3 Нейронные сети для решения задач маршрутизации

Маршрутизация является одной из важных задач для телекоммуникационных сетей различного назначения. Задачи, связанные с выбором маршрута, планированием работы средств связи и т. п., относятся к классу сложных комбинаторно-оптимизационных задач, как правило, не имеющих простых аналитических решений. Кроме того, сложность необходимых вычислений экспоненциально возрастает при увеличении количества узлов в сети. Поэтому в настоящее время широко применяют различные эвристические алгоритмы и процедуры, полученные путем творческого поиска, интуиции и опыта исследователя. Альтернативой существующим методам решения задач маршрутизации является использование нейросетевых моделей, которые позволяют при значительном снижении временных затрат получить хорошие субоптимальные решения. Так, для решения комбинаторно оптимизационных задач широко используются модели построенные на основе НС Хопфилда, впервые примененные для решения задачи о коммивояжере. Эти модели явились началом развития нейронных методов решения сложных оптимизационных задач. Большинство последующих исследований так или иначе базировались именно на них.

Коротко остановимся на формулировке и основных принципах организации вычислений при решении задачи коммивояжера.

Для некоторой группы городов с известными расстояниями между ними требуется найти кратчайший маршрут посещения каждого города один раз с возвращением в исходную точку.

Обозначим города, которые необходимо посетить, буквами А, В, С..., а расстояния -d_AB,d_AC…d_BC… Решением является упорядоченное множество из п городов. Последовательность, в которой обходятся города удобно представлять матрицей п х п , строки которой соответствуют городам, а столбцы номерам городов в последовательности. Например, имеется пять городов А, В, С, D, Е, а последовательность обхода этих городов задана матрицей.

(2.2)

Таким образом город С посещается первым, город А - вторым и т. д. Длина маршрута равна d_CA + d_AE +...+ d_DC. В каждом столбце и в каждой строке этой матрицы может быть только одна единица, так как в каждый момент посещается только один город и каждый город посещается только один раз. Матрицу вида (2.2) можно воспринимать как состояние нейронной сети из N = п² нейронов. Задача состоит в том, чтобы из маршрутов выбрать один с наименьшей длиной. Состояние каждого нейрона описывается двумя индексами, которые соответствуют городу и порядковому номеру его посещения в маршруте. Например, Y, = 1 показывает,что город х был j -м по порядку городом маршрута.

Запишем функцию вычислительной энергии для сети, предназначенной для решения задачи коммивояжера, в которой состояние с наименьшей энергией соответствует самому короткому маршруту. В общем виде такая функция для рассматриваемой сети может иметь следующий вид:

(2.3)

где Е - искусственная энергия сети, - вес от выхода нейрона i к входу нейрона j, Y_j - выход нейрона j, I_j - внешний вход нейрона j, T_j. -порог нейрона j.

Изменение энергии, вызванное изменением состояния j -нейрона, можно вычислить следующим образом:

(2.4)

где - изменение выхода j -го нейрона.

Каждому состоянию системы соответствует конкретная величина вычислительной энергии. Устойчивое состояние имеет меньшую энергию, чем неустойчивое. Эволюция системы во времени - это движение в пространстве состояний в поисках минимума энергии и остановка в этой точке.

Для рассматриваемой системы функция энергии должна удовлетворять следующим требованиям . Во-первых, она должна поддерживать устойчивые состояния в форме матрицы (2.2). Во-вторых, из всех возможных решений функция энергии должна поддерживать те, которые соответствуют коротким маршрутам. Этим требованиям удовлетворяет функция энергии вида (при этом, Y_xj = 0,1)

Первые три члена выражения (3.4) поддерживают первое требование, четвертый член - второе; А, В, С, D - положительные множители. Первый член равен нулю, если каждая строка х содержит не больше одной единицы. Второй член равен нулю, если каждый столбец содержит не более одной единицы. Третий член равен нулю, если в матрице вида (2.2) п единиц. Таким образом, без учета четвертого члена функция энергии имеет минимумы (Е = 0) во всех состояниях, представленных матрицей с одной единицей в каждом столбце и каждой строке. Все другие состояния имеют более высокую энергию. Короткие маршруты поддерживает четвертый член. В нем индексы i берутся по mod л , для того чтобы показать, что i -й город соседствует в маршруте с (n-1)-м и первым, т. е. Y_k,_n+j= Y_kJ. Четвертый член численно равен длине маршрута

Раскрывая скобки в (2.5) и приравнивая коэффициенты при квадратичных и линейных членах в полученном выражении и общей формуле энергии, определяем матрицу связей и внешние взаимодействия:

, (2.6)

где , если i= j, в противном случае . Кроме того, каждый нейрон имеет смещающий вес I_xj = Сп .

Первый член в (2.6) задает связи нейронов в каждой строке, второй -внутри каждого столбца, третий и четвертый - глобальные связи. И в (2.5) и в (2.6) три первых члена отвечают за общие ограничения для любой задачи коммивояжера и приводят сеть к финальному состоянию в виде (2.2).

Четвертый член управляет тем, какое из _n возможных различных финальных состояний соответствует самому короткому маршруту.

Рассмотрим вариант совместного решения задачи маршрутизации и планирования использования линий радиосвязи для сети пакетной радиосвязи с многоскачковой топологией. Важность взаимосвязи между маршрутизацией и вопросами планирования последовательности выбора направления для передачи по используемым линиям связи показана в (Hajek В., Sasaki G. Link Sceduling in Polynomial Time. IEEE Trans. Inform. Theory, Sept. 1988, vol. 34, pp.910-917.). Там же обобщен случай непрерывного трафика для определенного класса сетей. При этом выбор маршрутов максимизирующих степень узла в сети, позволяет спланировать работу так, чтобы время ее выполнения было минимальным. Степень узла для этого случая, определяется как сумма всех потоков, поступающих в узел и исходящих от узла. Например, линия, которая должна активироваться, три раза добавляет поток из трех единиц к обоим узлам, которые она соединяет. При этом, критерий качества работы, выбираемый для задачи маршрутизации, должен отражать цели, связанные с соответствующей задачей составления плана работы линий связи.

Пусть заданы: граф связности сети пакетной радиосвязи, ряд пар N_SD

исходная точка - пункт назначения (SD) и ряд линий связи, соединяющих каждую пару …SD…. Предполагается, ….что в системе используется

тактированный множественный доступ и длительность временных окон соответствует длине пакета (все пакеты имеют фиксированную длину), а на каждом узле имеется только один приемопередатчик. Между каждой парой узлов сети SD имеет место одинаковый трафик, равный одному пакету на цикл передачи. Считаем также, что линии связи между соответствующими парами узлов активизируются (используются для передачи) по мере необходимости.

Требуется выбрать единственный маршрут между каждой парой SD с таким расчетом, чтобы минимизировать желаемый критерий качества работы.

Показатель качества работы должен согласовываться со структурой НС Хопфилда. По аналогии с рассмотренной выше задачей коммивояжера такой показатель, называемый "энергией перегрузки" задается формулой

где - j-й маршрут между SD парой i ,

-число узлов, которые совместно используют маршруты P_ij и Р_kl

Цель состоит в минимизации Е_ь с учетом того, что для каждой пары SD выбирается только один маршрут (т. е. V.. - 1 для единственного значения i для каждого значения i). В этом случае энергия перегрузки соответствует сумме числа общих узлов всех выбранных маршрутов (одного для каждой SD пары), взятых попарно. Например, на рис. 2.6 показана простая сеть пакетной радиосвязи с шестью узлами и двумя маршрутами между каждой из двух SD пар.

Задача маршрутизации состоит в выборе либо пары Р₁₁ или Р₁₂ для соединения S1 с D1 и либо пары Р_2] или Р₂₂ для соединения S2 с D2. Допустимое решение, которое задается выбором трасс Р₁₁ и Р₂₂, имеет энергию перегрузки Е_ь = 1, так как эти маршруты имеют один общий узел (узел 6).

Рис. 2.6. Пример сети связи из шести узлов.

Соединения между нейронами i и j описываются весом T_ij, который положителен если соединение возбуждающее и отрицателен, если соединение тормозящее (запрещающее)

В рассматриваемой модели НС для каждого маршрута между каждой SD парой определяется один нейрон.

Вариант модели НС для сети изображенной на рис. 2.9 представлен на рис. 2.10. В соответствии с рис. 2.10 нейрон ij отображает j маршрут между SD парой i.

НС эволюционирует от какого-то начального состояния до состояния равновесия, которое отображает минимум (не обязательно глобальный) функции энергии Ляпунова, которая по аналогии с (2.3) может быть записана через веса соединений, токи смещения и напряжения на выходах нейронов следующим образом:

В выражении (2.8) T_ij,kl - вес соединения между нейронами ij и kl,

I_ij - ток смещения, прикладываемый к нейрону ij, N_p(i) - число маршрутов между SD парой i.В рассматриваемой модели веса соединений являются симметричными (т. е. T_ij,kl =T_kl,ij). Эта симметрия гарантирует

сходимость к устойчивому состоянию. Общее число нейронов N за-дается как . Таким образом, веса соединений T_ij,kl являются элементами матрицы связности размерности NxN .

Таким образом, целевая функция, моделируемая с помощью НС Хопфилда, включает взвешенные суммы произведений пар выходных напряжений нейрона и выходных напряжений взятых по отдельности. При выборе Е_ь вида (2.8) предполагалось, что оценивается энергия перегрузки сети в допустимом состоянии, т. е. активируется только один маршрут для каждой SD пары (т. е. V_(j = 1 для единственного значения j для каждого значения /, а остальные значения V_tj =0). Однако до достижения сходимости величины V_ij принимают значения в континууме [0,1] и выражение для энергии перегрузки, определяемое с помощью выражения (3.6), применимо в полной мере только для аналоговой реализации системы.



Рис. 3.2. Модель НС для сети, изображенной на рис. 2.4

Рассматриваемая задача оптимизации с целым рядом ограничений может быть сведена к задаче без ограничений за счет включения ограничений в целевую функцию посредством использования множителей Лагранжа.Функция энергии перегрузки при этом приобретает следующий вид:

Ограничения для задачи являются соответствующими членами уравнения энергии перегрузки Е_с (равны нулю, если ограничение выполняется) и формулируются так:

1) На SD пару активизируется (выбирается) не более одного маршрута:

2) В сети выбираются строго N_SD маршрутов:

3) На SD пару выбирается строго один маршрут:

Хотя последнее ограничение представляется избыточным (выполнение первых двух гарантирует удовлетворение последнего), его включение в уравнение энергии полезно для достижения более быстрой сходимости.

Подстановка выражений для Е_ь и Е_с в (2.10) дает:

Одним из самых важных вопросов при разработке модели НС Хопфилда и дальнейшем моделировании работы системы является вопрос выбора коэффициентов Х_с. Фактически, любые значения Я приведут к получению справедливых выражений для Е_total. Однако при эволюции системы может быть гарантирован только локальный минимум, то есть конечное состояние зависит от начального состояния, при котором начинается эволюция системы. Таким образом, различные значения коэффициентов приводят к получению различных результатов. В большинстве исследований, посвященных использованию НС Хопфилда величины коэффициентов полагаются постоянными, лучшие значения которых обычно определяются в ходе испытаний при программном моделировании. Однако существует ряд подходов, позволяющих во всей полноте использовать метод множителей Лагранжа. В этом случае величины Х_с изменяются по мере изменения состояния системы.

Оценить качество решения задачи обычно не представляется возможным, так как число возможных решений для больших сетей очень велико. Например, для 100-узловой сети существует приблизительно 5 10³⁵ различных решений. Поскольку исчерпывающий поиск для такой сети

исключается, то при моделировании выполнялся случайный поиск 2-10⁶ выборок решений для получения опорного уровня качества работы для оценки работы НС. Наилучшее решение, полученное с помощью случайного поиска, имело энергию перегрузки Е_ь=567 . Использование традиционных эвристических методов решения задачи маршрутизации позволило получить Е_b=213. Наилучшее решение найденное с помощью НС Хопфилда дало Е_ь = 291. Наибольшее значение энергии перегрузки в этом случае было Е_ь = 303. Моделирование выполнялось от 50 различных начальных состояний. Таким образом, результаты моделирования показывают эффективность рассмотренной модели для минимизации перегрузки в больших сетях. Т от факт, что глобальный минимум

находится не всегда, скрашивается тем обстоятельством, что возможно осуществление нескольких испытаний при различных начальных условиях, так что найденное наилучшее решение может выбираться в качестве решения задачи.

Большое количество работ посвященных использованию НС при решении задачи маршрутизации и близость получаемых результатов к оптимальным свидетельствуют о робастности таких моделей.

Выводы по разделу 2

Основными выводами второго раздела работы являются:

...