Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

нейронный сеть алгоритм

В последнее время появилось для решения очень многих повседневных задач стали применяться алгоритмы машинного обучения, которые вместо человека выявляют сложные зависимости на основе набора входных и выходных данных.

В современном мире существует множество алгоритмов машинного обучения:

1. дерево принятия решений,

2. нейросеть,

3. метод k-ближайших соседей,

4. Байесовская модель,

5. сверточные и рекуррентные нейросети

6. метод опорных векторов,

7. ансамбли деревьев

8. метод наименьших квадратов и т.д.

Выбор конкретной модели зависит от параметров решаемой задачи и от условий её внедрения.

В первом случае решающими параметрами являются:

- сложность анализируемых взаимосвязей,

- легкость интерпретации результатов, полученных с помощью модели.

Во втором случае решающими параметрами могут быть следующие факторы:

9. возможность внедрения построенной модели в уже существующие бизнес-процессы,

10. требования модели к навыкам сотрудников,

11. требования модели к техническим характеристикам используемого оборудования.

Одной из наиболее часто применяемых моделей является нейронная сеть.

Данная модель используется для решения разнообразных задач в различных областях науки и техники, а также в повседневной жизни:

- Распознавание образов и классификация

- Сжатие данных и Ассоциативная память

- Принятие решений и управление

- Прогнозирование

- Анализ данных

- Кластеризация

- Аппроксимация

- Оптимизация

Одним из вариантов её использования является распознавание образов, а также разделение сигналов на входной и шумоподобный.

Целью данной работы является исследование нейронной сети, осуществляющей решение задачи разделения сигналов на входной и шумоподобный сигналы.

Для достижения данной цели необходимо решить следующие задачи:

1. Изучить основные понятия, положенные в основу работы выбранной исследуемой модели, то есть нейронных сетей.

2. Выявить основные элементы, которые входят в состав нейронной сети.

3. Рассмотреть классификацию нейронных сетей в зависимости от их сложности и решаемых задач.

4. Выявить основные проблемы, возникающие при их создании и обучении.

5. Определить параметры, оптимизация которых позволит повысить качество нейронных сетей.

6. Изучить теоретические основы исследования нейронных сетей с целью оптимизации выбранных параметров.

7. Выбрать методы исследования наиболее подходящие для описанной в работе ситуации.

8. Разработать алгоритм, использующий выбранные методы, для применения к описанным в работе задачам.

9. Написать реализацию алгоритма исследования в математической среде Matlab.

10. Провести тестирование разработанного алгоритма на контрольных наборах данных.



1. Основные понятия

1.1 Основы функционирования нейронных сетей

Нейронные сети бывают двух видов:

1. Биологические нейронные сети, которые имеют следующую структуру (в данном случае рассмотрена упрощенная модель):

- дендриты - ветвящиеся отростки, которые собирают входную информацию из окружающей среды (например, внешнюю информацию с рецепторов или внутреннюю информацию от других нейронов).

- тело нейрона - его мембрана в случае активации нейрона входящей информацией (превышения потенциалом порогового значения) передает волну возбуждения в сторону аксона.

- аксон - выбрасывает нейромедиатор, тем самым передавая сигнал дальше по цепи: нервным клетками или тканям.

2. Искусственные нейронные сети - математические модели, имитирующие организацию настоящих биологических нейронных сетей. Данное понятие не следует путать с математическими моделями биологических нейронных сетей, которые описывают все процессы, происходящие в них. Искусственные нейронные сети в отличие от них схожи с реальными биологическими нейронными сетями только на функциональном уровне.

И для тех, и для других нейронных сетей базовым элементом является нейрон.

Так как объектом данного исследования являются искусственные нейронные сети, то в дальнейшем термином нейроном будет обозначаться именно нейрон искусственных нейронных сетей.

На рисунке 1 представлена схема функционирования нейрона.



Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 1. Схема функционирования нейрона:

1 - входной вектор параметров,

2 - сумматор,

3 - функция активации нейтрона,

4 - выходная информация.

Как видно из рисунка 1, схема функционирования нейрона состоит из четырех основных элементов:

1. Входной вектор параметров, который представляет собой информацию, поступающую на вход нейрона. Каждый элемент из вектора параметров на входе в нейрон умножается на соответствующий ему элемент вектора весов. Элементы вектора весов изменяются в процессе обучения, позволяя нейрону адаптироваться к существующей ситуации и правильно реагировать на поступающую входную информации.

2. Сумматор, представляющий собой функциональный блок нейрона, задачей которого является суммирование всех произведений элементов входного вектора с соответствующими им элементами вектора весов.

3. Функция активации нейрона, представляющая собой зависимость значения выходной информации нейрона от значения, переданного сумматором.

4. Выходная информация, то есть та информация, которая передается другим нейронам, клеткам или тканям.

Нейронная сеть состоит из множества отдельных нейронов, которые собраны в определенную структуру.

Схема данной структуры представлена на рисунке 2.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 2. Схема нейронной сети, собранной из отдельных нейронов

Нейронная сеть условно разбивается на слои, каждый из которых обозначается соответствующим термином:

1. Входной слой: данный слой не состоит из нейронов, а представляет собой информацию, поступающую на вход нейронной сети, то есть вектор входных параметров. Каждому параметру соответствует один элемент, поэтому общее количество элементов слоя соответствует количеству элементов в векторе входных параметров. Также к ним может добавляться дополнительный элемент для сдвига.

2. Ассоциативный слой: данный слой может состоять как из одного, так и из нескольких слоев, которые расположены между входной и выходной информацией. Каждый слой получает в качестве входной информации выходную информацию от предшествующего слоя (для первого ассоциативного слоя предшественником является входной слой, а для последнего - выходной). Таким образом, получается, что каждый слой готовит входную информацию для последующего. Никаких ограничений на количество слоев или количество элементов в слое не существует.

3. Выходной слой: данный слой состоит из нейронов, каждый из которых соответствует конкретному классу. Выходная информация, формируемая данным слоям, может трактоваться как функция распределения вероятности принадлежности исследуемого объекта к заданному набору классов. Количество нейронов данного слоя соответствует количеству классов, которые представлены в обучающей выборке. При наличии в обучающей выборке всего двух классов могут использоваться как два нейрона, так и один, состояние которого будет соответствовать логическому «true» или «false», В случае «true» исследуемый объект принадлежит к одному классу, в случае «false» - к другому.

Примером простейшей нейронной сети может являться один нейрон, который принимает на вход информацию из внешней среды (например, баллы выпускника высшего учебного заведения по разным предметам) и в качестве выходной информации выдает «true» или «false», как ответ на вопрос: «Трудоустроится ли данный студент в течение года после окончания обучения в высшем учебном заведении?».

Примером многослойной нейронной сети может служить нейронная сеть, распознающая изображения, на вход которой подается изображения (то есть матрица яркости отдельных пикселей), а на выходе данному изображению ставится в соответствие один из использованных в обучающей выборке классов (например, животной, птица или человек).

Каждый из слоев данной нейронной сети отвечает за свою часть работы:

1. Первый слой распознает простейшие элементы: линии, изгибы и т.д. и подает на вход следующему слою уже готовый набор простейших элементов.

2. Следующий слой, получив на вход набор простейших элементов, перерабатывает их отдельные мелкие структуры, которые подаются на вход следующему слою, который в свою очередь перерабатывает их уже в более крупные структуры. Таким образом, за определенное количество шагов из простейших элементов строится вектор входных данных для выходного слоя.

3. Выходной слой на основе поданного ему вектора входных данных принимает решение о принадлежности изображения к тому или другому классу.

Математическое описание нейронной сети выглядит следующим образом:

1. Вектор нормализованных параметров X⁽ⁱ⁾ = {x⁽ⁱ⁾₁, x⁽ⁱ⁾₂,…, x⁽ⁱ⁾_n}. Нормализованные параметры должны представлять собой числовые значения даже в тех случаях, когда реальная информация не является численной, то есть, если в качестве реальной входной информации используются категории (например, лучший, хороший, средний, плохой), то в векторе нормализованных параметров данная информация должна приобрести числовую форму (например, каждому из вариантов может быть поставлена в соответствие числовая отметка).

2. Вектор выходной информации для обучающей выборки Y⁽ⁱ⁾, соответствующий конкретному вектору нормализованных параметров.

3. Матрица или вектор весов W, коэффициенты которой в процессе обучения должны быть подобраны таким образом, чтобы выходной слой нейронов принимал правильное решение.

4. Функция активации является функцией от суммы произведений элементов входного вектора на соответствующие элементы вектора весов:

Данная функция отвечает за преобразование результата, получаемого от сумматора в вид, который удобен для принятия решения о принадлежности исследуемого объекта на основе выходной информации к тому или иному классу (например, если в результате суммирования может получиться любое действительное число, то для принятия решения о принадлежности к классу или получения вероятностной характеристики удобнее выходное значение, находящееся в диапазоне между 0 и 1). Примером такой функции может служить сигмоида:

,

где .

Данная функция от любого действительного значения находится в пределах от 0 до 1.

На рисунке 3 представлен вид данной функции.



Рисунок 3. Функция активации для случая, когда надо преобразовать сигнал от сумматора, который может принимать любые вещественные значения, в выходную информацию в виде вероятностной характеристики

При существовании ограничений на входной набор данных значения на выходе сумматора могут также принимать ограниченный диапазон значений. В этом случае функция активации также будет выглядеть по-другому.

При создании и обучении нейронных сетей особое внимание уделяется оценке качества нейронной сети, так как данное понятие лежит в основе процесса обучения.

В процессе обучения, на каждой следующей итерации, величина, по которой производится оценка качества нейронной сети, должна находиться ближе к целевому значению, чем на предыдущей итерации.

Если этого не происходит, то это означает остановку обучения нейронной сети.

Существуют различные способы обучения нейронных сетей.

Среди них можно выделить два основных вида:

1. Обучение с учителем.

При данном виде обучения обучающий набор состоит из пар векторов: первый вектор, содержит информацию, которая подается на вход нейронной сети, а второй - содержит решение, которое должна принять в идеальном случае сеть, на основе соответствующих входных данных. Оценка качества работы сети на выходе проводится путем сравнения идеального решения на выходе с реальным решением, которое получено на выходе нейронной сети. На основе оценки качества работы принимается решение об изменении вектора весов.

2. Обучение без учителя (самоорганизация).

При данном виде обучения обучающий набор состоит из векторов, каждый из которых содержит информацию, которая подается на вход нейронной сети. Оценка качества работы сети на выходе проводится путем оценки определенного параметра, вычисление которого не требует априорного знания об идеальном решении, которое должно быть принято нейронной сетью. На основе оценки качества работы также принимается решение об изменении вектора весов.

И при одном и при другом варианте обучения могут быть применены различные методики изменения вектора весов.

Одним из простейших является метод, который состоит из следующих этапов:

1. Создается предварительный набор векторов весов.

2. Для каждого из них оценивается качество работы нейронной сети.

3. Выбираются наилучшие векторы.

4. Путем небольших изменений из родительского набора создается новый предварительный набор.

5. Происходит возвращение на 2 шаг.

Таким образом, на каждом шаге происходит улучшение качества работы нейронной сети.

Одним из инструментов, используемых для исследования нейронных сетей, является теория информации

Главной целью создания и обучения нейронной сети является достижение самоорганизации данной системы таким образом, чтобы она выполняла поставленную перед ней задачу (например, определяла соответствуют ли данные, подаваемые на вход нейронной сети определенному классу).

В качестве оптимизирующего параметра может служить взаимная информация между заданными переменными системы.

В этом случае задача настройки коэффициентов вектора веса сводится к задаче поиска такого набора коэффициентов, при котором взаимная информация будет принимать оптимальное значение.

Следует заметить, что в зависимости от конкретной решаемой нейронной сетью задачи за оптимальное значение взаимной информации могут приниматься различные её экстремальные точки:

1. Максимум

2. Минимум

Также от постановки задачи зависит выбор переменных, взаимную информацию между которыми необходимо использовать в качестве оптимизирующего параметра.

1.2 Основы оценки качества нейронных сетей на основе оптимизации взаимной информации

Рассмотрим информационно-теоретические модели, которые приводят к самоорганизации.

Моделью, имеющей особое значение в данном случае, является принцип максимума взаимной информации, который гласит, что связи нейронной сети организуются таким образом, чтобы при определенных условиях максимизировать объем информации, которая сохраняется при преобразовании сигнала на каждой из стадий обработки сигнала в сети.

Выбор взаимной информации в качестве оптимизирующего параметра не является случайным.

Во-первых, взаимная информация имеет ряд уникальных свойств.

Рассмотрим каждое из этих свойств на примере двух случайных переменных X и Y, одна из которых является информацией, подаваемой на вход нейронной сети, а вторая - информацией, получаемой на выходе.

Первым важным свойством взаимной информации является симметричность:

.

Взаимная информация представляет собой меру неопределенности Y, которая разрешена при снятии данных с входа X, а взаимная информация , наоборот, является мерой неопределенности входа системы X, которая разрешена при снятии наблюдения с выхода системы Y.

Вторым свойством взаимной информации является её неотрицательность:

.

Данной свойство иллюстрирует тот факт, что при снятии наблюдения с выхода системы невозможна потеря информации, а равенство взаимной информации нулю возможно только в том случае, когда вход и выход системы статистически независимы.

Третьим важным свойством взаимной информации является то, что она может быть выражена через их энтропии:

,



где - условная энтропия, которая несет информацию не о самом входе системы X, а о помехах обработки.

Таким образом, правая часть неравенства представляет собой усреднение по множеству информации, снятой с выхода системы Y, из которого вычитается средняя по множеству информация, которая учитывает знание о входе X.

Взаимосвязь взаимной информации и энтропий H(X) и H(Y) представлена на рисунке 3.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рисунок 3. Взаимосвязь взаимной информации и энтропий H(X) и H(Y):

H (X, Y) - овал пунктирной линией,

H(X) - левая окружность,

H(Y) - правая окружность,

H (X|Y) - часть левого круга, заштрихованная диагональной штриховкой с наклоном вправо,

H (Y|X) - часть правого круга, заштрихованная диагональной штриховкой с наклоном влево,

I (X, Y) - пересекающиеся части кругов, заштрихованные пересекающейся штриховкой

Четвертым важным свойством взаимной информации является то, что её можно определить, не используя обучающий набор, то есть в данном случае соблюдается условие самоорганизации.

На практике существуют четыре основных ситуации, в которых взаимная информация может выступать в качестве оптимизирующего параметра:

1. В первом случае входной вектор X состоит из m элементов X₁, X₂, …, X_m. В свою очередь выходной вектор Y состоит из l элементов Y₁, Y₂, …, Y_l. Целью оптимизации является достижение максимума информации о входе системы X, которая поступает на выход системы Y.

На рисунке 4 представлена иллюстрация данного случая.

Рисунок 4. Первый случай применения принципа максимума взаимной информации

2. Во втором случае в качестве входных векторов используется пара входных векторов из смежных, не пересекающихся областей исследуемого объекта, X_a и X_b. Каждому из входных векторов соответствует вектор на выходе Y_a и Y_b, соответственно. В данном случае необходимо достичь максимума информации об Y_a, которая поступает на выход Y_b, и наоборот.

На рисунке 5 представлена иллюстрация данного случая.

Рисунок 5. Иллюстрация второго случая

3. В третьем случае в качестве входных векторов используется пара входных векторов из соответствующих областей, которые принадлежат разным исследуемым объектам, X_a и X_b. Каждому из входных векторов соответствует вектор на выходе Y_a и Y_b, соответственно. В данном случае необходимо достичь минимума информации об Y_a, которая поступает на выход Y_b, и наоборот.

На рисунке 6 представлена иллюстрация данного случая.

Рисунок 6. Иллюстрация третьего случая



4. Четвертый случай является частным случаем первого случая при m = l. В данном случае необходимо достичь минимума статистической зависимости между компонентами выходного вектора Y.

На рисунке 7 представлена иллюстрация данного случая.

Рисунок 7. Иллюстрация четвертого случая

Исходя из цели данной работы в практической части настоящей работы будут рассмотрены второй и третий случаи, которые могут применяться для оценки качества нейронной сети, при которой в качестве оптимизирующего параметра рассматривается взаимная информация от двух смежных областей одного изображения или о двух соответствующих областях разных изображений.



2. Реализация принципа оптимизации взаимной информации

2.1 Максимизация взаимной информации двух выходов, получающих информацию от двух смежных, не пересекающихся областей одного изображения

Рассмотрим процесс машинного обучения, в котором в качестве критерия оценки будет выступать взаимная информация между двумя выходными наборами данных, каждый из которых соответствует одному из наборов данных от смежных но не пересекающихся областей одного изображения.

Входные данные для данного случая представлены двумя матрицами:

Для получения входных данных в среде Matlab была создана программа, которая вырезает из одного изображения (рисунок 8) две смежные области размером 100х100 и записывает каждую из них в массив:

x = imread ('cvz9.jpg');

xa = x (1:100,1:100,1);

xb = x (101:200,1:100,1);

x_a = cast (xa, 'double');

x_b = cast (xb, 'double');



Рисунок 8. Исходное изображение

Набор первоначальных матриц весов для машинного обучения формируется генератором случайных чисел, который генерирует набор из ста матриц:

Для получения матриц весов в среде Matlab была создана программа, которая создает 100 наборов матриц весов и записывает из в многомерный массив:

for i = 1:100

wa_set(:,:, i) = rand (100,100);

wb_set(:,:, i) = rand (100,100);

end



Выходные данные получаются путем перемножения транспонированной матрицы весов и матрицы входных данных:

В результате перемножения получаются матрицы выходных данных:

Далее необходимо рассчитать коэффициент корреляции для данных матриц.

На основе данного коэффициента рассчитывается взаимная информация двух матриц выходных данных:

,

который является критерием качества работы нейронной сети.

Для данного случая нам необходимо выбрать матрицы весов таким образом, чтобы взаимная информация была максимальной.

С этой целью необходимо получить матрицы выходных данных для каждого набора матриц весов и по ним рассчитать взаимную информацию.

Далее необходимо выбрать матрицы весов с максимальной взаимной информацией.

С данной целью в среде Matlab была написана программа, которая в цикле на каждом шаге вычисляет взаимную информацию для текущих выходных данных и сравнивает с взаимной информацией на предыдущем шаге.

В случае, если взаимная информация на текущем шаге оказывается больше, то данная информация считается максимальный, а текущий набор данных записывается в качестве наилучшего набора.

Лис

X;

inform0 = 1;

for i = 1:100

for j = 1:100

ya = wa_set(:,:, i)'*x_a;

yb = wb_set(:,:, j)'*x_b;

inform (i, j) = - (log (1-corr2 (ya, yb)*corr2 (ya, yb)))/2;

if inform (i, j)>inform0

inform0 = inform (i, j);

wa_max = wa_set;

wb_max = wb_set;

end

end

end

В результате расчета получится матрица взаимных информаций, графическое представление которой представлено на рисунке 9.



Рисунок 9. Поверхность взаимной информации

Как видно из рисунка 9, на первом шаге распределение взаимной информации хаотическое, а максимальная взаимная информация невелика.

Также в качестве информации на выходе программы получаются максимальная взаимная информация и соответствующие ей матрицы весов.

На этом первый шаг машинного обучения заканчивается.

Следующий шаг в точности повторяет первый, только вместо первоначального набора матриц весов берется матрица весов, полученная в качестве наилучшей на первом шаге, а также её потомки, полученные путем незначительных вариаций.

С каждым шагом максимальная взаимная информация приближается к требуемому значению.



2.2 Минимизация взаимной информации двух выходов, получающих информацию от двух соответствующих областей разных изображений

Рассмотрим процесс машинного обучения, в котором в качестве критерия оценки будет выступать взаимная информация между двумя выходными наборами данных, каждый из которых соответствует одному из наборов данных от соответствующих областей разных изображений.

Входные данные для данного случая представлены двумя матрицами:

Для получения входных данных в среде Matlab была создана программа, которая вырезает из одного изображения две соответствующие области разных цветовых составляющих размером 100х100 и записывает каждую из них в массив:

x = imread ('cvz9.jpg');

xa_ = x (1:100,1:100,1);

xb_ = x (1:100,1:100,2);

x_a_ = cast (xa, 'double');

x_b_ = cast (xb, 'double');

Набор первоначальных матриц весов для машинного обучения формируется генератором случайных чисел, который генерирует набор из ста матриц:



Для получения матриц весов в среде Matlab была создана программа, которая создает 100 наборов матриц весов и записывает их в многомерный массив:

for i = 1:100

wa_set(:,:, i) = rand (100,100);

wb_set(:,:, i) = rand (100,100);

end

Выходные данные получаются путем перемножения транспонированной матрицы весов и матрицы входных данных:

В результате перемножения получаются матрицы выходных данных:

Далее необходимо рассчитать коэффициент корреляции для данных матриц.

На основе данного коэффициента рассчитывается взаимная информация двух матриц выходных данных:

,

который является критерием качества работы нейронной сети.

Для данного случая нам необходимо выбрать матрицы весов таким образом, чтобы взаимная информация была минимальной.

С этой целью необходимо получить матрицы выходных данных для каждого набора матриц весов и по ним рассчитать взаимную информацию.

Далее необходимо выбрать матрицы весов с минимальной взаимной информацией.

С данной целью в среде Matlab была написана программа, которая в цикле на каждом шаге вычисляет взаимную информацию для текущих выходных данных и сравнивает с взаимной информацией на предыдущем шаге.

В случае, если взаимная информация на текущем шаге оказывается меньше, то данная информация считается минимальной, а текущий набор данных записывается в качестве наилучшего набора.

Листинг данной программы:

X_;

inform0 = 1;

for i = 1:100

for j = 1:100

ya_ = wa_set(:,:, i)'*x_a_;

yb_ = wb_set(:,:, j)'*x_b_;

inform_(i, j) = - (log (1-corr2 (ya_, yb_)*corr2 (ya_, yb_)))/2;

if inform_(i, j)<inform0

inform0 = inform_(i, j);

wa_min = wa_set;

wb_min = wb_set;

end

end

end

В результате расчета получится матрица взаимных информаций, графическое представление которой представлено на рисунке 10.

Рисунок 10. Поверхность взаимной информации

Как видно из рисунка 10, на первом шаге распределение взаимной информации хаотическое, а максимальная взаимная информация невелика.

Также в качестве информации на выходе программы получаются максимальная взаимная информация и соответствующие ей матрицы весов.

На этом первый шаг машинного обучения заканчивается.

Следующий шаг в точности повторяет первый, только вместо первоначального набора матриц весов берется матрица весов, полученная в качестве наилучшей на первом шаге, а также её потомки, полученные путем незначительных вариаций.

С каждым шагом минимальная взаимная информация приближается к требуемому значению.



Заключение

В первом параграфе первой главы настоящей работы были рассмотрены теоретические основы построения нейронных сетей, их структура, основные элементы, а также возможности применения.

Во втором параграфе первой главы настоящей работы были рассмотрены основы оценки качества работы нейронных сетей на основе оптимизации взаимной информации.

Во второй главе представлена реализация принципа оптимизации взаимной информации для двух случаев:

• 1. Максимизация взаимной информации двух выходов, получающих информацию от двух смежных, не пересекающихся областей одного изображения
• 2. Минимизация взаимной информации двух выходов, получающих информацию от двух соответствующих областей разных изображений
• Для реализации каждого из представленных случае разработаны программы в среде Matlab, которые имитируют один шаг машинного обучения.
• Для тестирования данных программ созданы входные данные, состоящие из вырезанных смежных, но не пересекающихся частей одного изображения для первого случая и соответствующих областей разных цветовых компонент одного изображения для второго случая.
• Проведено тестирование на основе данных контрольных примеров.
• В результате тестирования получены:

1. Для первого случая максимальная взаимная информация, а также матрицы весов, соответствующие ей.

2. Для второго случая минимальная взаимная информация, а также матрицы весов, соответствующие ей.

Данной информации достаточно для начала циклического пошагового процесса машинного обучения.

В процессе выполнения работы были решены следующие задачи:

1. Изучены основные понятия, положенные в основу работы выбранной исследуемой модели, то есть нейронных сетей, рассмотрены основные компоненты, из которых состоят нейронные сети, их назначение и свойства.

2. Выявлены основные элементы, которые входят в состав любого нейрона, как наиболее мелкого составного элемента нейронной сети. Рассмотрены основные функции данных элементов и их взаимосвязь.

3. Рассмотрена классификация нейронных сетей в зависимости от их сложности и решаемых задач:

- однослойные (могут использоваться для решения задач, в которых требуется выявить простые линейные взаимосвязи),

- многослойные (могут использоваться для решения задач, в которых требуется выявить сложные нелинейные взаимосвязи).

4. Выявлены основные проблемы, возникающие при их создании и обучении. Одной из наиболее актуальных проблем является проблема выбора критериев оценки качества работы нейронной сети. Данная проблема подразделяется на две, каждая из которых возникает при одном из видов обучения:

- При обучении с учителем данная проблема состоит в подборе большого набора обучающих пар входной-выходной информации, так как критерием качества служит вероятность совпадения выходной информации из обучающего набора с выходной информацией нейронной сети.

- При обучении без учителя (самоорганизации) проблема состоит в выборе такого критерия, который не требовал бы априорных знаний об идеальной информации на выходе, но в то же время позволял проводить качественную оценку выходной информации нейронной сети.

5. Определены параметры, оптимизация которых позволит повысить качество нейронных сетей. В данной работе в качестве такого параметра была выбрана взаимная информация между двумя выходными векторами.

6. Изучены теоретические основы исследования нейронных сетей с целью оптимизации взаимной информации между двумя выходами.

7. Выбран методы исследования наиболее подходящие для описанной в работе ситуации: метод оценки качества нейронной сети по взаимной информации между двумя выходами.

8. Разработан алгоритм, использующий выбранные методы, для оценки качества работы нейронной сети и выбора вектора весов с наилучшими параметрами.

9. Написать реализацию алгоритма исследования в математической среде Matlab, которая имитирует один шаг процесса обучения нейронной сети.

10. Проведено тестирование разработанного алгоритма на контрольных наборах данных, которые были получены путем вырезания смежных, не пересекающихся областей одного изображения для первого рассмотренного случая и двух соответствующих областей из разных изображений для второго случая.

Таким образом, в процессе выполнения работы были решены все поставленные задачи.



Список использованных источников

1. Нейронные сети. Statistica Neural Networks. Методология и технологии современного анализа данных; Горячая Линия - Телеком -, 2008. - 392 c.

2. Бажова Юлия Сети; Центрполиграф - Москва, 2013. - 480 c.

3. Барский А.Б. Логические нейронные сети; Интернет-университет информационных технологий, Бином. Лаборатория знаний - Москва, 2007. - 352 c.

4. Величко В.В., Субботин Е.А., Шувалов В.П., Ярославцев А.Ф. Телекоммуникационные системы и сети. Том 3. Мультисервисные сети. Учебное пособие; Горячая Линия - Телеком -, 2005. - 592 c.

5. Галушкин А.И. Нейронные сети. Основы теории; Горячая Линия - Телеком -, 2012. - 496 c.

6. Гроссо Альфонсо Сети; Художественная литература. Ленинградское отделение - Москва, 1989. - 224 c.

7. Кириченко Наталья Автостопом по Сети; Центрполиграф - Москва, 2006. - 272 c.

8. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети; Wings Comics - Москва, 2001. - 779 c.

9. Круглов, В.В.; Борисов, В.В. Искусственные нейронные сети. Теория и практика; М.: Горячая линия - Телеком; Издание 2-е, стер. - Москва, 2002. - 382 c.

10. Мкртчян, С.О. Нейроны и нейронные сети; М.: Энергия - Москва, 1986. - 232 c.

11. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики; Либроком - Москва, 2013. - 224 c.

12. Смелянский Р.Л. Компьютерные сети. В 2 томах. Том 2. Сети ЭВМ; Академия - Москва, 2011. - 240 c.

13. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Книга 18; Радиотехника - Москва, 2005. - 256 c.

14. Татузов А.Л. Нейронные сети в задачах радиолокации; Радиотехника - Москва, 2009. - 432 c.

15. Хайкин, Саймон Нейронные сети: полный курс; М.: Вильямс - Москва, 2006. - 781 c.

16. Ширяев В.И. Финансовые рынки. Нейронные сети, хаос и нелинейная динамика; Либроком - Москва, 2013. - 232 c.

17. Шувалов, В.П. и др. Телекоммуникационные системы и сети. Мультисервисные сети; Горячая Линия Телеком - Москва, 2005. - 592 c.

18. Шуляева Наталья Бабушка в сети; Рид Групп - Москва, 2012. - 384 c.

19. Яхъяева Г.Э. Нечеткие множества и нейронные сети; Интернет-университет информационных технологий, Бином. Лаборатория знаний - Москва, 2011. - 320 c.

20. Яхъяева, Г.Э. Нечеткие множества и нейронные сети; Интернет-университет информационных технологий - Москва, 2006. - 320 c.

21. Гасанов, Э.Э. Теория хранения и поиска информации / Э.Э. Гасанов, В.Б. Кудрявцев. - М., 2016. - 1 c.

22. Гоппа, В.Д. Введение в алгебраическую теорию информации / В.Д. Гоппа. - М., 2016. - 1 c.

23. Нейман, Дж. Вероятностная логика и синтез надежных организмов из ненадежных компонент / Дж. Нейман. - М., 2016. - 1 c.

24. Стратонович, Р.Л. Теория информации: моногр. / Р.Л. Стратонович. - М., 2016. - 1 c.

Размещено на Allbest.ru

...