Нейронные сети для обработки данных

Размещено на http://www.allbest.ru/

Контрольная работа по дисциплине «Инструментальные средства разработки информационных систем»

Тема контрольной работы «Нейронные сети для обработки данных»

Введение

нейронный точка графовый давидон

Адаптивная обработка данных означает изменение алгоритмов обработки после получения информации об объекте исследования на основе обработки имеющихся данных или получения новой информации. Для построения адаптивной системы оперативной обработки информации выделим два важнейших вопроса:

* какую информацию нужно извлечь из данных, чтобы алгоритм обработки данных (для выбранного критерия качества обработки) стал оптимальным;

* формирование минимального объема информации (выделение наиболее информативных параметров) для выбранного критерия качества обработки.

В настоящее время в системах обработки данных интенсивно развивается новое направление информационных технологий - оперативный анализ данных. Это направление должно дать работникам управления возможность изучать большие объемы взаимосвязанных данных с помощью отображения существенной информации и более оперативно принимать решение по управлению в условиях неопределенности.

Следует подчеркнуть, что существенность, ценность информации зависит от выбора критериев обработки данных. Отсюда следует необходимость адаптации алгоритмов обработки к конкретной задаче, к пользователю.

Инструментом принятия решений в задачах управления является информационная модель. Первоначальная оценка параметров этой модели основана на накопленном статистическом материале, может быть, даже с выделением существенных факторов, но по мере поступления новых данных, получаемых на каждом шаге времени, должны происходить дальнейшая корректировка параметров модели, их адаптация к новым нерегулярно изменяющимся условиям функционирования системы.

Рассматриваемые методы пригодны для различных информационных систем: системы оценки некоторых величин, системы оценки характеристик сигналов, системы оценки состояния контролируемого объекта, системы управления экспериментами.

Задание

Исходные данные:

- Изложить обучение нейронных сетей методом Давидона-Флетчера-Пауэлла; для негладких функций произвести расчет с индивидуальными данными начальной точки.

- Осуществить кластеризацию данных на основе графовых моделей и статистических методов с индивидуальным заданием точек наблюдения.

- По результатам кластеризации изложить метод описания области допустимых изменений параметров.

Описание темы контрольной работы

Промышленное изделие считается годным, если его контролируемые параметры удовлетворяют выбранному критерию. Контроль качества играет заметную роль в задачах управления промышленным производством. При этом использование вычислительной техники позволяет оптимизировать планы статистического (выборочного) контроля и производить более полный анализ информации, накапливаемой в процессе его проведения.

Необходимость именно выборочного обследования при решении практических задач связана со следующими причинами:

* генеральная совокупность партии изделий настолько многочисленна, что проведение обследования всех элементов совокупности (сплошное обследование) слишком трудоемко. С такой ситуацией приходится встречаться при контроле качества продукции крупносерийного и массового производства;

* в процессе проведения испытания происходит разрушение отбираемых образцов;

* результаты выборочных исследований используются для оперативного управления производственным процессом;

* объем выборки определяется ограничениями, связанными с методом обработки данных.

Описание методов и результатов обработки информации

Минимизация многомерной функции на основе метода Давидона-Флетчера-Пауэлла

Процесс управления предполагает изменение некоторых управляемых величин. Оптимальное управление требует при этом, чтобы некоторая целевая функция (ее также называют критерием или показателем качества) принимала максимальное или минимальное значение. В общем случае целевая функция зависит от многих параметров:

Ф = Ф(X1,X2,…,Xn).

Определение оптимального управления сводится к поиску такого набора численных значений переменных, при котором функция Ф достигает экстремального значения. Для определенности будут рассматриваться только минимумы функции.

Функцию можно задавать в виде точного описания последовательности операций над численными значениями переменных X1,X2,…,Xn. Функция должна обладать свойством однозначности, т.е. при любом наборе численных значений X1,X2,…,Xnпринимать только одно значение.

Будем считать набор численных значений X1,X2,…,Xnкоординатами некоторой точки n-мерного пространства, которую можно представить вектором . Для такой точки можно подсчитать значения функции . выделим из совокупности точек n-мерного пространства те точки, которым соответствуют равные значения функции , где Ф0 - некоторое численное значение. Геометрическое место точек с равными значениями функции называют поверхностью равного уровня. Изменив уровень Ф0функции, получим другую поверхность равного уровня, причем различные поверхности равных уровней вложены одна в другую, но нигде не соприкасаются. Градиентом функции будем называть вектор

,

где частные производные функции вычислены в точке .

В n-мерном пространстве градиент направлен перпендикулярно (нормально) к поверхности равного уровня в точке и указывает направление наискорейшего возрастания функции. Противоположный по направлению вектор , называемый антиградиентом, дает направление наискорейшего убывания функции.

В различных методах поиска минимума функции можно выделить два основных этапа: определение направления и минимизацию функции в этом направлении. Методы минимизации многомерных функций различаются способами реализации этих этапов. В одних методах векторы направлений наперед заданы (координатный спуск в методе Гаусса-Зейделя), а в других выбор направления зависит от поведения функции, как, например, в рассматриваемом градиентном методе Давидона-Флетчера-Пауэлла (ДФП). Второй этап - минимизация функции в выбранном направлении - представляет собой одномерный поиск и наиболее трудоемкую часть процесса. Рассмотрим теперь подробнее градиентный метод ДФП.

Исходные данные: начальная точка поиска , градиент функции , градиент функции в начальной точке нормируется по уравнению

,

где ; .

Начальная матрица nЧn, равная единичной матрице, H(1,1) = E[1,1]; е - коэффициент, задающий точность одномерного поиска; Д - точность поиска минимума функции.

Вычисляем вектор направления

Формируем вектор , и, изменяя параметр б, проводим в направлении одномерный поиск минимума функции. По его результатам определяем положение оптимальной конечной точки на этом направлении: ; .

Начальное значение шага одномерного поиска б0 принимается равным 1, если выполняется условие , иначе величина уменьшается. Уменьшение шага поиска по мере приближения к минимуму многомерной функции является необходимым, иначе трудно будет достаточно точно определить координаты этого минимума.

3. Вычисляем градиент и приращение градиента

.

4. Находим новую матрицу по рекуррентной формуле

.

5. Переходим на этап 1 с новыми начальными условиями.

Отметим некоторые вычислительные особенности метода ДФП. Метод подвержен накоплению ошибок, вследствие чего рекомендуется время от времени «забывать» накопленную информацию и начинать вычислительный процесс заново. Для этого необходимо предусмотреть «обновление» расчетов. При обновлении на каждой итерации метод ДФП превращается в метод наискорейшего спуска.

При расчете на ЭВМ первая производная функции по некоторому параметру Xi заменяется первой разделенной разностью

,

где X1, Xi, Xn- координаты точки , в которой вычисляется производная.

Для метода ДФП рассматриваются 2 варианта реализации, которые различаются только методами одномерного поиска. В первом варианте применяется метод золотого сечения, во втором - квадратичная аппроксимация. Рассмотрим кратко эти методы.

Сокращение интервала неопределенности методом золотого сечения

Название метода указывает на его связь с золотым делением отрезка, т.е. таким делением отрезка на две неравные части на X и Y(X>Y), при котором , где .

Для нахождения минимума функции необходимо прежде всего определить интервал неопределенности, т.е. отрезок на прямой, внутрь которого попадает точка Xm с минимальным значением функции Ф(Xm). Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести переменный шаг:

; б-1 = 0; б0 = 1,

если при этом происходит убывание функции.

На рисунке 1 изображена последовательность точек б0, б1, б2, полученная согласно алгоритму.

Рисунок1. - Последовательность точек б

Из рисунка видно, что интервал неопределенности лежит между точками б0 и б2. Выберем новую точку б3 так, чтобы получить золотое сечение интервала неопределенности (рис. 2).

Рисунок 2. - Сокращение интервала неопределенности

Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска:

, где

- два последних значения значений функции, - коэффициент, задающий точность одномерного поиска.

Сокращение интервала неопределенности методом квадратичной аппроксимации

В основе метода лежит аппроксимация функции Ф() квадратичным полиномом. Для ускорения поиска на этапе выделения интервала неопределенности необходимо ввести, как и ранее, переменный шаг i :

; 0 = 1,

если при этом происходит убывание функции, -1 = 0, - коэффициент, численное значение которого в начале одномерного поиска равно нулю, а затем возрастает на 1 через каждые R шагов. Пусть произведены измерения функции в точках 0, 1, 2 согласно алгоритму. Интервал неопределенности лежит между точками 0 и 2 (рис. 1). Для сокращения интервала заменяем реальную функцию Ф() аппроксимирующей функцией Фапр(), которая проходит через те же точки 0, 1, 2, Фапр()=a2+b+cи имеет координату минимума опт=-b/(2a).

Связывая неизвестные коэффициенты a, b, c со значениями 0, 1, 2 и Ф(0), Ф(1), Ф(2) получаем расчетную формулу:

.

Причем точка 3=опт (рис. 2) попадает внутрь интервала неопределенности 2 - 0. Новый интервал неопределенности уменьшился и стал равным 2 -1. Вычислительный процесс сокращения интервала необходимо продолжить, пока не будет выполнено условие одномерного поиска.

Среди алгоритмов, использующих информацию о градиенте, наиболее распространенными являются квазиньютоновские. В этих (итерационных) алгоритмах целевая функция в окрестностях произвольной точки аппроксимируется квадратичной функцией, при этом на каждой итерации решается задача локальной минимизации

,

где H - симметричная и положительно определенная матрица вторых частных и смешанных производных (матрица Гессе, или гессиан), с - постоянный вектор, b - константа.

Оптимальное решение приведенной задачи соответствует нулевым значениям первых производных, то есть

откуда .

Ньютоновские алгоритмы (в отличие от квазиньютоновских) непосредственно вычисляют Н (как отмечалось, прямое вычисление матрицы Н требует больших вычислительных затрат) и осуществляют движение в рассчитанном на очередной итерации направлении уменьшения целевой функции до достижения минимума (с использованием методов одномерного поиска). В квазиньютоновских алгоритмах такое вычисление не производится, а используется некоторая аппроксимация Н.

Среди подобных алгоритмов одним из наиболее популярных и используемым в пакете OptimizationToolbox является так называемый BFGS-алгоритм, получивший свое название по фамилиям предложивших его авторов (Broyden, Fletcher, Goldfarb, Shanoo), в котором аппроксимация Н производится итерационно, по формуле

,

где , .

Заметим, что наиболее удобно иметь аппроксимацию не матрицы Н, а обратной к ней матрицы Н-1, приведенное рекуррентное соотношение подобную замену допускает, при этом сам алгоритм становится практически идентичным хорошо известному отечественным исследователям алгоритму Давидона-Флетчера-Пауэлла, за тем исключением, что в последнем векторы q заменены на векторы s и наоборот.

Именно такие алгоритмы являются основой численных методов, заложенных в распространенные математические пакеты прикладных программ (MSExcel, Mathcad, Mathlab и т.д).

Блок-схема алгоритма минимизации функции многих переменных метода Давидона-Флетчера-Пауэлла приведена на рисунке 3.

Размещено на http://www.allbest.ru/

Рисунок 3. - Блок-схема алгоритма метода Давидона-Флетчера-Пауэлла

Минимизация многомерной функции при наличии линейных ограничений на основе метода Давидона-Флетчера-Пауэлла

Имеются ограничения:

Ранее (без ограничений) матрица была единичной, теперь она рассчитывается:

Практическая часть

Эксперименты с симплекс-планированием.

Минимизация многомерных функций.

Принятие решений в условиях определенности. Оптимальное управление хорошо определяемыми процессами производства.

Минимизация многомерных функций.

1. Просмотр функции в целом.

2. Просмотр функции по квадрантам

3. Метод золотого сечения

4. Метод квадратичной аппроксимации

5. Задание ограничения.

Построение кратчайшего остовного дерева. Алгоритм Прима.

Гистограммный метод

5. Оперативный статистический контроль качества промышленной продукции

Заключение

При выполнении контрольной работы мы научились излагать обучение нейронных сетей методом Давидона-Флетчера-Пауэлла; для негладких функций производить расчет с индивидуальными данными начальной точки. Осуществлять кластеризацию данных на основе графовых моделей и статистических методов с индивидуальным заданием точек наблюдения.

Список используемой литературы

1. Осовский С. Нейронные сети для обработки информации/Пер. С польского И. Д. Рудинского. - М.: Финансы и статистика, 2002.

2. «Применение ИНС для создания экспертной системы диагностирования технологического оборудования» А.В. Семенченко Московский государственный строительный университет (МГСУ)

3. Лекции по теории и приложениям искусственных нейронных сетей Сергей А. Терехов Лаборатория Искусственных Нейронных Сетей НТО-2 ВНИИТФ Снежинск

Размещено на Allbest.ru