Разработка нейроаналитического алгоритма классификации образов и исследование его на устойчивость при наличии шумов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Разработка нейроаналитического алгоритма классификации образов и исследование его на устойчивость при наличии шумов

К настоящему времени значимость пространственных данных возрастает, что приводит к необходимости повышения точности результатов их обработки. В связи с этим актуальной является задача оптимизации существующих методов классификации образов, разработка и реализация новых подходов к анализу данных дистанционного зондирования Земли.

В отечественной геодезической, фотограмметрической литературе практически отсутствует разработка методов цифровой классификации образов. В современном мире существует множество современных программ, которые содержат различные методы цифровой классификации образов, однако они не раскрывают своих алгоритмов, что делает невозможным их использование для дальнейшей разработки с целью повышения точности классификации образов.

Распознавание образов является одним из приоритетных задач по созданию топографической основы [4]. В настоящее время широко исследуется принцип обучения нейронного классификатора [2]. При этом важное теоретическое и практическое значение при распознавании образов имеет способность нейронных сетей к обучению [7]. Помимо разработки алгоритмов, важным фактором является качество их работы по распознаванию и классификации объектов [1]. Существующие нейросетевые алгоритмы при отсутствии шумов входных сигналов могут приводить к неверным значениям выходных сигналов [3], что, в частности, отражено в работе [8]. Существующими нейросетевыми алгоритмами при наличии незначительно зашумленных входных сигналов классифицируются неудовлетворительно [6, 5].

В связи с этим возникает проблема не только совершенствования существующих алгоритмов классификации образов, но и создания новых, которые были бы устойчивы к шумам входных сигналов.

В процессе разработки и исследования нейроаналитического алгоритма классификации образов использовался эмпирический и экспериментальный методы исследований.

1. Теоретическое обоснование использования нейронных сетей при распознавании образов

В общем случае процесс распознавания по аналогии [8] представим следующей аналитической зависимостью:

нейронный сеть алгоритм шум

, (1)

где - вектор выходных сигналов; - вектор-строка весов ; - вектор входных сигналов.

Будем считать, что вектор отягощен шумами (ошибками составляющих) и его точность характеризуется следующей ковариационной матрицей:

(2)

Тогда корреляционная матрица вектора Х будет иметь вид:

. (3)

Можно принять входные сигналы равноточными с корреляционной матрицей:

, (4)

где Е - единичная матрица; - стандарт шума (ошибки положения пиксела изображения).

Тогда с учетом (4) будем иметь:

(5)

При обучении с учителем на вектор весов налагаются следующие условия:

, (6)

где - число уравнений; - код обучающего объекта-учителя; - вектор обучающих сигналов, который можно представить следующим образом:

(7)

Уравнение (6) можно представить в матричном виде:

, (8)

где

(9)

. (10)

При условиях (8) найдем вектор весов на основе минимума функционала Лагранжа:

(11)

Решение в соответствии с (11) будем называть решением методом наименьших квадратов (МНК).

Очевидно, что при этом:

(12)

Выразим из этого уравнения :

, (13)

(14)

С учетом формулы (8):

и

(15)

Соответственно на основании (13) и (1) найдем:

(16)

Выражением (16) определяется распознавание образов с учителем.

2. Применение алгоритма при распознавании образов

Пусть распознаются фигуры, соответствующие цифрам от 0 до 9 (рис.).

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Растровое изображение чисел от нуля до девяти

Пикселы черного цвета соответствуеют единичному значению бита, а белого - нулевому. Тогда матрица В (9) будет иметь следующий вид:

Принимая

найдем вектор коррелат по (15):

и вектор в соответствии с зависимостью (13):

.

Контрольное произведение

подтверждает абсолютную правильность алгоритма распознавания приведенного множества фигур.

При сравнении с исходными данными матрица выходных сигналов абсолютно совпадает с кодами, заданными по условию. Это справедливо при отсутствии шумов (ошибок) в исходных сигналах. Максимальные ошибки, возможные в исходных сигналах, составляют значения +1 или -1. Алгоритм распознавания образов должен быть эффективным и при наличии шумов. Проверим его эффективность на примере. Для этого введем в каждый образ как минимум по одной такой ошибке, построим соответствующую матрицу В_ош и потребуем, чтобы и для зашумленного вектора удовлетворялись условия (6). В таком случае условные уравнения имеют вид:

(17)

В формуле (17) матрица ошибок имеет следующий вид:

(18)

Здесь увеличенные нули и единицы являются ошибочными значениями. В месте нуля ошибка равна -1, а в месте единицы - +1.

Решение системы (17) по алгоритму (11) - (16) при матрице (18) невозможно, так как определитель получаемой при этом матрицы нормальных уравнений может оказаться близким или равным нулю. В данном примере он составляет величину 2,27E-74:

(19)

В таком случае систему можно решить методом регуляризации по Тихонову [7], представляя матрицу нормальных уравнений в виде регуляризирующего оператора:

(20)

где л - параметр регуляризации; Е - единичная матрица.

Обоснование (20) базируется на двойственной задаче условной оптимизации.

Прямая задача в данном случае записывается так:

(21)

Полагая:

(22)

найдем вектор весов h, который составит:

. (23)

Подставляя (23) в (21), получаем формулировку двойственной задачи:

(24)

или

(25)

которая сводится к максимизации целевой функции (25) по вектору коррелат К или к минимизации целевой функции:

(26)

Для получения гладкого решения, удовлетворяющего условиям непрерывности при наличии вырожденных матриц нормальных уравнений, выражение (25) дополняется стабилизатором K^TK (26) и записывается в виде функционала Тихонова:

(27)

Дифференцирование (27) по К с учетом обозначения (19) приводит к решению уравнения в следующем виде:

(28)

С учетом (28) и (23) окончательное решение будет иметь вид:

(29)

На нашем примере покажем, что можно подобрать такой параметр регуляризации л, при котором система нормальных уравнений имеет единственное решение и достигается минимум функции:

, (30)

где

(31)

Отметим, что система уравнений (30) должна быть переопределенной и в ней не должно быть линейно зависимых или повторяющихся столбцов.

Минимизация функционала (29) по вектору h^T приводит к следующей системе нормальных уравнений:

(32)

где

(33)

И соответствующее решение будет равно:

(34)

Контроль решения осуществляется по формуле:

(35)

Выполненные расчеты по распознаванию образов при наличии шумов приведены в таблице.

Оценка точности распознавания образов при наличии шумов

Исходя из таблицы, можно сделать следующие выводы:

- наличие в образе хотя бы одного ошибочного пиксела даже в процессе обучения ведет к ошибкам его распознавания в 100% случаев;

- округление вычисляемых значений выходных сигналов с точностью 0,5 позволяет получать ближайшие образы (графа 4), которые в 11 случаях из 20 не совпадают с желаемым откликом, т.е. с истинным значением образа;

- наличие значительных шумов, равных +1 пикселу, одинаково часто искажает классификацию как идеальных, так и зашумленных сигналов.

Выводы

1. В данной статье разработан нейроаналитический алгоритм по распознаванию образов, который в случае отсутствия шумов осуществляет классификацию образов идеально, что является явным преимуществом его перед алгоритмом Хопфилда [3], и существенно улучшает алгоритм, предложенный в работе [8].

2. Зашумленные входные сигналы классифицируются существующими нейросетевыми алгоритмами неудовлетворительно [5, 6]; эксперименты же с незначительными шумами в 0,2 пиксела подтверждают незначительное повышение точности лишь на 4%, и, кроме того, они не существенны, так как базируются на пренебрегаемо малых ошибках сигналов.

3. В связи с отмеченным возникает необходимость разработки алгоритмов классификации образов, максимально устойчивых как к незначительным, так и к значительным шумам, т.е. робастных алгоритмов.

Литература

1. Гамбарова, Е.М. Практические аспекты обучения нейронных классификаторов для распознавания объектов по космическим снимкам высокого разрешения / Е.М. Гамбарова // Искусственный интелект. - 2007. - №4. - С. 574-579.

2. Гамбарова, Е.М. Применение нейронных сетей для распознания пространственных данных на космических снимках IKONOS / Гамбарова Е.М. // Инф. и космос. - 2007. - №4. - С. 83-91.

3. Каллан, Р. Основные концепции нейронных сетей / Р. Каллан. - М.: Издательский дом «Вильямс», 2001. - 288 с.

4. Назаров, А.С. Фотограмметрия: учебное пособие для студентов вузов / А.С. Назаров. - Минск.: Тетро Системс, 2006. - 368 с.

5. Медведев, В.С. Нейронные сети. MATLAB 6 / В.С. Медведев, В.Г. Потемкин; под общ. ред. В.Г. Потемкина. - М.:ДИАЛОГ-МИФИ, 2002. - 496 c.

6. Осовский, С. Нейронные сети для обработки информации / С. Оссовский; пер. с польского И.Д. Рудинского. - М.:Финансы и статистика, 2002. - 344 с.

7. Хайкин, Саймон. Нейронные сети: полный курс, 2-е изд. испр. / Хайкин, Саймон; пер. с англ. - М.: ООО «И.Д. Вильямс», 2006. - 1104 с.

8. Ярмоленко, А.С. Применение теории нейронных сетей в геоинформатике / А.С. Ярмоленко // Изв. вузов. Геодезия и аэрофотосъемка. - 2008. - №2. - С. 33-44.

Размещено на Allbest.ru