Применение искусственной нейронной сети для структуризации сегментированных компонентов изображения поверхности изделия, полученного при структурированном освещении

Размещено на http://www.allbest.ru/

УДК 621:681.93.932

Витебский государственный технологический университет, Витебск

Применение искусственной нейронной сети для структуризации сегментированных компонентов изображения поверхности изделия, полученного при структурированном освещении

канд. техн. наук, доц. Д.Н. Свирский, Ю.В. Полозков

Аннотация

изображение цифровой растровый фотограмметрия

В статье рассматривается проблема автоматизации обработки изображений, использующихся для создания цифровых моделей поверхностей технических объектов пространственно сложной (нерегулярной) формы. Данная проблема возникает при разработке различных фотограмметрических систем, позволяющих выявлять структуру трехмерной сцены на основе двумерной информации изображения как проекции объектов трехмерного пространства на плоскость. Рассмотрены особенности обработки растровых графических образов, получаемых в процессе цифровой фотограмметрии с помощью освещения поверхности объекта любой пространственной формы структурированным светом. Излагаются принципы формализации и кластеризации компонентов, составляющих графический образ после сегментации изображения. Для структуризации сегментированных компонентов изображения предложена методика использования искусственной нейронной сети и реализующий ее алгоритм. Реализация этапа структуризации с применением нейросети позволит обеспечить корректность машинного восприятия изображений для повышения достоверности результатов последующей математической обработки данных в процессе цифровой фотограмметрии.

Одним из наиболее эффективных средств формального описания (оцифровки) поверхностей объектов, имеющих нерегулярную форму, являются фотограмметрические системы. В настоящее время интенсивно разрабатываются методы и средства цифровой фотограмметрии, основанные на структурированном освещении поверхности объекта [1 - 3]. Одной из актуальных проблем, сдерживающих широкое применение этих систем в производстве, является автоматизация обработки полученных изображений. Процесс их обработки, как правило, включает следующие этапы: предварительная обработка; сегментация и скелетизация изображения; структуризация сегментированных компонентов изображения; сохранение и визуализация данных. Структурированное освещение объекта обеспечивается проецированием на его поверхность сетки слайда, в общем случае какого-либо его образа. Регистрируемое при этом цифровой фото- или видеотехникой изображение представляет собой чередование светлых и темных полос, отображающихся на поверхности объекта (рис. 1).

Рис. 1. Фотоснимки фрагментов поверхности нерегулярных объектов, освещенных структурированным светом в процессе цифровой фотограмметрии

Изменение кривизны световых полос положено в основу математического аппарата, позволяющего выполнять реконструкцию цифровой модели поверхности. На этапе формирования исходных данных, в качестве которых выступают массивы двумерных координат проекций высветившихся на поверхности объекта точек, определяющее значение имеет адекватность машинного восприятия проецируемого образа. В частности, при проецировании сетки, требуется установить соответствие количества и порядка сегментированных компонентов фотограмметрического изображения действительному образу слайда. Поэтому одним из наиболее ответственных этапов является структуризация сегментированных компонентов.

Постановка задачи. Изображения в процессе их обработки сначала подвергаются фильтрации шумов, а затем сегментации для выделения компонентов - точек, линий, фигур и других графических объектов, характеризуемых измерительной и другой актуальной информацией. В процессе сегментации изображения запись выходного массива сегментированных компонентов, в общем случае, осуществляется в произвольной последовательности, например, в порядке обнаружения исходных точек для детектирования компонентов. Кроме того, вследствие частичной потери информации из-за условий проведения съемок, некачественном выполнении предварительной обработки и сегментации изображений могут возникать разрывы сегментированных компонентов, что искажает точность векторизации первоначальных графических образов. В частности, в способе цифровой фотограмметрии, представленном в работе [1], может нарушаться количество сегментированных компонентов и последовательность их нумерации при записи в базу данных (рис. 2). Причинами такого рода погрешностей, помимо вышеуказанных, в данном случае являются выступы, свойственные нерегулярным поверхностям, углубления, отверстия и прочие особенности формы, которые приводят к появлению затененных участков. Количество и последовательность расположения световых проекций слайда на изображении, а соответственно, его сегментированных компонентов являются факторами, во многом определяющими конечный результат фотограмметрических расчетов. Поэтому для обеспечения корректности интерпретации таких изображений и достоверности результатов их математической обработки должен проводиться этап структуризации, задача которой заключается в определении истинного количества и последовательности расположения сегментированных компонентов, соответствующих проекциям световых полос сетки слайда [4].

Рис.2. Примеры характерных погрешностей сегментированных изображений различных объектов

Формализация и кластеризация сегментированных компонентов. Сложность анализа и структуризации сегментированных компонентов рассматриваемых изображений состоит в невозможности создания математически корректных шаблонов их образов ввиду непредсказуемости облика исследуемых нерегулярных объектов и характера развития компонентов изображения. Кроме того, непрерывный компонент и части дискретного компонента могут иметь одинаковое признаковое описание (например, они могут быть одинаковыми по толщине, длине и т.п.). Поэтому для формализации процесса распознавания таких изображений учитывались преимущества методов структурного и признакового описания [5-7]. При этом использовалось то обстоятельство, что аргументы функций, описывающих сегментированные компоненты изображений, не могут убывать. Авторами предлагается автоматизировать процедуры структуризации сегментированных компонентов растрового изображения с помощью его нейросетевого анализа.

Для выполнения этапа предобработки данных нейросетевого анализа были определены и математически описаны терминальные элементы (ТЕ) изображения: элементарный компонент (ЭК), непрерывный компонент (НК), базовый компонент (БК), фрагмент (ФК), синтезированный компонент (СК) изображения [5]. Посредством определения возможной принадлежности ТЕ друг другу восстанавливается связность компонентов изображения, поврежденных в процессе его обработки. Таким образом СК представляется цепочкой компонентов, содержащей БК и ФК, не соприкасающаяся ни с каким другим (смежным по вертикали) компонентом, не имеющая ответвлений и обратных направлений. Под ответвлением и соприкосновением понимаются случаи существования элемента изображения, принадлежащего разным типам ТЕ. Под обратным направлением ТЕ понимаются случаи существования в компоненте точек, в которых значения координат в горизонтальном направлении убывают относительно предыдущих точек, принадлежащих рассматриваемому компоненту. В общем же случае СК могут быть интерпретированы как НК или БК без фрагментов.

Тип ТЕ определяется по расположению его особых точек, в качестве которых выступают начальные, конечные точки ТЕ, а также текущие точки, с координатами (по оси X или Y), равными координатам начальных и конечных точек смежных ТЕ. По координатам особых точек выполняется проверка условий сравнения, определяющих пространственно-логические отношения между ТЕ и составляются матрицы-кластеры (далее кластеры) булевых функций для каждого из вариантов пространственных отношений между всеми парами ТЕ изображения (табл. 1). Индексы строк и столбцов данных кластеров соответствуют номерам ТЕ. Построенные таким образом верхне-треугольные кластеры булевых функций с нулевой диагональю, в которых все ТЕ разделяются на БК, НК и ФК, на этапе предобработки данных выступают в качестве основных структурных элементов.

Таблица 1. Условия, описывающие пространственные отношения между парами ТЕ изображения

В результате исследований были разработаны семантические правила, позволяющие выполнить кластеризацию ТЕ изображения, исходя из их взаимных пространственно-логических отношений. Так, например, в таблице 2 приведены правила для осуществления отсева ФК, перекрываемых другими ТЕ по вертикали относительно БК.

В конечном итоге формируются серии кластеров, содержащих индексы ТЕ, которые могут потенциально входить в состав СК, т.е. принадлежать одному сегментированному компоненту изображения, имеющему разрывы. Причем нумерация кластеров в серии организована таким образом, что номер кластера, содержащего БК, будет меньше номера кластера, в котором записаны ФК. Пространственно-логические отношения между ТЕ внутри кластера определяют уровень данного кластера и уровень всей серии, к которой относится этот кластер. Так, кластер низшего уровня содержит только смежные по вертикали ТЕ, а кластер более высокого уровня содержит ТЕ, по которым могут быть сформированы серии кластеров низшего уровня.

Анализ связности сегментированных компонентов. Выработка решения о связности компонентов осуществляется посредством анализа ТЕ, входящих в состав кластеров серий низшего уровня. Для этого применяется искусственная нейронная самоорганизующаяся сеть типа “когнитрон”, позволяющая реализовать конкурентный метод обучения без учителя [8]. Разработанная архитектура искусственной нейронной сети (рис. 3) позволяет формировать цепочки из ТЕ кластеров, включенных в одну серию [9]. Количество нейронов в нулевом (рецепторном) и последующих слоях этой нейросети зависит от количества конкурирующих ТЕ, входящих в кластеры всех созданных серий. Количество слоев определяется максимальным уровнем сформированных кластеров. Для проведения анализа должны рассматриваться минимум три ТЕ, записанных в двух кластерах одной серии.

Таблица 2. Правила формирования кластера, в котором исключаются ФК, перекрываемые ТЕ по вертикали относительно БК

где M_I и M_II - кластеры, сформированные исходя из условий, представленных в таблице 1; M_R -кластер откликов; i, j, k - номера столбцов и строк в кластерах, причем , , .

Размещено на http://www.allbest.ru/

Рис.3. Структура искусственной нейронной сети для анализа связности сегментированных компонентов

Внешнее возбуждение нейронов рецепторного слоя задают двоичные значения ТЕ кластеров, полученных на этапе предобработки данных. Идентификация нейронов рецепторного слоя осуществляется по индексам k - номер серии, m - номер кластера и n - номер ТЕ элемента в этом кластере. Выходы нейронов рецепторного слоя представляют собой векторы параметров, описывающих анализируемые ТЕ. В данные векторы включаются геометрические (координаты особых точек ТЕ, максимальный размер ТЕ, характер развития ТЕ и др.) и аналитические (смежность ТЕ, количество ТЕ в цепочке и др.) параметры. Значения параметров нормализуются:

,

где x'_j - нормализованное значение текущего параметра; x_j - исходное значение текущего параметра; x_i - исходное значение i-го параметра в векторе; K - размер вектора параметров.

Нейроны рецепторного слоя распределяют свои выходы по нейронам первого слоя (рис. 3). На первом слое рассчитывается разность векторов между соответствующими векторами параметров пар БК и ФК, а также с учетом вектора весовых коэффициентов рассчитывается взвешенная сумма элементов вектора разности. При этом веса могут иметь только положительные значения. На первом слое область конкуренции i-го нейрона составляют нейроны того же слоя, имеющими связи с нейронами рецепторного слоя, имеющими следующую идентификацию: N_m,n-1, N_m,n, N_m,n+1, N_m+l,n-1, N_m+l,n, N_m+l,n+1, где , t - количество кластеров в серии. На втором слое нейронами осуществляется поиск максимального входа, поступающего с нейронов первого слоя:

,

где k - количество входов нейрона.

На нейроны второго слоя оказывается латеральное торможение активными нейронами первого слоя, входящими в область конкуренции (рис. 3), реализуя тем самым метод “справедливой” конкуренции. В связи с этим значение выхода нейрона вычисляется с помощью функции, применяющейся в когнитроне:

,

где - значение тормозящего входа.

Функция активации нейрона имеет вид:

.

Отклик данных нейронов позволяет находить решения конкурентной борьбы ТЕ за объединение в двух возможных “базовых” случаях (рис. 4): если рассматриваются четное количество БК с нечетным ФК (рис. 4 а) и нечетное количество БК с четным ФК (рис. 4 б). При этом устанавливаются индексы ТЕ, победивших в конкуренции за принадлежность текущей цепочке.

Рис.4. Базовые случаи конкуренции ТЕ

На третьем слое сети осуществляется анализ корректности цепочек ТЕ, составляющих СК посредством следующей функции активации нейронов:

, где NET = (TE_m,n·TE_m+l,k)·(TE_m,n±p·TE_m+l,q) = 1 (k ? q) => 1.

где m - индекс кластера; , t - количество кластеров в серии; n, k, q - индексы, соответствующие номеру ТЕ в кластере.

Нулевой выход нейронов активирует в сети обратную связь с изменением значений векторов весовых коэффициентов.

В результате анализа связности ТЕ с помощью представленной нейросети формируются последовательности индексов ТЕ, составляющих СК, находящихся в области изображения, ограниченной ТЕ кластеров одной серии. Сформированному СК присваиваются параметры крайних ТЕ - БК и последнего ФК, а также часть их пространственно-логических отношений с другими ТЕ. Таким образом, новыми параметрам являются номер, координаты начальной точки, характер развития линии в области этой точки, соответствующие БК, находящемуся как ТЕ, содержащийся в кластере с наименьшим номером в серии. С другой стороны новыми параметрами также являются координаты конечной точки, характер развития линии в области этой точки, соответствующие последнему ФК, т.е. ТЕ кластера с наибольшим номером в серии). При этом индексы промежуточных и последнего ТЕ, входящих в организованный СК удаляются из кластеров высших уровней. Это позволяет обеспечить переход между уровнями при добавлении кластеров новых серий в искусственную нейронную сеть.

Для обеспечения целостного машинного восприятия изображения в нейросеть последовательно добавляются кластеры новых серий, включающие индексы ранее записанных ТЕ и СК, полученных в ходе работы нейронной сети. При этом обработка информации будет осуществляться на следующих уровнях искусственной нейросети. Цикл продолжается до тех пор, пока не сформируется один (последний) кластер, включающий только смежные по вертикали относительно друг друга ТЕ - СК и/или НК. Графически структура такой иерархической нейросети представлена на рис. 5.

Размещено на http://www.allbest.ru/

Рис.5. Структура иерархической нейросети для целостного машинного восприятия изображения

Алгоритмизация предложенной методики. Основными шагами алгоритма структуризации компонентов изображения являются:

· Шаг 1. Формирование кластеров, описывающих пространственно-логические отношения ТЕ в соответствие с условиями, указанными в таблице 1.

· Шаг 2. Выявление ТЕ конкурирующих, путем формирования серий кластеров согласно разработанным семантическим правилам операций над кластерами, полученными на шаге 1. На рисунке 6 представлен алгоритм формирования кластера в серии на примере составления кластера M_R по правилам таблицы 2. Результатом выполнения данного шага является выявление ТЕ - явных частей сегментированных компонентов, а также создание кластеров, содержащих индексы ТЕ, которые могут потенциально входить в состав СК и, следовательно, будут участвовать во взаимной конкурентной борьбе за образование СК в процессе работы искусственной нейронной сети.

· Шаг. 3. Формирование наборов синапсических входов нейронов, содержащих параметры соответствующих БК и ФК, выявленных на шаге 2.

· Шаг 4. Активация и функционирование искусственной нейронной сети. Результатом работы нейросетевого алгоритма является кластер, содержащий индексы, соответствующие БК и ФК, которые должны образовать СК.

· Шаг 5. Создание СК и сортировка СК и НК по порядку (в данном случае номера ТЕ возрастают сверху вниз).

Заключение

Таким образом, методика и реализующий ее алгоритм структуризации, разработанные с применением принципов построения нейронной сети и основанные на структурном и признаковом описании сегментированных компонентов, позволяют автоматизировать процесс определения связности ТЕ и, тем самым, обеспечить корректность и целостность машинной интерпретации фотограмметрических изображений. Возможность добавления на этапе предварительной обработки данных новых условий и семантических правил, имеющих однотипный характер, которые могут описывать геометрию и взаимное расположение различных ТЕ, повышает универсальность представленного метода для обработки образов в различных системах технического зрения.

Размещено на http://www.allbest.ru/

Рис.6. Алгоритм заполнения кластера, в котором исключаются ФК, перекрываемые другими ТЕ по вертикали относительно БК

Литература

1. Свирский Д. Н., Полозков Ю. В. Создание трехмерных цифровых моделей нерегулярных объектов по их видеоизображениям // Цифровая обработка изображений. - 2001. - Вып. 5. - С. 33 - 38.

2. Li W. et al. Object adapted pattern projection - Part I: generation of inverse patterns // Optics and Lasers in Engineering. -2004. - 41. - P. 31 - 50.

3. M. Pawіowski, M. Kujawiсska. Shape and position determination on combination of photogrammetry with phase analysis of fringe patterns // Lecture Notes in Computer Science 2124, Springer, Berlin. - 2001. - P. 391 - 399.

4. Полозков, Ю.В. Проблема идентификации растровых изображений в процессе видеооцифровки нерегулярных объектов // Вестник УО “ВГТУ”. - 2003. - Вып. 5. - С. 90 - 94.

5. Полозков, Ю.В., Свирский Д.Н. Компьютерная обработка изображений для рекурсивного восстановления нерегулярных объектов // Информатика - 2005. - № 4. - С. 47 - 56.

6. Курс лекций по дисциплине «Системы искусственного интеллекта» - Режим доступа: http://www.mari-el.ru/mmlab/home/AI.

7. . Абламейко С. В., Лагуновский Д. М. Обработка изображений: технология, методы, применение. - Мн.: Амалфея, 2000. - 304 с.

8. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. - Москва: Мир, 1992. - 164 с.

9. Polozkov Y., Svirsky D. Features of Images Processing for Irregular Objects Video Digitizing // Proc. 8^th Int. conf. “PRIP'2005”. - Minsk: Propilei, 2005. - P. 144 - 147.

Размещено на Allbest.ru