Оценка качества алгоритма сшивки изображений, основанного на методе функционализации

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

В статье рассматриваются некоторые научно-практические результаты решения задачи «сшивки» полос изображений, получаемых космическим аппаратом (КА) дистанционного зондирования Земли.

Рассматриваемая задача «сшивки» порождена особенностями бортовой аппаратуры, регистрирующей изображения подстилающей поверхности.

Оптическая система КА формирует цифровые растровые изображения с помощью матриц приборов с зарядовой связью (ПЗС-матриц), состоящих из нескольких секций, расположенных в фокальной плоскости объектива, как показано на рис. 1.

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Рис. 1. Ступенчатое расположение секций ПЗС-матриц

С ПЗС-матриц считываются строки изображения. Стрелка на рис. 1, ориентированная строго перпендикулярно секциям матриц, указывает оптимальное направление вектора скорости движения оптической системы в процессе фотографирования подстилающей поверхности.

Отдельные секции ПЗС-матрицы формируют полосы оцифрованных изображений. Смежные секции расположены с перекрытием в несколько пикселей (ячеек матриц) в области смежности их концов. В результате смежные полосы изображений содержат по своим краям изображения одних и тех же участков местности. Поэтому при формировании из отдельных полос одного кадра необходимо выполнить сшивку этих полос: удалить повторяющиеся фрагменты изображений.

При неизменном и оптимальном направлении вектора скорости движения оптической системы задача сшивки решается отбрасыванием определенного количества пикселей, например, с левого края каждой строки каждой полосы изображения. Но в процессе съемки этот вектор нестабилен из-за неточности отработки программного движения и наличия случайных эволюций ориентации КА относительно собственного центра масс. В результате на каждом данном стыке смежных полос в разных соответствующих строках изображений ширина области перекрытия сшиваемых изображений различна. Кроме того, взаимный сдвиг изображений вдоль шва также не постоянен. Все это делает задачу склеивания, сшивки изображений нетривиальной.

1. Результаты обработки реальных швов.

Автором совместно с П.К. Кузнецовым были разработаны программные средства (ПС), в которых реализован метод функционализации [1-4] применительно к задаче сшивки изображений. Ввиду того, что параметры сшивки изображений изменяются, как отмечено выше, от строки к строке, требуется вычислять параметры множества локальных сшивок. В разработанных ПС результат каждого локального совмещения (сшивки) изображений фиксируется в виде строки протокола сшивки изображений (ПСИ). ПСИ представляет собой таблицу значений двух компонент (координат) вектора сшивки, которые вычисляются с точностью до доли пикселя. Такую точность будем называть субпиксельной. При этом сшиваемые изображения рассматриваются как «правое» и «левое». Структура ПСИ принята такой, что его отдельный вектор задает смещение конкретной строки правого изображения относительно левого изображения.

Корректность вычисленных ПСИ для реальных швов контролировалась путем ручного сведения изображений в соответствии с данными ПСИ. Качество сведения контролировалось как чисто визуально на увеличенных в несколько раз изображениях фрагментов сшиваемых изображений, так и на основе сравнения функций взаимной корреляции этих фрагментов в окрестностях точек сведения, записанных в ПСИ. Поскольку ПСИ вычислялись с субпиксельной точностью, при их контроле фрагменты изображений при ручном сведении смещались с шагом 1/8 доли пикселя. Не всегда результаты сведения, лучшего с позиций визуального контроля, точно совпадали с локальным максимумом функции корреляции, но в подавляющем большинстве случаев оба результата расходились только на доли пикселя и попадали в окрестность данных ПСИ, полученного автоматически с точностью долей пикселя. Это говорит о достаточно высокой точности ПСИ, вычисляемых алгоритмом, реализующим метод функционализации, и, следовательно, о корректности метода и его программно-алгоритмической реализации. Следует отметить, что метод функционализации демонстрирует в десять и более раз лучшее быстродействие в сравнении с корреляционным методом совмещения изображений, и в отличие от корреляционных методов мало чувствителен к наличию регулярных структур в изображениях.

Примененный визуальный контроль точности вычисленных ПСИ весьма трудоемок. Поэтому для получения лучшего представления о точностных свойствах использованного алгоритма были поставлены эксперименты с искусственно созданными швами, для которых известны точные значения векторов сшивки каждой из строк изображения.

2. Эксперименты с искусственными швами

2.1. Схема получения и задача сшивки искусственных полос изображений.

В реальных швах (зонах перекрытия изображений) пиксели сшиваемых изображений сформированы разными секциями ПЗС-матриц и поэтому не могут быть идеальными копиями друг друга. В описываемых экспериментах швы создавались искусственно вырезанием из одного изображения двух взаимно перекрывающихся полос изображений. В результате источником соответствующих пикселей сшиваемых полос служили одни и те же пиксели исходного изображения, что, конечно, значительно упрощало задачу сшивки, поскольку устраняло влияние на процесс сшивки различий в случайном шуме, присущих разным ПЗС-ячейкам.

Искусственные полосы изображений создавались по следующей технологии.

1. На исходном изображении задавались границы двух полос (рис. 2): левой (сплошные линии) и правой (пунктирные линии).

2. Содержимое исходного изображения в пределах заданных границ полос преобразовывалось в отдельное изображение двух полос с прямыми границами, в котором строка пикселей правой полосы являлась продолжением строки пикселей левой полосы.

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Рис. 2. Получение искусственных полос изображений

На рис. 2 стрелки между двумя изображениями показывают переход заданных граничных линий полос с исходного изображения на изображения полос. При этом левая (L - left) искусственная полоса повторяла фрагмент исходного изображения без искажений. Правая (R - right) искусственная полоса - результат выпрямления ее кривых границ, изображенных на рис. 2 пунктирной линией. В итоге содержимое полосы R построчно повторяло содержимое фрагментов соответствующих строк исходного изображения, но с взаимным смещением между строками. Поэтому правая граница полосы L, являясь прямой на исходном изображении, в полосе R становилась криволинейной (сплошная линия в полосе R), повторяя заданные границы правой полосы зеркально.

Для простоты подготовки изображений искусственных полос их взаимный вертикальный сдвиг брался равным нулю по всем строкам изображений.

Задача сшивки искусственных полос изображений решалась как задача автоматического вычисления с субпиксельной точностью ПСИ: таких построчных сдвигов изображения полосы R влево (на рис. 2 белые стрелки), при которых левая граница полосы R оказывалась совмещенной с пунктирной кривой в полосе L, задающей положение левой границы полосы R на исходном изображении. Таким образом, в ПСИ фиксировался результат восстановления положения левой границы правой полосы на исходном изображении.

2.2. Вычисление яркостей пикселей искусственной полосы R

Форма искусственного шва задавалась аналитически в виде затухающих гармонических колебаний (1):

x(y) = -10 + 6e(-0,00002*y) cos(2*10-5*y), (1)

где y - номер строки изображения: 0 * y * h; 90 000 * h * 230 000; x(y) - координата положения левой границы правой полосы относительно правой границы левой полосы в пикселях.

Конкретные числовые параметры затухающих гармонических колебаний были выбраны из соображений получения большей амплитуды колебаний и большей скорости изменения шва, чем наблюдалось на реальных швах, что создавало заведомо более сложные условия для решения задачи сшивки.

Задача восстановления положения левой границы полосы R относительно правой границы полосы L решалась как задача восстановления с субпиксельной точностью значений функции x(y) для заданных значений номеров строк.

Пиксели полосы L брались из исходного изображения без изменений. При построчном вычислении кодов яркостей пикселей полосы R для каждого целого значения yi номера строки изображений вычислялось точное значение координаты x(yi). Затем на строку yi исходного изображения начиная с точки (x(yi), yi) накладывалась строка пикселей формируемой полосы R (рис. 3): пиксели исходного изображения выделены жирными границами, а пиксели полосы R - пунктирными границами и заливкой. Координаты x(yi) отсчитывались от правой границы самого правого пикселя полосы L, которой соответствует значение x=0 (рис. 3).

Рис. 3. Взаимное расположение строк полосы R и пикселей полосы R относительно пикселей исходного изображения

Видно, что строки пикселей полосы R сдвинуты относительно друг друга, и каждый новый пиксель накрывает доли двух соседних в строке пикселей исходного изображения.

Поэтому каждый пиксель полосы R формировался из долей таких соседних пикселей в соответствии с соотношением (2), которое эквивалентно линейной интерполяции яркости между кодами яркости, соответствующими двум соседним пикселям исходного изображения:

R(xR, yi) = E(xk +xR, yi)*S1(yi) + E(xk +1+xR, yi)*S2(yi), (2)

где xR - координата x пикселя полосы R: 0 * xR * 49 (ширина полосы = 50 пикселей); R(xR, yi) - яркость пикселя полосы R; E(xk+xR, yi) - яркость пикселя исходного изображения с координатой x, отсчитываемой от точки -0,5 оси абсцисс: от центра правого пикселя левой полосы (см. рис. 3); xk = x(yi), где операция означает отсечение дробной части числа a; S1(yi), S2(yi) - площади левой и правой долей пикселя полосы R, на которые он разрезается границей между соседними в строке пикселями исходного изображения; S1(yi) = frac(x(yi)), где frac - операция выделения дробной части аргумента;

S2(yi) = 1- S1(yi).

Из рис. 3 видно, что площади S1(yi) и S2(yi) меняются от строки к строке, но сохраняют постоянные значения в пределах данной строки.

2.3. Результаты экспериментов по восстановлению искусственных швов.

На рис. 4 приведены:

а) два практически совпавших графика: искусственного шва (1), заданного на изображении вида рис. 2, и вычисленного ПСИ, представляющего собой таблицу восстановленных значений функции x(y), заданную выражением (1);

Рис. 4. Пример графика ПСИ для искусственного шва и его ошибок

шов искусственный матрица гармонический

б) ошибка ПСИ в виде абсолютного различия двух графиков с рис. 4 а; линия тренда (светлая) высокочастотной составляющей ошибки ПСИ и график функции T(y) (3) (полужирная черная линия), полученной на основе дифференцирования уравнения искусственного шва (1), достаточно точно совпадающий с линией тренда.

T(y) = -8.0*10-3*e(-0,000018*y) sin(2*10-5*(y+5000)). (3)

В приведенном примере ошибка ПСИ не превосходит по абсолютному значению 0,05 пикселя. Это типичный результат, полученный в экспериментах с искусственными швами. В худших случаях абсолютное значение ошибки ПСИ не превышало 0,12 пикселя.

На примере рис. 4 видно, что в ошибке ПСИ присутствуют низкочастотная и высокочастотная составляющие. Из сопоставления (см. рис. 4) графиков восстановленного шва и ошибок ПСИ видно, что низкочастотная составляющая ошибок ПСИ коррелирована с производной по координате y графика шва: наибольшие ошибки ПСИ соответствуют участкам графика шва с наибольшим значением производной; на участках прохождения графика шва через локальные экстремумы низкочастотная составляющая ошибки практически равна нулю. Это указывает на существование скоростной динамической ошибки в восстановленном шве. Скоростная ошибка вызвана осреднением видеоданных внутри окон анализа, использованных при совмещении изображений [4], и пропорциональна скорости изменения графика шва.

На график ошибок ПСИ наложена линия его тренда (светлая кривая на рис. 4 б), задающая низкочастотную составляющую графика ошибок ПСИ, а также линия T(y), заданная выражением (3), полученным в результате подбора некоторых параметров производной от соотношения (1). Видно, что линия T(y) достаточно точно приближает линию тренда. Это подтверждает замеченную из сравнения графиков коррелированность низкочастотной составляющей ошибки ПСИ с производной по координате y графика искусственного шва.

На рис. 5 приведена гистограмма распределения амплитуд высокочастотной составляющей ошибки ПСИ относительно линии тренда по интервалам ошибок. Более 80% ошибок имеют амплитуду менее 0,01 пикселя.

Высокочастотные колебания ошибки ПСИ вызваны несколькими факторами:

- принятыми условиями останова итерационного процесса вычисления параметров вектора сшивки;

- погрешностями вычисления интегралов, входящих в математическую формулировку метода функционализации изображений [1-4];

- методическими погрешностями вычисления кодов яркостей пикселей при пересчете по линейному закону изменения яркости (2) каждого пикселя изображения на новую, смещенную на доли пикселя, сетку дискретизации изображения.

Рис. 5. Гистограмма частот отклонения ошибки сшивки от линии тренда

Высокая точность, демонстрируемая реализованным алгоритмом на примерах вычисления протоколов сшивки искусственных швов, говорит о корректности получаемых протоколов и достоверности результатов обработки реальных швов. При этом более тщательной проработки требует проблема останова итерационного процесса, используемого при совмещении изображений [4].

Высокочастотная составляющая ошибок протокола сшивки реальных швов является случайной и, как показывают проведенные эксперименты, имеет близкое к нулю математическое ожидание. Поэтому фильтрация высокочастотных составляющих ПСИ должна повысить достоверность восстановления параметров реальных швов. Вопрос о выборе параметров фильтра высоких частот здесь не обсуждается и является предметом дальнейших исследований.

Факт наличия скоростной ошибки в низкочастотной составляющей ошибки ПСИ, выявленный по результатам обработки искусственных швов, позволяет локализовать места наиболее вероятных ошибок восстановления реальных швов по критерию скорости изменения компонент вектора сшивки от строки к строке изображения. Этот факт может быть использован для оценки достоверности полученных ПСИ и их фильтрации.

Литература

1. Абакумов А.М., Кузнецов П.К., Мишин В.Ю., Семавин В.И. (1980). Метод измерения параметров движения объекта // Оптические сканирующие устройства и измерительные приборы на их основе: Тез. докл. Всесоюз. совещ. 4-5 июня, г. Барнаул. Ч.1. - Барнаул, 1980. - С. 50-51.

2. Кузнецов П.К., Семавин В.И. Метод определения параметров движения яркостного поля // Известия вузов. Приборостроение. - 1990. - №6. - С. 26-30.

3. Кузнецов П.К., Семавин В.И., Мишин В.Ю., Владимиров М.В. Метод функциональных преобразований в задаче определения скорости движения яркостных полей // Вестник Самар. гос. техн. ун-та. - 1994. - №1. - С. 66-76.

4. Кузнецов П.К., Мартемьянов Б.В., Семавин В.И., Чекотило Е.Ю. Метод определения вектора скорости движения подстилающей поверхности // Вестник Самар. гос. техн. ун-та. - 2008. - №2. - С. 96-110.

Размещено на Allbest.ru