Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №4 (июль - август 2017) http://naukovedenie.ru publishing@naukovedenie.ru

Размещено на http://www.allbest.ru/

Страница 10 из 12 http://naukovedenie.ru 09TVN417

Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №4 (июль - август 2017) http://naukovedenie.ru publishing@naukovedenie.ru

Страница 10 из 12 http://naukovedenie.ru 09TVN417

Исследование методов объективной оценки качества тепловизионных изображений

Бабкин Павел Сергеевич

Полторак Анастасия Игоревна

Павлов Юрий Николаевич

Максименко Екатерина Алексеевна

Смирнова Евгения Михайловна

Аннотация

изображение тепловизионный matlab scale

Приводятся результаты анализа и реализации в среде MATLAB 7.8 R 2009 a формальных методов оценки изображений Picture Quality Scale и Multi-Scale Structural Similarity и их слияния методом Multi-Method Fusion. Показаны результаты эксперимента по оценке качества изображений с помощью субъективных и объективных методов на наборе тепловизионных изображений. Решение задачи слияния методом Multi-Method Fusion позволило получить более точную оценку по сравнению со стандартной версией этого алгоритма. Результаты данной работы могут быть интересны при практической реализации систем цифровой обработки изображений, а также автоматизации контроля качества изображения с тепловизоров.

Ключевые слова: объективные методы оценки качества изображения; Алгоритм; Picture Quality Scale; Multi-Scale Structural Similarity; Multi-Method Fusion; канал инфракрасного диапазона; система оптического наблюдения

Введение

В настоящее время, как в России, так и за рубежом широко ведутся разработки систем технического зрения различного назначения. Принцип работы тепловизионной системы основан на том факте, что любой предмет, температура которого выше 0 K излучает энергию в инфракрасном диапазоне. Тепловизор захватывает часть этой излучаемой энергии и обеспечивает откалиброванное представление этой температуры. С помощью различных методов сканирования и фильтрации, генерируется пространственное отображение температуры и сохраняется в виде компьютерного файла для последующего анализа и документирования.

Задачей этой работы является исследование методов оценки качества тепловизионных изображений. Общеизвестно, что воспринимаемое качество изображение напрямую связано с видимостью шумового сигнала. Наиболее распространенный критерием оценки качества изображения является оценка среднеквадратической ошибки СКО (или MSE), вычисляемая путем усреднения квадратов разностей интенсивностей искаженных и эталонных пикселей изображения, наряду с соответствующим количеством пиков отношения сигнал - шум. Данный метод прост для расчета и имеет четкий физический смысл, но является весьма ненадежным, так как он плохо соответствует системе визуального восприятия человека (HVS) и, соответственно, плохо отражает воспринимаемое визуальное качество. Два искаженных изображения с одной и той же среднеквадратичной ошибкой могут иметь очень разные типы искажений, некоторые из которых являются гораздо более заметными, чем другие. Так же следует заметить, что величина MSE в отдельных случаях может незначительно изменяться при существенном ухудшении качества изображения, а, следовательно, она не может быть взята за основу в построении оптимальных с визуальной точки зрения методов объективной оценки изображений.

На современном этапе развития все методы оценки качества изображений классифицируются на две большие категории:

1. Субъективные критерии оценки качества изображений. Такая оценка в данном случае осуществляется человеком или группой лиц.

2. Объективные критерии оценки качества изображений. В таких методах оценка производится алгоритмически. Соответственно, такой алгоритм может использовать оригинал изображения для оценки качества, то есть быть эталонным, или может определять качество без наличия неискаженной копии изображения, то есть быть неэталонным.

Субъективный визуальный анализ представляет собой наиболее реалистичное мнение людей об изображении или видео, а также самый надежный показатель визуального качества среди всех имеющихся средств. В ходе субъективного анализа решение о качестве принимается группой экспертов - тех людей, кто мог бы наблюдать результаты работы некоторой испытываемой системы, а окончательная оценка получается как среднее арифметическое всех оценок членов группы (MOS).

Под объективными критериями оценки качества понимаются критерии, расчет которых происходит автоматически, без участия группы экспертов [1]. Задача таких алгоритмов оценить качество изображений так, как если бы его оценивал человек, то есть выставленные автоматически оценки должны максимально соответствовать субъективным метрикам.

В настоящей работе, основываясь на результатах, приведенных в статье [2], рассмотрены алгоритмы объективной оценки качества изображения PQS с граничным детектором Canny и MS-SSIM и проведена модификация данных алгоритмов с целью большего соответствия субъективной оценке, которая наиболее достоверно отражает визуальное качество изображения.

1. Постановка задачи

Целью данной работы является исследование и модификация алгоритмов объективной оценки качества изображения PQS с граничным детектором Canny и MS-SSIM с целью большего соответствия субъективной оценке, которая наиболее достоверно отражает визуальное качество изображения.

2. Методика решения задачи

Предлагаемая методика решения задачи состоит из следующих этапов:

1. исследование и модификация существующих алгоритмов оценки качества тепловизионных изображений;

2. реализация и апробация экспериментальным методом совмещения двух методов оценки качества изображений с целью повышения результирующей точности оценки.

3. Подготовка материалов для проведения эксперимента

Как было обозначено выше, в данной работе использовались методы объективной оценки качества изображения PQS с граничным детектором Canny и MS-SSIM, которые подробно описаны и проанализированы в статье [2]. Для их тестирования (реализация была осуществлена в среде MATLAB 7.8) были использованы монохромные изображения, полученные с помощью тепловизионной системы наблюдения (разработчик - фирма ОАО «ЦНИИ «Циклон»). Всего для тестирования было использовано 50 пар изображений. Изображения были подобраны таким образом, чтобы соответствовать типичным сценам наблюдения тепловизоров, при этом учитывая особенности составления сета изображений для тестирования, которые можно наблюдать в стандартных банках изображений.

В данной работе были использованы наработки стандартных баз данных изображений с приведенными субъективными оценками экспертов. Это позволяет существенно упростить и ускорить метрическую разработку и сравнительный анализ [3]. Далее приведены описания некоторых из них.

База TID2008 является самой объёмной по количеству тестовых изображений. Типы представленных искажений многообразны. Здесь содержатся несколько видов шумовых помех, артефакты от сжатия, дефекты передачи по каналам связи, искажения в результате цветовой коррекции и некоторые специфические типы. Многие типы искажения встречаются только в этой базе. В базе содержится 25 эталонных изображений и 1700 искаженных изображений, в том числе 17 видов искажений и четыре уровня различий для каждого типа искажения. Субъективные оценка качества в этой базе данных - MOS, в диапазоне от 0 до 9.

База LIVE - одна из первых тестовых баз, предложенная в 2006 году. Основой для базы стали 29 эталонных изображений с различным содержанием. Для каждого оригинала в среднем предлагается по 26 искажённых изображений. В таких изображениях присутствует один тип искажения из 5 наиболее часто употребимых (сжатия JPEG и JPEG2000, белый шум, гауссово размытие и смазывание). Субъективные оценки качества, представленные в этой базе данных - DMOS, в диапазоне от 0 до 100.

«Категорическая» база данных контроля качества изображений (CSIQ) содержит 30 эталонных изображений, и каждое изображение искажается, используя шесть типов искажений - сжатие JPEG, сжатие JPEG2000, глобальные контраст, белый шум, аддитивный гауссовский розовый шум и размытие по Гауссу - на 4-5 различных уровнях, в результате чего получаем 866 искаженных изображений. Оценка качества (0-1) представлена в виде DMOS.

База данных IVC содержит 10 оригинальных изображений и 235 искаженных изображений, в том числе четыре типа искажений - JPEG, JPEG2000, локально адаптированное разрешение (LAR) кодирования и размытость. Оценки субъективного качества, представленных в этой базе данных изображений являются МОS, в пределах от 1 до5.

База данных IVC-LAR содержит 8 оригинальных изображений (4 естественных изображения и четыре художественных образа) и 120 искаженных изображений, в том числе три типа искажений - JPEG, JPEG2000, и кодирование LAR. Оценки субъективного качества, представленные в этой базе данных изображений, являются МОS в пределах от 1 до 5.

Исходя из изложенных выше данных, для наложения на изображение были взяты искажения, такие как сжатие JPEG, сжатие JPEG2000, белый шум, аддитивный гауссовский розовый шум и размытие по Гауссу, что соответствует базе CSIQ. Данные фильтры искажений накладывались на оригинальное изображение программно в среде MATLAB 7.8. Из полученных 60 изображений были скомпонованы пары для демонстрации наблюдателям так, чтобы испытательные изображения или последовательности с одинаковыми типами искажений не были представлены в одном ряду. На рисунках 1 и 2 приведено по 5 пар изображений, последний из набора является эталонным и образует пару со всеми остальными искаженными версиями.

Рисунок 1. (а) изображение tema_JPEG c фильтром искажения JPEG;

(б) изображение tema_WHITE_NOISE c фильтром искажения WHITE_NOISE;

(в) изображение tema_PINK_NOISE c фильтром искажения PINK_NOISE; (г) изображение tema_GAUSS c фильтром искажения GAUSS; (д) изображение tema_CONTRAST c фильтром искажения CONTRAST; (е) оригинальное изображение tema без фильтров искажения

Рисунок 2. (а) изображение Boris_JPEG c фильтром искажения JPEG;

(б) изображение Boris_WHITE_NOISE c фильтром искажения WHITE_NOISE;

(в) изображение Boris_PINK_NOISE c фильтром искажения PINK_NOISE; (г) изображение

Boris_GAUSS c фильтром искажения GAUSS; (д) изображение Boris_CONTRAST c фильтром искажения CONTRAST; (е) оригинальное изображение Boris без фильтров искажения

Согласно рекомендациям [4] и описанию методики проведения эксперимента в главе 1.3 исследовательской части был проведен сеанс испытаний с 5 наблюдателями. В начале сеанса наблюдателям были даны пояснение о типе испытаний, шкале оценок, последовательности и порядке следования: эталонное изображение, серый фон, оцениваемое изображение, время для принятия решения, также их внимание было обращено на диапазон оценок от 0 до 5 баллов. Был показан диапазон и тип оцениваемых искажений на примерах изображений, отличных от тех, которые будут использованы в испытаниях, но сравнимых по восприятию. Предварительно было проведено несколько тренировочных демонстраций для того, чтобы удостовериться в надежности наблюдателей путем оценивания пар эталон/эталон и стабилизации их мнения перед непосредственной оценкой. При незначительных типах искажений наблюдателям давалась возможность просмотреть пару эталон/искаженное изображение еще раз, как и регламентировалось в варианте 2 проведения метода оценки DSIS [4]. Также демонстрация пар происходила так, чтобы максимально избежать влияния контекста - следования подряд изображений с похожими типами искажений. Сеанс испытаний, примерно равный 20 минутам, проводился с каждым наблюдателем индивидуально, чтобы на мнение эксперта ничто не повлияло.

После получения всех субъективных оценок была сформирована таблица (пример части этой таблицы приведён в виде таблицы 2), включающая в себя объективные и субъективные оценки, полученные в результате применения алгоритмов PQS с граничным детектором Canny и MS-SSIM к тем же парам изображений.

После получения всех оценок была выполнена проверка на аномальные измерения (подробное описание в разделе 3.1). Данная проверка выполнялась программно в MATLAB 7.8, и принимала на вход массив субъективных оценок. Для реализации экспортированный массив был отсортирован встроенной функцией MATLAB 7.8 по возрастанию, после чего в каждой строке осуществлялся поиск медианы, относительно которой и отсеивались значения. Если значение превышало допустимый порог отклонений, оно заменялось на 9 и не участвовало в подсчете среднего арифметического. На выходе программа записывала удаленные аномальные измерения и подсчитанные средние в отдельный файл.

Статистические критерии для исключения промахов. Критерий вариационного размаха

Известен ряд критериев, которые позволяют исключить грубые промахи, при этом данные критерии основаны на статистических оценках параметров распределения, так как в большинстве случаев действительные значения параметров распределения неизвестны. Однако критериальные коэффициенты, которые и определяют границу, за которой находятся аномальные результаты измерений, у разных авторов различны, поэтому проверку в некоторых случаях следует выполнять сразу по нескольким критериям. К ним, в частности, можно отнести критерий Диксона, Шовене, критерий вариационного размаха и ряд других.

Критерий вариационного размаха является одним из простых методов исключения грубой погрешности измерений (промаха). Для его использования определяют размах вариационного ряда упорядоченной совокупности наблюдений (??₁ ? ??₂ ... ? ??_??? ... ? ??_??):

??_?? = ??_?? ? ??₁ (1)

Если какой-либо член вариационного ряда, например x^k, резко отличается от всех других, то производят проверку, используя следующее неравенство:

??? ? ?? ? ??_?? < ??_?? < ??? + ?? ? ??_??, (2)

где ??? - выборочное среднее арифметическое значение, вычисленное после исключения

предполагаемого промаха, a ?? - критериальное значение.

Коэффициент ?? зависит от числа членов вариационного ряда ??, что представлено в таблице 1. [7]

Таблица 1 Критерий вариационного размаха

Таблица 2 Форма таблицы для 5 пар изображений

4. Метод мульти-слияния нескольких метрик

В статье [5] был описан метод слияния MMF (Multi-Method Fusion) и доказана его эффективность на шести общедоступных базах данных качества изображения. Идея метода заключается в том, что одни методы оценки качества изображения могут лучше служить для одного типа искажений, но хуже для других. Соответственно, учитывая разнообразие общего визуального контента и типов искажений, было бы сложно полагаться на один метод оценки. Можно добиться значительно более высокой эффективности, если сгруппировать несколько методов надлежащим образом. Производительность предполагаемой схемы MMF будет постоянно улучшаться за счет внедрения все новых и новых методов, разработанных исследователями. Однако, несмотря на высокую корреляцию между прогнозируемыми объективными показателями качества и человеческими субъективными оценками данный метод весьма громоздкий и обладает большой вычислительной сложностью.

В данной работе предлагается метод объединения оценок PQS и MSSIM, которые были рассмотрены выше. Объединением этих двух методов можно добиться более высокой эффективности алгоритма оценки при сравнительно небольшой сложности вычислений. Целью слияния является нахождение весовых коэффициентов для каждого фактора таким образом, чтобы суммарная объективная оценка максимально приближалась по своему значению к объективной оценке.

Для этого была решена система линейных алгебраических уравнений относительно средней оценки эксперта в MATLAB при помощи знака косой черты. Для этого из векторстолбцов правых частей следует сформировать матрицу и поместить ее после знака обратной косой черты. Результатом решения является матрица, содержащая столбец, в котором находятся весовые коэффициенты. [6] Матрица в данном случае является не разреженной, поэтому в алгоритме решения СЛАУ (система линейных алгебраических уравнений) в MATLAB будет применим шаг, использующий метод QR разложения для приведения матрицы к треугольному виду.

После расстановки весовых коэффициентов следует определить степень корреляции между домноженными на коэффициенты объективными оценками и субъективными оценками, вынесенными экспертами. Степень этой корреляции можно определить с помощью коэффициента невязки или коэффициента ранговой корреляции Спирмена. Невязка (discrepancy) рассчитывается по формуле:

?????????????????????? = ?????????????? ? ???????????? ? ????????, (3)

где average - средняя оценка экспертов, полученная в результате субъективных оценок, MATRIX - матрица объективных оценок методов PQS и MS-SSIM, а koef - вектор-столбец, полученный в результате решения СЛАУ. В идеальном случае невязка должна быть равна 0, но это возможно только если известен закон распределения выборки, поэтому целью является достичь минимальной разницы между значениями объективных и субъективных оценок. Далее находится среднее квадратическое отклонение невязки, и чем его величина окажется меньше, тем точнее работает рассматриваемый алгоритм. Если значение невязки при линейной модели будет неудовлетворительным по точности, то тогда будут рассмотрены другие модели, например, квадратичная, и так далее по возрастанию степени до момента, когда ее увеличение перестанет вносить существенный вклад.

Полученная линейная модель имеет недостаточную точность и большой процент отклонений оценок более чем на 1 балл. Это означает, что в 28% случаев присутствует ошибка на 2 сигма величиной, а в остальных 72% на 1 сигма. Линейная модель приводит к СКО невязки ? = 1.1086.

После получения полностью квадратного полинома факторов была увеличена точность работы алгоритма, и СКО невязки составило ? = 0.9808. В итоге, был получен полином 5 степени с 27 весовыми коэффициентами:

??1 + ??2 + ??3 + ??4 + ??5 + ??6 + ??12 + ??22 + ??32 + ??42 + ??52 + ??62 + ??13 + ??23 + + ??33 + ??43 +

??₅³ + ??₆³ + ??₁⁴ + ??₂⁴ + ??₃⁴ + ??₄⁴ + ??₅⁴ + ??₁⁵ + ??₂⁵+ ??₃⁵ + ??₄⁵,

где ??₁ ? ??₅ ? факторы PQS, a ??₆ - это overall_mssim.

В итоге модификации метода была достигнута СКО невязки ? = 0.5379. Фактически это означает, что 2? результатов лежат в пределах не более, чем 1 балл от субъективной оценки.

5. Оценка точности работы алгоритма

Кроме коэффициента невязки существует другие способы оценить степень соответствия между полученными оценками коэффициент ранговой корреляции Спирмена, коэффициент линейной корреляции, критерий Диксона, критерий вариационного ряда и ряд других [7]. Чем выше значения коэффициентов корреляции и чем меньше величина среднеквадратичной ошибки, тем точнее работает рассматриваемый алгоритм.

В данной работе точность алгоритма оценивалась с помощью коэффициента ранговой корреляции Спирмена. При применении методов ранговой корреляции исходят не из точных количественных оценок значений признаков-переменных, а из рангов. Для этого элементы совокупности располагаются в определенном порядке в соответствии с некоторым признаком, присущим им в неодинаковой мере. Полученный ряд элементов называют упорядоченным. Сам процесс упорядочения называется ранжированием, а каждому члену ряда присваивается ранг, или ранговое число (порядковый номер). Для его реализации следует сопоставить каждому из значений свой порядковый номер или ранг по возрастанию и вычислить разность рангов каждой пары значений. Далее необходимо возвести в квадрат каждую разность и просуммировать полученные результаты и вычислить коэффициент корреляции рангов по формуле:

, (4)

где ? ??² - сумма квадратов разностей рангов, а ?? - число парных наблюдений.

Коэффициент ранговой корреляции Спирмена был рассчитан по алгоритму, описанному в [8]. Вначале в среду MATLAB 7.8 были экспортированы два массива - один с объективными оценками, домноженными на коэффициенты, а во второй - со средними субъективными оценками. Далее оба массива были отсортированы по возрастанию, и циклически получались ранги для каждого элемента строки, при этом была предусмотрена возможность следования одинаковых значений подряд. Ранги для таких значений считались особенным образом. Для рангов были сформированы два новых массива. После того, как были получены все ранги для элементов массивов, была найдена разность между рангами каждой строки и последовательно возведена в квадрат. Была вычислена сумма всех квадратов разности для последующей подстановки в формулу (4). Коэффициент корреляции в результате выполнения программы равен 0.7097. Данный коэффициент близок к 1, отчего можно сделать вывод, что наблюдается положительная корреляция.

Проверка статических гипотез основана на сравнении рассчитанного значения критерия с теоретическим значением, выбранным с заданным критическим уровнем значимости. [9] От выбранного уровня значимости зависит результат проверки гипотез и сделанные исследователем выводы.

При выборе критического уровня значимости всегда следует обращать внимание на объем выборки. При малом объеме выборки более вероятно получить случайный результат, например, получить различие в двух в выборках при их однородности. Следовательно, можно взять большую вероятность ошибки первого рода. При увеличении объема выборки случайные отклонения компенсируют друг друга, и получить значимое различие в выборках при их однородности менее вероятно. Следовательно, надо брать меньший уровень значимости. Так как объем выборки в данной работе содержит до 100 единиц, то вполне можно отвергнуть нулевую гипотезу при уровне значимости 0,05.

Из таблицы критических значений коэффициента ранговой корреляции Спирмена, приведенной в Приложении 2, находим 0,279.

Так как эмпирическое значение коэффициента Спирмена больше теоретического табличного значения, следует отклонить гипотезу H0 об отсутствии корреляционной зависимости между выборками и принять альтернативную гипотезу H1 о статистической значимости отличия коэффициента корреляции от нуля, и наличии связи.

Выводы

Представленная работа посвящена исследованию и модификации существующих алгоритмов оценки качества тепловизионных изображений с целью большего соответствия субъективной оценке, которая выставляется экспертом, то есть конечным пользователем какой-либо системы. В работе были изучены методы, используемые как в компьютерной оценке тепловизионных изображений, так и в субъективной оценке и правила ее проведения. Для проведения экспериментов были выбраны методы PQS и MS-SSIM объективной оценки и метод DSIS для проведения субъективной оценки.

В данной работе было предложено совместить 2 метода, основанных на том, что зрительная система человека предрасположена к извлечению структурной информации из изображения, с целью повышения точности оценки. После решения СЛАУ были расставлены весовые коэффициенты на исходные объективные оценки, увеличена степень результирующего полинома (выбрана модель, описываемая полиномом 5 степени) и в результате было достигнуто достаточно хорошее соответствие объективной оценки субъективной, что может быть использовано для быстрой, недорогой и достаточно точной оценки качества изображений.

Литература

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений - М.:Техносфера, 2005. 2. Бабкин П.С., Павлов Ю.Н. «Анализ и сравнение объективных методов оценки качества изображений» / Наука и Образование: Научное издание МГТУ им. Н.Э. Баумана. Электрон. журн. (ВАК) 2014. № 9. С. 203-215 - 2014. DOI: 10.7463/0914.0726368.

3. Larson E.C., Chandler D.M. Categorical image quality (CSIQ) database

[Электронный ресурс] - Режим доступа: http://vision.okstate.edu/csiq/, (дата обращения: 15.04.2017).

4. Рекомендация МСЭ-R ВТ.500-13 (01/2012). Методика субъективной оценки качества телевизионных изображений. Режим доступа: http://www.itu.int/pub/rrec/en (дата обращения 23.02.2014).

5. Tsung-Jung Liu, Weisi Lin, and Jay Kuo С. Image Quality Assessment Using MultiMethod Fusion / IEEE Transactions on image processing - 2013.

6. Алгоритм решения системы линейных уравнений при помощи знака обратной косой черты [Электронный ресурс] - Режим доступа: http://matlab.exponenta.ru/spline/book1/18.php#2/, (дата обращения: 15.04.2017).

7. Кремер Н.Ш. Теория вероятностей и математическая статистика Учебник для вузов. - 2-е изд., перераб. и доп. - М.: ЮНИТИДАНА, 2004. - 573 с.

8. Вычисление коэффициента ранговой корреляции [Электронный ресурс] / ЯГПУ, Центр информационных технологий - Режим доступа: http://citoweb.yspu.org/link1/metod/met90/node21.html/, (дата обращения: 15.04.2017).

9. Третьяк Л.Н. Обработка результатов наблюдений. Оренбургский государственный университет, 2004. - 171 с.

Размещено на Allbest.ru