Исследование повышения разрешения изображений с помощью обучения сверточных фильтров

Размещено на http://www.allbest.ru/

[Введите текст]

Правительство Российской Федерации

Федеральное государственное автономное образовательное

учреждение высшего образования

«Национальный исследовательский университет

«Высшая школа экономики»

Факультет компьютерных наук

Основная образовательная программа

Прикладная математика и информатика

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

на тему: Исследование повышения разрешения изображений с помощью обучения сверточных фильтров

Москва 2018

Введение

Классические методы повышения разрешения изображения, такие, как применение интерполяции и оператора Лапласа, также позволяют улучшить качество любого вида обрабатываемого изображения.

Бикубическая интерполяция - это одна из базовых техник повышения качества обрабатываемого изображения. Она используется для нахождения значений дополнительных пикселей изображения между опорными точками, которыми являются пиксели исходного изображения, выбранные на каждом квадрате размера 4х4. Для нахождения значений дополнительных пикселей используются значения пикселей изображения выбранной области обрабатываемого изображения и их координаты, т.е. место в изображении. С помощью анализа системы из шестнадцати независимых уравнений получаются данные о коэффициентах общего полинома внутри выбранной области. При наличии нескольких цветовых каналов у обрабатываемого изображения данная операция повторяется для каждого из них.

Общее полиномиальное бикубическое уравнение:

(2)

(где - координаты пикселя, - значение пикселя в исходном изображении, а - настраиваемые коэффициенты)

Лапласиан - это линейный оператор, который использует вторую производную и применяется для выделения контуров текстур и объектов изображения. Добавление изображения, обработанного с использованием оператора Лапласа, к исходному изображению, позволяет добиться более четких границ исходника.

(3)

(4)

(5)

(где - значение оператора Лапласа для функции от двух переменных , - значение пикселя c координатами обработанного изображения)

В данной работе используется реализация оператора Лапласа, с применением которой есть возможность обрабатывать диагональные элементы.

Рис. 1.1 - Матрица оператора Лапласа, учитывающего диагональные элементы

Несмотря на то, что данные методы имеют определенные достоинства, изложенные мной выше, они также обладают рядом недостатков. Например, при обработке они не учитывают особенности узоров, текстур и объектов изображения, позволяют достичь среднее качество получаемых изображений по основным метрикам, а также не обучаются, поэтому хорошо работают в общем случае, хотя для конкретных данных можно получить лучшие значения. В данной работе была выделена цель улучшить получаемое качество изображения по данным метрикам без усложнения архитектуры моделей.

1.3 Метрики качества

Для сравнения полученного качества обработанных изображений широко применяются базовые метрики, используемые в большинстве методов повышения разрешения изображения: среднеквадратическая ошибка, пиковое отношение сигнала к шуму и индекс структурного сходства.

MSE (среднеквадратическая ошибка) - это метрика, значение которой является средним квадратом ошибки определения значения функции. Метод с наименьшим значением MSE является наиболее успешным.

(6)

(где mn - размер изображения, f' - значение пикселя сравниваемого изображения, f - значение пикселя оригинального изображения в высоком разрешении)

PSNR (пиковое отношение сигнала к шуму) - это метрика, значение которой равно соотношению между мощностью шума, искажающего значение функции, и максимумом ее возможного значения, который в случае работы с пикселями равен 255.

(7)

SSIM (индекс структурного сходства) - это метрика, значение которой равно уровню схожести двух изображений, полученному с помощью их полного сопоставления. Она разработана таким образом, чтобы также учитывать сходство высокочастотного содержимого между сравниваемыми изображениями. Методы, удаляющие шум и сохраняющие края объектов, имеют наиболее высокие значения SSIM.

(8)

(9)

(10)

(где x и y - это набор пикселей в сравниваемых изображениях, - среднее значение пикселя для набора x, - среднее значение пикселя для набора y, - дисперсия значений набора пикселей x, - дисперсия значений набора пикселей y, - ковариация наборов пикселей x и y, и - две переменные, L - динамический диапазон пикселей)

1.4 Использованные данные

В ходе выполнения исследования были сформулированы две основные задачи. Первая задача заключалась в построении двух моделей, обрабатывающих черно-белые и цветные изображения соответственно. Каждая модель являлась однослойной нейронной сетью, состоящей из слоев свертки размера 3х3, количество которых совпадало с количеством каналов в обрабатываемых изображениях. То есть, первая модель состояла из 1 слоя свертки с указанными размерами, а вторая модель обучалась с 3 фильтрами. Выбранная архитектура модели является аналогом базовых фильтров Лапласианов, используемых в классических методах повышения разрешения изображения, поскольку их применение обусловлено использованием лишь одного слоя свертки.

Рис. 1.2 - Визуализация первой модели, обрабатывающей изображения с режимом градаций серого

Рис. 1.3 - Визуализация первой модели, обрабатывающей изображения с режимом RGB

В качестве функции потери для обучения моделей была выбрана среднеквадратическая ошибка, а в качестве оптимизационного алгоритма был применен Adam (adaptive moment estimation) [7]. Функцией активации была выбрана способствующая быстрому обучению и не выполняющая ресурсоемких операций функция ReLU (Rectified Linear Unit) [8].

Дополнительная задача заключалась в получении лучших значений разрешения изображений, обработанных данными моделями, для выбранных метрик, чем результаты оценивания качества изображений, полученных при использовании билинейной интерполяции и фильтров Лапласианов.

Как видно из таблиц 1.2, 1.3, 1.4 и 1.5, значения метрик при использовании оператора Лапласа становились ниже. Однако при визуальном оценивании полученных изображений заметно, что они выглядят значительно четче, чем исходные, с применением бикубической интерполяции. Значения PSNR и SSIM модели, обучающей черно-белые изображения, для всех тестовых выборок, кроме Set5, оказались выше результатов, полученных с применением бикубической интерполяции и оператора Лапласа. Значения PSNR тестовой выборки Set5 для данной модели оказались незначительно ниже, чем значения данной метрики при применении бикубической интерполяции. Но результаты метрики SSIM, учитывающей также сходство высокочастотного содержимого, для данного набора изображений оказались выше, чем ее значения при применении классических методов. Важно отметить, что аналогичная модель, обученная для обработки цветных изображений, показала значения выше оригинальных по обеим метрикам для всех тестовых выборок.

Поскольку во время обучения выбранных моделей автоматически также настраивались и сдвиги фильтров, результаты качества обработанных изображений были посчитаны и при оригинальной настройке фильтров, и с нулевым сдвигом. Данные измерения были проведены для того, чтобы верно оценить полученные значения и сравнить их с результатами метрик для бикубической интерполяции и оператора Лапласа, которые сдвиги не учитывают. Все результаты выбранных метрик для тестовых выборок при использовании нулевого сдвига оказались ниже значений, полученных с применение его значений, настроенных в ходе обучения модели. Только значение SSIM на выборке Set5 для модели, обрабатывающей изображения с цветовым режимом градаций серого, показало значения немного выше прежнего результата.

Таблица 1.2 - Значения PSNR первой модели с режимом градаций серого

Таблица 1.3 - Значения SSIM первой модели с режимом градаций серого

Таблица 1.4 - Значения PSNR первой модели с цветовым режимом RGB

Таблица 1.5 - Значения SSIM первой модели с цветовым режимом RGB

Рис. 1.4 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения первой моделью, обрабатывающей изображения в цветовом режиме градаций серого

Рис. 1.5 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения первой моделью, обрабатывающей изображения в цветовом режиме градаций серого, с нулевым сдвигом

Рис. 1.6 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения первой моделью, обрабатывающей изображения в цветовом режиме RGB

Рис. 1.7 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения первой моделью, обрабатывающей изображения в цветовом режиме RGB, с нулевым сдвигом

1.6 Выводы и результаты по главе

Вторая задача исследования заключалась в построении модели, аналогичной основной части модели RAISR, заключающейся в выборе лучшего фильтра для повышения разрешения изображения из ряда обученных фильтров. Были обучены модели двухслойной нейронной сети, первый слой которых состоял из 10 слоев свертки размера 15х15, а второй состоял из слоя сверток размера 1х1, количество которых совпадало с количеством цветовых каналов обрабатываемого изображения и которые являлись линейной комбинацией фильтров. Для модели, повышающей разрешение изображений с режимом градаций серого, последний слой состоял из 1 сверточного фильтра, а для модели, работающей с изображениями с режимом RGB, из 3.

Рис. 2.1 - Визуализация второй модели, обрабатывающей изображения с режимом градаций серого

Рис. 2.2 - Визуализация второй модели, обрабатывающей изображения с режимом RGB

Была поставлена задача получить разрешение изображений, обработанных моделью данной структуры, по измерениям выбранных метрик выше, чем значения разрешения изображений, полученных при использовании билинейной интерполяции, оператора Лапласа и первых моделей.

Как можно видеть в таблицах 2.1, 2.2, 2.3 и 2.4, значения метрики PSNR при использовании данных моделей оказались выше, чем значения данных метрик при использовании первых представленных моделей, а также бикубической интерполяции и лапласиана вне зависимости от цветового режима обрабатываемых изображений. Значения метрики SSIM после обработки тестовой выборки изображений обученными моделями также оказались значительно выше, чем значения данных метрик при использовании бикубической интерполяции и оператора Лапласа, а также выше, чем первая обученная модель и в эксперименте с моделью, обрабатывающей изображения с цветовым режимом градаций серого, и с цветовым режимом RGB.

Таблица 2.1 - Значения PSNR для первой и второй моделей с цветовым режимом градаций серого

Таблица 2.2 - Значения SSIM для первой и второй моделей с цветовым режимом градаций серого

Таблица 2.3 - Значения PSNR для первой и второй моделей с цветовым режимом RGB

Таблица 2.4 - Значения SSIM для первой и второй моделей с цветовым режимом RGB

Рис. 2.3 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения второй моделью, обрабатывающей изображения в цветовом режиме градаций серого

Рис. 2.4 - слева направо: (а) оригинал, (б) изображение, полученное с помощью применения бикубической интерполяции, и (в) изображение, полученное после повышения разрешения второй моделью, обрабатывающей изображения в цветовом режиме RGB

2.3 Выводы и результаты по главе

интерполяция сверточный фильтр сеть

В данной работе было рассмотрено применение простых моделей, использующих для повышения разрешения изображения сверточные фильтры. Как и в большинстве работ в данной области, для контроля времени и качества проведения экспериментов, были использованы нейронные сети. Целью работы являлось обучение моделей, по архитектуре и сложности аналогичных простым методам повышения разрешения изображения, и изучение полученных сверточных фильтров. Качество изображений, обработанных с помощью применения обученных моделей, для измерения которого использовались метрики PSNR и SSIM, оказалось выше, чем значения, полученные с применением оператора Лапласа и бикубической интерполяции.

Помимо развития простых методов повышения разрешения изображения, которые быстро работают и просты в реализации и структуре, при наличии необходимых вычислительных мощностей исследование данной темы можно продолжить, обучая более сложные модели, например, похожие по структуре на модель RAISR.

Выпускная квалификационная работа была выполнена на языке программирования Python с применением интерактивной среды для программирования IPython Notebook. Для создания и обучения моделей, обработки изображений и сохранения полученных результатов, были использованы библиотеки IPython, SciPy, NumPy, Keras, Matplotlib, Python Imaging Library, Scikit-Learn, Scikit-Image, h5py, os, math.

Библиографический список

1. Park S. C., Park M. K., Kang M. G. Super-resolution image reconstruction: a technical overview //IEEE signal processing magazine. - 2003. - Т. 20. - №. 3. - С. 21-36.

2. Gonzalez R. C., Woods R. E. Digital image processing. - 2012.

3. Dong C. et al. Image super-resolution using deep convolutional networks //IEEE transactions on pattern analysis and machine intelligence. - 2016. - Т. 38. - №. 2. - С. 295-307.

4. Jianchao Y. et al. Image super-resolution as sparse representation of raw image patches //Proc. IEEE Conf. on Computer Vision and Pattern Recognition. - 2008. - С. 1-8.

5. Ledig C. et al. Photo-realistic single image super-resolution using a generative adversarial network //arXiv preprint. - 2016.

6. Romano Y., Isidoro J., Milanfar P. RAISR: rapid and accurate image super resolution //IEEE Transactions on Computational Imaging. - 2017. - Т. 3. - №. 1. - С. 110-125.

7. Kingma D. P., Ba J. Adam: A method for stochastic optimization //arXiv preprint arXiv:1412.6980. - 2014.

8. He K. et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification //Proceedings of the IEEE international conference on computer vision. - 2015. - С. 1026-1034.

Приложения

Дополнительная информация по экспериментам.

Эпоха - один прямой и один обратный проход по всем обучающим примерам.

Батч (batch) - количество примеров обучения для одной итерации прямого и обратного прохождений.

При обучении моделей первого типа, состоящих из одного слоя сверточной нейронной сети, были использованы батч размера 15 и 2500 эпох. При обучении моделей второго типа, состоящих из двух слоев сверточной нейронной сети, были использованы батч размера 15 и 500 эпох.

Рис. 1 - График изменения пикового отношения сигнала к шуму первой модели, обрабатывающей изображения с цветовым режимом градаций серого

Рис. 2 - Визуализация модели для первой задачи, обрабатывающей изображения с цветовым режимом градаций серого

Рис. 3 - График изменения пикового отношения сигнала к шуму первой модели, обрабатывающей изображения с цветовым режимом RGB

Рис. 4 - Визуализация модели для первой задачи, обрабатывающей изображения с цветовым режимом RGB

Рис. 5 - График изменения пикового отношения сигнала к шуму второй модели, обрабатывающей изображения с цветовым режимом градаций серого

Рис. 6 - Визуализация модели для второй задачи, обрабатывающей изображения с цветовым режимом градаций серого

Рис. 7 - График изменения пикового отношения сигнала к шуму второй модели, обрабатывающей изображения с цветовым режимом RGB

Рис. 8 - Визуализация модели для второй задачи, обрабатывающей изображения с цветовым режимом RGB

Размещено на Allbest.ru