Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное образовательное учреждение высшего образования

Национальный исследовательский университет

Факультет информатики математики и компьютерных наук

Программа подготовки бакалавров по направлению

01.03.02 Прикладная математика и информатика

Дипломная работа

Построение текстового описания к изображениям

Дуринов Михаил Сергеевич

Научный руководитель:

Гречихин Иван Сергеевич

Нижний Новгород, 2019

Введение

Искусственный интеллект давно будоражит фантазию всего человечества. Одним из путей для создания этого самого искусственного интеллекта в современном мире является машинное обучение. Машинное обучение - это класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение (построение эффективного алгоритма решения) в процессе применения решений множества сходных задач. В связи с этим фактом, оно (машинное обучение) и нейронные сети, как его подвид стоят на передовом месте в современном научном сообществе. Множество исследователей занимается решением задач машинного обучения. сеть активация нейрон

Одной из таких задач является задача построения текстового описания к изображениям. Задача это не из простых, т.к. она является одной из мультимодульных задач, которые включают в себя как сверточные нейронные сети, так и рекуррентные. Но, тем не менее, важность этой задачи очень сложно переоценить. Текстовое описание изображений может быть полезно, например, для помощи слепым людям с ориентацией в пространстве и адаптацией в современном обществе. Камера может захватывать изображение, недоступное незрячим людям, которое по средствам некоторого алгоритма будет преобразовываться в текст, далее в голос, после чего полученная аудиозапись будет воспроизведена. Это поможет незрячим людям понять, что их окружает в данный момент. Также подобные системы могут быть полезны при создании автопилота для автомобилей, автоматическом тегировании и интерпретации медицинских анализов, таких как узи или мрт.

Постановка задачи

Человеческому мозгу легко решить задачу описания того, что находится на отдельно взятом изображении, с этим способны справиться даже маленькие дети. Идея "научить" компьютер решать такую задачу зрела у исследователей довольно давно. С точки зрения компьютера задача image captioning затрагивает две сферы, первая - computer vision, а вторая - natural language processing. Обе эти сферы в современном машинном обучении являются одними из передовых направлений исследований. Computer vision в основном занимается распознаванием, и поиском объектов на изображениях и их последующей классификацией. NLP как следует из названия занимается обработкой языков и такими задачами как машинный перевод, генерация текстов и распознавание именованных сущностей в текстах. В решении обоих типов задач в настоящее время наиболее преуспевающими являются нейросетевые подходы. Собственно, суть данной задачи заключается в построении текстовой аннотации к картинкам на основе обучающих примеров вида: картинка - аннотация(несколько аннотаций).

Нейронные сети

Нейронная сеть в своей сути это вычислительный граф вершинами которого являются искусственные нейроны. Чтобы отразить суть биологических нейронных систем, искусственный нейрон строится следующим образом. Он получает входные сигналы (исходные данные либо выходные сигналы других нейронов нейронной сети) через несколько входных каналов. Входной сигнал пропускается через соединение, имеющее определенный вес. С каждым нейроном связано определенное пороговое значение. Вычисляется взвешенная сумма входов, из нее вычитается пороговое значение и в результате получается величина активации нейрона. Сигнал активации преобразуется с помощью функции активации и в результате получается выходной сигнал нейрона.



Рис. 1: Искусственный нейрон

Функции активации

В данном исследовании я использовал три стандартные функции активации:

· Sigmoid:

· Tanh:

· ReLu:

Функция потерь

Введем обозначения: - множество описаний объектов, -- множество допустимых ответов. Предположим, что существует неизвестная целевая зависимость - отображение , значения которой известны только на объектах конечной обучающей выборки

.

Введем функцию потерь , характеризующую величину отклонения ответа от правильного ответа на произвольном объекте . Тогда эмпирический риск - функционал качества, характеризующий среднюю ошибку на обучающей выборке будет вычисляться по формуле:

В процессе обучения нейронная сеть настраивает(изменяет) матрицу весов так, чтобы она минимизировала эмпирический риск. В данной работе я максимизировал вероятность правильного описания картинки с использованием следующей формулы:

Где параметры модели, изображение, корректное описание. Поскольку представляет собой предложение длинна которого неизвестна, я применял цепное правило к модели совместной вероятности , где длина конкретного примера.

Во время обучения я оптимизировал сумму этих вероятностей по всему датасету.

Обучение нейронных сетей

Обычно обучение нейронных сетей производится с помощью методов оптимизации таких как: SGD или ADAM. Эти методы основаны на обычном градиентном спуске и все они содержат в себе принцип обратного распространения ошибки(Backpropogation), в котором ошибка вычисляется на последнем слое путем подсчета функции потерь и в последствие распространяется дальше внутрь сети.

Преимущества:

· эффективность: время вычисления градиента сравнимо с временем вычисления самой сети;

· простое и быстрое обобщение на любые ;

· возможно динамическое (потоковое) обучение;

· возможность на огромных выборках использовать не все ;

Недостатки:

· возможна медленная сходимость;

· возможны попадания в локальные минимумы;

· как у любого алгоритма машинного обучения проблемы с переобучением;

· подбор комплекса эвристик является искусством;

Мною в этой работе использовался SGD.

Сверточные нейронные сети

С появлением огромных объемов данных в общем доступе и больших вычислительных возможностей за сравнительно небольшие деньги стали активно использоваться нейронные сети. Самыми популярными из них стали сверточные нейронные сети, их архитектура была предложена в 1988 году Яном Лекуном. Основной целью этого типа сетей было эффективное распознавание образов.

Название этого типа сетей вытекает из наличия операции свёртки, суть которой в том, что каждый фрагмент изображения умножается на матрицу (ядро) свёртки поэлементно, а результат суммируется и записывается в аналогичную позицию выходного изображения. В архитектуру сети заложены некоторые важные априорные знания из предметной области компьютерного зрения: пиксель изображения сильнее связан с соседним (локальная корреляция) и объект на изображении может встретиться в любой части изображения. Волна популярности светрочных нейронных сетей началась после конкурса ImageNet, который состоялся в октябре 2012 года и был посвящен классификации объектов на фотографиях. В конкурсе требовалось классифицировать образы в 1000 различных категорий. Победитель данного конкурса - Алекс Крижевский, используя сверточную нейронную сеть, значительно превзошёл остальных участников. Его успех вдохновил многих на применение данного типа сетей в различных задачах связанных с распознаванием образов в изображениях, будь то детекция, классификация и тому подобное.

Сверточная нейронная сеть в стандартном своем виде представляет собой чередование сверточных слоев (convolution layers), субдискретизирующих слоев (subsampling layers) и при наличии полносвязных слоев (fully-connected layer) на выходе. Все три вида слоев могут чередоваться в произвольном порядке. Порядок их чередования зачастую несет очень весомую роль. В сверточном слое нейроны, которые используют одни и те же веса, объединяются в карты признаков (feature maps), а каждый нейрон карты признаков связан с частью нейронов предыдущего слоя. При вычислении сети получается, что каждый нейрон выполняет свертку некоторой области предыдущего слоя (определяемой множеством нейронов, связанных с данным нейроном). Обучение идет по методу обратного распространения ошибки.



Рис. 2: Сверточная нейронная сеть.

Полносвязный слой

Слой, в котором каждый нейрон соединен со всеми нейронами на предыдущем уровне, причем каждая связь имеет свой весовой коэффициент.

Рис. 3: Полносвязный слой.

Сверточный слой

В отличие от полносвязного, в сверточном слое нейрон соединен лишь с ограниченным количеством нейронов предыдущего уровня, т. е. сверточный слой аналогичен применению операции свертки, где используется лишь матрица весов небольшого размера (ядро свертки), которую "двигают" по всему обрабатываемому слою. Еще одна особенность сверточного слоя в том, что он немного уменьшает изображение за счет краевых эффектов.



Рис. 4: Операция свертки.

Субдискретизирующий слой

Слои этого типа выполняют уменьшение размерности (обычно в несколько раз). Это можно делать разными способами, но зачастую используется метод выбора максимального элемента (max-pooling) - вся карта признаков разделяется на ячейки, из которых выбираются максимальные по значению.

Рис. 5: Pooling.

Dropout слой

Dropout слой (dropout регуляризация) способ борьбы с переобучением в нейронных сетях, обучение которых обычно производят стохастическим градиентным спуском, случайно выбирая некоторые объекты из выборки. Dropout регуляризация заключается в изменении структуры сети: каждый нейрон выбрасывается с некоторой вероятностью . По такой прореженной сети производится обучение, для оставшихся весов делается шаг оптимизации, после чего все выброшенные нейроны возвращаются в нейронную сеть. Таким образом, на каждом шаге оптимизации мы настраиваем одну из возможных двух архитектур сети, где под архитектурой мы понимаем структуру связей между нейронами, а через N обозначаем суммарное число нейронов. При тестировании нейросети нейроны уже не выбрасываются, но выход каждого нейрона умножается на - благодаря этому на выходе нейрона мы будем получать математическое ожидание его ответа по всем двум архитектурам. Таким образом, обученную с помощью dropout-регуляризации нейронную сеть можно рассматривать как результат усреднения двух сетей.

Рис. 6: Нейронная сеть до и после drop out.

Рекуррентные нейронные сети

Рекуррентные нейронные сети - вид нейронных сетей, архитектура которых состоит из трех слоёв: входного, скрытого и выходного. При этом скрытый слой имеет обратную связь сам на себя. Предложена подобная архитектура была еще в далеком 1982 году Джоном Хопфилдом. В отличие от нейронных сетей с прямой связью, рекуррентная нейронная сеть может принимать на вход последовательность векторов в заданном порядке. Работа рекуррентной нейронной сети описывается соотношениями (1) и (2), где - нелинейная функция; - входной вектор номер ; - состояние скрытого слоя для входа ; - выход сети для входа ; - весовые матрицы нейронной сети; , - векторы сдвига.

Благодаря рекуррентному соотношению (1) имеется возможность учета результатов преобразования нейронной сетью информации на предыдущих этапах для обработки входного вектора на следующем этапе функционирования сети.

Рис. 7: Типы рекуррентных нейронных сетей.

Обучение рекуррентных нейронных сетей

Рекуррентная нейронная сеть, обучаясь, должна минимизировать функцию потерь по всей обучающей выборке. Минимизация функции потерь обычно происходит с помощью метода стохастического градиентного спуска. Для этого необходимо вычислить с помощью алгоритма обратного распространения ошибки сквозь время (Backpropagation Through Time). В данном алгоритме разворачивается граф вычислений во времени, как на Рис. 8.

Рис. 8: Граф вычислений во времени.

Количество этих состояний характеризует размер контекста, с которым способна работать наша нейронная сеть. При этом, если матрица весов в каждом состоянии больше 1, то возникает проблема "взрывающегося градиента" (exploding gradients). Мы многократно умножаем наши выходы на одно и то же положительное число. Для борьбы с этой проблемой обычно используют обрезание градиента, когда его норма превышает определенный порог (gradient clipping). Если же матрица весов в каждом состоянии меньше 1, то возникает проблема "затухания градиента" (vanishing gradients). Чем дальше элемент находится от текущего, тем меньше его вклад в градиент. Одним из методов борьбы с затухающим градиентом является изменение формулы вычисления скрытого состояния (1). Наиболее популярными архитектурами рекуррентных нейронных сетей, помогающими избежать проблему затухающего градиента, являются LSTM и GRU сети, в этой работе мною будет использована LSTM архитектура, а если быть конкретнее bidirectional LSTM.

LSTM (Long Short-Term Memory)

LSTM (Long Short-Term Memory)[14] или сеть с долговременно-кратковременной памятью - особый тип рекуррентных нейронных сетей. В отличие от блока простой рекуррентной сети, который вычисляет взвешенную сумму входного сигнала и применяет нелинейную функцию, каждый блок LSTM сети имеет память , которая хранит информацию, полученную в предыдущий момент времени. В LSTM сети скрытый слой вычисляется по формуле (3), - выходной шлюз (output gate), который контролирует объем данных, получаемых из памяти, и вычисляется по формуле (4). В формулах символом обозначается поэлементное произведение векторов.

Память обновляется по формуле (5), где - шлюз забывания (forget gate), который контролирует степень сохранения данных из памяти прошлого блока, а - входной шлюз (input gate), определяющий влияние промежуточной памяти на результат.

Значения и вычисляются по формулам (7) и (8) соответственно.

В перечисленных формулах - входной вектор текущего блока LSTM сети; - выход предыдущего блока LSTM сети; , , , , , , , - матрицы, настраиваемые нейронной сетью; , , , , , , - векторы, настраиваемые нейронной сетью.

Рис. 9: LSTM unit.

GRU (Gated Reccurent Unit)

GRU или сеть с циклически повторяющимся блоком [15]. Аналогично с LSTM, данный тип рекуррентной нейронной сети состоит из блоков, которые моделируют информацию внутри себя, однако, без наличия отдельных ячеек памяти. Вычислительная сложность GRU меньше оной у LSTM. В GRU сети скрытый слой вычисляется по формуле (9), на основе промежуточного значения (10) и шлюза обновления (update gate) (11).



Шлюз сброса состояния (reset gate) контролирует количество сохраненной информации из прошлого блока в промежуточном значении и вычисляется по формуле (12).

Рис. 10: GRU unit.

Bidirectional подход

В своей сути это все та же рекуррентная нейронная сеть, но немного модернизированная. Зачастую при обучении мы сразу имеем возможность использовать всю последовательность символов или слов, логичным предположением было бы скармливать последовательность нейронной сети слева направо, но в этом случае мы теряем половину контекста, ведь каждое следующее ядро может опираться лишь на те, что были до него. Тогда исследователям пришла в голову идея добавить в сеть еще и тот контекст, что находится как бы в будущем для нее. На вход при bidirectional подходе подаются как предложения слева направо, так и в обратном направлении, а сама bidirectional рекуррентная сеть есть по факту комбинация двух этих нейронных сетей. На Рис. 10 изображена bidirectional LSTM, где A это прямонаправленные ядра LSTM, а A' обратно направленные.

Рис. 11: Bidirectional LSTM.

Существующие решения

На данный момент существует два state-of-art решения задачи построения текстового описания к картинкам. Первое из них[4] является комбинацией сверточной нейронной сети и рекуррентной с ядром LSTM. Сверточная сеть в данном случае выделяет некоторые признаки на изображении, которые в последствие транслируются с помощью LSTM в предложение. Основным отличием их подхода от подхода, который был использован другой группой исследователей является то, что LSTM в первом решении был использован однонаправленный LSTM, что означает, что сеть при построении аннотации ориентировалась только на контекст слева, тогда как в этой статье[5] работа велась с bidirectional LSTM, т.е. лингвистическая модель могла опираться и на контекст справа при генерации. Также в качестве сети, которая извлекает признаки они использовали VGG-16, описанную в этой статье[13]. Feature vector снимался с сети до fully connected слоя, таким образом они получали 4096-D вектор который в последствие сопоставляли с некоторым предложением.

Практическая часть

В качестве практики мною была проведена исследовательская работа с целью улучшить один из state of the art алгоритмов по построению текстового описания к картинкам. Среди путей для дальнейшего улучшения мною было выбрано два пути. Первый, это углубление feature extractor'а, а второй, это работа над рекуррентной нейронной сетью, если быть конкретнее смена ее типа. В первом случае имеется в виду смена архитектуры с VGG-16 на VGG-19 с целью получения лучшего перфоманса encoder'а. Обучение проходило также, как и обучение state of the art решения. В качестве тренировочного, валидационного и тестового датасетов был использован MS COCO 2014[16]. Он представляет собой 300 тысяч картинок, с более чем 1 миллионом объектов на них. К каждой такой картинке сопоставляется 5 описаний, необходимых для обучения. Веса были взяты предтренерованные на ImageNet, также как было и в оригинальном исследовании. В своем эксперименте я обучал encoder в течение 100 эпох.

Использованные во время тренировки и проверки ресурсы: Intel core i5-6500, nvidia geforce 1060 6gb, 16gb of DDR4.

OS: Ubuntu 18.04.

Результаты, которые показала LSTM сеть на полученных после извлечения векторах очень слабо отличались от полученных на оригинальной модели, но все же некоторые улучшения были, при использовании этих векторов LSTM была более внимательна к деталям картинки, например, к месту нахождения объекта. Скорее всего это связанно с тем, что VGG-19 в силу большей глубины выбирает более точные признаки, но в целом даже VGG-16 достаточно подходящий для этой задачи encoder.

Следующим моим шагом была замена bidirectional LSTM на bidirectional GRU. Итогом этой замены стало значительное снижения качества построения аннотаций в сравнение с оригинальной моделью. Скорее всего это связанно с тем, что специфика данной задачи подразумевает использование именно LSTM юнитов.

Примеры результатов работы:

Оригинальный алгоритм: "a laptop computer sitting on top of a wooden desk near a wineglass"

VGG-19: "a laptop computer sitting outside on top of a wooden desk near a wineglass"

GRU units:"a computer sitting on a wooden table"

Оригинальный алгоритм: "a young boy in red shirt is eating a side dish"

VGG-19: "a young boy in red shirt is eating a side dish outside"

GRU units:" a young boy is eating a piece of pizza"

Оригинальный алгоритм: "two young boys sitting near a table"

VGG-19: "two young boys sitting in bed near a coffee table"

GRU units: "a man sitting on a couch holding a remote"

Заключение

В ходе моей работы я познакомился с задачей Image Captioning и с эффективными методами ее решения. Реализовал нейросетевой алгоритм ее решения на языке Python. С полученным решением провел ряд экспериментов с целью превзойти результаты, которые показывает state of the art решение. Я провел две основных модернизации этого решения, одна из них(переход на VGG-19) дала некоторое улучшение, в некоторых случаях модель построенная на этой архитектуре давала лучшие результаты, тогда как вторая(GRU вместо LSTM) качество модели ухудшила.

В целом нейросетевой подход к решению данной задачи показывает хороший результат, но чтобы значительно его улучшить нужно целостное качественное преобразование методов решения данной задачи.

Список литературы

1. Mullachery, V., Motwani, V. (2018). Image captioning

2. Barnard, J. J., Duygulu, P., Forsyth, D., De Freitas, N., Blei, D. M., & Jordan, M. I. (2003). Matching Words and Pictures. Journal of Machine Learning Research, 3(6), 1107-1135. https://doi.org/10.1162/153244303322533214

3. Chen, X., Zitnick C. L. (2015). Mind's Eye: A Recurrent Visual Representation for Image Caption Generation.

4. Vinyals, O., Toshev, A., Bengio, S., Erhan, D. (2014). Show and Tell: A Neural Image Caption Generator.

5. Andrej Karpathy, Li Fei-Fei, (2015). Deep Visual-Semantic Alignments for Generating Image Descriptions.

6. Cusano, C.,Ciocca, G., Scettini, R. (2004). Image Annotation Using SVM .

7. Maree, R.,Geurts, P.,Piater, J., Wehenkel, L., (2005). Random Subwindows for Robust Image Classification.

8. Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, (2014). Rich feature hierarchies for accurate object detection and semantic segmentation.

9. Li, L., Wang, J. Z. (2006). Real-time Computerized Annotation of Pictures. Proc. ACM Multimedia. pp. 911-920.

10. Li, L., Wang, J. Z. (2002). Learning-Based Linguistic Indexing of Pictures with 2-D MHMMs. Proc. ACM Multimedia. pp. 436-445.

11. Li, L., Wang, J. Z. (2008). Real-time Computerized Annotation of Pictures. IEEE Transactions on Pattern Analysis and Machine Intelligence.

12. Li, L., Wang, J. Z. (2003). Automatic Linguistic Indexing of Pictures by a Statistical Modeling Approach. IEEE Transactions on Pattern Analysis and Machine Intelligence. pp. 1075-1088.

13. Karen Simonyan, Andrew Zisserman, (2015). VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION.

14. Sepp Hochreiter, Jьrgen Schmidhuber (1997). LONG SHORT-TERM MEMORY.

15. Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

16. Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr Dollar (2015). Microsoft COCO: Common Objects in Context.

Размещено на Allbest.ru

...