Алгоритм выбора архитектуры полносвязной сети в задачах распознавания изображений на основе сверточных нейронных сетей

Размещено на http://www.allbest.ru/

Алгоритм выбора архитектуры полносвязной сети в задачах распознавания изображений на основе сверточных нейронных сетей

А.А. Толстых, А.Н. Голубинский

1Федеральное государственное казенное образовательное учреждение высшего образования «Воронежский институт Министерства внутренних дел Российской Федерации» (Воронежский Институт МВД России), Воронеж, Россия

2 Акционерное общество «Концерн «Созвездие» (АО "Концерн "Созвездие"), Воронеж, Россия

Аннотация. Предложен формальный алгоритм построения полносвязной части нейросетевого классификатора.

Ключевые слова: сверточные нейронные сети, искусственные нейронные сети, классификация телевизионных изображений.

Algorithm for the selection of architecture of a fully-connected network in the problems of image recognition on the basis of convolution neural networks. A.A. Tolstykh, A.N. Golubinskiy

Abstract. A formal algorithm for constructing a fully connected part of a neural network classifier is proposed.

Keywords: convolutional neural networks, artificial neural networks, television image classification.

В настоящее время решение задачи классификации объектов на основе изображений представляют практический интерес в различных областях техники. Например, с помощью классификаторов объектов на телевизионных изображениях решаются задачи биометрического разграничения контроля доступа [1], автоматического анализа данных получаемых с радаров [2]. На сегодняшний день наиболее перспективными классификаторами изображений являются сверточные нейронные сети. Однако, не существует формального алгоритма построения наиболее эффективной архитектуры подобных классификаторов, а лишь свод эмпирических правил, некоторые из которых плохо формализованы (например, понятие «элегантности») [3]. Целью работы является проведение разработка формального алгоритма выбора квазиоптимальной архитектуры полносвязной части сверточного нейроклассификатора.

Обзор подходов к выбору архитектуры полносвязной части нейроклассификатора. Для построения эффективного нейросетевого классификатора необходимо подобрать соответствующие гиперпараметры модели сверточной нейронной сети (СНС). Под гиперпараметрами понимаются свободные параметры модели, такие как количество слоев, количество нейронов в слое, функции активации и т.д. Существуют различные методы определения гиперпараметров СНС. В литературе описаны следующие подходы к подбору гиперпараметров:

1. Поиск по матрице [4]. Суть данного метода заключается в создании матрицы из значений гиперпараметров, на каждой итерации происходит обучение СНС с данными гиперпараметрами и оценка ее эффективности по заданному критерию. Эффективность данного метода достаточно низкая (слепой полный перебор). Вычислительная сложность - высокая (приблизительно - время обучения одной СНС умноженное на количество значений матрицы).

2. Пошаговое изменение архитектуры [4]. Выбирается начальная архитектура СНС и границы изменений в ней. На каждой итерации происходит переобучение СНС с данной архитектурой и ее эффективности по заданному критерию. Эффективность данного метода достаточно низкая (слепой полный перебор). Вычислительная сложность - высокая (приблизительно - время обучения одной СНС умноженное на количество значений матрицы).

3. Случайный поиск [5]. Создается матрица из значений гиперпараметров, на каждой итерации случайно выбирается значения из данной матрицы и происходит обучение СНС с последующей оценкой ее эффективности по заданному критерию. Эффективность данного метода - средняя (сильно зависит от начальных условий). Вычислительная сложность - средняя (приблизительно - время обучения одной СНС умноженное на количество итераций случайного поиска).

4. Метод, основанный на использовании Гауссовского процесса с ожидаемым улучшением [6]. Каждому гиперпараметру ставиться в соответствие гауссовское распределение, затем происходят итерации поиска по заданным распределениям. Эффективность метода - средняя (вычисляются направления в пространстве гиперпараметров). Вычислительная сложность - средняя (приблизительно - время обучения одной СНС умноженное на количество итераций метода).

5. Метод, основанный на использовании древовидных оценочных функций Парзена [5]. Начальный этап алгоритма повторяет метод гауссовского процесса с ожидаемым улучшением. Затем строится дерево решений и происходит поиск по нему. Эффективность метода - высокая (вычисляются направления в пространстве гиперпараметров). Вычислительная сложность - средняя (использование поиска по дереву значительно сокращает поиск).

6. Выбор гиперпараметров с помощью нейронной сети [7]. Данный метод реализуется следующим образом, специализированная сеть - учитель (critic) производит оценку данных и выбранной архитектуры, затем вносит соответствующие изменения. Эффективность метода - в настоящее время ведутся исследования применимости данного метода. Вычислительная сложность - низкая (одна итерация работы сети-учителя).Для каждого из методов необходимо определить пространство гиперпараметров и базовою модель (baseline). В качестве базовой модели использовалась модель, приведенная на рис. 1.

Далее был проведен поиск, основанный на пошаговом изменение параметров, используя в качестве критерия отбора ошибку обучения СНС на замкнутом наборе данных обучающей выборки, в качестве набора обучающих данных использовались изображений военной техники и военнослужащих общим объемом 120 изображений (6 классов по 20 изображений в каждом).

Алгоритм построения полносвязной части сверточного нейроклассификатора

Предложен следующий алгоритм выявления неиспользуемых нейронов в полносвязном слое:

1. Осуществляется разделение архитектуры искусственной нейронной сети на параметризатор (сверточная часть нейронной сети) и классификатор (полносвязная часть нейронной сети).

Рис. 1. Базовая архитектура СНС

Так как проводится анализ полносвязной структуры нейронной сети, для упрощения вычислений полносвязная сеть получает вектор, сформированный последним плоским слоем сверточной части. Таким образом, для вычислений требуется на несколько порядков меньше вычислительных мощностей (нет необходимости производить все вычисления в СНС). Данный шаг технически реализуется как создание псевдо-обучающей выборки (i - количество объектов в обучающей выборке; ti - объект из псевдо-обучающей выборки; - псевдо-обучающая выборка), которая состоит из 120 векторов, размерностью , соответствующих набору вторичных параметров, выделенных с помощью параметризатора для каждого объекта обучающей выборки.

2. Для каждого слоя полносвязной сети (слои считаются от входа к выходу) вычисляются отклики нейронов на каждый входной вектор из обучающей выборки. Полученные данные сохраняются в отдельные массивы , точность вычисления соответствует стандарту float32 (32 битному представлению числа с плавающей точкой).

3. Нейроны, активация которых равна нулю записываются в отдельный массив .

4. Производится проверка, существуют ли такой набор нейронов, что

Если количество таких нейронов в каком-либо слое a больше нуля, то на следующей итерации поиска гиперпараметров, слой a будет содержать на da меньше нейронов.

5. В массивах происходит поиск нейронов, удовлетворяющих условию

Значение ограничения 10-6 было выбрано в результате проведения серии экспериментов.

6. Оценивается отклик выходного слоя полносвязной сети, вычисляется ошибка распознавания и количество выходных нейронов , которые при корректной классификации демонстрируют отклик более 0.9.

7. Если на шаге 6 ошибка классификации равна нулю и все выходные нейроны проходят проверку, то на следующей итерации поиска гиперпараметров, слой a будет содержать на меньше нейронов.

Таким образом, предложен алгоритм, позволяющий формализовать подбор гиперпараметров полносвязной части СНС. На рисунках 2 - 4 приведены графики обучения полносвязной части при выборе гиперпараметров.

Рис. 2. Кривая обучения для базовой архитектуры сети.

Рис. 3. Кривая обучения для архитектуры с эффектом «паралича сети»

На рисунке 3, приведена архитектура сети, на которой наблюдается эффект «паралича сети». В процессе обучения сети, значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут выдавать на выходе сети большие значения, где производная функции активации от них будет очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. Данная архитектура является не эффективной, так как сеть нельзя эффективно обучить.

Архитектура СНС, представленная на рисунке 4, является наиболее эффективной и подходящей, в виду того, что за малое количество эпох, мы получаем полностью обученную сеть. Данная сеть обучилась за 50 эпох. Критерием останова являлся порог ошибки обучения (представленный на графике пунктиром), определяемый как , где Q - количество объектов в обучающей выборке; p - количество классов нейроклассификатора.

Рис. 4. Кривая обучения для найденной квазиоптимальной архитектуры сети

Проанализировав рисунки 2 - 4, можно сделать вывод, что была подобрана квазиэффективная архитектура сети, которая позволила за 50 эпох обучить СНС на замкнутой обучающей выборке. Данная сеть обеспечивает нулевую ошибку классификации. Архитектуры, кривые обучения которых приведены на рис. 2 и 3 являются не эффективными, ввиду медленной сходимости и наличия эффекта «паралича сети». Архитектура квазиоптимальной полносвязной нейронной сети представлена на рис. 5.

Рис. 5. Архитектура найденной квазиоптимальной полносвязанной сети

Сверточная часть подбиралась поиском по матрице, количество протестированных образцов параметризатора составило 16 моделей.

В работе предложен формальный алгоритм выбора архитектуры полносвязной части нейроклассификатора объектов на изображениях. При использовании данного алгоритма удалось снизить общее количество настраиваемых параметров полносвязной нейронной сети уменьшив их количество в 1,5 раза, при этом сохраняя нулевую ошибку на замкнутых данных. Подобное снижение количества параметров прямо влияет как на скорость обучения СНС, так и на время работы нейроклассификатора. Преимуществами предложенного подхода является возможность его автоматизации и введение количественных оценок эффективности полносвязной части нейроклассификатора.

ЛИТЕРАТУРА

алгоритм архитектура полносвязный сеть

1. Ma L. Resting State EEG-based biometrics for individual identification using convolutional neural networks / Ma L., Minett J. W., Blu T., Wang W. S-Y. // 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2015, Vol. 3 - pp. 6-15.

2. Jun W. Study on deep learning in radar / Jun W., Tong Z., Peng L., Shaoming W. // JOURNAL OF RADARS, 2018, №7(4). - pp. 395-411.

3. Ranzato М.A. What is the best multi-stage architecture for object recognition? / Ranzato М. A., Jarrett K., Kavukcuoglu K., LeCu Y. // IEEE Computer Society. 2009. - pp. 2146-2153.

4. Matuszyk P. A Comparative Study on Hyperparameter Optimization for Recommender Systems / Matuszyk P., Castillo R. T., Kottke D., Spiliopoulou M. // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16). 2016. С. 13-21.

5. Bergstra J. Random Search for Hyper-Parameter Optimization / Bergstra J., Yoshua B. // Journal of Machine Learning Research (JMLR), 2012. - С. 281-305.

6. Snoek J., Larochelle H., Adams R.P. [1206.2944] Practical Bayesian Optimization of Machine Learning Algorithms 2012. URL: https://arxiv.org/abs/1206.2944 (дата обращения: 10.01.2019).

7. Xu C. An Actor-Critic Algorithm For Learning Rate / Xu C., Qin T., Wang G., Liu T.Y. // 5th International Conference on Learning Representations (ICLR 2017). 2017. - pp. 1-12.

REFERENCES

1. Ma L. Resting State EEG-based biometrics for individual identification using convolutional neural networks / Ma L., Minett J. W., Blu T., Wang W. S-Y. // 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 2015, Vol. 3 - pp. 6-15.

2. Jun W. Study on deep learning in radar / Jun W., Tong Z., Peng L., Shaoming W. // JOURNAL OF RADARS, 2018, №7(4). - pp. 395-411.

3. Ranzato М.A. What is the best multi-stage architecture for object recognition? / Ranzato М. A., Jarrett K., Kavukcuoglu K., LeCu Y. // IEEE Computer Society. 2009. - pp. 2146-2153.

4. Matuszyk P. A Comparative Study on Hyperparameter Optimization for Recommender Systems / Matuszyk P., Castillo R. T., Kottke D., Spiliopoulou M. // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16). 2016. С. 13-21.

5. Bergstra J. Random Search for Hyper-Parameter Optimization / Bergstra J., Yoshua B. // Journal of Machine Learning Research (JMLR), 2012. - С. 281-305.

6. Snoek J., Larochelle H., Adams R.P. [1206.2944] Practical Bayesian Optimization of Machine Learning Algorithms 2012. URL: https://arxiv.org/abs/1206.2944 (дата обращения: 10.01.2019).

7. Xu C. An Actor-Critic Algorithm For Learning Rate / Xu C., Qin T., Wang G., Liu T.Y. // 5th International Conference on Learning Representations (ICLR 2017). 2017. - pp. 1-12.

Размещено на Allbest.ru