"Пропозицій регіонів" у згорткових нейронних мережах

Размещено на http://www.allbest.ru

Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

"Пропозицій регіонів" у згорткових нейронних мережах

Музиченко В.І., магістр кафедри технічної кібернетики

Корнага Я.І., кандидат технічних наук, доцент

кафедри технічної кібернетики

Summary

REGION-BASED CONVOLUTIONAL NEURAL NETWORKS ДОСЛІДЖЕННЯ МЕТОДУ

Deep convolutional neural networks (CNNs) have had a major impact on most areas of image comprehension, including categorizing objects. When detecting objects, methods such as R-CNN, have received excellent results by integrating CNN with networks that generate regions by selective search. This article explores the role of region generation in detectors using CNN and the region suggestion model to determine whether the region proposal model is a necessary simulation component encoding important geometric information about the internal state of the image, or is simply a way to accelerate detection without loss of quality. This is done by designing and evaluating a detector that uses a "trivial area" generation pattern that is constant for each image. Combined with the Spatial Pyramid Pooling, it provides an excellent and fast detector that does not require image processing using algorithms other than CNN itself.

Keywords: CNN, neural networks, image understanding, object category detect, region generation.

Анотація

Глибокі згорткові нейронні мережі (CNN) зробили великий вплив на більшість областей розуміння зображень, включаючи визначення категорії об'єктів. При виявленні об'єктів такі методи, як R- CNN, отримали відмінні результати за рахунок інтеграції CNN з мережами які генерують регіони, за допомогою вибіркового пошуку (selective search). У цій статті досліджується роль генерації регіонів в детекторах за допомогою CNN та моделі пропозицій регіонів, щоб визначити, чи є модель пропозиції регіонів необхідним компонентом моделювання, що кодує важливу геометричну інформацію про внутрішній стан зображення, або це просто спосіб прискорити детекцію без втрати якості. Це робиться, за допомогою проектування та оцінювання детектора, який використовує схему генерації “тривіальної області”, постійну для кожного зображення. У поєднанні з спільним об'єднання піраміди (Spatial Pyramid Pooling) це дає відмінний і швидкий детектор, який не вимагає обробки зображення за допомогою алгоритмів окрім самї CNN.

Ключові слова: CNN, нейронні мережі, розпізнавання зображень, визначення категорії об'єктів, генерація регіонів.

1. Постановка проблеми

Детекція об'єктів - одна з основних проблем в інтелектуальній обробці зображень. До недавнього часу найбільш ефективні детектори в найбільш популярних тестах, таких як PASCAL VOC, були засновані на поєднанні евристично згенерованих ознак зображення, таких як SIFT, HOG і Vector Fisher, а також форми структурованої регресії вихідного сигналу, WIT^^ моделей розсувних вікон до моделі деформованих деталей).

Аналіз досліджень та публікацій Однак останнім часом джерела засновані на поєднанні евристично згенерованих ознак стали значно відставати від моделей, які засновані на глибокому навчанні, яке автоматично набуває уявлення про особливості даних за допомогою згортальних нейронних мереж ^К№). На даний момент кращі детектори на основі CNN засновані на конструкції R-CNN [9, с. 17]. Концептуально R- CNN дуже простий: він виділяє області зображення за допомогою механізму пропозицій та вибірковий пошуку [18, с. 5-7], та класифікує кожну з виділених областей допомогою CNN.

2. Виділення невирішених раніше частин проблеми

R-CNN залишає кілька цікавих питань [8, с.1].

Перше питання полягає в тому, чи містить CNN достатню геометричну інформацію для локалізації об'єктів або чи повинна CNN бути доповнена зовнішнім механізмом, таким як створення алгоритм пропозицій областей. Насправді є дві гіпотези. Перша полягає в тому, що єдина роль генерації пропозицій полягає в скороченні обчислень, дозволяючи уникнути запуску CNN для усього зображення, що є дорогою операцією, а запускати її на невеликому числі областей зображення. В цьому випадку створення пропозицій стає менш важливим, оскільки інші прискорення, такі як SPP-CNN [10, с.31-32], стають доступними і можуть бути скасовані. Друга гіпотеза полягає в тому, що створення пропозицій забезпечує геометричну інформацію, дуже важливу важливу для точної локалізації об'єкта, яка не може бути представлена за допомогою CNN [20, с.13]. Це малоймовірно, враховуючи те, що CNN за час навчання спонукається бути дуже інваріантними навіть до великих геометричних змін і, отже, не можуть бути чутливими до місця розташування об'єкта.

Друге питання полягає в тому, чи можна спростити вхідні дані для R-CNN. R-CNN містить безліч практичних кроків, які необхідно ретельно впроваджувати і налаштовувати для забезпечення хорошої точності. Для початку, R-CNN спирається на CNN, яка перед тим навчається для задачі класифікації об'єктів, на таких даних як ImageNet ILSVRC [5, с.4]. Ця CNN потім використовується для задачі детекції:

I) задачі класифікації SVM для кожного класу об'єктів на останньому за допомогою останнього шару нейронної мережі

II) додаткове навчання CNN на задачу розпізнавання об'єктів і фону

III) вивчення регресії обмежувальної “коробки” (bounding box) для кожного класу об'єктів [7, с. 6-8].

Третє питання - чи швидша R-CNN. Істотне прискорення вже було досягнуто в надточних нейромережах (SPP) [11, с. 20-23] шляхом реалізації того, що згорткові функції можуть бути розділені між різними областями, а не перераховані. Однак це не прискорює навчання, а при тестуванні механізм створення пропозицій в області стає новим вузьким місцем.

Ціль статті

Цілю статті є дослідження геометричної інформації для локалізації об'єкту, що містить CNN, дослідження можливості спрощення вхідних даних R-CNN, та дослідження швидкості R-CNN.

3. Викладення основного матеріалу

нейронний мережа генерація пошук

1. Детектори на базі CNN

1.1 Детектори R-CNN

Формування пропозиції регіону

Метод R-CNN [9, c.15] є ланцюжком концептуально простих кроків: створення областей-кандидатів, їх класифікація як об'єкту або заднього плану і подальша обробка для поліпшення їх відповідності до об'єктів. Ці кроки описані нижче.

Створення пропозиції областей

R-CNN починається з запуску алгоритму, такого як SS [18, c.27] або CPMC [3, c.18], для вилучення з зображення x кратного списку областей зображення R Є R(x), які можуть містити об'єкти. Ці пропозиції кількістю в декілька тисяч на зображення можуть мати довільні форми, але передбачається, що вони перетворюються в прямокутники.

CNN-функції

Кандидати в об'єкти за допомогою CNN класифікуються. Сама CNN часто навчається на інших даних для задачі класифікації - зазвичай це класифікація зображень на даних з ImageNet ILSVRC [5 c. 11-13]. Таким чином, CNN може навчатися на дуже великому наборі даних, що потрібно для забезпечення гарної якості класифікації, а потім застосовується до детекції об'єктів, де набори даних зазвичай набагато менші. Щоб перенести попередньо навчену CNN на детекцію об'єкта, її останні кілька шарів, які є специфічними для завдання класифікації, видаляються; це призводить до «урізаної» CNN ф. CNN застосовується до R областей зображення [19, c.43] шляхом обрізки і зміни розміру зображення х, тобто

pRCNN(x; R) = Ф (resize (x\R))

[21, c.2]. Обрізка і зміна розмірів служать двом цілям: локалізувати дескриптор і надати CNN зображення фіксованого розміру, оскільки це потрібно для багатьох архітектур CNN.

Навчання SVM

З огляду на дескриптор області фRCNN(x; R), наступним кроком є вивчення класифікатора SVM для визначення того, чи містить регіон об'єкт або фон. Вивчення SVM починається з ряду прикладів зображень x1, . . . , xN, кожен з яких анотується областями істини R" Є Rgt(xi) і мітками об'єкта c(R) Є {1....С} [1, с.1]. Щоб вивчити класифікатор для класу с, R-CNN ділить істину Rgt(xi) і кандидатів R(x) на позитивних і негативних. Зокрема, грунтовним областям істинності R Є Rgt(x) для класу c(R) = с присвоюється позитивна мітка y(R; с; і) = +1; інші області R позначені як неоднозначні y(R; с; і) = є ігноруються, якщо перекриваються (R,R) > т = 0 з будь-якою областю істинності R Є Rgt(x) того ж класу

c(R) = cc(R) = с.

Решта регіонів позначені як негативні [14, с.9]. Тут

(А, В) = \А П В\/\А U В\

є мірою перекриття перетину з об'єднанням, а поріг встановлюється рівним т = 0.3. SVM набирає вигляду pSVM ? pRCNN(x; R), де фSVM - лінійний предиктор hwc, pRCNNi + be, отриманий з використанням SVM для мінімізації емпіричного ризику помилки [6, с.3].

Обмеження ребер

Обмежувальні прямокутники кандидатів на об'єкти перетворюються на детекцію об'єктів з використанням регресії на основі CNN. З огляду на обмежувальну рамку кандидата

R = (х, у, w, h), де

(х, у) - її центр і ^, К) його ширина і висота, лінійний регресор оцінює настройку

<і =(йх,йу,йт,йК), яка дає новий обмежений блок й[И] = (юйх + х.Ьйу + у,шейш )

[22, с.10]. Щоб тренувати цей регресор, для кожної області істини R* збираються всі кандидати R, які перекриваються з ним (з перекриттям не менше 0,5) [12, с.34]. Кожна пара (И * ,И) областей перетворюється в навчальну пару (<рспу(х,И'),й') для регресорів, де d - вектор, необхідний для перетворення R* в R, тобто

R* = d[R] [23, с.1].

Потім пари використовуються для навчання регресорів використовуючи регресію з великою константою регуляризації. Сам регресор приймає вид (І = QсГ фспу (гезіге(хІР)) + Ьс, де фс^ позначає CNN [2, с.11], обмежений шарами згортки. Регресію додатково покращують шляхом перетреніровки після видалення 20% прикладів з найгіршою втратою регресії - як показано в загальнодоступній реалізації SPP-CNN.

Пост обробка

Уточнені обмежувальні прямокутники передаються до алгоритму з'єднання детектувань. З'єднування детектувань усуває дублювання детектування, що визначає пріоритетність областей з більш високим рангом SVM s(ф(R)) [13, с.20]. Починаючи з області з найвищим рангом на зображенні, інші регіони ітеративно видаляються, якщо вони перевищують його [4, с.15].

Тонкі налаштування CNN

Якість функцій СММ, перенесених з завдання класифікації, може бути покращено шляхом точного налаштування мережі на цільових даних. Для цього С№М фRCNN(x; R) об'єднується з додатковими шарами фsftmx, щоб отримати предиктор для класів об'єктів С + 1. Потім нова СИИ фБ[Ітх ? фИСММ(х; И) [24, с.3] навчається в якості класифікатора, зводячи до мінімуму його емпіричний логістичний ризик на навчальному наборі помічених областей. Це є аналогічним процедурі, використовуваної для вивчення СММ, але зі зменшеною швидкістю навчання та іншим набором тренувань, аналогічним тому, який використовувався для навчання SVM. У цьому наборі даних регістру R, присвоюється клас с(И; т+,т-) = с(И * ) найближчій істинній області И * = агдтахЯ Є ИдЬіх) перекриваються (Я, R), за умови, що перекриття (Я,Я * ) > і +. Якщо замість цього перекривати (Я, Я * ) < і-, то область позначається як фон с(Я; т+,т--) = 0, а інші області - неоднозначні. За замовчуванням т+, т- рівні 1/2, що призводить до більш простішого набору тренувань, ніж для SVM. Оскільки набір даних сильно упереджено ставиться до фонових областей, під час навчання в СММ він ребалансує шляхом вибірки з 25%-ми імовірних областей, таких, що с(Я) > 0 і з 75%-ма імовірних областей, що с(Я) = 0.

1.2. Детектор ЗРР-СКК

Істотним недоліком R-CNN є необхідність перерахунку усю СММ з початку для кожного оцінюваного регіону; оскільки це відбувається тисячі разів на зображення, метод повільний. SPP-

CNN вирішує цю проблему, факторизацією CNN Ф = ф[с ¦ фспрв двох частинах, де 9cnv містить так звані згорткові шари, тобто об'єднує інформацію з локальних областей і де 9cnv повністю об'єднує інформацію з зображення в цілому [17, с.5]. Оскільки згорткові шари кодують локальну інформацію, це може бути вибірково об'єднано для кодування зовнішнього вигляду субрегіону зображення R замість всього зображення. Більш детально, нехай у = (pcnv(x) вихідні згортальні шари, що застосовані до зображення х. Поле характеристик у є тензор Н xW х Из висотою H і шириною W, пропорційний висоті і ширині вхідного зображення х та D каналів функцій. Нехай z = SP(y; R) - результат застосування оператора просторового об'єднання (SP) до у, що міститься в області R. Цей оператор буде визначено як:

zd = max((i,j):g(i,j)ER) yijd.d =1 D (1)

де функція g відображає координати об'єкта (і, j) назад в координати зображення g (і, j). Оператор SP розширюється до пулу просторових пірамід [15 c.45], розділяючи область R на субрегіони

R = R1 U R2 U ...RK,

застосовуючи оператор SP до кожного, а потім складаючи підсумкові функції. На практиці SSP-CNN використовує підрозділи К х К, де K вибирається так, щоб відповідати розміру згорткового поля в вихідному CNN [25, с.6]. Таким чином, вихід може бути об'єднаний з існуючими FC-шарами:

фЯРР(х; R) = (pfc ¦SPPQ; R) ¦фспу(х).

У порівнянні з R-CNN перша частина обчислення розподіляється між усіма регіонами R.

Потім виводиться відображення g, яке перетворює координати об'єктів назад в координати зображення, як того вимагає (1) [11 с.22]. Досить розглянути один просторовий розмір. Питання в тому, який піксель х0(і0) відповідає ознаці xL(iL) в L-у шарі CNN. Хоча немає єдиного визначення, корисно, щоб і0 був центром чутливого поля функції xL(iL), що визначається як набір пікселів L(iL), які можуть впливати на xL(iL) як функцію зображення.

Висновки та пропозиції

Найважливіший висновок полягає в тому, що поточні CNN дійсно містять достатню геометричну інформацію для точного виявлення об'єктів, однак тільки в згортальних, а не повністю пов'язаних шарах. Це відкриває можливість створення сучасних детекторів об'єктів, які покладаються виключно на CNN, усуваючи схеми створення пропозицій для регіонів, такі як вибірковий пошук, і призводять до створення інтегрованих, більш простих і швидких детекторів.

SPP є одним з найважливіших пунктів для створення високоточної R-CNN, з можливістю runtime виконання [16, с.1-2]. Оскільки R-CNN доводиться самостійно передавати велику кількість областей з SS через CNN, алгоритм дуже повільний. SPP дозволяє провести все зображення (а не його окремі регіони) через згортковий шар тільки один раз. Це економить багато часу, тому що один і той же патч може належати кільком регіонам, і згортки на них не обчислюються багаторазово, як це зроблено в RCNN, тим самим забезпечуючи спільне обчислення шарів серед регіонів. Оскільки основний шматок часу (~ 90%) витрачається на згорткові шари, він різко скорочує час обчислень.

Список літератури

1. B. Alexe, T. Deselaers, and V. Ferrari. What is an object? In Proc. CVPR, 2010.

2. P. Arbel'aez, J. Pont-Tuset, J. T. Barron, F. Marques, and J. Malik. Multiscale combinatorial grouping. In Proc. CVPR, 2014.

3. J. Carreira and C. Sminchisescu. Cpmc: Automatic object segmentation using constrained parametric min-cuts. In PAMI, 2012.

4. N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. In Proc. CVPR, 2005.

5. J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. ImageNet: A Large-Scale Hierarchical Image Database. In Proc. CVPR, 2009.

6. M. Everingham, A. Zisserman, C. Williams, and L. V. Gool. The PASCAL visual obiect classes challenge 2007 (VOC2007) results. Technical report, Pascal Challenge, 2007.

7. P. F. Felzenszwalb, D. McAllester, and D. Ramanan.A discriminatively trained, multiscale, deformable part model. In Proc. CVPR, 2008.

8. R. Girshick. Fast RCNN. In arXiv, number arXiv:1504.08083, 2015.

9. R. B. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In Proc. CVPR, 2014.

10. Y. Gong, L. Wang, R. Guo, and S. Lazebnik. Multi-scale orderless pooling of deep convolutional activation features. In Proc. ECCV, 2014.

11. K. He, X. Zhang, S. Ren, and J. Sun. Spatial pyramid pooling in deep convolutional networks for visual recognition. In Proc. ECCV, 2014.

12. X. He, R. Zemel, and M. C.-P. n'an. Multiscale conditional random fields for image labeling. In Proc. CVPR, 2004.

13. J. Hosang, R. Beneson, P. Doll'ar, and B. Schiele. What makes for effective detection proposals? arXiv:1502.05082, 2015.

14. A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Proc. NIPS, 2012.

15. S. Lazebnik, C. Schmid, and J. Ponce. Beyond bag of features: Spatial pyramid matching for recognizing natural scene categories. In Proc. CVPR, 2006.

16. K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. CoRR, abs/1409.1556, 2014.

17. J. Sivic, B. C. Russel, A. A. Efros, A. Zisserman, and W. T. Freeman. Discovering objects and their location in images. In Proc. ICCV, 2005.

18. J. Uijlings, K. van de Sande, T. Gevers, and A. Smeulders. Selective search for object recognition. IJCV, 2013.

19. A. Vedaldi, V. Gulshan, M. Varma, and A. Zisserman. Multiple kernels for object detection. In Proc. ICCV, 2009.

20. P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. CVPR, 2001.

21. M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional networks. In Proc ECCV, 2014.

22. Q. Zhao and Z. L. an B. Yin. Cracking bing and beyond. In Proc. BMVC, 2014.

23. C. Zitnick and P. Doll'ar. Edge boxes: Locating object proposals from edges. In Proc. ECCV, 2014.

Размещено на Allbest.ru