Системи розпізнавання людей за допомогою бібліотеки YOLO V3

Спочатку зображення обробляється для того, щоб отримати стиснуту копію зображення. Наведемо приклад, якщо на вхід подати зображення розмірності 8х8х3, тоді після пропускання зображення через операції конволюції, отримаємо на виході тензор розміром 8х8х3. Але якщо припустити, що вхідним розміром зображення є 416x416 пікселів, тоді вихідні, або результуючі матриці (сітки) будуть мати розмірності 52x52,26x26 і 13x13 відповідно (416/8 = 52,416/16 = 26 і 416/32 = 13).

Мережа YOLO V3 розпізнає малі об'єкти за допомогою 8-кратної дискретизації карти ознак, що означає, що коли об'єкт менше 8 пікселів на 8 пікселів, то мережі важко прогнозувати ціль. Таким чином, цільовий рівень розпізнавання за допомогою 8-кратного зниження дискретизації має обмежену можливість розпізнавання інформації про невеликому цільовому розташуванні.

Рис. 1. Схематичне зображення архітектури алгоритму YOLOv3

Серед проаналізованих архітектур, лише YOLOv3-tiny має дещо інший принцип роботи. Архітектура виконує все теж саме, тільки замість трьох сіток маємо дві: 16 і 32, тобто зображення розміром 416x416 пікселі на виході отримає матриці розмірністю (416/16 = 26 і 416/32 = 13) (рис.2).

Рис. 2. Схематичне зображення архітектури алгоритму YOLOv3-tiny

нейронний мережа розпізнавання образ фремворк darknet

Представлені архітектури моделі YOLOv3 має кілька переваг перед системами на основі класифікаторів. Однією з важливих переваг архітектури YOLOv3 є те, що локалізація і класифікація об'єктів проводиться за один прохід через мережу. Це дозволяє проводити обробку відео обробляючи кожен кадр окремо, що дає можливість обробки відеопотоку в режимі реального часу. Вона розглядає ціле зображення під час тестування, тому його прогнози визначаються глобальним контекстом зображення. Вона також робить прогнози за допомогою єдиного використання мережі, на відміну від таких систем, як RCNN, які виконуюсь прогнозування тисячі разів для одного зображення. Це робить модель YOLO надзвичайно швидкою, більш ніж в 1000 разів швидшою, ніж R-CNN, і в 100 разів, ніж Fast R-CNN чи Faster R-CNN [6].

Реалізація прототипу для тестування мережі. Для тестування мережі на архітектурі YOLOv3 використаємо фреймворк Darknet. В основному, код створюють мовою програмування Python, яка генерує Keras файл, який використовують бібліотеки для роботи з розпізнавання. До прикладів таких бібліотек можна віднести бібліотеку CoreML для реалізації розпізнавання на пристрої компанії Apple.

Загальнодоступні моделі для YOLOv3 знаходяться у відкритому доступі і з кожним днем відбуваються зміни в коді моделей, що забезпечує удосконалення моделей. Для прототипу скористаємося відкритим джерелом pjreddie.com. Після завантаження за допомогою наступної команди можна перетворити загальнодоступну модель у файл, що використовується бібліотекою:

wget https://pjreddie.com/media/files/yolov3.weights

python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5

У результаті згенерується файл із розширенням .h5 формату Keras.

Окрім використання загальнодоступних моделей, можна використати штучне навчання. Для цього, за принципами, машинного навчання необхідні вхідні тренувальні дані для навчання мережі.

Найпростішим методом створення моделі є задання текстовим файлом тренувальних даних. Для полегшення роботи з цими даними, можна зберігати дані у табличному вигляді з файлами анотацій, що описують навчальний предмет.

Тренувальні дані у вигляді текстового файлу мають наступний вигляд:

path/to/img1.jpg 50,100,150,200,0 30,50,200,120,3

path/to/img2.jpg 120,300,250,600,2

Кожен запис вміщається в один рядок, який складається із наступних даних:

• Формат рядка: image_file_path box1 box2 ... boxN;

• Формат box поля: x_min,y_min,x_max,y_max,class_id (без пробілу).

Для запуску розпізнавання об'єктів на основі тренерувальних даних необхідно запустити python скрипт:

python yolo_video.py --model trained_weights_final.h5 -classes classes.txt -

image

Також тренувальні дані можна подати у вигляді таблиці фото файлів з анотаціями. Приклад анотації у вигляді xml подано нижче.

<annotation>

<folder>PersonsTrainer</folder>

<filename>IMG_20181228_101826.jpg</filename>

<path>./IMG_20181228_101826.jpg</path>

<size>

<width>800</width>

<height>600</height>

</size>

<segmented>0</segmented>

<object>

<name>Woman</name>

<bndbox>

<xmin>317</xmin>

<ymin>265</ymin>

<xmax>556</xmax>

<ymax>342</ymax>

</bndbox>

</object>

</annotation>

Покращення алгоритму кластеризації. В ході аналізу визначено, що найбільш впливовими параметрами алгоритму YOLOv3 є параметр Anchor Box (цільовий сектор). Існує багато оптимально-ресурсних методів визначення цього параметру, проте в YOLOv3 використається алгоритм кластеризації kMeans. Метод полягає у кластеризації довжини та ширини цільових секторів. Координати секторів розпізнання визначаються за формулою:

(1)

bx, by, bw, bh - координати центру, величини ширини та висоти секторів розпізнавання;

сх, Су - зміщення поточної сітки комірок відносно верхнього лівого кута зображення;

pw, ph - ширина і висота відповідної Anchor Box;

о - функція активації, яка відображає мережеві прогнози tw, th в межах від 0 до 1.

Алгоритм кластеризації kMeans. Алгоритм кластеризації kMeans розбиває множини елементів векторного простору на k кластерів. Робота алгоритму полягає, у тому, щоб мінімізувати середньоквадратичне відхилення на точках кожного кластеру. Одна із основних ідей визначається в тому, що кожна наступна ітерація розраховує центр мас для кожного із кластерів, які отримані на попередньому кроці, пізніше утворені вектори розбивають на кластери знову у відповідності до того, який із знайдених центрів виявився ближче. Алгоритм завершується, коли на якійсь ітерації не відбувається зміни кластерів [7].

Алгоритм кластеризації kMeans використовується в YOLOv3 для генерації цільових секторів. Алгоритм використовує відстань в якості метрики подібності при ітерації кластеризації для знаходження k-класів в заданому наборі даних, а центр кожного класу виходить із середньої величини всіх точок даних в цьому класі. Даний метод розглядає кожну точку ознаки у формулі відстані як однаково зважену і не враховує вплив різних точок ознаки на результати кластеризації. Отже, якщо в класі є точки, що створюють шум або ізольовані точки, які знаходяться далеко від простору вибірки даних, то такі точки створюють великі коливання при розрахунку центру класу, а це сильно впливає на розрахунок середнього значення, або сильно відхиляють центр кластеризації від щільної області вибірки класу. В результаті це призводить до сильних відхилень у результатах кластеризації.

Для вирішення проблеми алгоритму кластеризації kMeans, в даному дослідженні ми використовуємо удосконалення алгоритму кластеризації за допомогою іншого алгоритму кластеризації DBSCAN, який використаємо для аналізу набору навчальних даних, щоб вибрати цільовий сектора, який найбільше підходить для виявлення людей.

Алгоритм кластеризації DBSCAN. Алгоритм DBSCAN - це алгоритм кластеризації на основі щільності, яка зазвичай передбачає, що категорії можуть бути визначені при близькому розподілі вибірки. Зразки однієї і тієї ж категорії тісно пов'язані одна з одною, тобто зразки однієї і тієї ж категорії повинні бути присутніми недалеко від будь-якої проби цієї категорії. Розглянемо набір точок в деякому просторі, що вимагає кластеризація. Для виконання кластеризації DBSCAN точки діляться на основні точки, які досяжні по щільності іншим точкам і випадають наступним чином [5]:

1. Точка р є основною точкою, якщо достатня кількість точок знаходяться на відстані, що не перевищує епсилон, включаючи саму точку р. Іншими словами можна сказати, що ці точки досяжні прямо з р;

2. Точка q прямо досяжна з р, якщо точка q знаходиться на відстані, не більшій епсилон, від точки р і точка р повинна бути основною точкою;

3. Точка q досягаєма із р, якщо шлях із р_г ...р_п із р_г = р, р_п = q, де кожна точка Рі досягаєма із р_і-1;

4. Всі точки кластеризації, що не досяжні з основних точок, вважаються викидними.

Відповідно до попередніх правил, якщо р є основною точкою, то вона формує кластер разом з усіма точками (основними або неосновними), досяжними з цієї точкою. Кожен кластер містить щонайменше одну основну точку. Неосновні точки можуть бути частиною кластера, але вони формують його "край", оскільки не можуть бути використані для досягнення інших точок [8].

Рис.3. Схематичні зображення порівняння роботи алгоритмів кластеризації kMeans і DBSCAN [3]

Покращення нейронної мережі. У ново-досліджуваній мережі, алгоритм кластеризації DBSCAN використовуємо для визначення кількості кластерів, а також кількість точок, що входять у ці кластери. Окремим випадком використання саме цього алгоритму є запобігання впливу точок, що створюють шум або ізольованих точок на результати кластеризації, в результаті чого отримуємо вхідне значення кількості кластерів для алгоритму кластеризації kMeans. Результати кластеризації DBSCAN є вхідними даними для аналізу алгоритмом кластеризації kMeans, в результаті чого визначається центр кластеризації. Із отриманих кластерів обирається найкращий із коефіцієнтом перекривання об'єктів.

Запропонований принцип реалізовано, як надбудову до TensorFlow-2.x-YOLOv3. Для тестування результатів використано загально доступне відео із камери спостереження продуктового магазину, на якому людина чітко може побачити 3 персони. Для порівняння результаті подано наступні характеристики:

• Середня впізнаваність об'єктів, яка виражається у відсотках;

• Тривалість обробки кадру із відео;

• FPS - обернена величина до тривалості обробки кадрів.

Таблиця 2

Порівняння результатів розпізнавання

За результатами, що подані у таблиці вище можна зробити наступні висновки, що покращений алгоритм кластеризації розпізнає до 12 кадрів більше за хвилину, ніж звичайний, і подає більш точне вгадування осіб. Проте, якщо швидкість розпізнавання має більш важливе місце за точність розпізнавання, тоді алгоритм YOLOv3-tiny також показує кращі результати, проте лише значну різницю у швидкості розпізнавання, що дозволить розпізнати на 60 кадрів більше за одну хвилину.

Висновки

Проаналізовано існуючі системи розпізнавання людей та дано їх характеристику. Окремо описано особливості двоступеневого та одноступеневого розпізнавання образів, наведено методики підвищення продуктивності глибоких нейронних мереж за допомогою зменшення кількості операцій.

Подано особливості роботи нейронних мереж на основі YOLOv3 та охарактеризовано архітектуру досліджуваного алгоритму. Описано програмну реалізацію для YOLOv3 з участю фремворка Darknet та бібліотеки Tensorflow. В результаті процесу тренування досліджуваної нейтронної мережі використано покращений метод кластеризації для отримання цільових секторів. Вихідна мережа YOLOv3 використовує тільки метод кластеризації kMeans. Цей метод не виключає впливу на шум і ізольовані точки. Тому в даній роботі ми використовуємо алгоритм DBSCAN + kMeans для кластеризації і аналізу набору навчальних даних. Цей алгоритм дозволяє більш точно вибрати цільові сектори. Отримані результати навчання свідчать, що покращена мережа має хорошу продуктивність в задачах розпізнавання і класифікації цілей.

Список використаних джерел

1. Kushnir, D., & Paramud, Y. (2019). Methods for real-time object searching and recognizing in video images on ios mobile platform. Computer systems and network, 1(1), 24-34.

2. Mori, H., & Kotani, S. (б.д.). Recent Progress In Mobile Robot Harunobu (2) - Moving Obstacle Detection And Mobile Robot Application. У 1993 Intelligent Vehicles Symposium. IEEE.

3. Moran Ju, Haibo Luo, Zhongbo Wang, Miao He, Zheng Chang, & Bin Hui. (2019).

4. Improved YOLO V3 Algorithm and Its Application in Small Target Detection. Acta Optica Sinica, 39(7), 0715004.

5. Wu, H., Lu, Z., Guo, J., & Ren, T. (2021). Face Detection And Recognition In Complex Environments. У 2021 40th Chinese Control Conference (CCC). IEEE.

6. Mao, Q.-C., Sun, H.-M., Liu, Y.-B., & Jia, R.-S. (2019). Mini-YOLOv3: Real-Time Object Detector for Embedded Applications. IEEE Access, 7, 133529

7. Lin, T.-Y., Goyal, P., Girshick, R., He, K., & Dollar, P. (2020). Focal Loss for Dense Object Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2), 318327.

8. Incremental Improvement. (2005). У Psychology of Aid (0-те вид., с. 101-118). Routledge.

9. Chaudhari, S., Malkan, N., Momin, A., & Bonde, M. (2020). Yolo Real Time Object Detection. International Journal of Computer Trends and Technology, 68(6), 70-76.

10. Carrasco, D.P., Rashwan, H.A., Garcia, M.A., & Puig, D. (2021). T-YOLO: Tiny vehicle detection based on YOLO and multi-scale convolutional neural networks. IEEE Access, 1.

11. Yang, F. (2021). An improved YOLO v3 algorithm for remote Sensing image target detection. Journal of Physics: Conference Series, 2132(1), 012028.

Размещено на Allbest.Ru