Нейромережева автоматизація наповнення набору даних аерофотозйомки

Размещено на http://www.allbest.ru/

Міжрегіональної Академії управління персоналом

Національний авіаційний університет

Нейромережева автоматизація наповнення набору даних аерофотозйомки

Пилип Приставка доктор технічних наук, професор, завідувач кафедри прикладної математики

Ольга Чолишкша кандидат технічних наук, доцент, директор Інституту комп'ютерно-інформаційних технологій

Олександр Козачук здобувач PhD програми, магістр кафедри прикладноїматематики,

Дарина Яременко здобувач, провідний фахівець Центру дистанційного навчання

Київ, Україна



Анотація

За останні роки технології та методи машинного навчання досягли суттєвого прогресу. Методи машинного навчання та штучного інтелекту знайшли успішне застосування в широкому та розширюваному діапазоні областей та додатків. Важливим завданням сучасної науки та технологій слід вважати використання штучних ней- ронних мереж з метою визначення, розпізнавання та подальшої класифікації різних об'єктів, присутніх на конкретному зображенні. штучний нейронний мережа аерофотозйомка

Однією з переваг нейронних мереж це те, що всі елементи можуть функціонувати паралельно, тим самим суттєво підвищуючи ефективність розв'язання задачі, особливо в обробці зображень. У даний час існує досить велика кількість систем автоматичного розпізнавання зображень для різних прикладних задач. Нейронні мережі можуть служити як теоретичною так і практичною основою для розробки таких систем. Аспект на який слід звернути увагу при реалізації технології нейромережевого розпізнавання - це база даних (data set), яка необхідна для проведення навчання нейронної мережі. На сьогодні існує велика кількість даних, що отримано з супутників або з літаків. Але безпілотні літальні апарати (БПЛА) мають свою специфіку: вони літають на невеликих висотах, значно більше підлягають вібрації та впливу повітряних мас. Тобто методики відбору даних для навчання мережі з подальшим розпізнаванням саме з бортових камер БПЛА повинні враховувати ці особливості.

Метою статті є опис розробленої інформаційної технології автоматизації наповнення навчального набору даних аерофотозйомки для нейромережевого розпізнавання.

В даній роботі наведено загальний план розробки інформаційної технології, зроблено опис використовуваної архітектури нейронної мережі, наведено основні положення реалізації програм забезпечення, проведено тестування на реальних даних, проведено процедуру поповнення датасету шляхом тестування сегментації та класифікації тестових зображень, проведено перенавчання моделі та тестування класифікації на нових зображеннях, зроблено аналіз результатів.

Ключові слова: штучна нейронна мережа, цифорві зображення, аерофотознімки, розпізнавання образів, класифікація, автоенкодер.



Abstract

NEURAL NETWORK AUTOMATION OF FILLING THE DATA SET OF AERIAL DIGITAL IMAGES

Pylyp PRYSTAVKA

Doctor of Technical Sciences, Professor, Heard of the Department of Applied Mathematics, National Aviation University, 1 Lubomira Guzara str., Kyiv, Ukraine,

Olha CHOLYSHKINA

Candidate of Technical Sciences, Associate Professor, Director of Institute of Computer Information Technologies, Interregional Academy of Personnel Management, 2 Frometivska str., Kyiv, Ukraine,

Olexandr KOZACHUK

Education Applicant of PhD program, Master of Applied Mathematics, National Aviation University, Lubomira Guzara str. 1, Kyiv, Ukraine,

Daryna YAREMENKO

Education Applicant, Leading Specialist of the Center for Distance Learning, Interregional Academy of personnel management, 2 Frometivska str., Kyiv, Ukraine

In recent years, machine learning technologies and methods have made significant progress. The methods of machine learning and artificial intelligence have been successfully used in a wide and expanding range of areas and applications. An important task of modern science and technology should be considered the use of artificial neural networks to identify, recognize and further classify the various objects present in a particular image.

One of the advantages of neural networks is that all elements can operate in parallel, thereby significantly increasing the efficiency of the problem, especially in image processing. Currently, there are quite a number of automatic image recognition systems for various applications. Neural networks can serve as a theoretical and practical basis for the development of such systems. An aspect to pay attention to when implementing neural network recognition technology is the database, which is necessary for neural network training. Today, there is a large amount of data obtained from satellites or aircraft. But unmanned aerial vehicles (UAVs) have their own specifics: they fly at low altitudes, are much more subject to vibration and exposure to air masses. That is, the methods of data selection for network training with subsequent recognition from the onboard cameras of the UAV must take into account these features.

The purpose of the article is to describe the developed information technology for automation of filling the training data set of aerial photography for neural network recognition.

This paper provides a general plan for the development of information technology. Was used a description of the neural network architecture. The main provisions of software implementation were bented. This work also provides testing on real data, the procedure of replenishment of the dataset by testing segmentation and classification of test images, retraining model and testing classification on new images and the analysis of the results.

Key words: artificial neural network, aerial digital images, pattern recognition, classification, autoencoder.



Постановка проблеми

На сьогоднішній день людство спокійно сприймає той факт, що дрони можуть літати самостійно, робити фіксацію інформації, корегувати маршрут та висоту польоту. Це великий успіх. Наступними очікуваннями будуть здібності дронів аналізувати місцевість над якій здійснюється політ, пошук цілей, спостереження за ціллю, бойові вилити та багато інших цільових завдань в залежності від того, що потрапляє на камери цільового навантаження дронів. Такі очікування перш за все йдуть від військових, адже дрони мають потенціал щодо розвідувальних та бойових дій, адже Україна має мотивацію для розвитку саме в цьому напрямі.

Наразі є значний прогрес в області розпізнавання образів, який пов'язаний з застосуванням методів, що базуються на використанні згорткових нейронних мереж. Ці методи швидко розвиваються, в даній галузі постійно з'являються новації, але питання залишається досі відкритим.

Аспект на який слід звернути увагу при реалізації технології нейромережевого розпізнавання - це база даних (data set), яка необхідна для проведення навчання нейронної мережі. На сьогодні існує велика кількість даних, що отримано з супутників або з літаків. Але безпілотні літальні апарати (БПЛА) мають свою специфіку: вони літають на невеликих висотах, значно більше підлягають вібрації та впливу повітряних мас. Тобто методики відбору даних для навчання мережі з подальшим розпізнаванням саме з бортових камер БПЛА повинні враховувати ці особливості. Нажаль методики для такого типу даних не існують у відкритому друці, тому це є також проблемою на шляху створення нових й вдосконалення існуючих методів.

Зважаючи на вище викладене, наведено постановку задачі у наступному вигляді. Розглянемо набір даних, що представлено кафедрою прикладної математики НАУ [12; 13]. Набір даних D={5k) являє собою набір кольорових 3-канальних зображень розмірністю 64 х 64 пікселі. Зображення отримані в результаті польотів безпілотного літаючого апарату( БПЛА) на певній місцевості.

Маємо набір класів

де С - «Будівлі», С2 - «Цивільна техніка», С3 - «Ліси», С4 - «Гелікоптери», С5 - «Великі транспортні засоби», С6 - «Військова техніка», С7 - «Нерослинні поля», С8 - «Дорога», С9 - «Сліди техніки», С - «Траншеї», С - «Рослинні поля».

Рис. 1. Приклади зображень

Поставимо за завдання наступне:

Опис та проведення процесу роботи мережі автоенкодеру та класифікатору.

Створення вікна інтерфейсу користувача.

Проведення сегментації аерофотознімків.

Прийняття рішення про належність зображення до певного класу.

Проведення тестування розробленої ІТ автоматизації наповнення навчального набору на різних зображеннях аерофотозйомки.

Аналіз останніх досліджень і публікацій

За останні роки застосування БПЛА набуло широкого поширення і високої актуальності в багатьох сферах техніки, економіки та суспільного життя, з яких особливе значення може мати повітряна розвідка та спостереження. Обробка та класифікація аерофо- тознімків знаходять застосування в багатьох областях технологій, таких як моніторинг і виявлення в міських, сільських і природних районах, картографія, спостереження та громадська безпека та інші, і швидко розширюється з безперервним зростанням малої та безпілотної авіації. З цих причин тісно пов'язані напрямки попередньої обробки, сегментації та класифікації зображень приділяють велику увагу та активний розвиток у дослідницькому співтоваристві [1; 2].

Нещодавно було досягнуто ряду досягнень в ефективності обробки зображень і алгоритмів сегментації [3; 4], що дозволило довести експлуатаційну продуктивність цих методів до рівня, необхідного для додатків майже в реальному часі та в реальному часі. Розробка ефективної системи моніторингу, здатної локалізувати та ідентифікувати об'єкти на аерофотознімках є предметом цієї роботи.

До специфічних завдань бортових систем моніторингу та спостереження БПЛА можна віднести пошук і розпізнавання елементів місцевості, що дозволяє здійснювати навігацію по оптичному каналу; пошук та ідентифікація об'єктів, що належать до цільових класів; пошук і відстеження конкретних цілей. До вирішення цих завдань можна підійти за допомогою низки методів і технологій, таких як: методи сегментації [2], адаптивні статистичні методи самонавчання [5], SIFT-подібні методи на основі пошуку особливих точок [6], розпізнавання зображень на основі на згорткових нейронних мережах [7; 8; 9] та ін.

На сьогодні є актуальною задача автоматизації наповнення навчального набору даних для нейро- мережевого розпізнавання аерознімків, що отримано з камер БПЛА.

Мета статті - опис розробленої інформаційної технології автоматизації наповнення навчального набору для нейромережевого розпізнавання.

Виклад основного матеріалу

Для вирішення поставлених завдань запропонуємо наступну інформаційну технологію (рис. 2).

Рис. 2. Інформаційна технологія автоматизації наповнення навчального набору для нейромережевого розпізнавання

Для реалізації даної інформаційної технології, було розроблено програмний комплекс, що складається з двох частин (навчання та класифікація).

Перша частина підлягає на створення автоенкодеру та класифікатору, проведення їх навчання на навчальному наборі зображень. Вихідними даними є навчена модель згорткової нейронної мережі.

Друга частина відводиться на створення інтерфейсу користувача для подальшого проведення тестування сегментації та класифікації зображень, на основі створеної моделі нейронної мережі.

Суть проектованої системи зручно представити у вигляді UML-діаграми використання.

Розглянемо архітектуру автоенкодера - нейронної мережі, яка працює за принципом методу головних компонент, тобто зменшує розмірність даних [11]. Мета автокодера полягає в тому, щоб навчитися представлення (кодування) більш низьких розмірів для даних більшої розмірності, як правило, для зменшення розмірності, шляхом навчання мережі для захоплення найважливіших частин вхідного зображення. Автоенкодер розділяться на дві підмережі (рис. 4), одна з яких виконує функцію шифрування, а інша - розшифровування. Дана архітектура автоенкодеру ускладнює побудову класифікатору та збільшує ресурсні потреби, але дозволяє значно зменшити розмірність класифікуючих векторів.

Рис. 3. Спроектована система



Рис. 4. Архітектура автоенкодеру

У даній роботі було обрано архітектуру згорткову нейронну мережу (CNN) з модифікаціями у структурі (рис. 5).

Рис. 5. Архітектура нейромережі класифікатору



Згорткова нейронна мережа складається з вхідного та вихідного рівнів, а також кілька прихованих шарів. Приховані шари CNN зазвичай складаються із серії згорткових шарів, які згортаються з множенням або іншими скалярними добутками. Функція активації зазвичай являє собою шар RELU, за якими слідують додаткові згортки, такі як об'єднання шарів, пов'язаних повністю шарів і рівнів нормалізації, званих прихованими шарами, оскільки їх входи і виходи маскуються функцією активації та фінальна згортка. Математично це технічно ковзний скалярний добуток або взаємна кореляція.

MaxPooling: процес дискретизації на основі вибірки. Мета полягає в тому, щоб зменшити вибірку вхідного представлення (зображення, вихідну матрицю прихованого шару тощо), зменшивши його розмірність і дозволивши зробити припущення щодо функцій, що містяться в субрегіонах, що збираються.

BatchNormalization: нормалізація (зміщення вхідних даних до нульового середнього та одиничної дисперсії) часто використовується як етап попередньої обробки, щоб зробити дані порівнянними між функціями. Таким чином, це призводить до вищої швидкості навчання та кращої швидкості.

Dropout - це техніка, яка використовується для запобігання перенавчання.

Тестування програмного забезпечення.

Навчальний набір для тренування склали кольорові 3-канальні зображення розмірністю 64 х 64 пікселі (рис. 1). Загальна кількість тренувальних зображень становила 17 005 (кількісне розбиття навчальних даних наведено на рис. 6). Зображення отримані в результаті польотів БЛА на певній місцевості. Програма підтримує всі формати цифрових зображень.



Рис. 6. Кількісне розбиття навчальних даних

Для проведення тренувань автоенкодеру та згорткової нейронної мережі, було обрано мову програмування Python та середовище PyCharm. Вибір пояснюється багатим простором допоміжних засобів у роботі з моделями нейронних мереж. Загальний час тренування становив 8 годин та 30 хвилин, при кількісті поколінь для автоенкодеру - 50 (при проходженні одного покоління системі потрібно було приблизно 6 хвилин реального часу) та класифікатору - 50 поколінь.

Нормалізована метрика продуктивності класифікатора наведена на рис. 7.

Рис. 7. Нормалізована метрика продуктивності моделі класифікатора



Головне робоче вікно програмного забезпечення із завантаженим зображенням наведено на рис. 8. Для початку роботи, користувач обирає у діалоговому вікні тестове зображення для нарізання. Далі задаються параметри програми: ймовірність розпізнавання, розміри ковзного вікна у форматі «широта, висота». Користувач завантажує файл моделі мережі (*.h5) та обирає папку для зберігання розпізнаних сегментів. Сегментація відбувається як у ручному, так і в автоматичному режимі.

У ручному режимі користувач за допомогою направлених стрілок на клавіатурі проходить по зображенню, нарізаючи вибрані сегменти. Програма виводить діалогове вікно з інформацією розпізнавання, надаючи можливість користувачу або погодитися з результатом, або відмовитися та самостійно вибрати результуючий клас.

У автоматичному режимі в залежності від вибраного розміру ковзного вікна відбувається повна сегментація зображення. При цьому нарізані сегменти класифікуються автоматично, без запиту користувача, опираючись на обране значення ймовірності. У результаті виводиться статистика по всім розпізнаним сегментам, як на рис. 7. Отримали відповідно співвідношення: 1 зображення - клас № 1 «Будівлі», 27 зображень - клас №3 «Ліси», 1 зображення - клас №5 «Великі транспортні засоби, 32 зображення - клас № 7 «Нерослинні поля», 10 зображень - клас № 8 «Дороги», 18 зображень - клас № 9 «Сліди техніки», 2 зображення - клас № 10 «Траншеї», 62 зображення - клас № 11 «Нерослинні поля». Всього 165 сегментів, з них відкинуто 12 (найбільш вірогідні класи цих сегментів мали ймовірність нижче заданого рівня).



Рис. 8. Приклад роботи програмного забезпечення

Рис. 9. Результати автоматичної сегментації тестового зображення

При необхідності користувач може змінити розміри ковзного вікна сегментації, наприклад, для зменшення кількості об'єктів на сегменті.

Процедура наповнення датасету

У ході тестування розробленої інформаційної технології для автоматизації наповнення навчального набору для нейромережевого розпізнавання було подано 40 тестових зображень, узятих з відкритих інтернет-джерел в період з 24.02.22 по 23.05.22 (рис. 10). У результаті було отримано 2403 сегментів, розподілених по 11 класах, що становить приблизно 15 % від навчальних зображень. Результати точності роботи класифікатору подані на рис. 11.

Рис. 10. Вхідні тестові зображення для сегментації

Рис. 11. Точність співвіднесених зображень після класифікації

Після процедури тестування ПЗ отримали поповнення датасету, загальна кількість зображень в ньому збільшилась до 19 408. Було проведено повторне навчання моделі, причому за збільшеної кількості поколінь.

Загальний час цього навчання становив приблизно 12 годин та 45 хвилин, при кількісті поколінь для автоенкодеру - 70 (при проходженні одного покоління системі потрібно було ~7 хвилин реального часу) та класифікатору - 70 поколінь.

Нормалізована метрика продуктивності оновленої моделі та точність співвіднесених зображень після класифікації за поповненим датасетом подано нижче (рис. 12, 13).

Рис. 12. Нормалізована метрика продуктивності оновленої моделі класифікатора

Рис. 13. Точність співвіднесених зображень після класифікації за поповненим датасетом

У кількісному відображенні збільшення одиниць зображень по класам має вигляд: клас № 1 «Будівлі» - 325 зображень, клас № 2 «Цивільна техніка» - 302 зображення, клас № 3 «Ліси» - 171 зображення, клас № 4 «Гелікоптери» - 30 зображень, клас № 5 «Великі транспортні засоби» - 45 зображень, клас № 6 «Танки» - 21 зображення, клас № 7 «Нерослинні поля» - 726 зображень, клас № 8 «Дорога» - 158 зображень, клас № 9 «Сліди техніки» - 245 зображень, клас № 10 «Траншеї» - 21 зображення, клас № 11 «Рослинні поля» - 338 зображень. У результаті поповнення датасету розглянемо порівняння точності потрапляння зображення у коректний клас (рис. 14).

Рис. 14. Порівняння точності класифікації доповненого та початкового дата сету



Висновки

В даній роботі наведено загальний план розробки інформаційної технології, зроблено опис використовуваної архітектури нейронної мережі, наведено основні положення реалізації програмного забезпечення, проведено тестування на реальних даних, проведено процедуру поповнення датасету шляхом тестування сегментації та класифікації тестових зображень, проведено перенавчання моделі та тестування класифікації на нових зображеннях, зроблено аналіз результатів.

При аналізі результатів було виявлено, що після поповнення датасету класифікованими програмою сегментами нових зображень середня якість класифікації підвищилася на 6 %, і при цьому по окремих класах спостерігався тренд до неспадання якості. При самій же класифікації сегментів спостерігалися в цілому високі цільові ймовірності приналежностей до класів, де найнижчі значення середніх ймовірностей виникали через малий розмір навчальної бази зображень даного класу.

Перспективою вдосконалення програмного комплексу може бути як уточнення класів навчальних даних, як наприклад, об'єднання в один схожих та/або менш релевантних за інші (в контексті множини, що розглядається) класів, так і застосування інших архітектур нейромережевого розпізнавання.



Список використаних джерел

1. Chen Z., Xu B. and Gao B., `An image-segmentation-based urban DTM generation method using airborne lidar data", IEEE Journ. Select. Topics Appl. Earth Observ. Remote Sens., vol. 9 (1), pp. 496-506, January 2016.

2. Automated Object Recognition System based on Convolutional Autoencoder Prystavka P., Cholyshkina O., Dolgikh S., Karpenko D. 2020 10th International Conference on Advanced Computer Information Technologies, ACIT 2020 - Proceedings, 2020, pp. 830-833, 9208945.

3. Felzenszwalb P. F. and Huttenlocher D. P. "Efficient graph-based image segmentation", Int. Journ. Comp. Vision, vol. 59 (2), pp. 167-181, September 2004.

4. Marfil R., Molina-Tanco L., Bandera A., Rodriguez J. A. and Sandoval F., "Pyramid segmentation algorithms revisited", Pattern Recognition, vol. 39 (8), pp. 1430-1451, August 2006.

5. Huang X., Bai H. and Li S. "Automatic aerial image segmentation using a modified Chan-Vese algorithm", Proceedings of the 9th IEEE Conf. on Indust. Electr. Applic, pp. 1091-1094, June 2014.

6. Приставка П. О., Чолишкіна О. Г. Поліноміальні сплайни в задачі альтернативної навігації за даними ае- розйомки. Монографія. - К. : Міжрегіональна Академія управління персоналом, 2022. - 128 с.

7. Kalal Z., Mikolaiczyk K. and Matas J. "Tracking-leaming-detection", IEEE Trans. Patt. Anal. Machine Intel., vol. 34 (7), pp. 1409-1422, July 2012.

8. Krizhevsky A., Sutskever I. and Hinton G. E., "Imagenet classification with deep convolutional neural networks", Proc. Adv. Neural Inf. Proc. Syst. (NIPS), pp. 1097-1105. Lake Tahoe, Nevada, USA, 2012.

9. Latent Representations of Terrain in Aerial Image Classification Prystavka P., Dolgikh S., Cholyshkina O., Kozachuk O. CEUR Workshop Proceedingsthis link is disabled, 2021, 3013, pp. 86-95.

10. "Keras: The Python Deep Learning library", online: https://keras.io/

11. Gorban A. N., Kegl B., Wunsch D., Zinovyev A.Y. (Eds.), Principal Manifolds for Data Visualisation and Dimension Reduction, Series: Lecture Notes in Computational Science and Engineering 58, Springer, Berlin - Heidelberg - New York, 2007, XXIV, 340 p. 82 illus.

References

1. Chen, Z., Xu, B. and Gao, B., `An image-segmentation-based urban DTM generation method using airborne lidar data", IEEE Journ. Select. Topics Appl. Earth Observ. Remote Sens., vol. 9 (1), pp. 496-506, January 2016.

2. Automated Object Recognition System based on Convolutional Autoencoder Prystavka, P., Cholyshkina, O., Dolgikh, S., Karpenko, D. 2020 10th International Conference on Advanced Computer Information Technologies, ACIT 2020 - Proceedings, 2020, pp. 830-833, 9208945.

3. Felzenszwalb P. F. and Huttenlocher D. P. "Efficient graph-based image segmentation", Int. Journ. Comp. Vision, vol. 59 (2), pp. 167-181, September 2004.

4. Marfil, R., Molina-Tanco, L., Bandera, A., Rodriguez, J.A. and Sandoval, F., "Pyramid segmentation algorithms revisited", Pattern Recognition, vol. 39 (8), pp. 1430-1451, August 2006.

5. Huang, X., Bai, H. and Li, S. "Automatic aerial image segmentation using a modified Chan-Vese algorithm", Proceedings of the 9th IEEE Conf. on Indust. Electr. Applic., pp. 1091-1094, June 2014.

6. Prystavka P., Cholyshkina O. Polynomial splines in the problem of alternative navigation according to aerial photography. Monograph. - Kyiv : Interregional Academy of Personnel Management, 2022. - 128 p.

7. Kalal, Z., Mikolaiczyk, K. and Matas, J. "Tracking-learning-detection", IEEE Trans. Patt. Anal. Machine Intel., vol. 34 (7), pp. 1409-1422, July 2012.

8. Krizhevsky, A., Sutskever, I. and Hinton, G. E., "Imagenet classification with deep convolutional neural networks", Proc. Adv. Neural Inf. Proc. Syst. (NIPS), pp. 1097-1105. Lake Tahoe, Nevada, USA, 2012.

9. Latent Representations of Terrain in Aerial Image Classification Prystavka, P., Dolgikh, S., Cholyshkina, O., Kozachuk, O. CEUR Workshop Proceedingsthis link is disabled, 2021, 3013, pp. 86-95.

10. "Keras: The Python Deep Learning library", online: https://keras.io/

11. Gorban, A. N., Kegl, B., Wunsch, D., Zinovyev, A. Y. (Eds.), Principal Manifolds for Data Visualisation and Dimension Reduction, Series: Lecture Notes in Computational Science and Engineering 58, Springer, Berlin - Heidelberg - New York, 2007, XXIV, 340 p. 82 illus.

Размещено на Allbest.ru

...