Підвищення ефективності систем візуальної навігації безпілотнього літального апарату

Размещено на http://www.allbest.ru/

ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ СИСТЕМ ВІЗУАЛЬНОЇ НАВІГАЦІЇ БПЛА

Іщенко Віталій Сергійович

здобувач вченого ступеня phd в Національному Авіаційному Університеті, проспект Любомира Гузара, 1, м. Київ

Анотація

безпілотній літальний навігація точність

БПЛА - безпілотний літальний апарат, який набув широкого використання в таких сферах як: логістика, внутрішньо промислове застосування, безпілотний транспорт і аеротаксі, будівництво, сільське господарство, електроенергетика, екологічний моніторинг, охорона кордонів і кінематограф.

Сучасні комплекси БПЛА включають в себе інтелектуальне програмне забезпечення, готове обладнання (камери, сканери, датчики) для автоматичного зчитування штрих-кодів, QR-кодів, зв'язок через ICloud технологію і підтримку всього основного обладнання дронів. Це дозволяє отримати безпечну і економічно ефективну автоматизацію обліку запасів на складах, в розподільних центрах і так далі. Так само дуже актуальним є використанням БПЛА для отримання даних аерофотознімання для надання картографічної інформації в будівництві, виявленні дефектів посівів в сільському господарстві і охорони кордонів. Все частіше БПЛА використовуються для аеророзвідки в реальному часі службами поліції або МНС, і відповідно проводиться в місцях слабкого або відсутнього GPS сигналу, а для охорони кордонів або аеророзвідки відсутність сигналу звичайна ситуація. Для виконання поставлених до БПЛА завдань необхідно вирішити головну проблему автономної навігації в середовищі позбавленої GPS сигналів, для орієнтації двох і більше дронів засобами методів комп'ютерного зору і машинного навчання. Дана проблема перейшла до комерційного рішення із забезпечення автономної навігації БПЛА при відсутності GPS сигналу, і стала пріоритетним завданням при розробці БПЛА комплексів на сьогоднішній день.

Політ БПЛА виконується в режимі авто місії по заздалегідь створеному і завантаженому в пам'ять автопілота маршруту. Основними джерелами навігаційних даних є супутникова система (GPS) і інерціальна система. При блокуванні GPS сигналів усередині будівель або спеціальними засобами електронної боротьби на відкритій місцевості, інерціальна система починає накопичувати помилку що унеможливлює подальший політ БПЛА в автомісії і може призвести до втрати БПЛА. Для забезпечення автономної навігації в даних умовах необхідне додаткове джерело навігаційної інформації. В якості такого джерела додаткової навігаційної інформації використовується система візуальної навігації, яка включає в себе інтелектуальне програмне забезпечення, готове обладнання (камера, обчислювач, датчики).

Основну цінність представляє не готове обладнання системи візуальної навігації, а програмне та алгоритмічне забезпечення даної системи. При цьому виникає гостра потреба тонкого налаштування і калібрування алгоритмів і програмних модулів системи. У даній роботі пропонується методологія по тонкому налаштуванню систем візуальної навігації для підвищення її ефективності та точності.

Ключові слова: система візуальної навігації, комп'ютерний зір, машинне навчання, локальні особливості, безпілотний літальний апарат, нейронна мережа, інерціальна система навігації.

Abstract

Improving the efficiency of visual navigation systems of UAV. Ishchenko Vitaliy Sergiyovych Getting phd in the National Aviation University, Lubomir Husar Ave., 1, Kiev

UAV - unmanned aerial vehicles, which have become widely used in such areas as: logistics, in-industrial applications, unmanned vehicles and air taxi, construction, agriculture, power generation, environmental monitoring, border security and cinema.

Modern UAV complexes include intelligent software, ready-made equipment (cameras, scanners, sensors) for automatic reading of barcodes, QR codes, cloud communication and support for all basic equipment of drones. This allows for secure and cost-effective automation of inventory control in warehouses, distribution centers, and more. It is also very relevant to use UAVs to obtain aerial photography data to provide cartographic information in construction, identify crop defects in agriculture and border protection. Often, the use of UAVs for real-time aerial reconnaissance by the police or the Ministry of Emergency Situations is carried out in places with a weak or absent GPS signal, and for border protection or aerial reconnaissance, the absence of a signal is a common situation. To do this, it is necessary to solve the main problem of autonomous navigation in an environment devoid of GPS signals, for the orientation of two or more drones by means of computer vision and machine learning methods. It also passed to a commercial solution and the provision of autonomous navigation of UAVs in the absence of a GPS signal has become a priority task in the development of UAV complexes today.

The UAV flight is performed in the auto mission mode along the route previously created and loaded into the autopilot memory. The main sources of navigation data are the satellite system (GPS) and the inertial system. When GPS signals are blocked inside buildings or by special means of electronic warfare in open areas, the inertial system begins to accumulate error and further flight of the UAV in the automation becomes impossible. To ensure autonomous navigation in these conditions, an additional source of navigation information is required. As such a source of additional navigation information, a visual navigation system is used, which includes intelligent software, ready-made equipment (camera, onboard computer, sensors)

The main cost is not the finished equipment of the visual navigation system, but the software and algorithmic support of this system. In this case, there is an urgent need for fine tuning and calibration of algorithms and software modules of the system. This paper proposes a methodology for fine-tuning visual navigation systems to improve efficiency and accuracy.

Keywords: visual navigation system, computer vision, machine learning, local features, unmanned aerial vehicle, neural network, inertial navigation system.

Постановка проблеми

Сучасні системи візуальної навігації базуються на методах комп'ютерного зору і машинного навчання. Як наслідок системи візуальної навігації потребують їх тонке налаштування. Ефективність системи візуальної навігації безпосередньо пов'язана з її налаштуванням і налагодженням в реальному часі. Одним з рішень є налагодження системи на борту БПЛА під час польоту, після оцінка лог файлів, корекція налаштувань і повторні польоти. Даний метод налаштування і налагодження є дуже витратним, залежить від погодних умов і не підходить при розробці систем візуальної навігації. У даній роботі для налаштування системи візуальної навігації пропонується розробити і використовувати лабораторний стенд котрий імітує політ БПЛА і має наземну карту з об'єктами у відповідності висоти польоту на 1000 метрах. Лабораторний стенд повинен дозволяти визначити ефективність роботи алгоритмів системи візуальної навігації проведенням численних лабораторних випробувань, виключити помилки проектування і надавати вибір оптимального комплексу технічних та програмних засобів. Таким чином лабораторний стенд повинен забезпечити оптимальне порівняння і налаштування як технічних засобів системи візуальної навігації (бортові обчислювачі - мікрокомп'ютери, камери, управління корисним навантаженням) так і програмні (алгоритми комп'ютерного зору, згорткові нейронні мережі і т.д.).

Аналіз останніх досліджень і публікацій

Важливим аспектом розробки сучасних БПЛА комплексів є додаткове радіо завадостійке джерело навігаційної інформації у інтегрованому навігаційному комплексі автопілота. В якості такого додаткового джерела широко використовується система візуальної навігації. Однак розробка систем візуальної навігації набула комерційної та військової таємниці через що процес розробки, вдосконалення, оцінки ефективності та налаштування без запропонованого в роботі імітаційного стенду унеможливлює сам процес розробки системи, котра для сучасних комплексів БПЛА є вкрай важливою.

Мета статті - розробка імітаційного стенду максимальної правдоподібності польоту і маневрів БПЛА для налаштування і налагодження системи візуальної навігації для підвищення ефективності і точності системи. В роботі наведені функціональні вимоги і основні конструктивні рішення для апаратної і електронної частин стенду, також пописані процедури налаштування і налагодження програмного забезпечення системи.

Виклад основного матеріалу

Сучасні тенденції при використанні БПЛА вимагають автономну навігацію в зонах відсутності GPS сигналів.[1] Система візуальної навігації вирішує дану проблему, проте її ефективність і точність безпосередньо пов'язана з тонким налаштуванням та налагодженням програмного забезпечення (алгоритмічної бази) закладеного в дану систему. Типова структура системи візуальної навігації приведена на рис. 1.

Рис. 1. Структура системи візуальної навігації

Система візуальної навігації

З структурної схеми слідує що необхідний набір технічних засобів включає: автопілот, гіро стабілізований підвіс, бортовий мікрокомп'ютер, батарею для їх автономного живлення і камеру.[2]

Камера підключається до бортового комп'ютера за наступними інтерфейсами - USB / Ethernet, в програмному модулі задається період одного фотографування і інші параметри. Якщо використовується гіростабілізований підвіс, керуючі сигнали для стабілізації надходять на підвіс від автопілота. В іншому випадку, під час фотографування бортовий обчислювач надсилає запит до автопілота на отримання кутових параметрів орієнтації БПЛА і проводить корекцію знімка (вирівнювання). Після чого програмне забезпечення бортового комп'ютера знаходить особливі точки наземних орієнтирів, визначає їх зміщення, розраховує поточні координати БПЛА і по зворотньому зв'язку відправляє поточні координати в автопілот. Зворотній зв'язок здійснюється через один з інтерфейсів: USB, SPI, UART, I2C, Ethernet. GSD - ground sample distance GSD = H / F, де висота H вимірюється в сантиметрах, а фокусна відстань F в пікселях. Якщо в паспорті цифрової камери не вказано фокусна відстань в пікселях, його легко розрахувати, розділивши фокусну відстань в міліметрах на фізичний розмір пікселя матриці камери. При роботі в ЦФС зі знімками, отриманими від цифрової камери, цілком природньо вимірювати всі величини в пікселях. Фізичний розмір пікселя матриці визначає її світлочутливість. Для дослідного зразка була обрана камера Logitech Webcam HD Pro C920, яка має точність розпізнавання об'єктів на висоті 500 метрів 21.6 сантиметрів / піксель.

Розглянемо запропонований лабораторний стенд імітації польоту БПЛА для тонкої настройки систем візуальної навігації для підвищення точності і ефективності системи. Імітаційний стенд являє подобу великого двох координатного ЧПУ верстата з лінійним переміщенням в площинах Х, У. При цьому додається гіростабілізований підвіс з реальним автопілотом і програмним забезпеченням для імітації кутових маневрів БПЛА. Так само знизу лабораторного стенду є макет карти земної поверхні з масштабом висоти 500-1000м для тонкого налаштування і вимірювання помилок розрахунків програмного забезпечення системи візуальної навігації. Загальний вигляд лабораторного стенду для розробки і тонкого налаштування програмного забезпечення системи візуальної навігації представлений на рис. 2.

Рис. 2. Загальний вигляд лабораторного стенду для імітації польоту БПЛА.

Лінійне переміщення в площині Ох, Оу, лабораторного стенду забезпечується за допомогою крокових двигунів. Імітація маневрів БПЛА здійснюється керованим гіро підвісом за допомогою серводвигунів. Також лабораторний стенд має наземну карту місцевості, що відповідає масштабу 1000 метрів висоти польоту.

Дана схема передбачає наявність трьох серво моторів, які забезпечують трьох осьове позиціонування платформи з корисним навантаженням в трьох площинах. Для визначення кутового положення платформи з камерою необхідна інерціальна система навігації до складу, якої входять: 3ох осьовий гіроскоп, 3ох осьовий акселерометр і 3ех осьовий магнетометр / компас.[3] В якості інерціальної навігаційної системи(ІНС) використовується ІНС автопілота PIXHAWK котрий має даний модуль в своєму складі і розташований над камерою зі зворотного боку каретки, а також, в даному автопілоті використовуються типові команди управління сервоприводів БПЛА для максимальної реалістичності імітації. Визначення кутового положення підвісу камери в кожен момент часу забезпечуються зчитуваннням кутів положення з МЕМС сенсорів (інерціальної системи) і визначається за формулами:

Управління кутовим положенням модуля камери здійснюється через ШІМ канали автопілота по крену, тангажу і азимуту, до виходів якого підключені серво двигуни і запущений програмний шаблонний скрипт зміни пілотажних кутів польоту при авто місії. Схема імітації кутового положення камери представлена на рис. 3. [5]

Рис. 3. Структурная схема первинної рами стенда

Інтерфейсами обміну даними камери системи візуальної навігації імітаційного стенду з зовнішнім стаціонарним ПК є USB / Ethernet / | Wifi. Зворотній зв'язок для коригування навігаційних параметрів БПЛА від бортового мікрокомп'ютера встановленого на стенд системи візуальної навігації або лабораторного ПК здійснюється через звичайний послідовний інтерфейс USART / SPI. Для спрощення конструкції рами і позбавлення від обертових контактів, на первинну раму поруч з автопілотом встановлюється радіо модуль. У цьому випадку передача даних здійснюється через звичайний радіо канал.

Управління кутовим положенням модуля камери здійснюється через даний канал радіо зв'язку автопілота, на виходи якого підключені серво мотори і запущений шаблонний скрипт зміни пілотажних кутів польоту що імітують маневри БПЛА під час авто місії, рис 4

Дана рама є основною несучою конструкцією підставка якої складається з балок, а також чотирьох жолобів по котрим колесами переміщується корпус вторинної рами в площинах Ох і Оу. Схема приводу створює двох осьове переміщення і складається з 2ох серво моторів з'єднаних до двох осей. Це дозволяє в 2 рази збільшити крутний момент а відповідно корисне навантаження імітаційного стенду.

Управління імітаційним стендом здійснюється за допомогою двох драйверів DRV8834 і центрального мікрокомп'ютера Raspberry Pi 3 Model B+.[4] .

Лінійний обхід первинної рами над рельєфною картою здійснюється за вибором одного з наперед завантажених в мікрокомп'ютер шаблонів геометричних фігур: прохід по квадрату, трикутнику, прямокутнику і більш складних. Таким чином досягається максимальна схожість з реально завантажуваним польотним планом авто місії в автопілот БПЛА.

В результаті з'єднання первинної і вторинної рам отримуємо імітаційний стенд 5ти ступенів свободи, рис. 5.

Рис. 5 Просторове переміщення імітаційного стенда

Стенд дозволяє налаштувати і налагодити наступний функціонал системи візуальної навігації:

1) Імітація польоту БПЛА в авто місії з існуючого в пам'яті автопілота, завантаженого або шаблонного польотного плану.

2) Вибір імітації типу БПЛА (мультіроторний, літак, літаюче крило, гібрид).

3) Імітація і корекція погодних умов (туманність, хмарність, сильна освітленість, темрява).

4) Аналіз і корекція спотворень зображення (аффінні, масштабні, дисторсія, перспективні).

5) Пошук об'єктів по заданим шаблонам, наприклад наземної техніки.

6) Пошук локальних особливостей і об'єктів на супутникових зображеннях.

7) Оцифровка і зшивка карти з отриманих зображень БПЛА (оптимальне перекриття).

8) Визначення поточних координат БПЛА за допомогою системи візуальної навігації (співставлення точок)

9) Оцінка точності і перевірка роботи існуючих програмних алгоритмів пошуку локальних особливостей на рельєфній карті (створення своїх детекторів, дескрипторів) на зображенні.

10) Створення Big Data Set для Deep Learning, і навчання моделей штучних нейронних мереж.

11) Управління корисним навантаженням в режимі шаблону авто місії, або з гіро стабілізацією.

12) Розробка і тестування власних програмних алгоритмів системи візуальної навігації польоту БПЛА.

13) Оцінка програмного забезпечення системи візуальної навігації існуючими метриками оцінки якості, точності, і розробка нової системи візуальної навігації враховуючи попередні недоліки алгоритмів.

Висновки

Автономна навігація є вкрай необхідною для БПЛА на сьогоднішній день. Програмне та алгоритмічне забезпечення системи візуальної навігації потребує тонкого налаштування та налагодження що незручно використовуючи реальний БПЛА для тестів. Альтернативний запропонований спосіб налаштування системи завдяки створенню імітаційного стенду польоту БПЛА має багато переваг таких як, можливість розробки системи візуальної навігації з нуля, швидкий запуск та аналіз ефективності нових алгоритмів візуальної навігації опублікованих в наукових статтях, паралельне порівняння в реальному часі різних алгоритмів візуальної навігації та оцінка їх точності, вдосконалення існуючого програмного забезпечення системи. Розробка систем візуальної навігації набула комерційної та військової таємниці через що процес розробки, вдосконалення, оцінки ефективності та налаштування без імітаційного стенду унеможливлює сам процес, котрий для сучасних комплексів БПЛА є вкрай важливим.

Література

1. Рогожин В.Ф, Синєглазов В.М, 2004, Філяшкін М.К, Пілотажно навігаційні комплекси літальних апаратів: наукове видання : книга. - Київ: Видавництво НАУ, 2004. - с.50-75.

2. Про сучасний автопілот котрий використовується на борту БПЛА - PIXHAWK, 06.13.2021, [Електронний ресурс]. - Режим доступу: http://docs.px4.io/master/en/flight_controller/pixhawk .html.

3. Гровс Пол Д, 2008, Принципи GNSS, інерційні та мультисенсоровні інтегральні авіаційні системи: друге видання (Arthech House Remote Sensing), Нью-Йорк, 2008, с.458-503.

4. Каліхман Д.В, 2008, Точно керовані стенди для динамічних випробувань гіроскопічних приладів: ДСК РФ ЦНП “Електроприбор” Санкт-петербург, 2008. - с.225-340.

5. Синєглазов В.М, Захарін Ф.М, Теоретичні основи проектування інтегрованих навігаційних комплексів безпілотних літальних апаратів: книга, видавничий дім “Осівта України”, 2015 - 33-116.

References

1. Rogozhin V.F, Sineglazov V.M, 2004, Filyashkin M.K, Pilotage navigation complexes of aircraft: scientific edition: book. - Kyiv: NAU Publishing House, 2004. - p.50-75.

2. About the modern autopilot which is used on board the UAV - PIXHAWK, 06.13.2021, [Electronic resource]. - Access mode: http://docs.px4.io/master/en/flight_controller/pixhawk .html.

3. Groves Paul D, 2008, GNSS Principles, Inertial and Multisensory Integrated Aviation Systems: Second Edition (Arthech House Remote Sensing), New York, 2008, p.458-503.

4. Kalihman DV, 2008, Precisely controlled stands for dynamic testing of gyroscopic devices: DSC RF Central Research Institute "Electropribor" St. Petersburg, 2008. - p.225-340.

5. Sineglazov VM, Zakharin FM, Theoretical foundations of the design of integrated navigation systems of unmanned aerial vehicles: book, publishing house "Osivta Ukraine", 2015 - 33-116.

Размещено на Allbest.ru