Технологія застосування методів комп’ютерного зору для ідентифікації та пеленгації акустичних цілей у контрольованому просторі

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ТЕХНОЛОГІЯ ЗАСТОСУВАННЯ МЕТОДІВ КОМП'ЮТЕРНОГО ЗОРУ ДЛЯ ІДЕНТИФІКАЦІЇ ТА ПЕЛЕНГАЦІЇ АКУСТИЧНИХ ЦІЛЕЙ У КОНТРОЛЬОВАНОМУ ПРОСТОРІ

В.І. Гриценко, член-кореспондент НАН України Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України

О.Є. Волков

Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України

Ю.П. Богачук, канд. техн. наук Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України

М.М. Комар

Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України

Д.О. Волошенюк Міжнародний науково-навчальний центр інформаційних технологій та систем НАН та МОН України



Гриценко В. І., Волков О. Є., Богачук Ю. П., Комар М. М., Волошенюк Д. О.

ТЕХНОЛОГІЯ ЗАСТОСУВАННЯ МЕТОДІВ КОМП'ЮТЕРНОГО ЗОРУ ДЛЯ ІДЕНТИФІКАЦІЇ ТА ПЕЛЕНГАЦІЇ АКУСТИЧНИХ ЦІЛЕЙ У КОНТРОЛЬОВАНОМУ ПРОСТОРІ

Актуальність. В умовах зростання та загострення терористичної і кримінальної активності питання забезпечення безпеки контрольованого простору стає одним з актуальних завдань.

Постановка проблеми. У теперішній час для забезпечення безпеки контрольованого простору широко застосовують мережі відеокамер. Акустичні системи для захисту контрольованого простору мають певні переваги в порівнянні із системами відеоспостереження.

Для забезпечення ситуаційної обізнаності щодо безпеки контрольованого простору необхідно мати досить точно визначені параметри руху акустичних цілей, що може бути досягнуто у пасивному режимі роботи акустичних систем тільки методами непрямого оцінювання акустичних сигналів, прийнятих з декількох рознесених точок простору. Але подібний підхід створює проблему появи хибних спрацювань системи та помилок у визначені кількості виявлених акустичних цілей, коли акустичних цілей стає більше за одну.

Метою статті є розробка інтелектуальної технології застосування засобів комп'ютерного зору для ідентифікації та пеленгації акустичних цілей у контрольованому просторі.

Результати. Для вирішення завдань стійкої ідентифікації, пеленгації та визначення параметрів руху акустичних цілей розроблено технологію застосування засобів комп'ютерного зору до звукових сигналів, які перетворюються в потік графічних відображень. Також розроблено метод зіркової кластеризації, який додатково перевіряє на істинність набори точок збігу для графічних відображень звукових хвиль, отриманих відомими методами бібліотеки комп'ютерного зору.

Висновки. Отримані результати можуть бути використані як інструмент попереднього автоматичного аналізу ситуації і, будучи інтегрованими в систему комплексної безпеки, підвищити її ефективність, значно зменшивши час реакції співробітників спеціальних служб при виникненні тривожних подій.

Ключові слова: ідентифікація; акустична ціль; пеленгація; спектр; графічне відображення; віконне перетворення; комп'ютерний зір.

комп'ютерний сигнал графічний звуковий



Gritsenko V. I., Volkov O. E., Bogachuk Yu. P., Komar M. M., Voloseniuk D. O.

TECHNOLOGY OF COMPUTER VISION METHODS APPLICATION FOR THE IDENTIFICATION AND DIRECTION FINDING OF ACOUSTIC TARGETS IN THE CONTROLLED AREA

Introduction. Under the conditions of terrorist and criminal activity growth and aggravation the question about maintenance of the controlled area safety becomes one of the prominent tasks.

Currently, video camera networks are widely used to ensure the security of the controlled area. Acoustic systems for the controlled area protection have certain advantages over video surveillance.

Problem Statement. To provide situational awareness of the controlled area safety it is necessary to have accurately defined motion parameters of the acoustic targets under the condition of acoustic systems operating in passive mode, which can be achieved only with the help of indirect methods of acoustic signals estimation, received from several spreaded in space points. But such an approach creates the problem of erroneous system operation and errors in determination of a quantity of detected acoustic targets when there is more than one target.

Purpose. Development of intellectual technology of computer vision tools application for the identification and direction finding of acoustic targets in the controlled area.

Given tasks are solved with the help of such methods as processing and detection of acoustic signals; spectral and temporal analysis of acoustic signals.

Results. The tasks of stable identification, direction finding and determination of the motion parameters of acoustic targets were solved with the help of the developed technology of computer vision tools applied to sound signals, which are transformed into a stream of graphic displays. Also star clustering method was developed, which additionally validates sets of coincidence points for graphical representations of sound waves, obtained with known methods of computer vision library.

Conclusions. The obtained results can be used as a tool for preliminary automatic analysis of the situation and, being integrated into the complex security system, increase its efficiency, significantly reducing the response time of special services in the case of alarming events.

Keywords: identification; acoustic target; direction finding; spectrum; graphic display; window transformation; computer vision.



Вступ

В умовах зростання та загострення терористичної і кримінальної активності питання забезпечення безпеки контрольованого простору стає одним з актуальних завдань як для державних правоохоронних органів, так і для недержавного сектору безпеки [1].

Найважливішим завданням усіх структур є своєчасне виявлення загрози на початковій стадії її підготовки та запобігання її розвитку.

У теперішній час для забезпечення безпеки контрольованого простору широко застосовують мережі відеокамер сумісно з аналізом відеоданих для оперативного реагування на загрози різного типу.

Акустичні системи для захисту контрольованого простору мають певні переваги порівняно із системами відеоспостереження: вартість встановлення і обслуговування мережі мікрофонів коштує значно дешевше, ніж встановлення і обслуговування мережі відео- камер; при роботі акустичних систем в режимі реального часу інформаційний потік акустичних даних значно менше за об'ємом, ніж потік даних з відеокамер, що зменшує технічні вимоги до пропускної спроможності каналів передачі даних й обчислювальної потужності, необхідної для виявлення потенційних загроз.

Акустичні системи захисту контрольованого простору дають змогу не тільки фіксувати акустичні сигнали загроз, а й ідентифікувати характер цих загроз, динаміку і напрямок їх поширення та виявляти цілі, що приховані за природними або штучними перешкодами [2]. Крім того, акустичні системи захисту контрольованого простору, як правило, працюють у пасивному режимі, що суттєво ускладнює можливість їх виявлення.



Постановка завдання

Зазвичай для забезпечення безпеки контрольованого простору об'єктів великого розміру та складної інфраструктури створюють розподілену мережу акустичних сенсорів із заданим взаємним розташуванням цих сенсорів, які розміщують у найбільш відповідальних точках контрольованого простору, таких як охоронні вежі, огорожі, стовпи, будинки, інші високі споруди тощо. Як акустичні сенсори цієї мережі застосовують поодинокі мікрофони і мікрофонні масиви, визначені зональні комбінації яких забезпечують багатоканальне формування діаграм спрямованості акустичних променів, що сканують у тривимірному просторі у пасивному режимі відповідні частини зони захисту контрольованого простору для виявлення та пеленгації акустичних цілей (beamforming) [3].

Останнім часом помітною стала тенденція до підвищення точності ідентифікації, пеленгація акустичних цілей та трасування їх руху.

Одним з витоків такої тенденції є зростання інтересу до теоретичних і практичних питань створення акустичних систем захисту контрольованого простору, а також методів покращення надійності їх роботи та зменшення кількості хибних спрацювань.

Аналіз останніх досліджень та публікацій

Для забезпечення ситуаційної обізнаності щодо безпеки контрольованого простору окрім пеленгів акустичних цілей необхідно мати і досить точно визначені параметри руху акустичних цілей, що може бути досягнуто у пасивному режимі роботи акустичних систем тільки методами непрямого оцінювання акустичних сигналів, прийнятих з декількох рознесених точок простору, наприклад, із застосування методів тріангуляції для визначення просторових координат акустичних цілей [4]. Але подібний підхід створює проблему появи хибних спрацювань системи та помилок у визначені кількості виявлених акустичних цілей, коли акустичних цілей стає більше за одну (рис. 1).

Рис. 1. Схематична ілюстрація процесу пеленгації та визначення параметрів руху акустичних цілей

На рис. 1 схематично зображено зону захисту контрольованого простору (КП), де P1 та P2 -- дві рознесені точки простору, відносно яких визначені мікрофонні масиви формують відповідні діаграми спрямованості першого та другого акустичних променів, що сканують в тривимірному просторі у пасивному режимі певну зону захисту для виявлення та пеленгації акустичних цілей; P11 -- пеленг першого акустичного променю на акустичну ціль 1 з точки P1; P12 -- пеленг першого акустичного променю на акустичну ціль 2 з точки P1; P21 -- пеленг другого акустичного променю на акустичну ціль 1 з точки P2; P22 -- пеленг другого акустичного променю на акустичну ціль 2 з точки P2.

Якщо в зоні захисту контрольованого простору виявлено одну акустичну ціль, наприклад, ціль 1, то перетин пеленгів першого акустичного променю та другого акустичного променю вказує місце заходження цілі в точці 1, що дає змогу визначити параметри руху цієї цілі. Однак коли в зоні захисту контрольованого простору виявлено декілька акустичних цілей, наприклад, дві цілі -- ціль 1 та ціль 2, то перетини пеленгів першого акустичного променю та другого акустичного променю в точках 1 та 2 вказують місце заходження дійсних акустичних цілей, але ці перетини акустичних променів вказують також й помилкові цілі 3 та 4.

Для вилучення помилкових цілей з розгляду необхідним є формування акустичних ідентифікаторів кожної цілі, які пов'язуються з пеленгами акустичних променів на ці самі цілі. Тобто, пеленги P11 та P21 будуть пов'язані з акустичним ідентифікатором цілі 1, тому перетин пеленгів P11 та P21 визначить місце заходження цілі 1. Пеленги P12 та P22 будуть пов'язані з акустичним ідентифікатором цілі 2, тому перетин пеленгів P12 та P22 визначить місце заходження цілі 2. Перетин пеленгів P12 та P21 (помилкова ціль 3) буде вилучений з розгляду, оскільки ці пеленги пов'язані з різними акустичними ідентифікаторами цілей. З тієї самої причини з розгляду буде вилучений й перетин пеленгів P11 та P22 (помилкова ціль 4).

Врахування в подальшому для визначення параметрів руху цілей тільки тих перетинів пеленгів акустичних променів, що мають однакові акустичні ідентифікатори, є необхідною умовою, що забезпечить точність та сталість функціонування систем захисту контрольованого простору й усуне появу хибних спрацювань системи та помилок у визначенні кількості виявлених акустичних цілей тощо.

Проте, застосування відомих засобів для формування та ідентифікації акустичних сигнатур, таких як кореляційно-спектральні методи статистичного аналізу, метрики Вассерштейна, піковий гармонійний аналіз, алгоритми евклідових відстаней, співставлення часових моделей тощо в багатьох випадках не надає змоги впевнено ідентифікувати акустичні загрози широкого спектру цілей різних класів [5; 6].

Все це обумовлює існуючі проблеми щодо виявлення джерел акустичних сигналів, їх ідентифікації та локалізації.

Метою статті є розробка інтелектуальної технології застосування засобів комп'ютерного зору для ідентифікації та пеленгації акустичних цілей у контрольованому просторі.

Для вирішення завдань стійкої ідентифікації акустичних загроз розроблено метод нетривіального застосування технологій комп'ютерного зору до звукових сигналів, які перетворюються в потік графічних відображень звукових хвиль, що поєднують у собі амплітудні, частотні та часові властивості опису акустичних подій.

Сформовані відповідним чином графічні відображення звукових хвиль в подальшому обробляються за допомогою функцій найбільш поширеної бібліотеки комп'ютерного зору OpenCV [7] з метою виявлення особливих точок графічних відображень звукових хвиль, які й використовуються потім для ідентифікації акустичних подій, трасування руху акустичних цілей тощо.

Методи та алгоритми перетворення звукових сигналів в потік графічних відображень звукових хвиль

Отже, зрозумілим є те, що для застосування методів бібліотеки комп'ютерного зору OpenCV необхідним є вирішення завдання перетворення акустичних сигналів у послідовність графічних відображень звукових хвиль. Традиційно звуковий сигнал представляється графіком, що відображає форму звукової хвилі у вигляді залежності амплітуди звуку від часу (на рис. 2 наведено приклад графічного відображення акустичного сигналу звуку літака).

Рис. 2. Графічне відображення амплітуди сигналу звуку літака від часу



Подібне графічне відображення звукової хвилі є зручним для сприйняття і дає змогу побачити основні події в звуковому сигналі, такі як зміни гучності, паузи поміж акустичними подіями тощо. Але для виділення характерних ознак алгоритмами комп'ютерного зору OpenCV таке представлення не є задовільним.

Формування з акустичних сигналів послідовності графічних відображень звукових хвиль може бути виконано багатьма різними засобами, наприклад, за допомогою дискретного перетворення Фур'є (Discrete Fourier Transform, DFT) [8], яке дає уявлення про сигнал в амплітудній та частотній області, тобто являє собою акустичний сигнал у вигляді суми гармонійних коливань:

де Xf) -- f-й компонент DFT; f = 0, 1, 2, 3, ... ... N-1 -- індекс DFT у частотній області; x(n) -- послідовність вхідних відліків дискретизованого сигналу звукової хвилі; n -- дискретний часовий індекс n = 0, 1, 2, 3, ... N-1; e -- підстава натурального логарифму; j -- уявна одиниця.

На рис. 3 наведено графічне відображення залежності амплітуди від частоти акустичного сигналу літака (див. рис. 2), що було сформовано для сигналу звуку літака за допомогою дискретного перетворення Фур'є.

Але, отримане таким чином (за допомогою дискретного перетворення Фур'є) графічне відображення залежності амплітуди звуку від частоти не дає змоги отримувати інформацію щодо часових особливостей локалізації акустичних сигналів, яка є необхідною для ідентифікації акустичних подій та трасування руху акустичних цілей.



Рис. 3. Графік залежності амплітуди від частоти для звуку літака за DFT

Для того, щоб сформувати графічні відображення звукових хвиль, що містять у собі інформацію щодо особливостей часової локалізації акустичних сигналів, доцільним є застосування дискретного віконного перетворення Фур'є.

У цьому випадку до послідовності вхідних відліків сигналу звукової хвилі x(n) виконується дискретне віконне перетворення Фур'є (Shorttime Fourier Transform, STFT), що визначається за формулою [9]:

де t -- дискретний час семплу; rn(n) -- тип віконної функції, що застосовується; N -- розмір вікна; H -- розмір зміщення, яке є чинником перекриття вікон

Тобто, перетворення звукових сигналів в потік графічних відображень звукових хвиль ґрунтується на побудові спектрограм для поділеної на сегменти звукової хвилі на основі застосування дискретного віконного перетворення Фур'є та методу Уелча із застосуванням для зменшення ефекту розмиття спектру відповідних віконних функції rn(n) та перекриття вікон, що зменшують дисперсію оцінки спектру [10]. З побудованих таким чином послідовностей спектрограм і формується потік графічних відображень звукових хвиль.

Віконні функції, що застосовуються при побудові спектрограм, розрізняються за двома основними параметрами: ступенем розширення основної пелюстки і ступенем придушення розмиття спектру (бічних пелюсток).

Для того, щоб виявити слабкий сигнал, необхідно усунути бічні пелюстки в спектрі, але чим сильніше придушуються бічні пелюстки, тим ширше буде основна пелюстка, що призводить, в свою чергу, до погіршення роздільної здатності по частоті.

Дане протиріччя призвело до розробки значної кількості віконних функцій з різним.

Вид спектрограми суттєво залежить від застосованого типу віконної функції ю(и) та перекриття вікон (на рис. 4 до акустичного сигналу застосована віконна функція Блекмена, а перекриття вікон становить 70 %). По горизонтальній осі спектрограми відкладається час, по вертикальній -- частота, а амплітуда відображається яскравістю або кольором. Праворуч спектрограми показана шкала відповідності кольорів і рівнів сигналу в децибелах.

Таким чином, застосування дискретного віконного перетворення Фур'є STFT та методу Уелча дає змогу сформувати графічні відображення звукових хвиль, що містять у собі інформацію щодо особливостей часової локалізації акустичних сигналів, яку в подальшому доцільно використовувати для ідентифікації акустичних цілей та трасування їх руху із застосуванням алгоритмів бібліотеки комп'ютерного зору OpenCV.

Застосування методів та алгоритмів бібліотеки комп'ютерного зору OpenCV для розпізнавання особливих точок графічних відображень звукових хвиль

На сьогодні значне поширення отримали технології комп'ютерного зору, які дають змогу аналізувати інформацію графічних відображень, рівнем придушення бічних пелюсток і різною шириною основної пелюстки, таких як віконні функції Блекмена, Хеммінга, Хенінга тощо [8].

На рис. 4 наведено приклад побудови спектрограми сигналу звуку літака (на основі застосування дискретного віконного перетворення Фур'є), яка є складовою часткою в потоці графічних відображень звукових хвиль у часі.

Рис. 4. Спектрограма графічного відображення звукової хвилі літака за віконною функцією Блекмена під час перекриття вікон 70 %

Розпізнавати об'єкти пошуку та локалізувати їх розташування. Бібліотека OpenCV є найбільш поширеною бібліотекою комп'ютерного зору для розпізнавання образів, аналізу і дослідження довкілля. Бібліотека OpenCV включає сотні готових функцій обробки зображень і застосовується як в науці, так і в промисловості [7].

Початковим етапом виявлення та ідентифікації акустичних цілей у контрольованому просторі є застосування відповідних функцій бібліотеки OpenCV з метою формування індексованих масивів особливих точок для графічних відображень звукових хвиль [11].

Процес порівняння відображень поділяють на три етапи. На першому етапі визначаються множини особливих точок графічних відображень за допомогою методів, які називають детекторами. Ці методи забезпечують інваріантність знаходження одних і тих самих точок відносно перетворень відображення. Однак недостатньо застосування лише детектора, так як результатом його роботи є множина координат особливих точок, які на кожному відображенні різні. Для цього на другому етапі відбувається побудова дескрипторів, що визначають особливості околу особливих точок у вигляді числових або бінарних векторів певних параметрів.

Дескриптори дають змогу виділяти особливі точки з усієї їх множини на графічних відображеннях та зіставляти пари особливих точок, що належать одному об'єкту, під час порівняння різних графічних відображень. Деякі методи виконують відразу обидва завдання -- детектування особливих точок і побудову дескрипторів.

Третій етап полягає в порівнянні дескрипторів і пошуку точок, що співпадають на обох графічних відображеннях, та формуванні зіставлених індексованих векторів особливих точок для графічних відображень, що порівнюються [7; 11].

Під час захисту контрольованого простору для виявлення та ідентифікації акустичних цілей можуть бути задіяні декілька каналів отримання сигналів звукових хвиль (масивів мікрофонів, які формують акустичні промені на ціль), а, отже, і декілька потоків сформованих графічних відображень, які необхідно порівняти. Порівняння звукових сигналів необхідне для знаходження подібних сигналів у різних потоках або для ідентифікації цілей із застосуванням існуючої бази даних акустичних сигнатур типових цілей.

У будь-якому із цих випадків відбувається порівняння графічних відображень звукових хвиль, які надходять у двох потоках. Надалі графічні відображення звукових хвиль, які порівнюються між собою, будемо називати перше графічне відображення, якщо воно належить до першого потоку, та друге графічне відображення, якщо воно належить до другого потоку.

На рис. 5 наведено ілюстрацію процесу формування та зіставлення індексованих векторів особливих точок першого графічного відображення і другого графічного відображення.

Порівняння графічних відображень звукових хвиль відбувається на основі використання алгоритмів бібліотеки комп'ютерного зору OpenCV (наприклад, SIFT, SURF, BRIEF, BRISK, ORB тощо), які формують індексований вектор зіставлених особливих точок першого графічного відображення, наприклад, вектор (A, B, C, D, E, F, G, H, I, J), та індексований вектор зіставлених точок другого графічного відображення, наприклад, вектор (A', B', C', D', E', F', G', H', I', J') та визначають пари зіставлених особливих точок на цих відображеннях, а саме: (A, A), (B, B), (C, C), (D, D'), (E, Е'м, (F, F), (G, G) (H, H) (I, I'), (J, J)

Рис. 5. Процес формування та зіставлення особливих точок першого і другого графічного відображення

Отже, застосування алгоритмів бібліотеки комп'ютерного зору OpenCV для обробки першого графічного відображення та другого графічного відображення формує зіставлені індексовані вектори особливих точок, які дають змогу в подальшому ідентифікувати та локалізувати відповідні цим відображенням акустичні цілі.

Метод та алгоритми зіркової кластеризації особливих точок графічних відображень звукових хвиль для ідентифікації та пеленгації акустичних цілей

Недоліком відомих методів технології комп'ютерного зору при зіставленні графічних відображень звукових хвиль є те, що частина знайдених збігів особливих точок цих звукових хвиль може бути помилковою.

Для усунення цих недоліків розроблено алгоритми зіркової кластеризації особливих точок графічних відображень звукових хвиль, які призначені для додаткової перевірки істинності знайдених збігів особливих точок, отриманих відомими методами зіставлення відображень. Зіркова кластеризація, що застосовується в цих алгоритмах, являє собою процедуру відокремлення в кластер із заданої множини особливих точок тільки тих точок, які мають певні задані графічні властивості, що суттєво відрізняють ці точки кластеру від інших особливих точок заданої множини.

Розроблені алгоритми зіркової кластеризації на основі графічних властивостей графічних відображень звукових хвиль додатково перевіряють на істинність точки збігу, що були отримані для цих відображень відомими методами технології комп'ютерного зору (наприклад, SIFT, SURF, BRIEF, BRISK, ORB тощо). Точки збігу для відображень звукових хвиль, які не пройшли перевірку щодо їх графічних властивостей, інтерпретуються як помилкові і виключаються з набору точок збігу, що в цілому підвищує якість і надійність аналізу та зіставлення графічних відображень звукових хвиль.

До сформованих індексованих векторів зіставлених особливих точок першого графічного відображення та другого графічного відображення застосовують процедуру зіркової кластеризації особливих точок графічних відображень звукових хвиль, у якій спочатку циклічно формують всі можливі пари триточкових комбінацій з набору зіставлених особливих точок першого графічного відображення та другого графічного відображення. Якщо вектори зіставлених особливих точок містять по q точок, то кількість пар триточкових комбінацій S₃ для q > 3 дорівнює:



Для кожної з цих триточкових комбінацій визначається відповідна їй трипроменева зірка. Центром такої трипроменевої зірки є її центр маси, де під центром маси розуміється точка, кожна з координат якої є середнім арифметичним координат точок, що входять до цієї триточкової комбінації. Променями трипроменевої зірки є вектори, що виходять з центру зірки до кожної з точок, що входять до відповідної триточкової комбінації.

На рис. 6 наведено ілюстрацію, що пояснює процес формування трипроменевих зірок для особливих точок, зображених на рис. 5, у якому, наприклад, визначаються дві триточкові комбінації: одна з набору зіставлених особливих точок першого графічного відображення (C, G, J) і друга з набору зіставлених особливих точок другого графічного відображення (C', G', J') для яких вираховують координати їх центрів мас для першого графічного відображення O і для другого графічного відображення O'.

Рис. 6. Процес формування трипроменевих зірок

Ці триточкові комбінації зіставлених особливих точок першого графічного відображення (C, G, J) і другого графічного відображення (C', G', J¹) спільно з їх центрами мас O і O' однозначно визначають конфігурацію трипроменевих зірок з векторами променів OC, OG, OJ для зірки першого графічного відображення і з векторами променів O'C', O'G', O'J' для зірки другого графічного відображення.

Для кожної пари триточкових комбінацій з набору зіставлених особливих точок першого графічного відображення та другого графічного відображення виконують перевірку графічної подібності відповідних їм трипроменевих зірок для визначення базової триточкової комбінації для зіркової кластеризації особливих точок графічних відображень звукових хвиль.

Для цього обирають найдовший промінь трипроменевої зірки першого графічного відображення і знаходять зіставлений йому промінь трипроменевої зірки другого графічного відображення, а також визначають кут між двома цими променями як кут кластерного повороту. На рис. 6, наприклад, найдовшим променем трипроменевої зірки першого графічного відображення є промінь OC, для якого промінь O'C трипроменевої зірки другого графічного відображення є зіставленим, а кут поміж цими променями OC і O'C' є кутом кластерного повороту Ґ.

За співвідношенням довжин найдовшого променю трипроменевої зірки графічної кластеризації першого графічного відображення і зіставленого йому променю трипроменевої зірки другого графічного відображення визначають масштабний коефіцієнт подібності, відповідно якому масштабують вектори променів трипроменевої зірки другого графічного відображення, а потім повертають масштабовані вектори трипроменевої зірки на визначений раніше кут кластерного повороту, отримуючи при цьому модифіковану трипроменеву зірку другого графічного відображення, яка й використовується для оцінки графічної подібності.

На рис. 6 наведено приклад формування модифікованої трипроменевої зірки, де спершу визначають масштабний коефіцієнт подібності , а далі, відповідно до масштабного коефіцієнту подібності M, масштабують вектори променів OC', OG', OJ' трипроменевої зірки другого графічного відображення, і повертають ці вектори трипроменевої зірки другого графічного відображення на кут кластерного повороту Ґ, отримуючи таким чином модифіковану трипроменеву зірку з векторами променів O'C", O'G”, O J", що в подальшому використовуються для оцінки графічної подібності.

Оцінку графічної подібності трипроменевих зірок формують за модулем різниці для кожної зіставленої пари векторів променів трипроменевої зірки першого графічного відображення і векторів променів модифікованої трипроменевої зірки другого графічного відображення, співвіднесеної з довжиною відповідного променю першого графічного відображення за співвідношенням (рис. 6):

де Errl, Err2, Err3 -- оцінка графічної подібності першої, другої і третьої пар променів зірок, що сформовані з триточкових комбінацій особливих точок першого графічного відображення і другого графічного відображення.

Якщо виконується умова:

де Err -- задане значення допустимої помилки графічної подібності, то дані пари триточкових комбінацій першого графічного відображення і другого графічного відображення визначаються як графічно подібні комбінації, й для них обчислюється сума оцінок графічної подібності ErrSum:



ErrSum = Errl + Err2 + Err3.

Після завершення циклу перебору пар триточкових комбінацій, пара графічно подібних триточкових комбінацій з мінімальною сумою оцінки графічної подібності ErrSum обирається як базова триточкова пара зіркової кластеризації, яка, в свою чергу, однозначно визначає конфігурацію пари базових трипроменевих зірок кластеризації першого і другого графічних відображень.

Основою подальшої процедури формування зіркових кластерів є використання вирахуваної базової триточкової пари зіркової кластеризації для циклічного додавання до неї четвертої пари точок з набору зіставлених особливих точок першого графічного відображення і другого графічного відображення, які не увійшли до базової триточкової пари зіркової кластеризації.

Для кожної із сформованих таким чином пари чотирьох точкових комбінацій визначають їх центри мас для першого графічного відображення і другого графічного відображення. Ці центри мас розраховують як середні значення відповідних координат чотирьох точок в системі координат першого графічного відображення і другого графічного відображення.

Чотириточкові комбінації зіставлених особливих точок першого і другого графічного відображень спільно з їх центрами мас однозначно визначають конфігурацію чотирьох променевих зірок першого графічного відображення і другого графічного відображення, що мають промені, які виходять з центру маси кожної зірки до відповідних точок із чотирьох точкових комбінацій першого графічного відображення і другого графічного відображення.

Тут слід зауважити, якщо вектори зіставлених особливих точок містять по q точок, то кількість циклів додавання S₄ четвертої пари точок з набору зіставлених особливих точок першого графічного відображення і другого графічного відображення є незначною, а саме S4 = q - 3, що позитивно позначається на швидкодії роботи розроблених алгоритмів.

На рис. 7 наведено ілюстрацію, яка пояснює процес додавання четвертої пари точок з набору зіставлених особливих точок першого графічного відображення і другого графічного відображення до базової триточкової пари зіркової кластеризації, у якому, наприклад, до базової триточкової пари зіркової кластеризації (C, G, J) і (C', G', J') відповідно першого і другого графічних відображень додається четверта пара точок з набору зіставлених особливих точок (див. рис. 5), а саме точка E для першого графічного відображення і точка E' для другого графічного відображення.

Рис. 7. Процес додавання четвертої пари точок до базової триточкової пари зіркової кластеризації

Для кожної із сформованих таким чином чотириточкових комбінацій першого (C, G, J, E) і другого графічного відображень (C, G', J', E¹) вираховують координати їх центрів мас для першого графічного відображення O і другого графічного відображення O'.

Чотиртточкові комбінації зіставлених особливих точок першого графічного відображення (C, G, J, E) і другого графічного відображення (C', G , J , E ) спільно з їх центрами мас O і O однозначно визначають конфігурацію чотирьох променевих зірок з векторами променів OC , OG , OJ , OE для зірки першого графічного відображення і з векторами променів O'C', O G , O J , O E для зірки другого графічного відображення.

Далі кожна пара чотириточкових комбінацій з набору зіставлених особливих точок першого графічного відображення та другого графічного відображення тестується щодо графічної подібності відповідних їм чотирипроменевих зірок з метою визначення придатності використання тестової четвертої пари точок з набору зіставлених особливих точок першого графічного відображення і другого графічного відображення в якості додаткової пари точок зіркової кластеризації.

Для цього обирають найдовший промінь чотирьох променевої зірки першого графічного відображення і знаходять зіставлений йому промінь чотирьох променевої зірки другого графічного відображення, а також визначають кут між двома цими променями як кут кластерного повороту.

На рис. 7, наприклад, найдовшим променем чотирьох променевої зірки першого графічного відображення є промінь OJ , для якого промінь O J чотирьох променевої зірки другого графічного відображення є зіставленим, а кут поміж цими променями OJ і O J є кутом кластерного повороту Ґ.

За співвідношенням довжин найдовшого променю чотирьох променевої зірки графічної кластеризації першого графічного відображення і зіставленого йому променю чотирьох променевої зірки другого графічного відображення визначають масштабний коефіцієнт подібності, відповідно якому масштабують вектори променів чотирьох променевої зірки другого графічного відображення, а потім повертають масштабовані вектори чотирьох променевої зірки на визначений раніше кут кластерного повороту, отримуючи при цьому модифіковану чотирьох променеву зірку другого графічного відображення, яка й використовується для оцінки графічної подібності.

На рис. 7 наведено приклад формування модифікованої чотирьох променевої зірки, де спершу визначають масштабний коефіцієнт а далі, відповідно до масштабного коефіцієнту подібності масштабують вектори променів OC', OG', O' J', O' E" чотирьох променевої зірки другого графічного відображення, і повертають ці вектори чотирьох променевої зірки другого графічного відображення на кут кластерного повороту Ґ, отримуючи таким чином модифіковану чотирьох променеву зірку з векторами променів O'C?'' , O'G'' , O'J?'' , O'E?'' ,, що в подальшому використовуються для визначення придатності використання тестової четвертої пари точок з набору зіставлених особливих точок першого графічного відображення OE і другого графічного відображення O E як додаткової пари точок зіркової кластеризації.

Оцінку графічної подібності чотирьох променевих зірок формують за модулем різниці для кожної зіставленої пари векторів променів чотирьох променевої зірки першого графічного відображення і векторів променів модифікованої чотирьох променевої зірки другого графічного відображення, співвіднесеної з довжиною відповідного променю першого графічного відображення по співвідношенням (див. рис. 7):

де Erri, Err2, Err3, Err4 -- оцінка графічної подібності першої, другої, третьої і четвертої зірок, що сформовані з чотирьох точкових комбінацій особливих точок першого графічного відображення і другого графічного відображення.

Якщо виконуються умови:

Erri < Err; Err2 < Err;

Err3 < Err; Err4 < Err,



де Err -- задане значення допустимої помилки графічної подібності, то протестована четверта пара точок з набору зіставлених особливих точок першого і другого графічних відображень обирається в якості додаткової пари точок зіркової кластеризації.

Після завершення циклу перебору пар чотириточкових комбінацій з набору зіставлених особливих точок першого та другого графічних відображень, за обов'язкової умови, що в цьому циклі були виявлені додаткові пари точок зіркової кластеризації, створюється узагальнена пара наборів точок зіркової кластеризації, до якої входить базова триточкова пара зіркової кластеризації й усі виявлені додаткові пари точок зіркової кластеризації.

На рис. 8 наведено ілюстрацію процесу формування узагальненої пари наборів точок зіркової кластеризації, що складається, наприклад, з набору точок першого графічного відображення (C, G, J, E, F) і набору точок другого графічного відображення (C', G', J', E', F¹), які були сформовані шляхом поєднання базової триточкової пари зіркової кластеризації (C, G, J) і (C', G', J^r) з виявленими додатковими парами точок зіркової кластеризації (E, F) та (E', F') для першого і другого графічних відображень.

Сформована таким чином узагальнена пара наборів точок зіркової кластеризації включає комбінації зіставлених особливих точок першого графічного відображення (C, G, J, E, F) і другого графічного відображення (C, G', J', E', F) за якими вираховуються координати їх центрів мас для першого графічного відображення O і другого графічного відображення O', що однозначно визначають локалізацію зірок кластеризації з променями OC, OG, OJ, OE, OF для першого графічного відображення і з променями OC, OG, OJ, OE', OF' для другого графічного відображення (див. рис. 7).



Рис. 8. Процес формування узагальненої пари наборів точок зіркової кластеризації

Факт формування узагальненої пари наборів точок зіркової кластеризації та відповідних їм зірок кластеризації для першого і другого графічних відображень звукових хвиль з різних акустичних джерел свідчить про те, що ці звукові хвилі містять однакові акустичні сигнатури, а це, в свою чергу, зумовлює можливість застосування засобів комп'ютерного зору та методу зіркової кластеризації особливих точок графічних відображень звукових хвиль для ідентифікації та пеленгації акустичних цілей у контрольованому просторі.

Якщо узагальнена пара наборів точок зіркової кластеризації для набору зіставлених особливих точок першого та другого графічних відображень звукових хвиль з різних акустичних джерел несформована, то це говорить про те, що ідентичність цих акустичних джерел невиявлена.

На рис. 9 та рис. 10 наведено ілюстрацію процесу експериментального формування зірок кластеризації для першого і другого графічних відображень звукових хвиль літака, що були прийняті з двох рознесених точок простору й для яких були сформовані їх графічні відображення.

На рис. 9 зображено перше графічне відображення звукової хвилі літака, яка була прийнята в першій точці контрольованого простору, а на рис. 10 зображено друге графічне відображення звукової хвилі літака, яка була прийнята в другій точці контрольованого простору. Для першого і другого графічних відображень звукової хвилі літака на основі використання алгоритмів бібліотеки комп'ютерного зору OpenCV були сформовані індексовані вектори зіставлених особливих точок першого і другого графічних відображень, кожен з яких містив по дванадцять зіставлених особливих точок.

До індексованих векторів зіставлених особливих точок першого і другого графічних відображень звукових хвиль літака був застосований метод зіркової кластеризації, який сформував узагальнені пари наборів точок зіркової кластеризації та побудував відповідні їм зірки кластеризації для першого і другого графічних відображень (рис. 9 та 10).

Рис. 9. Формування зірки кластеризації для першого графічного відображення звукової хвилі літака

Рис. 10. Формування зірки кластеризації для другого графічного відображення звукової хвилі літака



Експериментальна побудова зірок кластеризації для першого і другого графічних відображень звукових хвиль літака, прийнятих з двох рознесених точок простору, показує, що ці звукові хвилі містять однакові акустичні сигнатури, що, у свою чергу, може бути використано при ідентифікації та пеленгації цілей по акустичним сигналам, прийнятим з рознесених точок простору, для вилучення з розгляду помилкових цілей.

До того ж метод зіркової кластеризації вираховує з високою точністю координати центрів зірок кластеризації та формує їх типологію, що може бути застосовано як для ідентифікації та локалізації акустичних загроз, так і для формування інтелектуальних баз даних акустичних сигнатур.

Проведені експериментальні дослідження показали, що перекриття семплів менше ніж на 50 % є недостатнім для формування потоку графічних відображень звукових хвиль, який був би придатний для ідентифікації акустичних подій та трасування руху акустичних цілей.

Дослідним шляхом було встановлено, що прийнятною величиною перекриття семплів при формуванні потоку графічних відображень звукових хвиль, придатних для ідентифікації акустичних подій та трасування руху акустичних цілей, є величина перекриття семплів не менша ніж 70 %.

Отже, для застосування бібліотеки комп'ютерного зору OpenCV для аналізу та обробки звукових сигналів необхідним є перетворення акустичних семплів на графічні відображення з обов'язковим перекриттям між собою на величину не меншу за 70 %.

За такою величиною перекриття кожен наступний семпл містить інформацію з попереднього семплу, що дає змогу бібліотеці комп'ютерного зору OpenCV відокремлювати подібні ознаки при порівнянні графічних відображень, отриманих із звукових семплів, та працювати з необхідною точністю.

Відомі методи з бібліотеці комп'ютерного зору OpenCV обробляють зміст графічних відображень за допомогою детекторів і дескрипторів з метою знаходження особливих точок, які потім зіставляють для отримання набору точок збігу в різних графічних відображеннях, але наявні функціональні можливості цих методів не дозволяють застосовувати їх для надійної ідентифікації та локалізації акустичних загроз.

Натомість, як показали результати проведених досліджень, використання методів пошуку, опису і зіставлення особливих точок з бібліотеці комп'ютерного зору OpenCV спільно з методом графічної кластеризації графічних відображень дає змогу підвищити надійність зіставлення двох графічних відображень за рахунок того, що точки збігу для графічних відображень, які не пройшли перевірку графічних властивостей відображень, інтерпретуються як помилкові і виключаються з набору точок збігу.

Крім того, розроблені алгоритми зіркової кластеризації графічних відображень вираховують з високою точністю координати центрів зірок кластеризації та формують їх типологію, за якими виконується ідентифікація та локалізація акустичних загроз.

Результати проведених досліджень показали, що використання методів пошуку, опису і зіставлення особливих точок з бібліотеці комп'ютерного зору OpenCV спільно з методом зіркової кластеризації графічних відображень дає змогу значно знизити можливість виникнення помилкових збігів, що, в свою чергу, забезпечує ефективність застосування розробленого методу зіркової кластеризації графічних відображень для вирішення задач ідентифікації та пеленгації акустичних цілей у контрольованому просторі, трасування руху акустичних цілей, формування інтелектуальних баз даних акустичних сигнатур тощо.



Висновки

У комплексі проблем забезпечення захищеності контрольованого простору від раптового нападу одне з головних місць посідає проблема своєчасного виявлення сил і засобів нападу, їх ідентифікація та визначення місця розташування в інтересах забезпечення своєчасного введення в дію та ефективного використання сил і засобів боротьби з ними.

Для вирішення завдань стійкої ідентифікації, пеленгації та визначення параметрів руху акустичних цілей розроблено технологію нетривіального застосування засобів комп'ютерного зору до звукових сигналів, які перетворюються в потік графічних відображень, що поєднують у собі амплітудні, частотні та часові властивості опису акустичних подій.

Також розроблено метод зіркової кластеризації, який додатково перевіряє на істинність набори точок збігу для графічних відображень звукових хвиль, отриманих відомими методами бібліотеки комп'ютерного зору OpenCV, та дає змогу значно знизити можливість виникнення помилкових збігів, що, в свою чергу, забезпечує ефективність застосування розробленого методу для вирішення широкого спектру задач, таких як ідентифікація та пеленгація акустичних цілей, трасування руху акустичних цілей, формування інтелектуальних баз даних акустичних сигнатур.

Розроблені процедури методу зіркової кластеризації особливих точок графічних відображень звукових хвиль для ідентифікації та локалізації акустичних цілей відносяться до засобів комп'ютерного зору, що застосовуються для когнітивного виявлення, опису і знаходження відповідності серед характерних ознак графічного відображення, та реалізують інтелектуальну складову технології застосування засобів комп'ютерного зору для ідентифікації та пеленгації акустичних цілей у контрольованому просторі.

Отримані результати можуть бути в подальшому використані як інструмент попереднього автоматичного аналізу ситуації і, будучи інтегрованими в систему комплексної безпеки, підвищити її ефективність, значно зменшивши час реакції співробітників спеціальних служб при виникненні тривожних подій. Також розроблена технологія дасть змогу вирішити такі проблеми, як зниження рівня терористичної загрози та підвищення загального рівня безпеки. На основі отриманих результатів можливе продовження та розвиток існуючих або відкриття нових напрямів для фундаментальних та прикладних інноваційних наукових досліджень.



Література

[1] Бєліков Ю. М. Недержавна правоохоронна діяльність: передумови виникнення, поняття, місце в системі правоохоронної діяльності. Науковий вісник Херсонського державного університету. 2013. №. 4. С. 138-142.

[2] Луценко В. И., Луценко И. В., Мазуренко А. В. Характеристики акустических полей наземных и малоразмерных воздушных объектов акустической разведки. Прикладная радиоэлектроника. 2017. №. 16. С. 18-22.

[3] Kumar N.S., Bhattacharya C., Unnikrishnan A. Passive Source Localization Using Compressively Sensed Towed Array. Defence Science Journal. 2013.

[4] Dorasamy M., Raman M., Kaliannan M. Integrated community emergency management and awareness system: A knowledge management system for disaster support. Technological Forecasting and Social Change. 2017. Т. 121. Р. 139-167.

[5] Mьller M. Fundamentals of music processing: Audio, analysis, algorithms, applications. Springer, 2015.

[6] Gцksu H. Vehicle speed measurement by on-board acoustic signal processing. Measurement and Control. 2018. Т. 51. №. 5-6. С. 138-149.

[7] Bradski G., Kaehler A. Learning OpenCV: Computer vision with the OpenCV library. O'Reilly Media, Inc., 2008.

[8] Lyons R.G. Understanding digital signal processing, 3 Edition. Pearson Education India, 2004.

[9] Baba T. Time-frequency analysis using short time Fourier transform. The Open Acoustics Journal. 2012. Т. 5. № 1.

[10] Thomas E. B., John S. K., Abe S. Power Spectral Density Computation using Modified Welch Method. IJSTE-International Journal of Science Technology & Engineering. 2015. Т. 2. № 4.

[11] Тимчишин Р. М., Волков О. Є., Господарчук О. Ю., Богачук, Ю. П. Сучасні підходи до розв'язання задач комп'ютерного зору. Управляющие системы и машины. 2018. №6. С. 46-73.

Размещено на Allbest.ru

...