Програмно-апаратна система керування жестами

Размещено на http://www.allbest.ru/

Програмно-апаратна система керування жестами

Глазок Олексій Михайлович

кандидат технічних наук, доцент,

Національний авіаційний університет,

м. Київ, Україна,

Левчук Владислав Володимирович

студент,

Національний авіаційний університет,

м. Київ, Україна

Анотація

У статті розглянуто задачу розпізнавання жестів людини для керування комп'ютерними пристроями. Запропоновано застосування таких систем у навчальному процесі, а також для керування рухом безпілотного літального апарату.

Ключові слова: жест, людино-машинний інтерфейс, відстежування, розпізнавання.

Annotation

The article deals with the problem of recognition the human's gestures for controlling computer devices. Applications of such systems in educational process and in the process of controlling an unmanned aerial vehicle are considered.

Key words: gesture, human-machine interface, watching, recognition.

В даний час розширюється вплив електронних систем на повсякденне життя людей в усіх сферах, від побуту та розваг до сфери економіки та виробництва. Останніми роками спостерігається активний розвиток інтерактивних систем людино-комп'ютерної взаємодії. Виникає дедалі більший запит на пристрої та системи людино-машинного інтерфейсу, які забезпечують введення керуючих впливів людини до різноманітних електронних пристроїв. Загальною довготривалою тенденцією в цій галузі є спрощення для людини оперування з такими системами.

Можна виділити кілька причин, які мотивують розробників до спрощення систем інтерфейсу керування людино-машинних комплексів, а саме: легкість в освоєні користувачами (персоналом) простого та зручного інтерфейсу, зменшення витрат на навчання персоналу для керування комплексом. Також важливо, що інтуїтивно зрозумілий інтерфейс зменшує ризик виникнення помилок під час експлуатації і надає кращі можливості для керування, що, у свою чергу, знижує втомлюваність оператора, його, а також зменшує економічні витрати, пов'язані з освоєнням та експлуатацією подібних систем.

Однією з перспективних систем людино-машинного інтерфейсу є керування за допомогою жестикуляції рук людини, що має у своїй основі інтерактивну систему розпізнавання жестів. Дані системи є інтуїтивно зрозумілими для людини (наприклад, можна вказати рукою потрібний напрям), а також надають можливість виключити фізичний контакт оператора з комплексом, що досить актуально, зважаючи на епідеміологічний стан у світі.

Такі системи можуть мати широке застосування у навчанні. Наприклад, можна запропонувати систему тестування, яка отримує відповіді студента на питання, аналізуючи його жести. Для учня чи студента така система буде інтуїтивно зрозумілою, бо йому достатньо вказати за допомогою жесту правильну відповідь. Окремою галуззю застосування могло б бути впровадження систем розпізнавання жестів в освітнє оточення учнів з особливими потребами. програмний апаратний керування жест

Зрештою, у разі набуття системою розпізнавання жестів достатньої точності її можна б було застосувати як замінник звичайної клавіатури та миші комп'ютера, що звільнить користувачів від необхідності купувати та використовувати це обладнання. Замість клавіатури і миші можна буде користуватись будь-якою рівною поверхнею (стіл) або навіть працювати з комп'ютером, рухаючи руками просто у просторі перед собою.

Чудовим прототипом можуть бути системи, що на даний час впроваджені у деяких мобільних додатках. Зокрема, уже реалізована можливість розпізнавання та класифікація жестів рук, з можливістю пов'язати з жестом виконання певних дій, наприклад: здійснення знімку екрана, початок та закінчення відеозапису екрану телефону, розблокування пристрою, збільшення/зменшення гучності і т.п. Прості жести, такі як «вказати» або «змахнути», надають можливість прийняти або відхилити дзвінок.

Набуло поширення керування за допомогою жестикуляції і в системах «розумний дім». Здійснивши кілька простих рухів руками, користувач може керувати освітленням, мультимедією будинку, побутовими приладами.

Загалом можна відзначити, що в даний час з' являються цілий ряд таких систем. Дослідження у галузі комп'ютерного зору, розпізнавання облич та жестів ведуться уже досить давно, наприклад [1, 2]. Загальними проблемами у цій галузі залишаються: невисока точність розпізнавання, неприйнятно високий рівень помилок, обмежений набір жестів, що підлягають розпізнаванню, а розроблені системи переважно є закритими і недоступні для вивчення. Тому розробка засобів розпізнавання елементів жестових мов є актуальною задачею сучасних інформаційних технологій [3].

Розпізнавання жестів - це процес, у результаті якого жести оператора у певний спосіб інтерпретуються системою, тобто розпізнаним жестам надається наперед обумовлений семантичний зміст. Система розпізнавання жестів має включати чотири основних функціональних блоки: попередня обробка кадру, виявлення, відстежування та розпізнання.

Попередня обробка кадрів відеопотоку є основною складовою частиною систем подібного типу і важливою складовою, від якої залежить успішність подальшого розпізнавання потрібного об'єкту на кадрі. Розповсюджені відеокамери видають зображення, інформація яких подана у форматі RGB. Для розпізнавання жестів, та й взагалі будь-яких об'єктів, представлення кадру в RGB-форматі має ряд негативних аспектів, а саме: змішування даних про яскравість з даними про колір, значну кореляцію між компонентами, значну неоднорідність між сусідніми пік селями [4]. Для того, щоб позбутися цих проблем, застосовують перетворення у інші формати, такі як HSV або HSL. Ці формати надають можливість отримати інформацію про колір в більш зручній для аналізу формі, бо їх компоненти відповідають на змістовні питання: «Що це за колір?», «Наскільки він насичений?» «Наскільки даний колір є світлим/темним?». Додатково до кольорового аналізу кадру необхідно виконати фільтрування, щоб позбутися дрібних шумів та дефектів.

Виявлення - один із ключових аспектів у процесі розпізнавання жестів. Один з поширених методів виявлення є метод на основі визначення контурів. Визначення контурів відбувається у бінарному зображенню, яке отримано з HSV/HSL-моделі на основі застосування порогових функцій. Отримання контурів має вагоме значення для подальшого виявлення об'єктів, через те що контур здатен вказати системі на можливе розміщення об'єкту на частині зображення. Задля зменшення процесорних витрат у ході роботи з контурами, часто здійснюється апроксимація контура задля зменшення кількості точок ламаної. Одним з найпоширеніших алгоритмів є алгоритм Рамера-Дугласа-Пекера , який дозволяє зменшити кількість точок у контурі, що надалі зменшить обчислювальне навантаження [5].

Наступним етапом є відстежування, що вимагає аналізу міжкадрової відповідності сегментів. Результати такого аналізу дозволять розрізняти рухомі багатоскладові жести. Відстежування забезпечує міжкадровий зв' язок виявлених сегментів, які містять контури елементів руки (долонь, пальці), і забезпечує визначення траєкторії руху елементів. Також на цьому етапі можна визначити швидкість руху елементів руки. Поширення набуло застосування алгоритму динамічної трансформації часової шкали, що дозволяє порівняти та аналізувати два або більшу кількість сегментів. Отримавши необхідні траекторії елементів рук, надалі їх можна використати для остаточного розпізнавання того чи іншого жесту або комбінацій жестів [6].

Нарешті, фінальним етапом у виявлені жестикуляцій є розпізнавання. Розпізнавання - це процес, що здійснює групування та оброблення просторово-часової інформації, отриманої на попередніх етапах, і здійснення остаточного висновку щодо того, чи є розпізнана комбінація рухів елементів рук відомим системі жестом, і якщо є, то до якого набору (категорії) жестів її віднести. Таким чином, здійснюється інтерпретація виявлених особливостей розміщення рук і визначення того, яке смислове навантаження несе даний жест. Для вирішення цього питання доцільно використати алгоритми штучного інтелекту, а саме штучні нейронні мережі. Для розпізнавання переважно застосовують кілька підходів: нейромережа з зворотнім поширенням помилки (Зі 111), мережа Хопфілда, мережа Хемінга.

Нейромережа Зі 111 надає кращі результати у розпізнаванні жестів, проте вимагає значно більшого часу на навчання та здійснення аналізу, ніж мережі Хопфілда та Хемінга, які у свою чергу здатні швидко навчатися, але їх ефективність менша. Також варто зауважити, що мережа Хопфілда може застосовуватися до обмеженої кількості образів. Проте кожна мережа надає можливість здійснювати розпізнавання жестів і здійснювати їх класифікацію.

Одним з можливих застосувань інтерактивних систем керування жестами є керування безпілотними літальними апаратами - мультикоптерами. Одним з авторів розробляється програмний модуль розпізнавання жестів рук для керування квадрокоптером. Апаратною основою функціонування системи є наступні компоненти: камера, альт-азимутальна установки, на якій закріплена камера, мінікомп'ютер Raspberry Pi 3B+, який виконує обробку зображень і пов'язаний з головним бортовим комп'ютером коптера (навігаційним).

Одразу після активації системи коптер піднімається на висоту людського зросту (1,7-2 м) і розпочинає сканування за допомогою відеокамери. Здійснюється пошук обличчя власника, яке попередньо було занесене у систему. Сканування здійснюється у передній чверті сфери огляду, у разі невдачі коптер розвертається і сканує іншу чверть.

Шсля того, як обличчя власника було знайдене і упізнане, система захоплює обличчя, розпочинає пошук кистей рук власника і аналіз жестикуляції. У разі, якщо система розпізнала жест, здійснюється дія, відповідно до заданої семантики. Наприклад рух коптера вперед-назад, вправо-вліво, вверх-вниз. Для цього відповідна команда про виконання дії передається до навігаційного комп'ютера пристрою. 1ередбачено спеціальний жест, який викликав би завершення роботи системи і автоматизоване приземлення коптера. Даний вид керування дозволить розширити можливості по управлінню літальними апаратами даного типу.

Висновки. Інтерактивна система розпізнавання жестів - це складний, але необхідний та зручний комплекс, який розкриває нові можливості для керування різноманітними комплексами. Системи такого типу можуть мати цілий ряд застосувань у навчальному процесі. Системи керування жестами інтуїтивно зрозумілі, а також працюють безконтактно, що важливо у сучасних епідеміологічних умовах. 1роцес розпізнавання жестів рук ділиться на кілька етапів, протягом яких система отримує інформацію, аналізує її, обробляє і здійснює висновок щодо сенсу поданої команди. Інтерактивні системи розпізнавання жестів є складним, але у той же час, надзвичайно вагомим знаряддям людино-машинного інтерфейсу.

1одальші дослідження в даній галузі, на нашу думку, мають бути спрямовані на подальший розвиток даної інтерактивної системи, шляхом додавання нового функціоналу, такого як розпізнавання звуків, облич конкретних людей, що призвело б до збільшення функціональних можливостей по керуванню. Необхідна розробка та дослідження нових, більш ефективних алгоритмів розпізнавання, які б забезпечили більшу точність ідентифікації та розпізнавання, могли б визначати особливості рухів («почерку») окремих людей, забезпечили б розширення набору упізнаних жестів.

Список використаних джерел

1. Нюнькин К.М. Система распознавания жестов //Программные продукты и системы. - 2004. - №1. - C. 30-35.

1. Форсайт Д., Понс Ж. Компьютерное зрение: Современный подход. - М.: Вильямс, 2004. - 929 с.

2. Тухбатуллин М.С. Распознавание динамических жестов на основе вычитания фона /М.С.Тухбатуллин, А.П.Кирпичников, С.А.Ляшева, М.П.Шлеймович.// Вестник Казанского технологического ун-та. - 2016. - Том 19, №18. - С. 164-166.

3. Копылов А.В. Устойчивое детектирование ладони на изображениях на основе комбинирования информации о цвете и форме/ А.В.Копылов, О.С.Середин, О.А.Кушнир, И.А.Грачева, А.О.Ларин //Известия ТулГУ. Технические науки. - 2016. - №11-1. - С. 24-40.

4. S. Suzuki. Topological structural analysis of digitized binary images by border following// Computer Vision, Graphics, and Image Processing. - 1985. - No. 30(1). - Pp. 32-46.

5. Рюмин Д. Метод автоматического видеоанализа движений рук и распознавания жестов в человеко-машинных интерфейсах // Научно-технический вестник информационных технологий, механики и оптики. - 2020. - №4. - С. 525-531.

Размещено на Allbest.ru