Система телеметрії з елементами доповненої реальності для співробітників служб порятунку на основі ПЛІС

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Згідно з останніми аналітичними звітами протягом наступних 10 років більше 100 мільйонів людей будуть носити одяг з вбудованими засобами індивідуальної телеметрії. Розробка подібних пристроїв ведеться під егідою впровадження так званих «Інтернет речей» (IoT Internet of Things) . Якщо оснастити одяг безліччю датчиків (температури, тиску, вологості, пульсу, електрокардіограми, рівня кисню в крові, опору шкіри і т. д.) і підключити їх до керуючого мікро контролера з бездротовим каналом зв'язку Wi-Fi або Bluetooth LE, отримаємо систему дистанційної діагностики. Подібне екіпірування дуже корисне для стеження за станом здоров'я спортсменів, одиноких людей похилого віку, дітей з особливими потребами, співробітників служб порятунку або пожежних команд.

Система телеметрії.

Розроблена система складається з трьох основних модулів (рис. 1). Модуль 1 на основі hSensor, або MAXREFDES100# фірми Maxim Integrated , визначає фізіологічні параметри людини, і закріплюється за допомогою спеціального ременю на грудині співробітника. В еластичний ремінь інтегровані електроди системи ЕКГ та датчик деформації грудної клітини. Оброблені дані по каналу Bluetooth LE передаються на модуль 2, пристрій збору, аналізу та збереження інформації (на основі DE10-Nano Kit фірми Terasic побудованого на основі FPGA Cyclone® V компанії Intel/Altera), і через інтегрований World Wide Web (Web) сервер, по інтерфейсу Wi-Fi (з використанням модулю RFS компанії Terasic ), передаються в центр спостереження. Локальний захищений накопичувач Secure Digital (SD) виконує функцію персональної «чорної скриньки» на аварійні випадки втрати зв'язку та для довготривалого збереження. В шолом пожежника або співробітника служби порятунку вбудований цифровий пірометр MLX90614ESF-DCI-000-SP фірми Melexis, який дистанційно визначає температуру об'єкту, на який дивиться співробітник, а виміряне значення поступає в модуль 2. Всі отримані та попередньо оброблені дані передаються по інтерфейсу Bluetooth LE на окуляри доповненої реальності фірми Intel/Recon Jet Pro. Ці значення відображаються в полі зору оператора, накладаючись на зображення реального світу (технологія Доповненої Реальності Augmented Reality).

Рисунок 1. Блок-схема системи телеметрії з елементами доповненої реальності. 1 модуль спостереження за фізіологічним станом, 2 модуль аналізу оточення, 3 окуляри доповненої реальності Inte/Recon Jet Pro

Сюди же виводяться попередження про небезпеки, які виявляються системою (радіацію, небезпечні гази, стан здоров'я і т. д.). В умовах обмеженої видимості на окуляри можуть також передаватись креслення приміщення, в якому знаходиться співробітник, з вказівкою місцезнаходження людині і/або членів команди. Дані про його положення отримуються від 9 координатного ІВП Інерційного вимірювального пристрою (IMU Inertial measurement unit), вбудованого в кожен модуль системи, а на відкритій місцевості від модуля системи глобального позиціонування (GPSGlobal Positioning System), вбудованого в окуляри.

Всі елементи системи можуть бути використані як окремо, так і в любій комбінації. Наприклад модуль 1 збору інформації про фізіологічний стан, може бути корисним для стеження за одинокими людьми похилого віку, або людей з особливими потребами. При виникненні небезпеки стану здоров'я, інформація може бути передана дільничному лікарю, в соціальну службу або в службу швидкої допомоги. Модуль 2 може бути корисним для шахтарів, військових і т. д., та навить як окремо розташована метеостанція. А окуляри доповненої реальності мають просто необмежену сферу застосувань, багато з яких ще навить не придумані.

Модуль спостереження за фізіологічним станом.

Орієнтуючись на потреби розробників мобільних електронних пристроїв для спостереження за показниками фізичної активності користувача, компанія Maxim Integrated Products розробила платформу hSensor (MAXREFDES100#). На мініатюрній платі hSensor знаходиться одно канальний аналоговий інтерфейс для перетворення біо-потенціалів (електрокардіографію (ЕКГ), електроміографію (ЕМГ) або електроенцефалографію (ЕЕГ)) в цифровий код MAX30003, безконтактний датчик частоти серцевих скорочень (ЧСС) і рівня насичення крові киснем MAX30101, датчик температури MAX30205 (його точність відповідає специфікації клінічної термометрії ASTM E1112, 0.1°C в межах від 37°C до 39°C), мікроконтролер з пониженим енергоспоживанням MAX32620 на ядрі ARM Cortex-M4F і контролер живлення MAX14720.

MAX30003 забезпечує формування в цифровому форматі кривої електрокардіограми (ЕКГ) та визначення частоти серцебиття. Його вхідний аналоговий канал оснащений захистом від електростатичного розряду, виконує фільтрацію від електромагнітних завад, виявляє наявність постійного струму, має високий вхідний імпеданс, низький рівень шуму, високий коефіцієнт послаблення синфазної складової, різні варіанти програмованих фільтрів низьких та високих частот, а також аналого-цифровий перетворювач високої роздільної здатності. М'яка послідовність включення живлення гарантує, що на вхідні електроди не потрапляють великі сигнали від перехідних процесів. MAX30003 здатний працювати з великими напругами підключеними до електродів, і має швидкий режим відновлення, для миттєвої регенерації після перевантаження, наприклад після дефібриляції або електрохірургічного втручання.

Рисунок 2. Зовнішній вигляд модуля hSensor а. (реальні розміри майже вдвічі менші ніж на фото), можливий варіант програми представлення отриманої інформації б. на платформі Андроїд

Платформа hSensor, за рахунок мікросхеми MAX30101 підтримує різні типи вимірювання фотоплетизмографії на відбивання, включаючи пульс-оксиметрію та ЧСС на трьох довжинах хвиль 880 нм (інфрачервоний, ІЧ), 660 нм (червоний) та 537 нм (зелений).

Крім того, оснащення hSensor включає інерційні датчики (які можуть бути використані для визначення положення та руху людини в просторі), барометричний сенсор атмосферного тиску (його показання легко перетворюються в висоту над рівнем моря з точністю ±20 см, що може служити датчиком падіння людини), флеш-пам'ять програм та даних і інтерфейс Bluetooth LE. До складу платформи входить плата налаштування, драйвери, графічний інтерфейс користувача і вбудоване ПО, доступне в початкових кодах.

Модуль аналізу оточення.

В якості системи обробки та доповнення отриманих даних додатковою інформацією (рівень радіації, ультрафіолетового опромінення, наявності шкідливих газів і т. д.) був розроблений модуль 2 на основі DE0-Nano Kit фірми Terasic побудованого на основі програмованої логічної матриці (FPGA) Cyclone® V компанії Intel/Altera доповненої блоком розширення RFS тої же компанії.

DE0-Nano малогабаритна плата для розробників. Його відмінні особливості:

• Intel Cyclone® V SE 5CSEBA6U23I7, (110K логічних елементів LE);

• Встановлена пам'ять EPCS16 для збереження конфігурації;

• Вбудований USB-Blaster II для програмування; JTAG режим;

• HDMI TX, сумісний з DVI 1.0 і HDCP v1.4;

• Три 50 МГц джерела тактових сигналів від тактового генератора;

• Два 40-контактних роз'єми розширення;

• Один роз'єм розширення Arduino (Uno R3 сумісний);

• Один 10-контактний роз'єм розширення входу аналогових сигналів (спільно з аналоговим входом Arduino);

• АЦП, 4-контактний SPI інтерфейс з FPGA.

HPS (Hard Processor System) і підключені до неї компоненти:

• 800 МГц двох ядерний ARM Cortex-A9 процесор;

• 1 ГБ DDR3 SDRAM (32-бітна шина даних);

• 1 Гбіт Ethernet з роз'ємом RJ45;

• USB OTG порт, USB Micro-AB роз'єм;

• Слот для Micro SD карт;

• Акселерометр (I2C інтерфейс + переривання);

• Міст UART USB, USB Mini-B роз'єм;

• LTC 2x7 роз'єм розширення (для плат розширення Linear Technology). датчик мобільний алгоритм телеметрія

Даний модуль об'єднує вбудований двох ядерний процесор ARM® Cortex™ -A9 з програмованою логікою для максимальної гнучкості дизайну.

В свою чергу плата RFS призначена для бездротового зв'язку, моніторингу навколишнього середовища і розробки додатків IoT (Internet of Things). Він може використовуватися з платою FPGA серії DE для розширення його функціоналу. RFS використовує 2x20 GPIO для взаємодії з платою FPGA. Обладнаний модулями бездротового зв'язку Wi-Fi (відстань до 100 метрів) та Bluetooth (відстань до 10 метрів). Крім того він оснащений декількома додатковими датчиками: 9осьовим IMU: акселерометром, гіроскопом, магнітометром, датчиком освітлення, датчиком вологості та температури.

Рисунок 3. Блок схема модуля моніторингу оточення

Датчики.

Під час вибору датчиків перевага була надана простим, легко доступним, дешевим і, що найважливіше, з низьким або наднизьким енергоспоживанням пристроям. В якості датчика температури, тиску та вологості, ми використали BME280 від Bosch Sensortec. BME280 є інтегрованим датчиком навколишнього середовища, розробленим спеціально для мобільних пристроїв, де розмір та низьке енергоспоживання є ключовими обмеженнями дизайну. Він поєднує в собі високу лінійність, високоточні датчики тиску, вологості та температури, призначені для низького споживання струму (3.6 pA @ 1 Гц), довготривалої стабільності та високої завадостійкості. Інтервал вимірювання тиску 300 ... 1100 ГПа з відносною точністю ± 0,12 ГПа та роздільною здатністю 0,18 Па. Інтервал вимірювання температури -40 ... 85 °С з відносною точністю ± 1,0 ° С та роздільною здатністю 0,01 °С. Інтервал вимірювання вологості 0 ... 100% з відносною точністю ± 1% та роздільною здатністю 0.008%.

Для визначення рівня ультрафіолетового випромінювання ми вибрали VEML6070 від Vishay. Це сучасний датчик ультрафіолетового (УФ) випромінювання з інтерфейсом I2C. Застосована в VEML6070 технологія Filtron™ забезпечує найкращу спектральну чутливість для охоплення всього ультрафіолетового спектру. В режимі очікування споживання енергії менше 1 мкА.

Як сенсор а, Р і у часток було вирішено використовувати плату SEN-11345 SparkFun Geiger Counter, яка обладнана вбудованим мікроконтролером ATMega328. Плата містить перетворювач високої напруги і підключається до хост-системи через стандартний COM-порт.

Одним із найскладніших завдань при проектуванні мобільних систем екологічного моніторингу є вибір газових датчиків. Більшість з них споживають 200-250 мА струму, що неприйнятно для мобільного застосування. Успішним винятком є газовий сенсор MiCS-6814 від SGX Sensortech. MiCS-6814 надійний MEMS сенсор. Оскільки він обладнаний аналоговим виходом, для спрощення проектування було вирішено використовувати готовий модуль Grove Multichannel Gas Sensor. Він побудований на базі мікроконтролера ATmega168PA, та має інтерфейс I2C з програмованим адресом.

Цей набір датчиків, якщо необхідно, може бути розширений у майбутньому. Для спрощення підключення додаткових модулів доцільно використовувати «розумні» сенсори, які обладнані вбудованими засобами попередньої обробки та калібрування, з мікропроцесорним управлінням.

Таблиця 1

* Окис вуглецю СО (1 1000 ppm), двоокис азоту NO2 (0,05 10 ppm), етанол C2H6OH (10 500 ppm), водень H2 (1 1000 ppm), аміак NH3 (1 500 ppm), метан CH4 (>1000 ppm), пропан C3H8 (> 1000 ppm), 3-бутан C4H10 (>1000 ppm). ppm parts per million одна мільйонна частина або 10"6.

Окуляри доповненої реальності.

Для того, щоб не відволікати увагу людини, яка використовує дану систему від виконання службових обов'язків, та своєчасно попереджати його про небезпеки, виявлені датчиками, дуже доцільно виводити отриману інформацію в поле зору оператора, накладаючи його на зображення оточуючої реальності. Для цього було вирішено використати окуляри доповненої реальності Intel/Recon Jet Pro.

Рисунок 4. Окуляри доповненої реальності Intel/Recon Jet Pro

Окуляри Recon обладнані двох ядерним ARM процесором частотою 1 ГГц, 1 Гб SDRAM, 8 Гб флеш-пам'яті, графічним чіпом, має величезну кількість вбудованих датчиків (3D акселерометр, 3D гіроскоп, 3D компас, барометр) і засобів зв'язку (GPS, Wi-Fi (IEEE802.11a/b/g/n 2.4GHz), Bluetooth 4.0 + BLE, ANT+™). Мініатюрний екран, з роздільною здатністю 428x240, на який проектується зображення непрозорий, але його розміщення не заважає огляду. Екран розташований в правому нижньому кутку периферичного зору. Екран включається тільки за бажанням людини для цього служить спеціальна система виявлення погляду. Recon Jet обладнаний камерою з роздільною здатністю 1280x720 для зйомки відео і фото. Його вага становить 60 грам.

Рисунок 5. Поле зору пожежника з показниками сенсорів які накладаються на зображення реального світу

Для підвищення автономності телеметричної системи доцільно використовувати сучасні альтернативні джерела живлення, які дозволяють перетворювати рух та деформацію людського тіла в електричний струм на основі п'єзоелектричних або трибоелектричних перетворювачів.

Размещено на Allbest.ru