Розвиток інтелектуальних інтерфейсів для мультимедійних систем з використанням інформаційно-аналітичних технологій в управлінні та контролі автоматизованих систем управління

Размещено на http://www.allbest.ru/

Національний університет «Львівська Політехніка»

Розвиток інтелектуальних інтерфейсів для мультимедійних систем з використанням інформаційно-аналітичних технологій в управлінні та контролі асу

Мриц Арсен Ігорович доктор філософії, аспірант, кафедра автоматизованих систем управління

м. Львів

Анотація

Дана стаття була сфокусована на огляді принципів інтеграції інтелектуальних інтерфейсів у автоматизовані системи управління виробничими процесами SCADA, що включають апаратні компоненти, до яких входять сервери та мікроконтролери, які збирають і контролюють дані процесу. Переваги впровадження інтелектуальних інтерфейсів розглядалися з точки зору архітектури систем SCADA, яка використовує сервер типу OPC- UA та файли типу TDMS.

Було наголошено на тому, що інтелектуальні датчики додатково покращують збір даних, підключаючись напряму або через проміжні пристрої, які називаються станціями або майстрами зв'язку. Інтелектуальні інтерфейси охоплюють технології, що використовують штучний інтелект, машинне навчання, обробку природної мови та комп'ютерне зір. До поширених типів належать голосові інтерфейси користувача для керування без використання рук, чат-боти, які допомагають усунути неполадки в режимі реального часу, інтерфейси на основі жестів для безконтактного керування, доповнена реальність, що допомагає керувати в режимі реального часу, і віртуальна реальність для занурювального навчання. Підркеслюється великий потенціал нейроінтерфейсів, який полягає у допомозі операторам з обмеженою мобільністю.

Було виявлено, що вирішальне значення в управлінні ланцюгом поставок і позиціонуванні обладнання мають технології візуальних датчиків, такі як камери комп'ютерного бачення, оскільки вони виявляють зовнішні зміни без прямого фізичного контакту.

Було дійдено до висновку, що основна перевага інтелектуальних інтерфейсів в розумному виробництві полягає у їз оптимізації виробничих процесів шляхом підвищення їх ефективності і покращення взаємодії з користувачем. Завдяки ним здійснюється інтеграція різноманітних сенсорні технологій, щоб забезпечити плавний збір даних, аналіз у реальному часі та адаптивне керування.

Ключові слова: SCADA, взаємодія «людина-машина», голосовий інтерфейс користувача, доповнена реальність, автоматизація виробничих процесів.

Abstract

Mryts Arsen Ihorovych, PhD, PhD student, Department of Automated Control Systems, Lviv Polytechnic National University, Lviv

DEVELOPMENT OF INTELLIGENT INTERFACES FOR MULTIMEDIA SYSTEMS USING INFORMATION AND ANALYTICAL TECHNOLOGIES IN MANAGEMENT AND CONTROL OF ICS

This article was focused on an overview of the principles of integration of intelligent interfaces in SCADA automated production process control systems, which include hardware components that include servers and microcontrollers that collect and control process data. The advantages of implementing intelligent interfaces were considered from the point of view of the SCADA system architecture, which uses an OPC-UA type server and TDMS type files.

It has been emphasized that smart sensors further enhance data collection by connecting directly or through intermediate devices called communication stations or masters. Intelligent interfaces encompass technologies using artificial intelligence, machine learning, natural language processing, and computer vision. Common types include voice-based user interfaces for hands-free control, chatbots for real-time troubleshooting, gesture-based interfaces for contactless control, augmented reality (AR) for real-time control, and virtual reality (VR) for immersive learning. The great potential of neurointerfaces, which consists in helping operators with limited mobility, is highlighted.

Visual sensor technologies, such as computer vision cameras, have been found to be critical in supply chain management and equipment positioning, as they detect external changes without direct physical contact.

It was concluded that the main advantage of intelligent interfaces in smart manufacturing lies in the optimization of production processes by increasing their efficiency and improving interaction with the user. They integrate various sensor technologies to provide seamless data collection, real-time analysis and adaptive control.

Keywords: SCADA, human-machine interaction, voice user interface, augmented reality, manufacturing processes automation.

Постановка проблеми

За умов теперішнього розвитку, процеси виробництва на фабриках все більше розповсюджуються на широку область застосувань та стають більш комплексними. Складне виробництво вимагає кращої системи моніторингу та контролю для підвищення ефективності. Для цього використовуються автоматизовані системи управління (АСУ), які здатні відстежувати, контролювати та отримувати доступ до даних у реальному часі та їх реєстрації. У свою чергу, концепція використання людинно-машинних інтерфейсів у контролі індустріальних процесів безпосередньо пов'язана з іхньою інтеграцією у автоматизовані системи управління. Однією з основних таких систем є SCADA (Supervisory Control and Data Acquisition). Така система включає комп'ютери, мережевий обмін даними та графічні інтерфейси користувача для високорівневого контролю за машинами та процесами. Вона збирає дані в режимі реального часу з датчиків і пристроїв на великій території, обробляє ці дані та надає операторам централізований інтерфейс для моніторингу продуктивності системи, керування обладнанням і прийняття обґрунтованих рішень.

Аналіз останніх досліджень і публікацій

У науково-дослідницькому просторі сьогодення з'являються роботи, присвячені винаходу та аналізу методології по розробці інтелектуальних інтерфейсів для мультимедійних систем з використанням інформаційно-аналітичних технологій в управлінні та контролі АСУ.

Дослідження роботи [1] зосереджене на застосуванні технології доповненої реальності (AR) для розробки інтерфейсу дизайну та взаємодії для розумного виробництва (Smart Manufacturing - SmartMFG). Ця робота мотивована відсутністю відповідних інструментів взаємодії людина-машина (HMI) для підтримки взаємодії та налаштування в середовищі SmartMFG. Намагаючись вирішити цю дослідницьку проблему, припускається, що інтерфейси розробки на основі AR, які безпосередньо спілкуються з блоком керування машиною (Machine Control Unit - MCU), підвищать ступінь взаємодії та складність інструкцій, що виконуються в системах ручного введення даних (Manual Data Input - MDI). Щоб перевірити цю гіпотезу, було розроблено систему прототипування, яка складається з пристрою AR- планшета як інтерфейсу введення та принтера Ultimaker 3 як верстата. По-перше, ця система на основі доповненої реальності має можливості вимірювання, проектування та керування для взаємодії та зв'язку з верстатом через Wi-Fi. По-друге, розроблено набір обчислювальних інструментів на основі ескізів, які дозволяють користувачам легко та ефективно проектувати форми на існуючих об'єктах у середовищі AR. Нарешті, налаштований дизайн перетворюється на машинний код, який також налаштовується на основі верстатного інструменту та реєстрації віртуальної моделі та існуючого об'єкта. Систему було протестовано шляхом створення двох налаштованих фігур на існуючій формі в середовищі AR і генерації G-коду для керування принтером для виготовлення їх на фізичному об'єкті.

Крім того, варто зазначити праці наступних науковців: Шайкат А., Рахман М., Актер С., Хан М. [2], Шверко М., Галинац Грбац Т., Мікуч М. [3], Хоробет А., Тудор К., Дінка З., Думітреску Д. , Стойка Е., Хоробет А., Тудор До., Думітреску З., Стойка Д. [4], Кумар Н., Лі С.К. [5], Йе К.-С., Чен С.Л., Лі І.-К. [6], Жабінскій Т., Мачка Т. [7], Котакар П., Дешмух А., Чаван П., Кале С., Хедекар К. [8], Нзуміле Дж., Махабі В., Тайфа І. [ 9], Діпак В., Шіваранджані Т., Індірапріядхаршині Дж., Амарендра К., Муруган Г., Тіртхана Т. [10], Моросан А., Сісак Ф. [11], Тун Х. [12], Дуллюк С ., Гьочен К., Акдаг І., Паландокен М. [13], Хакіфіруз М., Фатхі М., Ампацидіс Ю., Пардалос П. [14], Вай Е., Лі К. [15] та інших.

Проте, беручи до уваги вище зазначену наукову документацію, питання, пов'язане з методологією по розробці інтелектуальних інтерфейсів для мультимедійних систем з використанням інформаційно-аналітичних технологій в управлінні та контролі АСУ, все ще залишається недостатньо дослідженим та потребує подальшого опрацювання.

Постановка завдання. Метою роботи є розробка інтелектуальних інтерфейсів для мультимедійних систем з використанням інформаційно- аналітичних технологій в управлінні та контролі АСУ.

Викладення основного матеріалу дослідження. Системи SCADA складаються як правило з двох основних апаратних компонентів:

один або більше серверів - різні системи збору даних підключають сервери до елементів процесу. Мікроконтролери зазвичай використовуються для створення систем збору даних; їхнє завдання полягає в отриманні даних із процесу, а також у моніторингу й контролі роботи процесу. Іншим методом збору даних є використання інтелектуальних датчиків, які можна підключати безпосередньо до комп'ютера або через деякі проміжні пристрої, які називаються станціями або майстрами зв'язку, які збирають дані з кількох інтелектуальних датчиків. Пристрої збору даних і управління процесами в галузі промисловості представлені в основному програмованими логічними контролерами - ПЛК (PLC -Programmable Logic Controller). Усі дані, зібрані в процесі, обробляються сервером, який також досягає бази даних, забезпечує зв'язок із ПЛК у процесі;

клієнт/переглядач підключений до мережі з сервером; він використовує дані з нього та забезпечує зв'язок з людиною-оператором.

Зображена на рисунку 1 схема архітектури системи SCADA, на якій зосереджена увага у поточному дослідженні включає сервер типу OPC-UA, файли типу TDMS і сервер бази даних типу MySQL.

Рис. 1 Схема моделі системи SCADA на базі серверу OPC-UA

Тобто, процес людинно-машинної взаємодії (Human-Machine Interaction - HMI) можна розділити на чотири етапи відповідно до збору, передачі та аналізу даних: датчик збирає дані про навколишнє середовище та вхідні сигнали, далі ці сигнали перетворюються на дані, які передаються в центр обробки. Процес може включати в себе попередню обробку даних і перевірку взаємодії та співпраці. інтелектуальний інтерфейс сервер мікроконтролер

Такий тип взаємодії знаходить застосування насамперед у інтелектуальному виробництві, яке застосовується в багатьох різних виробничих сценаріях, тому датчики в цій області є різноманітними. Відповідно до різних застосованих технологій проектування, ці датчики можна розділити на оптичні технології, акустичні технології, біонічні технології, тактильні технології, технології руху. Залежно від різних об'єктів взаємодії ці сенсорні пристрої можна розділити на дві категорії: одна призначена для збору нелюдських сигналів, таких як температура навколишнього середовища, яскравість, стан робочого обладнання, а інша призначена для збору людських сигналів, таких як серцебиття, температура тіла, захоплення зору, захоплення руху що безпосередньо є фундаментом для створення інтелектуальних інтерфейсів в контексті інтелектуального виробництва.

Інтелектуальні інтерфейси в контексті інтелектуального виробництва являють собою людинно-машинні інтерфейси, які використовують технології, принцип роботи яких заснований на використанні концепцій штучного інтелекту, машинного навчання, обробки природної мови і комп'ютерного бачення для оптимізації виробничих процесів, підвищення ефективності та покращення взаємодії з користувачем. Загальні типи інтелектуальних інтерфейсів, спеціально орієнтованих на інтелектуальне виробництво зазвичай включають:

голосові інтерфейси користувача (Voice User Interface - VUI), принцип роботи яких полягає у використанні операторами голосових команд для керування обладнанням, отримання інформації про стан виробництва та виконання діагностики без необхідності використання фізичних елементів керування. До таких інтерфейсів відносяться системи з голосовим керуванням для ініціювання машинних операцій, керування налаштуваннями або запиту показників стану та продуктивності машин;

чат-боти та розмовні агенти, які допомагають у вирішенні несправностей у режимі реального часу, забезпечуючи технічне обслуговування та пропонуючи вказівки щодо операційних процедур. Основні представники таких систем є чат-боти, інтегровані в системи управління виробництвом, щоб відповісти на запитання щодо графіків виробництва або рівня запасів;

інтерфейси на основі жестів дозволяють керувати машинами або взаємодіяти з цифровими дисплеями без фізичного контакту, що корисно в середовищах, де гігієна є критичною, наприклад в чистих приміщеннях або при роботі з небезпечними матеріалами;

інтерфейси доповненої реальності (Augmented Reality - AR) надають операторам дані та вказівки в реальному часі, наприклад інструкції зі складання, процедури технічного обслуговування та перевірки контролю якості. Проектування SD-форм навколо заданих еталонних фізичних об'єктів у середовищі AR надає форму та розмірність існуючого об'єкта для розробки індивідуальних продуктів на його основі. Більше того, миттєвий візуальний зворотний зв'язок, який підтримує AR, також допомагає користувачам краще оцінювати їхні проекти та змінювати їх відповідно. Дана концепція зазвичай реалізується завдяки використанню окулярів доповненої реальності, які відображають покрокові інструкції зі складання та підсвічують частини чи інструменти, необхідні для виконання завдання;

інтерфейси віртуальної реальності (Virtual Reality - VR). Такі системи моделювання віртуальної реальності зазвичай використовуються для навчання співробітників новому обладнанню або процесам у безпечному віртуальному середовищі. Це реалізується завдяки сторонньому обладнанню у вигляді імітування виробничих лінії, що дозволяє працівникам тренуватися, не перериваючи фактичних операцій;

інтерфейси мозок-комп'ютер/нейрокомп'ютерні інтерфейси (Brain-computer Interface - BCI), основна користь яких полягає у допомозі операторам з обмеженими можливостями, дозволяючи їм керувати технікою або взаємодіяти з системами керування за допомогою нейронної активності;

інтерфейси інтелектуального введення тексту та авто заповнення допомагають у програмуванні та налаштуванні обладнання, скорочуючи час, необхідний для введення команд, і мінімізуючи помилки;

інтерфейси розпізнавання емоцій, які зазвичай реалізуються у вигляді моніторингу рівня стресу та втоми оператора для забезпечення безпечного робочого середовища та оптимізації планування змін;

адаптивні інтерфейси користувача вивчають взаємодію з користувачем, уможливлюючи надання персоналізованих рекомендацій щодо налаштувань машинного обладнання, графіків технічного обслуговування та оптимізації виробничих процесів. Концептуальні конструкції реалізуються у вигляді адаптивних панелей керування, які пропонують оптимальні налаштування обладнання на основі історичних даних і вподобань оператора;

З точки зору візуалізації, датчики, засновані на оптичних технологіях в основному реалізуються у вигляді камер комп'ютерного зору, які ідеально підходять для використання як загальнодоступний інтерфейс, оскільки він не потребує прямого фізичного контакту. Камера комп'ютерного зору використовує камеру для фіксації змін у зовнішньому світі та передачі цих даних для обробки. Ця технологія широко використовується в таких областях, як розпізнавання жестів, виявлення руху та стеження за очима, окрім того, вона має великий потенціал у реалізації технології віртуальної реальності. У інтелектуальному виробництві такий датчик є незамінним в управлінні ланцюгом постачання та позиціонуванні обладнання або продуктів виробництва.

Акустичні датчики в основному базуються на розпізнаванні мови та виявленні звуку. Звуковий контроль має різноманітні застосування у виробництві, особливо у виявленні несправностей та аналізі навколишнього середовища. Вихід даних включає всі додатки, які надають інформацію про стан машинного обладнання та інші ключові показники, пов'язані з виробництвом, такі як стан замовлення, використання потужностей, збої. У технічному обслуговуванні VUI використовуються у формі інтерактивної допомоги, щоб допомогти працівнику впоратися з різними несправностями обладнання, несправностями або звичайними перевірками. Збір даних включає дослідження, пов'язані із записом інформації, що має відношення до виробничої логістики, працівниками в цеху. В управлінні комплектуванням/складом VUI використовується для завдань комплектування. При забезпеченні якості продукти або компоненти перевіряються на основі різних параметрів якості.

Датчики на основі біонічної технології в основному виявляють біологічні сигнали для аналізу, який часто здійснюється за допомогою електродів. Для більшості датчиків використовувалися однакові електроди з регулюванням частоти моніторингу та підсилення рівня на основі електроенцефалографії та електроміографії задля аналізу біоелектричної взаємодіх. Датчики міоелектричної взаємодії використовують технологію, подібну до інтерфейсу мозок-комп'ютер, але їх електроди в основному використовуються для виявлення електричних сигналів від м'язів, а не від мозку. Ця технологія використовується в допоміжних кінцівках людини та екзоскелетах у промисловості.

Тактильні датчики потребують фізичного контакту та містять усі робочі клавіші. Їхня концепція використовується, наприклад, у датчиках тиску рук телероботів, які використовуються в телеробототехніці для вимірювання сили, прикладеної рукою або захватом робота. Ці датчики мають вирішальне значення для забезпечення точних і делікатних операцій у різних промислових застосуваннях, де потрібне дистанційне керування та маніпулювання об'єктами.

Датчики на основі технології руху в основному використовують гіроскопи та стрілки акселерометрів для виявлення руху під час процесів розумного виробництва.

Висновки

Загалом, інтелектуальні інтерфейси в розумному виробництві оптимізують виробничі процеси, підвищують ефективність виробничих процесів і покращують взаємодію з оператором. Вони інтегрують різноманітні сенсорні технології, щоб забезпечити плавний збір даних, аналіз у реальному часі та адаптивне керування. Ці інтерфейси відіграють важливу роль у розвитку промислової автоматизації, пропонуючи точне оперативне розуміння та сприяючи оперативному прийняттю рішень.

У підсумку, поточно розроблені технології інтелектуальних інтерфейсів у контексті моделей SCADA забезпечують автоматизацію операторських процесів на виробництві та їх адаптацію під кожного користувача. У той час як виробництво використовує принципи Industry 4.0, еволюція сенсорних технологій та інтелектуальних інтерфейсів продовжує змінювати робочі стандарти, забезпечуючи стале зростання та конкурентні переваги на світовому ринку.

Література

1. Zhang Y., Kwok T. H. Design and Interaction Interface using Augmented Reality for Smart Manufacturing. Procedia Manufacturing. 2018. № 26. PP. 1278-1286.

2. Shaikat A., Rahman M., Akter S., Khan M. Application of PLC and SCADA Based Real-Time Online Counter for Glass Bottle Manufacturing Industry in Bangladesh. 2020.

3. Sverko M., Galinac Grbac T., Mikuc M. Supervisory Control and Data Acquisition (SCADA) Systems in Continuous Manufacturing Process Control (Focus on Steel Industry). IEEE Access. 2022. PP. 1-1.

4. Horobet A., Tudor C., Dinca Z., Dumitrescu D., Stoica E., Horobet A., Tudor C., Dumitrescu Z., Stoica D. Artificial Intelligence and Smart Manufacturing: An Analysis of Strategic and Performance Narratives. Amfiteatru Economic. 2024. № 26. PP. 440-457.

5. Kumar N., Lee S. C. Human-machine interface in smart factory: A systematic literature review. Technological Forecasting and Social Change. 2022. № 174. PP. 121-284.

6. Yeh C.-S., Chen S. L., Li I.-C. Implementation of MQTT protocol based network architecture for smart factory. Proceedings of the Institution of Mechanical Engineers, Part B: Journal of Engineering Manufacture. 2021. № 235. 095440542110144.

7. Zabinski T., Maczka T. Human system interface for manufacturing control -- Industrial implementation. 3rd International Conference on Human System Interaction, HSI'2010 - Conference Proceedings. 2010.

8. Kotakar P., Deshmukh A., Chavan P., Kale S., Khedekar C. Design and Development of a Prototype of Industrial Robotic Arm Controlled by Touch Interface. International Journal of Advanced Research in Science, Communication and Technology. 2024. PP. 202-206.

9. Nzumile J., Mahabi V., Taifa I. Contribution of Industry 4.0 Technologies in Adopting Metrology 4.0 in Manufacturing Industries. 2024.

10. Deepak V., Sivaranjani T., Indirapriyadharshini J., Amarendra K., Murugan G., Theerthana T. Computerized Control of Cement Roof Manufacturing Process Using PLC and SCADA. 2020. № 29. 9107 - 9117.

11. Morosan A., Sisak F. A SCADA system designed for making more efficient production in flexible manufacturing system. CINTI2012 - 13th IEEE International Symposium on Computational Intelligence and Informatics, Proceedings. 2012. PP. 409-413.

12. Tun H. Implementation of Real-Time SCADA-Based HCI Manufacturing Process. 2019.

13. Dulluc S., Goqen C., Akdag I., Palandoken M. Smart Factory Management Information System. 2021.

14. Khakifirooz M., Fathi M., Ampatzidis Y., Pardalos P. Ambient-Intelligent Decision Support System for Smart Manufacturing. 2019

15. Wai E., Lee C. Depth in Defense: A Multi-layered Approach to Cybersecurity for SCADA Systems in Industry 4.0. 2024.

References

1. Zhang, Y., & Kwok, T. H. (2018). Design and interaction interface using augmented reality for smart manufacturing. ProcediaManufacturing, 26, 1278-1286.

2. Shaikat, A., Rahman, M., Akter, S., & Khan, M. (2020). Application of PLC and SCADA based real-time online counter for glass bottle manufacturing industry in Bangladesh.

3. Sverko, M., Galinac Grbac, T., & Mikuc, M. (2022). Supervisory control and data acquisition (SCADA) systems in continuous manufacturing process control (focus on steel industry). IEEE Access, 1-1.

4. Horobet, A., Tudor, C., Dinca, Z., Dumitrescu, D., Stoica, E., Horobet, A., Tudor, C., Dumitrescu, Z., & Stoica, D. (2024). Artificial intelligence and smart manufacturing: An analysis of strategic and performance narratives. Amfiteatru Economic, 26, 440-457.

5. Kumar, N., & Lee, S. C. (2022). Human-machine interface in smart factory: A systematic literature review. Technological Forecasting and Social Change, 174, 121-284.

6. Yeh, C.-S., Chen, S. L., & Li, I.-C. (2021). Implementation of MQTT protocol based network architecture for smart factory. Proceedings of the Institution of Mechanical Engineers, Part B: Journal of Engineering Manufacture, 235

7. Zabinski, T., & Maczka, T. (2010). Human system interface for manufacturing control -- Industrial implementation. In 3rd International Conference on Human System Interaction, HSI'2010 - Conference Proceedings.

8. Kotakar, P., Deshmukh, A., Chavan, P., Kale, S., & Khedekar, C. (2024). Design and development of a prototype of industrial robotic arm controlled by touch interface. International Journal of Advanced Research in Science, Communication and Technology, 202-206.

9. Nzumile, J., Mahabi, V., & Taifa, I. (2024). Contribution of industry 4.0 technologies in adopting metrology 4.0 in manufacturing industries.

10. Deepak, V., Sivaranjani, T., Indirapriyadharshini, J., Amarendra, K., Murugan, G., & Theerthana, T. (2020). Computerized control of cement roof manufacturing process using PLC and SCADA, 29, 9107-9117.

11. Morosan, A., & Sisak, F. (2012). A SCADA system designed for making more efficient production in flexible manufacturing system. In CINTI2012 - 13th IEEE International Symposium on Computational Intelligence and Informatics, Proceedings (pp. 409-413).

12. Tun, H. (2019). Implementation of real-time SCADA-based HCI manufacturing process.

13. Dulluc, S., Goqen, C., Akdag, I., & Palandoken, M. (2021). Smart factory management information system.

14. Khakifirooz, M., Fathi, M., Ampatzidis, Y., & Pardalos, P. (2019). Ambient-intelligent decision support system for smart manufacturing.

15. Wai, E., & Lee, C. (2024). Depth in defense: A multi-layered approach to cybersecurity for SCADA systems in industry 4.0.

Размещено на Allbest.ru