Практичні підходи до підготовки та створення підсистем ідентифікації стану технологічного обладнання і засобів автоматизації на основі машинного зору та нейромереж

Размещено на http://www.Allbest.Ru/

Національний університет харчових технологій

Є.A. Бондаренко,

О.М. Пупена

Анотація

У статті розглянуто різноманітні підходи й методи, що використовуються в розробці підсистем машинного зору для ефективної ідентифікації стану технологічного обладнання та засобів автоматизації на виробничих ділянках. Використання таких підсистем зумовлено неможливістю визначення стану технологічного обладнання прямими методами вимірювання, спричинене агресивними навколишніми умовами: високою температурою, можливістю потрапляння агресивних речовин на вимірювальний пристрій, підвищеною вібрацією тощо. Основний акцент робиться на створенні системи візуальної ідентифікації запірної арматури. Процес розробки розглядається поетапно, включаючи підготовку та використання різноманітних інструментів.

Висвітлено різноманітні програмні платформи для розмітки зображень, інструменти для навчання моделей нейронних мереж, програмні та апаратні компоненти для ефективного розгортання систем машинного зору. Детально описана типова структура підсистеми ідентифікації технологічного обладнання, включаючи запірну арматуру, побудована з використанням алгоритмів машинного зору та low-code мови програмування, для ефективної взаємодії з іншими системами на виробництві.

Зроблено огляд інструментів для взаємодії із зображеннями, проведення розмітки даних, навчання моделей нейронних мереж. Використано графічний інструмент Lobe для підготовки моделей і low-code інструмент Node-Red для розгортання та налаштування системи машинного зору. Детально розглянуто методи й підходи, що допомагають інженерам з автоматизації легко займатися розробкою та інтеграцією систем машинного зору на виробничих підприємствах. Автори підкреслюють, що отримані знання дадуть змогу інженерам не лише ефективно реалізовувати подібні системи, але й набути необхідних компетенцій для глибокого вивчення галузі машинного зору та машинного навчання. Ця стаття стане корисним ресурсом для фахівців, що цікавляться розширенням своїх знань у цій важливій сфері промислової автоматизації.

Ключові слова: виробниче обладнання, машинне навчання, машинний зір, система ідентифікації стану, інструменти обробки зображень, навчання нейронних мереж.

Abstract

Y. Bondarenko, O. Pupena, National University of Food Technologies

Various approaches and methods used in the development of machine vision subsystems for effective identification of the state of technological equipment and automation tools at production sites are considered in the paper. The use of such subsystems is due to the impossibility of determining the condition of technological equipment by direct measurement methods, caused by aggressive environmental conditions: high temperature, the possibility of aggressive substances entering the measuring device, increased vibration, etc. The main emphasis is on the creation of a system of visual identification of shut-off valves. The development process is considered step-by-step, including the preparation and use of various tools.

Various software platforms for image markup, tools for training neural network models, software and hardware components for efficient deployment of machine vision systems are covered. The typical structure of the technological equipment identification subsystem, including the shut-off valve, is described in detail, built using machine vision algorithms and low-code programming language, for effective interaction with other systems in production.

An overview of tools for interacting with images, performing data marking, and training neural network models was made. The work uses the Lobe graphic tool for model preparation and the low-code Node-Red tool for deploying and configuring the machine vision system. The methods and approaches that help automation engineers easily engage in the development and integration of machine vision systems in manufacturing enterprises are discussed in detail. It was emphasized that the acquired knowledge will allow engineers not only to effectively implement such systems, but also to acquire the necessary competencies for in-depth study of the field of machine vision and machine learning. This article will be a useful resource for professionals interested in expanding their knowledge in this important area of industrial automation.

Key words: Manufacturing equipment Machine learning Machine vision State identification system Image processing tools Neural network training

Постановка проблеми

Харчова промисловість доволі велика галузь, яка включає в себе понад 40 різноманітних виробництв. Це фабрики, заводи та промислові цехи з різного виду технологічним обладнанням. Найбільшу їх частину складають трубопроводи й трубопровідна арматура. Не всі підприємства мають достатній рівень автоматизації, але контроль стану всього технологічного обладнання, зокрема запірної та регулюючої арматури, є доволі важливим завданням. Часто це не можна зробити через відсутність електрифікації різного роду вентилів і засувок. Іноді відсутня нагальна потреба у їх електрифікації та віддаленому керуванні, але стан контролюють завжди. Неправильно закритий чи відкритий вентиль матиме незворотні наслідки для персоналу та підприємства в цілому. Це можуть бути витоки шкідливих чи вибухонебезпечних речовин, закупорка посудин, що працюють під тиском тощо. В правилах безпечної експлуатації виробничих установок описано як має проводиться огляд, але все зводиться до людського фактора. Системи машинного зору зможуть усунути цей недолік, шляхом візуального контролю стану технологічного обладнання за допомогою камер та алгоритмів машинного зору. Це дасть змогу точно відслідковувати стан кожного з механізмів, зокрема регулюючих органів, вести журнал подій, з'явиться віддалений моніторинг з можливістю інтеграції з іншими системами підприємства.

Незважаючи на високу популярність машинного зору, а також його використання у багатьох рішеннях щодо розпізнавання браку продукції або завдань класифікації, існує значна проблема в масштабуванні подібних рішень. Це зумовлено перш за все потребою у висококваліфікованих кадрах різного спрямування для кожного окремого рішення. Зокрема, потрібні фахівці з системної інтеграції, машинного навчання, технологи та інші. При цьому система повинна супроводжуватися протягом усього життя, адже промислові об'єкти завжди змінюються, що безумовно приводить до змін у системі керування. Необхідно розробити методику, яка б надавала можливість покроково виконувати необхідні дії, які може робити технічний персонал, наприклад, фахівець з автоматизації, попередньо навчений основам машинного зору та машинного навчання в достатньому для завдання обсязі. Зважаючи на вищевикладене, доцільно проаналізувати сучасний стан досліджень щодо використання машинного зору для ідентифікації стану об - ладнання, розробити концепцію підсистеми машинного зору в складі структури системи керування, а також методику розроблення та впровадження.

Аналіз останніх досліджень і публікацій. Достатня кількість досліджень присвячена контролю стану регулюючих органів на трубопроводах, механічних приладів у нафтовій, хімічній, газовій промисловостях та енергетиці. Все це виробництва з підвищеною небезпекою. Так, у праці (Merriaux та ін., 2019) описано використання автономних роботів із системою машинного зору для аналізу виробничого обладнання в газовій і нафтовій промисловості. Реалізація потребує великих матеріальних і ресурсних затрат на розгортання, оскільки передбачає використання автономних роботів. У праці (Rayhana та ін., 2022) розглядається використання системи машинного зору для аналізу технічного стану клапанів і трубопроводів міських систем водопостачання, але не проводиться виявлення їх фізичного стану (відкрито/закрито). Це б давало змогу комплексно аналізувати трубопровідну арматуру на виробничих об'єктах, та повністю відстежу- вати їх життєвий цикл. У статті (Yadav, 2021) описано процес навчання моделі нейромережі для аналізу кульових кранів з використанням промислової хмарної платформи «Prescient Designer» та розгортанні її за допомогою «NodeRed», що є гарним прикладом побудови системи машинного зору. Однак використання хмарних сервісів може викликати певні складнощі при розробці й експлуатації: авторизований доступ до хмарної платформи та перманентний доступ до мережі інтернет. У дослідженні (Umer, 2023) показано процес навчання власної моделі нейронної мережі для «Tensor Flow» шляхом донавчання попередньо натренованої моделі «ssd_mobilenet_v2». Такий варіант навчання моделі більш правильний, але потребує знань певних мов програмування та алгоритмів налаштування ней- ронних мереж. А такі компетенції не завжди присутні у спеціалістів з промислової автоматизації.

Мета дослідження: розроблення концепту системи машинного зору для віддаленого моніторингу ручних клапанів та іншого технологічного обладнання у виробничих умовах з можливістю сигналізації про порушення стану та ведення журналу подій, а також підходів щодо її розроблення та імплементації. В подальшому передбачається інтеграція цієї системи з підсистемою підтримки прийняття рішень.

Матеріали і методи. Використані сучасні наукові матеріали, у яких досліджується використання систем машинного зору й алгоритмів машинного навчання в промисловості. Як методичне забезпечення застосовано практичні інженерні методи розробки та імплементації систем машинного зору на виробництвах, описані в таких міжнародних і галузевих технічних стандартах, як серія стандартів VDI/VDE/VDMA 2632.

Викладення основних результатів дослідження

Машинний зір - це термін, який використовується для опису системи комп'ютерного зору, застосованого на прикладному рівні, наприклад, у промисловості. Це поняття пов'язане зі штучним інтелектом, де використовують алгоритми й технології для розпізнавання зображень, обробки відео та аналізу візуальної інформації. Складовою систем машинного зору у багатьох випадках є машинне навчання. Машинне навчання - це галузь штучного інтелекту, яка досліджує, розробляє та застосовує алгоритми, що дають змогу комп'ютеру самостійно вчитися на основі вхідних даних, без явного програмування. У машинному навчанні використовуються різноманітні алгоритми, включаючи нейронні мережі, дерева рішень, методи кластеризації, лінійна регресія тощо. Саме такі системи можуть застосовуватися для візуального виявлення несправностей роботи технологічного обладнання. Приклад структури такої системи з використанням наведених нижче підходів наведено на рис. 1.

Рис. 1. Приклад структури системи машинного зору для ідентифікації стану клапанів

машинний зір зображення стан технологічний автоматизація

Відповідно до методологічних підходів і практичних аспектів, створення наведеної на рис. 1 системи передбачає такі етапи:

1. Збір зображень обладнання (клапанів, засувок, люків) у різних станах і положеннях.

2. Розмітка зображень. Позначення, на якому із зображень, який стан (від- крито-закрито, норма-не норма). Для цього можна використовувати спеціальні інструменти розмітки. Для точності розмітки рекомендується використовувати декілька людей або експертів, щоб отримати найкращий результат.

3. Навчання моделі нейронної мережі.

4. Перевірка ефективності навченої моделі. Для цього потрібно використовувати тестові дані, які не використовувалися для навчання моделі. Тестові дані повинні включати різні зображення обладнання, зокрема нові зображення, які модель не бачила раніше.

5. Вдосконалення моделі, якщо необхідно. Якщо ефективність моделі недостатня, можна спробувати покращити якість розмітки або збільшити обсяг трену - вальних даних.

6. Інтеграція (розгортання) моделі в системі контролю стану технологічного обладнання. Якщо модель показала високу ефективність, її можна використовувати для автоматичного контролю та розпізнавання стану й положення клапанів у реальному часі.

Для успішного навчання моделі необхідно зібрати достатню кількість високоякісних зображень потрібного обладнання в різних його станах і положеннях. Для прикладу, якщо необхідно навчити модель розпізнавати стан відкритого та закритого клапана, потрібно зібрати набір зображень в обох станах. Також важливо для подальшої простоти роботи, щоб збір зображень відбувався безпосередньо на місці встановлення потрібного нам обладнання. Для цього варто послуговуватися сервісами існуючих для цього платформ, на яких буде працювати система машин - ного зору, а також інструментом для захоплення зображення з камери (RPI ImageCapture, 2021). Також на практиці застосовують готові набори даних, які можна знайти на різних інтернет-ресурсах з машинного навчання, зокрема на платформі Kaggle (Kaggle, 2022). На сайті Kaggle є розділ з викладеними наборами даних для навчання нейромереж.

Розмітка зображень є ключовою складовою багатьох задач машинного зору, таких як класифікація зображень, детекція об'єктів, семантична сегментація тощо. Розмітка полягає у визначенні місцезнаходження та класифікації об'єктів на зображенні або відео. Для виконання розмітки зображень існують різноманітні підходи (Saiwa co., 2023), але основні методи можна розділити на дві категорії: ручну та автоматичну розмітку.

Ручна розмітка вимагає людської уваги та ресурсів, але, зазвичай, дає найкращі результати. У разі ручної розмітки людина самостійно визначає місцезнаходження та класифікацію об'єктів на зображенні. Ручна розмітка зображень полягає у визначенні та позначенні на зображенні об'єктів, що повинні бути розпізнані алгоритмом машинного зору. Цей процес вимагає від людини детального знання предметної галузі та вміння правильно визначати об'єкти на зображеннях.

Автоматична розмітка полягає у використанні алгоритмів машинного навчання для автоматичного визначення місцезнаходження та класифікації об'єктів на зображенні. Цей підхід менш точний, ніж ручна розмітка, але він може бути корисним для швидкої розмітки великої кількості зображень. Для автоматичної розмітки можна використовувати навчальні моделі, такі як YOLO, Faster R-CNN, Mask R-CNN, RetinaNet тощо.

Існує ряд прикладних інструментальних програмних рішень, які призначені для ручної й автоматичної розмітки зображень. Відкрите програмне забезпечення для розмітки зображень та відео Computer Vision Annotation Tool (CVAT, 2022). Labelbox - безкоштовна платформа (Label box, 2022) для розмітки зображень, що забезпечує інтеграцію з різними інструментами для машинного навчання та обробки даних. Label Studio (Label Studio, 2022) відкритий інструмент для розмітки зображень, написаний на мові Python. LОBE (Lobe, 2022) - це платформа з графічним інтерфейсом для створення моделей машинного навчання, розмітки даних без потреби в глибоких знаннях програмування або машинного навчання. Так, наприклад, на платформі LOBE представлений ручний метод розмітки даних. Для цього необхідно завантажити набір даних окремими зображеннями або готовим набором. Якщо зображення одного класу знаходяться в одній папці та назва папки має назву класу, LOBE запропонує присвоїти назву окремого класу для всіх зображень, що завантажуються. Якщо додавати всі зображення окремо, клас для кожного необхідно буде присвоювати вручну.

Після успішної розмітки зображень починається процес навчання моделі існуючими інструментами, зокрема вже вищезгаданий LOBE або (Teachable Ma chine, 2021). Teachable Machine - це інтерактивний експериментальний інструмент, розроблений командою Google Creative Lab, який демонструє можливості машинного навчання та штучного інтелекту шляхом простих вправ з використанням веб-камери. Цей інструмент дає змогу користувачам навчати комп'ютерні моделі розпізнавати різні об'єкти чи дії, використовуючи відеопотік з веб-камери. Перед навчанням на платформі LOBE можна обрати характер потрібної моделі, тобто що буде пріоритетним при навчанні: швидкість чи якість розпізнавання.

Після успішного навчання моделі, якщо вона задовольняє вимоги і здатна коректно виконувати розпізнавання зображень, зображення, які модель не може розпізнати, відсутні або їх досить мало, можна робити експорт моделі для її використання у виконавчій системі. Для прикладу платформа Lobe дає змогу експортувати модель в різних форматах, зокрема у дуже широко використовуваному форматі TensorFlow (TensorFlow, 2022). Вибір саме цього формату дає змогу інтегрувати модель у багатьох апаратних та програмних платформах. Усе це забезпечує високу гнучкість до застосування такого рішення хоч на промисловому обладнанні, хоч на смартфоні.

Оскільки рішення в подальшому будуть інтегрувати спеціалісти з автоматизації, в яких можуть бути відсутні компетенції з програмування на високорівневих мовах, таких як C++ чи Python, був вибраний інструмент на базі low-code Node- RED, який використовує структуру з функціональних блоків об'єднаних в інформаційний потік, що схоже на мову програмування промислових контролерів (Function Block Diagram, 2022).

Розгортання моделі передбачається робити за допомогою згаданого вище середовища Node-Red. Все програмне забезпечення може бути розгорнуте на одноплатному ПК (типу Raspberry Pi), або на будь-якому іншому ПК залежно від вимог проекту. Приклад розгортання описаний (Ngo T. та ін., 2020) надає можливість в реальному часі проводити ідентифікацію об'єктів і передавати інформацію про їх стан в інші системи підприємства.

У середовищі Node-Red пропонується використати бібліотеку (Node-RED Contrib Teachable Machine, 2021) для роботи з кастомними моделями TensorFlow, яка доволі проста у використанні та часто зустрічається у подібних проектах з відкритим вихідним кодом. Як уже зазначалося, в системі використовується раніше на - вчена модель, яка може знаходитися локально на тому ж ПК. Також вузол дає змогу використовувати моделі, які знаходяться у віддаленому доступі, та моделі, які генеруються сервісом Teachable Machine від компанії Google. Вибраний підхід і середовище надають можливість побудувати та налаштувати потрібне рішення без участі висококомпетентних у машинному навчанні спеціалістів, але й знаннями в предметній автоматизації технологічних процесів. Для демонстрації на рис. 2 показаний приклад фрагменту рішення на Node-RED, зокрема потік обробки зображення з видачею результату класифікації.

Рис. 2. Приклад потоку в середовищі Node-Red

Фрагмент показаний без прив'язки до конкретного застосування, але досить демонстративний. Для роботи потоку необхідно на вхід вузла обробки моделі подати зображення, вказавши до нього локальний або віддалений шлях за допомогою вузла «http request», який реалізовує клієнтський http запит. У результаті обробки вузол «teachable machine» поверне мітку класу нашого зображення та числове значення відповідності визначеному класу від 0 до 1, де 1 - повна відповідність. Значення відповідності більше 0,85 можна вважати задовільним.

Результат аналізу зображення можна використовувати для інтеграції з іншими системами, наприклад, системою підтримки прийняття рішень, вивести стан конкретного вентиля на екран людино-машинного інтерфейсу, сигналізувати про порушення стану та в інших можливих сценаріях.

Висновки

Сьогодні машинний зір досить успішно використовується для ідентифікації стану конкретного обладнання, однак широкого застосування для всієї номенклатури, зокрема арматури керування, не набув. Це великою мірою зв'язано зі способом реалізації рішень, у якому необхідно мати вкрай специфічні компетенції, невластиві фахівцям з автоматизації, що мають впроваджувати їх в структурі кінцевої системи, або для реалізації необхідно доволі потужне програмне чи апаратне забезпечення, використання якого економічно недоцільне. Також є праці, які пропонують рішення з ідентифікації стану клапанів з використанням хмарних сервісів за підпискою, яке, з одного боку, потребує постійного з'єднання з інтернетом, а з іншого - не має гнучкості. З огляду на вищезазначені, продемонстрований розроблений авторами концепт системи машинного зору, який дасть змогу віддалено контролювати стан неелектрифікованих клапанів для подальшого збору даних або прийняття рішень щодо дії над ними.

Показана в ході дослідження методика розробки таких систем машинного зору є функціональною та легкою в реалізації, доступною для інженерів з автоматизованих систем. Це дасть змогу простіше імплементувати машинний зір у будь-які рішення автоматизації технологічних процесів, зокрема для ідентифікації стану ручної арматури.

Література

1. Boutteau, R. (2019). The VIKINGS Autonomous Inspection Robot: Competing in the ARGOS Challenge. IEEE Robotics & Automation Magazine, 26(1), 21-34.

2. CVAT. (2022). Computer Vision Annotation Tool (CVAT).

3. Function Block Diagram. (2022). Wikipedia article.

4. Jiao, Y., Bahrami, Z., Kong, X., Liu, Z., Rayhana, R. (2022). Valve Detection for Autonomous Water Pipeline Inspection Platform. IEEE/ASME Transactions on Mechatronics, Volume 27, Issue 2.

5. Kaggle. (2022). Kaggle platform overview.

6. Labelbox. (2022). Labelbox tool overview.

7. Label Studio. (2022). Label Studio tool overview.

8. Lobe. (2022). Lobe platform overview.

9. Merriaux, P., Rossi, R., Boutteau, R., Boutteau, R. (2019). The VIKINGS Autonomous Inspection Robot: Competing in the ARGOS Challenge. IEEE Robotics & Automation Magazine, 26(1), 21-34.

10. Node-RED Contrib. (2021). Contrib RPI ImageCapture.

11. Paul Van Eck, Ted Chang, Ton A Ngo, Yi-Hong Wang. (2020). Building a Machine Learning Node for Node-RED using TensorFlow.js.

12. Rayhana, R., Jiao, Y., Bahrami, Z., Liu, Z., Kong, X. (2022). Valve Detection for Autonomous Water Pipeline Inspection Platform. IEEE/ASME Transactions on Mechatronics, Volume 27, Issue 2.

13. Saiwa co. (2023). Image Labeling.

14. Teachable Machine. (2021). Teachable Machine Basics.

15. TensorFlow. (2022). TensorFlow tool overview.

16. Umer, A. (2023). Building a Custom Object Detection Model with TensorFlow.

17. Yadav, A. (2021). Machine Vision using Custom TensorFlow Model with Prescient Designer.

Размещено на Allbest.Ru