Розробка та дослідження сегментації зображень за допомогою mask r-cnn, grabcut і opencv

Размещено на http://www.allbest.ru/

Розробка та дослідження сегментації зображень за допомогою mask r-cnn, grabcut і opencv

Теребецький Микита Андрійович

здобувач вищої освіти факультету Інформаційно-аналітичних технологій та менеджменту Харківського національного університету радіоелектроніки, Україна

Науковий керівник: Кузьомін Олександр Якович

Д-р. техн. наук, професор, професор кафедри Інформатики Харківського національного університету радіоелектроніки, Україна

Анотація

Як нова біомедична технологія обробки зображень сегментація медичних зображень зробив великий внесок у стале медичне обслуговування. Зараз це стало важливим дослідницьким напрямом в області комп'ютерного зору. Зі стрімким розвитком глибокого навчання обробка медичних зображень на основі глибоких згорткових нейронних мереж стала центром дослідження. Ця стаття зосереджена на дослідженні сегментації медичних зображень на основі глибокого навчання. Спочатку вводяться основні ідеї та характеристики сегментації медичних зображень на основі глибокого навчання. Пояснюючи статус дослідження та підсумовуючи три основні методи сегментації медичного зображення та їхні власні обмеження, розширюється напрямок майбутнього розвитку. На основі обговорення різних патологічних тканин і органів узагальнено специфічність між ними та їх класичні алгоритми сегментації. Незважаючи на великі досягнення сегментації медичних зображень за останні роки, сегментація медичних зображень на основі глибокого навчання все ще стикається з труднощами в дослідженні. Наприклад, точність сегментації невисока, кількість медичних зображень у наборі даних невелика, а роздільна здатність низька. Неточні результати сегментації не можуть відповідати фактичним клінічним вимогам. З метою вирішення вищезазначених проблем надається всебічний огляд сучасних методів сегментації медичних зображень на основі глибокого навчання, щоб допомогти дослідникам вирішити існуючі проблеми.

Ключові слова: Mask R-CNN, GrnbCut; OpenCV; сегментація зображення; глибоке навчання; згорткова нейронна мережа; медичне зображення grnbcut opencv сегментація зображення

Введення

Сегментація зображень - це головна область комп'ютерного зору , підкріплена величезною кількістю досліджень, що включають як алгоритми обробки зображень, так і методи навчання. Сегментація зображень - це розширення класифікації зображень, де, крім класифікації, ми виконуємо локалізацію. Таким чином, сегментація зображень є надмножиною класифікації зображень, де модель точно вказує, де присутній відповідний об'єкт, шляхом окреслення меж об'єкта (Рис.1).

Рис. 1. Приклад сегментації зображень стосовно класифікації зображень

У комп'ютерному баченні більшість моделей сегментації зображень складаються з мережі кодер-декодер у порівнянні з однією мережею кодувальників у класифікаторах. Як і всі алгоритми глибокого навчання з наглядом, процедури контрольованої сегментації вимагають для навчання великомасштабних анотованих даних.

Для дослідження у цій роботі було реалізовано Mask R-CNN і GrabCut для сегментації зображень за допомогою OpenCV.

Визначення проблеми

Сегментація зображень на основі медичної візуалізації - це використання технології комп'ютерної обробки зображень для аналізу та обробки 2D або 3D зображень для досягнення сегментації, вилучення, тривимірної реконструкції [1] та тривимірного відображення органів людини, м'яких тканин і хворих. тіла. Він поділяє зображення на кілька областей на основі подібності чи відмінності між регіонами. Лікарі можуть виконувати якісний або навіть кількісний аналіз уражень та інших цікавих ділянок за допомогою цього методу, тим самим значно підвищуючи точність і надійність медичної діагностики. В даний час в якості об'єкта використовуються основні різновиди, тканини та органи зображення клітин (Рис. 2).

Сегментація зображень - це розширення класифікації зображень, де, крім класифікації можливо виконання локалізації. Таким чином, сегментація зображень є над множиною класифікації зображень, де модель точно вказує, де присутній відповідний об'єкт, шляхом окреслення меж об'єкта.

Використовується також автоматичне анотування, яке може допомогти дуже швидко створити високоточні сегментні карти для розробки самокерованих автомобілів та медичні зображення (Рис. 2).

Тип необхідної анотації та необхідна точність змінюються залежно від випадків використання моделі та карт сегментації. Анотовані набори даних для таких завдань, як семантична сегментація, легко створити, тоді як, наприклад, анотації та паноптичну сегментацію складніше, оскільки вони вимагають врахування накладання між об'єктами.

Як і всі алгоритми глибокого навчання з наглядом, процедури контрольованої сегментації вимагають для навчання великомасштабних анотованих даних.

Рис. 2. Приклад рентгенівської знімок легенів пацієнта з діагнозом Covid -19. На таких знімках ви можете навчити класифікатора за допомогою Keras та TensorFlow для визначення Covid-19.

Тип необхідних анотацій залежить від типу сегментації, що виконується моделлю, починаючи від дуже конкретних анотацій, необхідних для завдань паноптичної сегментації, до дуже простих анотацій, необхідних для завдань семантичної сегментації.

Анотації для завдань сегментації можна виконувати легко і точно, використовуючи інструменти анотації V7 (Рис.1), зокрема інструмент багатокутників та інструмент автоматичного анотування.

Ще використовується анотація багатокутників, яка дозволяє нам коментувати маски (карти) сегментів, встановлюючи маршрутні точки через межі об'єктів, які модель має сегментувати.

Основну перевагу сегментації зображень можна краще зрозуміти, порівнявши три поширені типи анотацій у комп'ютерному баченні:

1) Класифікація, яка полягає в тому, щоб просто визначити, які об'єкти та інші властивості існують у зображенні.

2) Виявлення об'єктів, яка дозволяє знайти положення (обмежувальні рамки) окремих об'єктів.

3) Сегментацію зображення, яка полягає у тому, щоб розпізнати та зрозуміти, що на зображенні на рівні пікселів. Кожен піксель у зображенні належить до одного класу, на відміну від виявлення об'єктів, де обмежувальні рамки об'єктів можуть перекриватися.

Для порівняння, використання сегментації зображень особливо корисно, коли ви маєте справу з випадками використання в моделі, де вам потрібно остаточно знати, чи містить зображення об'єкт, що цікавить, а також те, що не є об'єктом інтересу. Анотації, створені в результаті сегментації зображень, як правило, отримують найбільш широко застосовувані та універсальні моделі, оскільки вони найбільш зосереджені на тому, що міститься в зображенні.

Також варто розглянути деякі стандартні глибокі мережі, які зробили значний внесок у область комп'ютерного зору, оскільки вони часто використовуються як основа систем семантичної сегментації (Табл.1).

Таблиця 1

Деякі стандартні глибокі мережі

Традиційні методи сегментації зображень більше не можна порівнювати з методами сегментації, заснованими на глибокому навчанні, але ідеї все ще варті вивчення [2-4] . Як і запропонований метод сегментації на основі порігових значень [5], метод сегментації зображення на основі регіонів [6] та метод сегментації на основі виявлення країв [7]. Ці методи використовують знання цифрової обробки зображень та математики для сегментації зображення. Розрахунок простий, а швидкість сегментації швидка, але точність сегментації не може бути гарантована з точки зору деталей.

В даний час методи, засновані на глибокому навчанні: метод сегментації на основі порогових значень [5]; метод сегментації зображення на основі регіонів [6] та метод сегментації на основі виявлення країв [7]; досягли значних досягнень у сфері сегментації зображень. їх точність сегментації перевершила традиційні методи сегментації. Повністю згортка мережа була першою, хто успішно використав глибоке навчання для семантичної сегментації зображень. Це була піонерська робота з використання згорткових нейронних мереж для сегментації зображень. У [10] запропонували концепцію повних згорткових мереж. Крім того, є чудові мережі сегментації, такі як U-Net, Mask R-CNN [7], RefineNet [8] та DeconvNet [9], які мають значну перевагу в обробці тонких країв.

Повністю згорткові нейронні мережі FCN -- це новаторська робота найуспішнішої та передової технології глибокого навчання для семантичної сегментації (Рис. 3).

Підтримка складної сегментації зображень завдяки навчальній платформі даних

Платформи для навчання даних зазвичай оснащені принаймні одним інструментом, який дозволяє окреслювати складні форми для сегментації зображень. У Labelbox наш інструмент «Перо» дозволяє малювати від руки, а також прямі лінії. Наявність швидких та ергономічних інструментів малювання допомагає зменшити трудомісткий характер постійного створення ідеальних піксельних етикеток [].

Рис. 3. Структура повністю згорткової мережі (FCN) [11]

Крім того, навчальні платформи даних зазвичай містять додаткові функції, які спеціально допомагають оптимізувати ваш проект сегментації зображень, які включають:

• Налаштування на основі онтології:

Можливість налаштувати редактор міток відповідно до ваших точних вимог до структури даних (онтології) з можливістю додаткової класифікації екземплярів, які ви сегментували. Керування онтологією включає класифікації, користувацькі атрибути, ієрархічні зв'язки тощо.

• Акцент на продуктивності для широкого спектру пристроїв:

Зосереджено на швидкому створенні складних етикеток навіть на ПК та

ноутбуках із нижчими характеристиками. Продуктивність стає критичною для професійних лейблів, які цілий день працюють у редакторі анотацій.

• Підтримка спільних кордонів:

При створенні масок сегментації зображень важливо мати можливість спільного використання кордонів між об'єктами. За допомогою редактора Labelbox це просто. Щоразу, коли ви малюєте новий об'єкт, якщо ви перекриваєте межу вже існуючого об'єкта, нова межа, яку ви малюєте, буде спільною.

• Характеристики яскравості та контрастності:

Іноді об'єкти в темних або нічних зображеннях буває важко чітко відрізнити один від одного. Labelbox містить елементи керування яскравістю та контрастністю, щоб допомогти висвітлити зображення та виділити краї між об'єктами для чіткішого окреслення.

Реалізацію сегментації зображень за допомогою Mask R-CNN і GrabCut

Структура проекту пропонується виконати за послідовністю, яка надається за посиланням https://pyimagesearch.com/2020/09/28/image-segmentation-with- mask-r-cnn-grabcut-and-opencv/

У відповідності до згаданої технології сегментація зображень за допомогою Mask R-CNN, GrabCut і OpenCV має наступні завантаження:

$ дерево --dirsfirst

Іmask-rcnn-coco

І|colors.txt

І|frozen_inference_graph.pb

||mask_rcnn_inception_v2_coco_2018_01_28.pbtxt object_detection_classes_coco.txt

mask_rcnn_grabcut.py

Каталог містить попередньо навчену модель Mask R-CNN TensorFlow, навчену на датасет рентгенівських знімків легких Kaggle (пневмонія). Реалізація Mask R-CNN і GrabCut для сегментації зображень відбувається за допомогою OpenCV.

Для виконання сегментації зображень за допомогою Mask R-CNN, GrabCut і OpenCV необхідно наступне завантаження:

# треба імпортувати необхідні пакети import numpy as rnp

import argparse, imutils, cv2, ОС

# створити аналізатор аргументів і розібрати аргументи ap = argparse. парсер аргументів ()

ap. add_argument ( "-m" , "--mask-rcnn" , required = True ,

help= "основний шлях до каталогу mask-rcnn" )

ap. add_argument ( "-i" , "--image" , required = True ,

help= "шлях до вхідного зображення" )

ap. add_argument ( "-c" , "--confidence" , type=float, default= 0,5 ,

help= "мінімальна ймовірність фільтрації слабких виявлення" )

ap. add_argument ( "-t" , "--threshold" , type=float, default= 0,3 ,

help= "мінімальний поріг сегментації по піксельній масці" )

ap. add_argument ( "-u" , "--use-gpu" , type=bool, default= 0 ,

help= "логічне значення, яке вказує, чи слід використовувати GPU CUDA" )

ап. add_argument ( "-e" , "--iter" , type=int, default= 10),

help= "Кількість ітерацій GrabCut (більше значення => повільніший час виконання)" ) args = vars ( ap. parse_args ())

Висновок

Ми використали глибоку нейронну мережу Mask R-CNN для обчислення початкової маски сегментації переднього плану для даного об'єкта на зображенні.

Маска з Mask R-CNN може обчислюватися автоматично, але часто має фон, який «вливається» в маску сегментації переднього плану. Щоб усунути цю проблему, ми використали GrabCut, щоб уточнити маску, створену Mask R-CNN.

У деяких випадках GrabCut створював сегментацію зображення, яка була кращою, ніж оригінальні маски, створені Mask R-CNN. А в інших випадках результати сегментації зображень були гіршими -- нам було б краще просто дотримуватися масок, створених Mask R-CNN.

Найбільше обмеженняполягаєв тому, щонавіть із

масками/обмежувальними рамками, автоматично створеними Mask R-CNN, GrabCut все ще залишається алгоритмом, який ітераційно вимагає ручних анотацій, щоб забезпечити найкращі результати. Оскільки ми вручну не надаємо підказки та пропозиції GrabCut, маски не можна покращити.

Якби ми використовували програмний пакет для редагування фотографій, такий як Photoshop, GIMP тощо, у нас був би гарний, простий у використанні графічний інтерфейс, який дозволяв би нам надавати підказки для GrabCut щодо того, що є переднім планом та тим, що є фоном.

Для сегментації медичних зображень глибоке навчання показало себе дуже добре. Все більше і більше нових методів використовуються для постійного підвищення точності та надійності сегментації. Діагностика різних захворювань за допомогою штучного інтелекту реалізує ідею сталого

лікування. Він стає потужним інструментом для клініцистів. Але це все ще відкрита проблема, тому можна очікувати низку інновацій та результатів досліджень у найближчі кілька років.

Недоліком застосування глибинного навчання щодо медичних проблем мають Обмеження наявних наборів даних медичних зображень. Існуючі набори даних медичних зображень невеликі за масштабом. Навчання алгоритмів глибокого навчання потребує великої кількості підтримки набору даних, що призводить до проблеми переобладнання в процесі навчання моделей глибокого навчання. Одним із способів вирішення проблеми недостатньої кількості навчальних даних є покращення даних, наприклад геометричне перетворення, покращення колірного простору.

Список використаних джерел:

[1] Hu, P.; Cao, Y.;Wang,W.;Wei, B. Computer Assisted Three-Dimensional Reconstruction for Laparoscopic Resection in Adult Teratoma. J. Med. Imaging Health Inform. 2019, 9, 956-961. [CrossRef]

[2] Ma, Z.; Tavares, J.M.R.S.; Jorge, R.M.N. A review on the current segmentation algorithms for medical images. In Proceedings of the 1st International Conference on Imaging Theory and Applications, Lisbon, Portugal, 5-8 February 2009.

[3] Ferreira, A.; Gentil, F.; Tavares, J.M.R.S. Segmentation algorithms for ear image data towards biomechanical studies. Comput. Methods Biomech. Biomed. Eng. 2014, 17, 888-904. [CrossRef]

[4] Ma, Z.; Tavares, J.M.R.S.; Jorge, R.N.; Mascarenhas, T. A review of algorithms for medical image segmentation and their applications to the female pelvic cavity. Comput. Methods Biomech. Biomed. Eng. 2010, 13, 235-246. [CrossRef]

[5] Xu, A.;Wang, L.; Feng, S.;Qu, Y. Threshold-based level set method of image segmentation. In Proceedings of the Third International Conference on Intelligent Networks and Intelligent Systems, Shenyang, China, 1 -3 November 2010; pp. 703-706.

[6] Cigla, C.; Alatan, A.A. Region-based image segmentation via graph cuts. In Proceedings of the 2008 15th IEEE International Conference on Image Processing, San Diego, CA, USA, 12-15 October 2008; pp. 2272-2275.

[7] Yu-Qian, Z.; Wei-Hua, G.; Zhen-Cheng, C.; Tang, J.-T.; Li, L.-Y. Medical images edge detection based on mathematical morphology. In Proceedings of the 2005 IEEE Engineering in Medicine and Biology 27th Annual Conference, Shanghai, China, 17-18 January 2006; pp. 6492-6495. He, K.; Gkioxari, G.; Dollar, P.; Girschik, R. Mask r-cnn. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 2229 October 2017; pp. 2961 -2969.

[8] Lin, G.; Milan, A.; Shen, C.; Reid, I. Refinenet: Multi-path refinement networks for high- resolution semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 21-26 July 2017; pp. 1925-1934.

[9] Noh, H.; Hong, S.; Han, B. Learning deconvolution network for semantic segmentation. In Proceedings of the IEEE International Conference on Computer Vision, Las Condes, Chile, 11-18 December 2015; pp. 1520-1528

[10] Liu, X.; Song, L.; Liu, S.; Zhang, Y. A Review of Deep-Learning-Based Medical Image Segmentation Methods. Sustainability 2021,13, 1224. Long, J.; Shelhamer, E.; Darrell, T. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7-12 June 2015; pp. 3431-3440.

[11] Long, J.;Shelhamer, E.; Darrell, T. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7-12 June 2015; pp. 3431-3440.

Размещено на Allbest.ru