Розпізнавання ступеню опіків шкіри з використанням згорткових нейронних мереж

Размещено на http: //www. allbest. ru/

Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

Розпізнавання ступеню опіків шкіри з використанням згорткових нейронних мереж

Рубан Ю.І., Якимчук В.С.

Анотація

Останнім часом архітектура згорткових нейронних мереж (ЗНН, CNN) -- є найсучаснішою альтернативою стандартним методам класифікації та успішно використовується для аналізу цифрових зображень. Здатність багатошарових згорткових нейронних мереж, до побудови складних багатовимірних систем на основі велокої кількості навчальних прикладів, дозволяє застосовувати їх у якості класифікатора для розпізнавання образів. У дослідженні запропоновано інтегрувати архітектуру CNN для створення технології розпізнавання опіків із цифрових зображень різних частин тіла пацієнтів. Метою даної роботи є навчання та побудова нейронної мережі (системи або технології), яка буде здатна розпізнавати ступінь опіку на зображенні, що подається на вхід системі/моделі. Набір даних для аналізу було власноруч підготовлено, шляхом збору зображень з відкритих джерел, таких, як: НеаІШсаге.аі, Subreddit, Kaggle. Результати проведеного дослідження показали доцільність запропонованого методу для аналізу цифрових зображень опіків людини. Отриману навчену нейронну мережу (далі -- модель) можна використовувати у медичних закладах для покращення та пришвидшення процесу визначення ступеню опіків. Використання запропонованої моделі підвищить статистичні результати точності аналізу ступеня пошкоджених тканин та буде корисним під час імплементації системи у дистанційне лікування. Застосування лікарями цієї технології класифікації ступеню опіків додало впевненності у прийнятті відповідного медичного рішення та встановлення правильного діагнозу.

Ключові слова: згорткові нейронні мережі (СМ№), цифрові зображення, класифікація, розпізнавання образів, модель.

Annotatіon

Ruban Yurii, Iakymchuk Viktoria

National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute»

THE DEGREE OF SKIN BURNS RECOGNITION
USING CONVOLUTIONAL NEURAL NETWORK

Summary. Today artificial neural network is widely used to solve different tasks in real life. Problems such as speech recognition or optical character recognition are now being solved using a high precision neural network. This paper examines one special neural network architecture -- the Convolutional neural network (CNN), as well as its structure and application for the classification of digital images. The convolutional neural network architecture is the most up-to-date alternative to standard classification methods for digital image analysis. The ability of multilayer convolutional neural networks to construct complex multidimensional systems based on a large number of training examples allows them to be used as a classifier for pattern recognition. The aim of this paper is to propose integration the CNN architecture to create burn recognition technology on digital images of different parts of the patient's body. CNN model was trained to be automated method of burn images classification into 4 degrees and a class with missing any burns or skin corruption following the classification of burning patients. The purpose of this work is to train and build a neural network (system or technology) that will be able to recognize the degree of burn in the image fed to the input of the system/model. The dataset for analysis was prepared on its own by collecting images from open source images databases such as: Healthcare. ai, Subreddit, Kaggle. Those databases are widely used for common classification tasks and contain a large high-quality data for Artifical Inteligence training. For expanding the dataset was used data augmentation algorithms such as: rescaling the image, translation, rotation, noise applying, etc. The results of the study showed the feasibility of the proposed method for the analysis of images of burns in people. The resulting neural network (hereinafter referred to as the model) can be used in health care facilities to improve and accelerate the burn determination process. Also, using of the resulting model will be useful in implementing a remote treatment system in which doctors could use this computer module to classify burn rates and make appropriate medical decisions. Such approach will be usefull for keeping electronic medical records of patients and storing the data in medical information systems which is integrating in Ukraine.

Keywords: convolutional neural networks (CNN), digital images, classification, pattern recognition, model.

Постановка проблеми. Щороку в Україні реєструють близько 80 000 постраждалих від опіків, із яких 10% -- діти. Протягом останніх 50 років результати лікування пацієнтів з опіковими ранами суттєво поліпшились. Незважаючи на відкриття широкого спектра активних фармацевтичних інгредієнтів (АФІ) з позитивною дією для загоєння пошкоджень на тілі людини, опікові рани та їх терапія залишаються проблемою сучасної медицини [1]. Правильне лікування опіку залежить насамперед від визначення його ступеню, що нерозривно пов'язано з попереднім встановленням глибини пошкодження тканини. Незважаючи на те, що точна оцінка глибини опіку є першим і найважливішим кроком в одужанні пацієнта, глибину опіку досі діагностують невірно у 20-40% пацієнтів, такі помилки зустрічаються і серед досвідчених практиків [2].

У той же час, медичні заклади України почали активно впроваджувати, різного роду, медичні інформаційні системи для підвищення якості обслуговування пацієнтів: збільшення ефективності діагностування та лікування, зменшення кількості медичних помилок, що базуються на людському факторі, можливість віддалено надавати допомогу тощо. Тому застосування інноваційних методів діагностики та скринінгу функціонального стану пацієнта може стати окремою компонентою медичних систем, що впроваджуються на рівні держави.

Аналіз останніх досліджень і публікацій. Напрямок з використанням згорткових нейрон- них мереж для визначення ступеню опіків, на даний момент, є малодослідженим та викликає багато суперечливих суджень. Прикладом схожих досліджень слугують роботи вчених факультету інформаційних технологій В'єтнамського педагогічного університету [3]. Автори, в своїй роботі, описують визначення глибини опіків з використанням нейронної мережі, що будується на базі локального бінарного шаблону. Отримані результати свідчать про можливість використання підходу з застосуванням згорткових нейронних мереж для класифікації ступеню опіків та отримання поступового зменшення похибки класифікації з кожною епохою навчання мережі.

Таблиця 1 Порівняння значень ефективності для різних архітектур згорткових нейронних мереж

Джерело: [4]

Виділення нерозв'язаних раніше частин загальної проблеми. Основною проблемою наявних досліджень у сфері застосування згорткових нейронних мереж для визначення ступеню опіків шкіри є відносно невисока точність передбачення: 60-80%. Це зумовлено тим, що існує велика частота похибки у визначенні між зображеннями з опіками першого та другого ступенів, і похибкою між визначенням зображень опіків третього та четвертого ступенів. Попередній аналіз джерел надав змогу встановити, що точність згорткової мережі на базі локального бінарного шаблону дуже залежить від значення рівня навчання, який задається константно на всіх шарах і становить близько 0,57 у найкращих випадках [3].

Мета статті. Метою даного дослідження є визначення архітектури згорткової мережі та створення системи/моделі, яка зможе з мінімальною похибкою аналізувати та ідентифікувати ступені опіків на тілі постраждалих/людини, які подаються на цифрових зображеннях.

Викладення основного матеріалу. Роботу щодо отримання нейронної мережі (далі -- моделі), основною задачею якої є визначення з високою точністю ступеню опіків було виконано в два етапи.

На першому етапі, за результатами дослідження можливих варіантів вибору архітектури згорткової нейронної мережі, в якості найкращого варіанту для класифікації цифрових зображень, було обрано мережу на базі архітектури ResNet50. Цю архітектуру також було обрано за результатами міжнародних змагань з розпізнавання образів з використанням штучного інтелекту «Large Scale Visual Recognition Challenge 2017». Проведено аналіз роботи різних можливих архітектур нейронних мереж та отримано результати точності їх роботи на спільному наборі зображень (табл. 1) [4].

Відомо, що збільшення глибини мережі повинно підвищувати точність класифікації об'єкту, що необхідно визначити, до моменту появи проблеми з перенавчанням. Однак проблема зі збільшенням глибини полягає у тому, що сигнал (значення, до якого апроксимується вагова функція), який є необхідним для зміни коефіцієнту вагової функції шару, що виникає з кінця мережі, у порівнянні валідаційних значень з передбаченими, стає дуже незначним на попередніх шарах. Це означає, що більш ранні шари майже не вивчені і такий випадок називають «зниклим градієнтом».

Існує інша проблема з навчанням згорткових мереж. Вона полягає у проведенні оптимізації на величезному просторі параметрів і, таким чином, постійне додавання шарів призводить до більш високої помилки тренувань. Для уникнення проблеми росту похибки зі збільшенням кількості шарів нейронної мережі і було створено підхід, що дозволяє навчати глибокі згорткові мережі, пропускаючи модулі, які називаються залишковими блоками.

Використання подібних залишкових блоків надає згортковій нейронній мережі, на базі ResNet50, суттєву перевагу перед іншими архітектурами. Спроможність відсіювати несуттєві результати, збільшуючи швидкість роботи та загальний обсяг моделі, при цьому не зменшуючи точність класифікації, дозволяє додавати до структури нейронної мережі значно більше додаткових шарів, у порівнянні з аналогічними архітектурами: Interception, VGG, AlexNet тощо [4]. Під час виконання поставленої мети було реалізовано принцип роботи залишкового блоку (рис. 1).

Рис. 1 Блок залишкового навчання

Джерело: [4]

Рис. 2 Загальна блок-схема процесу тренування CNN

Джерело: розроблено авторами

На наступний набір шарів згорткової нейронної мережі передано інформацію з попереднього набору F(x) та вхідну інформацію до обробки цими шарами xidentity і лише в тому випадку, якщо F(x) відповідатиме очікуваному результату -- на наступні шари подаватиметься сигнал F(x)+x. В інакшому випадку -- на вхід до наступного шару знову подається XidenШy.

На другому етапі дослідження відбулося тренування та оцінка отриманих реультатів. Для тренування згорткової нейронної мережі, на базі архітектури ResNet50, обрано відкриту С++ (платформу TensorFlow) та бібліотеку Keras для навчання найронних мереж. Поєднання вказаних інструментів полегшує роботу з TensorFlow та зменшує кількість програмного коду, що потрібен для задання шарів нейронної мережі. Розроблено та протестовано загальний алгоритм тренування мережі (рис. 2). Training and validation loss

Рис. 3. Графік зміни loss-функції

Джерело: розроблено авторами

Використовуючи TensorFlow як бекендну частину для згорткової нейронної мережі та Keras API для тренування, архітектура ResNet50 вимагає на вхід наявність чотирьохвимірного масиву (інша назва -- 4D тензор), з функцією (формула 1): path_to_tensor (nbSamples, rows,columns,channels),(1) де: nbSamples -- загальна кількість зображень; rows -- кількість пікселів по вертикалі; columns -- кількість пікселів по горизонталі; channels -- кількість кольорових каналів зображення.

Функціяpath_to_tensor приймає вхідний шлях до кольорового зображення у якості вхідних даних і повертає 4D тензор, який придатний для подачі до CNN Keras. Функція спочатку завантажує цифрове зображення (у RGB форматі) і змінює його розмір до квадратного зображення, яке становить 256х256 пікселів. Вказане перетворення потрібне для зниження кількості, необхідних для обробки, пікселів нейронною мережею та, відповідно, для зменшення розміру моделі в пам'яті.

Підготовка 4D тензора до ResNet-50 та будь- якої іншої, попередньо підготовленої, моделі в Keras вимагає додаткової обробки. По-перше, RGB-зображення перетворюється в BGR формат шляхом упорядкування синього, зеленого та червоного кольорових каналів. Усі попередньо підготовлені моделі мають додатковий крок нормалізації, під час якого значення центрального піксели у масці 3х3 необхідно відняти від кожного пікселя у кожному зображенні.

Після вище описаного етапу (форматування зображення належним чином для подачі на ResNet-50) кінцеву натреновану згорткову ней- ронну мережу можна використовувати для тренування. Під час тренування використано 1250 зображень, з яких 800 належать до тренувального набору, 200 до валідаційного та 250 до тестового. Тренування нейронної мережі відбувалось

Рис. 4 Приклад оцінки точності під час тренування для І--IV ступенів опіків та одного класу без пошкоджень шкіряних покривів

Рис. 5 Приклад десктопного додатку на базі CNN ResNet50

Джерело: розроблено авторами

Отримано графік (рис. 3) падіння похибки класифікації на різних епохах тренування. У результаті можна спостерігати позитивні зміни в значенні похибки класифкації на кожній ітерації тренування.

Заключним етапом в оцінюванні результатів отриманої моделі є її перевірка на вибірці тестових зображень, які відрізняються від тренувальних та валідаційних, та визначення точності моделі, виходячи з отриманих результатів. Точність отриманої моделі обчилюється функцією модуля Keras evaluate за оцінкою F1 (формула 2) [5]:

де Precision -- відношення істинно позитивних передбачень до всіх позитивних передбачень;

Recall -- відношення істинно позитивних передбачень до підтверджених передбачень.

Під час тренування нейронної мережі точність класифікації коливалась між значеннями 70-90% (рис. 4) та змінювалась в залежності від схожості зображень тренувальної та валідацій- ної вибірок.

За результатами тренування та оцінки на наборі тестових даних отримано модель з точністю 82,25%.

Отримана модель зберігається у форматі .h5. її можна використовувати та інтегрувати в деск- топні або мобільні додатки, що дозволить покращити і підвищити якість послуг медичних закладів, і значно полегшить задачу визначення ступеню опіків тіла людини.

Поставлену мету реалізовано за допомогою кросс-платформеного десктопного програмного додатку, написаного з використанням середовища Qt Creator, в основу якого покладено модель згорткової нейронної мережі на базі архітектури ResNet50 (рис. 5). На рис. 5 проілюстровано розпізнавання опіку першого ступеню.

Висновки

нейронний мережа опік медичний

Визначено та описано доцільність використання архітектури ResNet50 для вирішення задачі класифікації цифрових зображень з різними ступенями опіків тіла людини. За допомогою використання згорткових нейронних мереж, архітектури ResNet50, покращено результати наявних досліджень розпізнавання ступеню опіків шкіри людини. Отримано графік спаду loss-функції на 150 епохах нейронної мережі та визначено значення точності моделі - 82,25%.

Список літератури

1. Vons B.V. Market analysis of semisolid dosage forms registered in Ukraine and research of excipients included to their formulas. Фармацевтичний часопис. 2015. № 1. С. 55-61.

2. Ameriburn.org, «Burn Incident Fact Sheet». URL: https://ameriburn.org/who-we-are/media/burn-incidence-fact- sheet/ (дата звернення: 20.10.2019).

3. Tran, Hai & Le, Thai & Nguyen, Thuy. The Degree of Skin Burns Images Recognition using Convolutional Neural Network. Indian Journal of Science and Technology, 2016. URL: shorturl.at/am249 (дата звернення: 11.10.2019).

4. Russakovsky, O., Deng, J., Su, H. et al. Int J Comput Vis, 2015 115: 211. URL: https://doi.org/10.1007/s11263-015- 0816-y (дата звернення: 15.11.2019).

5. Николенко Сергей, Кадурин Артур, Архангельская Екатерина. Глубокое обучение. «Издательский дом «Питер», Oct. 26, 2017. Computers. C. 60-68.

References:

1. Vons, B.V. (2015). Market analysis of semisolid dosage forms registered in Ukraine and research of excipients included to their formulas. Farmacevtychnyi Chasopys, no. 1, рр. 55-61. (in Ukrainian)

2. Ameriburn.org, «Burn Incident Fact Sheet». URL: https://ameriburn.org/who-we-are/media/burn-incidence-fact- sheet/ (accessed: 20.10.2019).

3. Tran, Hai & Le, Thai & Nguyen, Thuy (2016). The Degree of Skin Burns Images Recognition using Convolutional Neural Network. Indian Journal of Science and Technology. URL: shorturl.at/am249 (accessed: 11.10.2019).

4. Russakovsky, O., Deng, J., Su, H. et al. Int J Comput Vis (2015). 115: 211. URL: https://doi.org/10.1007/s11263- 015-0816-y (accessed 15.11.2019).

5. Nikolenko, S., Kadurin, A., & Arkhangelskaya, E. (Oct. 26, 2017). Glubokoe Obuchenie [Deep Learning]. Izdateskyi Dom Piter, рр. 60-68. (in Russian)

Размещено на Allbest.ru