Применение методов глубокого обучения для поддержки врачебного решения при эндоскопическом исследовании желудка

Размещено на http://www.allbest.ru

Ярославский государственный университет имени П. Г. Демидова, Ярославль, Россия 3 Ярославская областная клиническая онкологическая больница, Ярославль, Россия 1

Применение методов глубокого обучения для поддержки врачебного решения при эндоскопическом исследовании желудка

А.А. Лебедев, В.В. Хрящев, С.В. Кашин, А.С. Среднякова, Е.М. Казина

Аннотация

Актуальность и цели. Исследуется возможность применения нейронных сетей глубокого обучения для анализа эндоскопических видеоизображений желудочно-кишечного тракта в режиме реального времени. Эндоскопические изображения являются сложными для автоматического анализа из-за разнообразия текстур исследуемой поверхности, широкого диапазона масштабов обрабатываемых изображений (используется оптическое увеличение до 115 крат), наличия бликов, применения узкоспектральных режимов. Материалы и методы. Собрана и размечена совместно с врачами Ярославской областной клинической онкологической больницей база изображений, извлеченных из 54 видеозаписей эндоскопических исследований, итоговый размер которой составил 5942 кадра. Для сбора базы использовались эндоскопические аппараты 0ЬУМРИ8 со следующими режимами работы: осмотр в белом свете и в узком спектре света, исследования без увеличения и с 65-кратным увеличением. Разрешение видеоизображений составляло 626^532 пикселей. Результаты.

Разработаны и исследованы нейросетевые алгоритмы детектирования патологий на эндоскопических изображениях желудка. Значение метрики тАР составило 0,771 для алгоритма на основе сверточной нейронной сети 88Б и 0,808 для алгоритма на основе сети RetinaNet.

Проведено тестирование разработанных алгоритмов для различных классов эндоскопических изображений желудочно-кишечного тракта: «рак», «не рак», «иная патология».

Выводы. Результаты тестирования подтверждают реализуемость и актуальность разработки систем поддержки принятия врачебных решений с использованием методов искусственного интеллекта в эндоскопической практике.

Ключевые слова: глубокое обучение, сверточные нейронные сети, анализ эндоскопических изображений, системы поддержки принятия решения в эндоскопии

Abstract

APPLICATION OF DEEP LEARNING METHODS TO SUPPORT MEDICAL DECISION IN ENDOSCOPIC EXAMINATION OF THE STOMACH

A.A. Lebedev1, V.V. Khryashchev2, S.V. Kashin3,

A.S. Srednyakova4, E.M. Kazina5

1 2' 4 5 P. G. Demidov Yaroslavl State University, Yaroslavl, Russia 3 Yaroslavl Regional Clinical Oncological Hospital, Yaroslavl, Russia

Background. The possibility of using deep learning methods and convolutional neural networks for the analysis of gastrointestinal tract endoscopic video images in real time is being investigated. Endoscopic images are difficult for automatic analysis due to the variety of textures of the surface, the wide range of scales of the processed images (optical magnification up to 115 times is used), the presence of glare, and the use of narrow-spectrum regimes. Materials and methods. The images database extracted from 54 videos of endoscopic examinations was collected and marked together with the doctors of the Yaroslavl Regional Clinical Oncological Hospital, its total size of which was 5942 frames. To collect the base, OLYMPUS endoscopic devices were used with the following operating modes: examination in white light and in a narrow light spectrum, studies without magnification and with 65x magnification. The video resolution was 626*532 pixels. Results. Neural network algorithms for detecting pathologies on endoscopic images of the stomach have been developed and investigated. The mAP metric value was 0.771 for the SSD convolutional neural network algorithm and 0.808 for the RetinaNet algorithm. The developed algorithms were tested for different classes of endoscopic images of the gastrointestinal tract: "cancer", "not cancer", "other pathology". Conclusions. The test results confirm the feasibility and relevance of the development of medical decision support systems using artificial intelligence methods in endoscopic practice.

Keywords: deep learning, convolutional neural networks, endoscopy image analysis, endoscopy decision support systems

Acknowledgments: the research was carried out with the financial support of the Russian Foundation for Basic Research within the framework of scientific project No. 19-37-90153.

For citation: Lebedev А.А., Khryashchev V.V., Kashin S.V. [et al.]. Application of deep learning methods to support medical decision in endoscopic examination of the stomach. Modeli, sistemy, seti v ekonomike, tekhnike, prirode i obshchestve = Models, systems, networks in economics, technology, nature and society. 2021;2:95-106. (In Russ.). doi:10.21685/2227-8486-2021-2-6

Введение

Согласно оценкам Всемирной организации здравоохранения к середине XIX в. заболевания органов желудочно-кишечного тракта (ЖКТ) будут занимать одно из ведущих мест в структуре заболеваемости, что во многом обусловлено экологией и образом жизни современного человека. Помимо принятия превентивных мер важную роль в борьбе с болезнями ЖКТ играет их ранняя диагностика, осуществляемая, в частности, путем проведения эндоскопического исследования [1]. Анализ получаемых при этом визуальных данных весьма трудоемкий: он требует наличия высокого уровня подготовки врача, проводящего исследование, и его максимальной концентрации. В связи с этим актуальной научно-технической задачей является создание систем поддержки принятия врачебного решения в области эндоскопии, позволяющих осуществить частичную автоматизацию процесса диагностики. Разработка подобных систем позволит повысить точность диагностики, уменьшить влияние человеческого фактора на качество исследований, снизить стоимость и временные затраты на их проведение [2, 3].

Входной информацией для систем поддержки принятия решения в эндоскопии являются видеоизображения, получаемые с видеогастроскопа. Согласно данным исследований, приводимым в научно-технической литературе, одним из наиболее эффективных подходов к анализу изображений на сегодняшний день является использование сверточных нейронных сетей (СНС) [4-7]. Данный подход относится к области глубокого обучения и обеспечивает автоматическое формирование признаков в процессе обучения модели, что способствует достижению лучших результатов в задачах детектирования и классификации объектов на эндоскопических изображениях [2, 8, 9].

Эндоскопические изображения являются сложными для автоматического анализа из-за разнообразия текстур исследуемой поверхности, ее существенной неоднородности, широкого диапазона масштабов обрабатываемых изображений (используется оптическое увеличение до 115 крат), применения красителей в процессе исследования слизистой, а также ввиду использования узкоспектральной эндоскопии. Кроме того, существуют дополнительные факторы, усложняющие анализ изображения, - множество видеокадров бывают размытыми из-за резкого движения эндоскопа, присутствуют блики на слизистой, из-за использования чересстрочной развертки наблюдается интерлейсинг, надписи, выводимые на изображение эндоскопом, могут перекрывать собой искомый объект интереса [10, 11].

Кроме вышеперечисленных факторов значительное влияние на процесс создания систем поддержки принятия решений в эндоскопии оказывает трудоемкость создания экспертно размеченных больших баз изображений, необходимых для обучения и тестирования современных нейросетевых алгоритмов.

Данная работа представляет собой продолжение исследований коллектива авторов, представляющих Ярославский государственный университет им. П. Г. Демидова и Ярославскую областную клиническую онкологическую больницу.

В отличие от предыдущих работ [7-9, 12], где использовалась база высококачественных статических изображений патологических областей из историй болезни пациентов в режиме с оптическим увеличением, в рамках представленного исследования была создана принципиально новая база эндоскопических изображений. В ней изображения были собраны непосредственно из видеоданных эндоскопических исследований.

При этом использовались как изображения, полученные в режиме без оптического увеличения, так и кадры патологий с 65-кратным увеличением.

Процесс сбора данной базы эндоскопических изображений описан в следующем разделе. Далее представлены результаты обучения и тестирования разработанных нейросетевых алгоритмов на собранной базе изображений, оцененные с использованием ряда метрик оценки качества.

Сбор базы эндоскопических изображений желудка для обучения нейронных сетей

Для обучения и тестирования нейросетевых алгоритмов была собрана база эндоскопических изображений слизистой оболочки желудка. Для ее создания использовались 54 видеозаписи исследований, проведенных в эндоскопическом отделении Ярославской областной клинической онкологической больницы. При этом персональные данные о пациенте и враче, проводящем исследование, удалялись.

Для сбора базы использовались эндоскопические аппараты OLYMPUS EXERA III GIF-Q180 и OLYMPUS EXERA III GIF-HQ190 со следующими режимами работы: осмотр в белом свете и в узком спектре света (NBI - Narrow Band Imaging); исследования без увеличения и с 65-кратным увеличением. Разрешение видеоизображений составляло 626^532 пикселей.

Из фрагментов видеоданных, получаемых с эндоскопа, выбирался каждый пятый кадр, в каждом из которых врач-эксперт выделял обрамляющей рамкой патологии одного из трех классов, рассматриваемых в данном исследовании, - ранний рак (902 кадра), рак (297 кадров), иная патология, включающая в себя изображения следующих видов патологий: кишечная метаплазия, аденома, полип, эрозия, язва, гиперплазия, ксантома (1772 кадра). Таким образом, в результате извлечения кадров из видеопоследовательностей эндоскопических исследований желудка, была получена база изображений размером 2971 кадр.

Изображения в базе распределялись между обучающей и тестовой выборками так, чтобы в обеих выборках присутствовали кадры с двух эндоскопических аппаратов в отношении примерно 1:1. Размер обучающей выборки составил 2797 изображений, размер тестовой выборки - 174 изображения. При этом в обучающей и тестовой выборках содержались изображения, принадлежащие различным пациентам.

В данном исследовании были проведены предварительные работы по устранению чересстрочной развертки для эндоскопических изображений путем деинтерлейсинга. Эта процедура позволила увеличить вдвое собранную базу изображений, при этом ее итоговый размер составил 5942 изображения.

Примеры экспертно размеченных объектов из собранной базы эндоскопических изображений приведены на рис. 1.

Разработка алгоритмов детектирования патологий на основе сверточных нейронных сетей

Предварительно обученный алгоритм детектирования осуществляет захват видеопотока с эндоскопической системы и извлечение из него кадров, их последующий анализ и отображение результатов в визуальной форме на дополнительном мониторе врача-эндоскописта (рис. 2). В качестве основы для разработки алгоритмов детектирования были выбраны СНС - подход из области глубокого обучения, показывающий высокие результаты в задачах анализа изображений [7, 9, 13-15].

Рис. 1 Примеры патологий из собранной базы эндоскопических изображений желудка: а - ранний рак желудка; б - рак желудка; в - эрозия желудка; г - кишечная метаплазия

На сегодняшний день одной из наиболее быстрых и эффективных архитектур, используемых для детектирования объектов, является СНС архитектуры 88Б [16]. Ее схема приведена на рис. 3. Данная архитектура представляет собой СНС прямого распространения, которая генерирует набор обрамляющих рамок фиксированных размеров, а также баллы за наличие объекта в рамке, после чего эти данные подаются на вход алгоритма подавления не-максимумов для окончательного обнаружения объекта в кадре.

Рис. 3 Архитектура сверточной нейронной сети SSD на основе VGG-16

Ряд начальных слоев сети SSD, так называемая базовая сеть, представляет собой стандартную архитектуру сети VGG16 [17], предназначенной для анализа изображений высокого качества (при этом отсекаются слои классификации). Далее к базовой сети добавляется вспомогательная структура, состоящая из слоев классификации и детектирования.

Другой эффективной и популярной нейросетевой архитектурой для детектирования объектов на изображениях является сеть RetinaNet [18]. Ее архитектура представляет собой единую унифицированную сеть, состоящую из магистральной сети и двух специализированных подсетей (рис. 4). В основе магистрали лежит процедура пирамиды признаков (Feature Pyramid Network - FPN) [18], работающая совместно с одной из известных сверточных нейросетей (например, ResNet50). Такая процедура позволяет выделить из исходного изображения пирамиду признаков в разных масштабах, на которых могут быть обнаружены как большие, так и мелкие объекты, что практически значимо для анализа эндоскопического исследования в разных оптических масштабах.

Рис. 4 Архитектура сверточной нейронной сети RetinaNet

При использовании сети RetinaNet все изображение покрывается густой сетью рамок-кандидатов. Первая подсеть классификации выдает предсказания о присутствии объекта в каждой из генерируемых рамок. Эта подсеть представляет собой небольшую полносвязную сеть, присоединенную к каждому уровню сети пирамиды признаков. Вторая подсеть регрессии используется для получения вектора координат рамок-кандидатов, содержащих объекты на изображении. Ее архитектура схожа с архитектурой подсети классификации.

Обучение и тестирование нейросетевых алгоритмов

Рассмотрим результаты обучения и тестирования нейросетевых алгоритмов на основе архитектур SSD и RetinaNet. Для оценки качества работы предложенных алгоритмов использовались следующие стандартные метрики [4-6]:

1) Precision (P) (точность): значение данной метрики рассчитывалось по следующей формуле:

где К - число классов.

Кроме того, в исследовании рассматривались значения функции потерь (loss-функции) в качестве параметра, характеризующего качество обучения алгоритма.

Для проведения исследования качества работы алгоритмов детектирования использовались следующие параметры запуска: в качестве оптимизатора использовался алгоритм Adam [6] (параметры: beta_1 = 0,9, beta_2 = 0,999, epsilon = 10-8). Обучение нейронной сети происходило на суперкомпьютере NVIDIA DGX-1, размер батча составлял 8 изображений. В исследовании использовалась следующая стратегия изменения скорости обучения: базовая (начальная) скорость обучения выбиралась равной 10-4, затем с 80 по 100 эпоху скорость обучения должна принимать значение 10-5, а с 100 по 120 эпоху - значение, равное 10-6. Обучение алгоритма останавливалось заранее, если значение метрики mAP на валидационной выборке не увеличивалось в течение пяти эпох.

Кривые зависимости функции потерь от числа эпох обучения для рассматриваемых нейросетевых архитектур приведены на рис. 5. Как видно из данных зависимостей, нейронные сети успешно обучились, при этом удалось достичь малых значений их функций потерь.

Результаты тестирования для алгоритмов на базе эндоскопических изображений на основе сетей 88Б и ЯеЬпа№1: представлены в табл. 1.

Таблица 1 Результаты тестирования алгоритмов детектирования

Рис. 5 Зависимость значений функции потерь, вычисленных на обучающей выборке, от числа эпох обучения: а- для сети 88Б; б - для сети КеЬпа№1

Из приведенных результатов видно, что сеть ЯеЬпа№1: значительно превосходит алгоритм 88Б с базовой частью У0016-300 согласно значению метрики шЛР (на 0,147). Однако согласно всем остальным метрикам (П, точность, полнота) наблюдается преимущество сети 88Б с базовой частью У0016-300. Значения метрики АР, вычисленные для разработанных алгоритмов детектирования для различных классов, присутствующих в тестовой базе изображений, приведены в табл. 2.

Таблица 2 Результаты анализа качества работы разработанных алгоритмов детектирования для различных классов

Как видно из приведенных результатов, сеть RetinaNet превосходит согласно значениям метрики AP подход на основе сети SSD для всех классов, рассматриваемых в данном исследовании.

Заключение

эндоскопический видеоизображение врачебный желудочный

Основные результаты, полученные в данной работе, можно сформулировать следующим образом:

— была собрана и размечена совместно с Ярославской областной клинической онкологической больницей база изображений, извлеченных из 54 видеозаписей эндоскопических исследований, итоговый размер которой составил 5942 кадра;

— были разработаны алгоритмы детектирования патологий на эндоскопических изображениях на основе сверточных нейронных сетей, при этом значение метрики mAP составило 0,771 для алгоритма на основе сверточной нейронной сети SSD и 0,808 для алгоритма на основе сети RetinaNet;

— практические результаты тестирования разработанных нейросетевых алгоритмов подтвердили реализуемость и актуальность разработки систем поддержки принятия врачебного решения с использованием методов искусственного интеллекта в эндоскопической практике.

Список литературы

1. Куваев Р. О., Никонов Е. Л., Кашин С. В. [и др.]. Контроль качества эндоскопических исследований, перспективы автоматизированного анализа эндоскопических изображений // Кремлевская медицина. Клинический вестник. 2013. № 2. C. 51-56.

2. Obukhova N., Motyko А. Image analysis in clinical decision support system. Computer vision in control systems. Springer, 2017. P. 261-299.

3. Mьnzer B., Schoeffmann K., Bцszцrmenyi L. Content-based processing and analysis of endoscopic images and videos: a survey // Multimedia Tools and Applications. 2018. Vol. 77. P. 1323-1362.

4. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М. : ДМК Пресс, 2017. 652 с.

5. Бринк Х., Ричардс Д., Феверолф М. Машинное обучение. СПб : Питер, 2017. 336 с.

6. Николенко С. И., Кадурин А. А., Архангельская Е. О. Глубокое обучение. СПб. : Питер, 2018. 480 с.

7. Lebedev A., Khryashchev V., Stefanidi A. [et al.]. Convolutional neural network for early detection of gastric cancer by endoscopic video analysis // Proc. SPIE 11433,

Twelfth International Conference on Machine Vision (ICMV 2019). https://doi.org/10.1117/12.2559446

8. Khryashchev V., Stepanova O., Lebedev A. [et al.]. Deep learning for gastric pathology detection in endoscopic images // ACM International Conference Proceeding Series, 3rd International Conference on Graphics and Signal Processing, ICGSP 2019. Hong Kong, 2019. P. 90-94.

9. Лебедев А. А., Хрящев В. В., Степанова О. А. Распознавание патологий желудка по видеоизображениям эндоскопического исследования // Новые информационные технологии и системы : сб. науч. ст. по материалам XVII Междунар. науч.- техн. конф. Пенза : Изд-во ПГУ, 2020. С. 200-203.

10. Коваленко Д. А., Гнатюк В. C. Ассоциация сцен в эндоскопических видео // GraphiCon 2017: Обработка и анализ биомедицинских изображений. Пермь, 2017. С. 269-274.

11. Liedlgruber M., Uhl A. Computer-Aided Decision Support Systems for Endoscopy in the Gastrointestinal Tract: A Review // IEEE Reviews in Biomedical Engineering. 2011. Vol. 4. P. 73-88.

12. Хрящев В. В., Ганин А. Н., Лебедев А. А. [и др.]. Разработка и анализ алгоритма детектирования патологий на эндоскопических изображениях желудка на основе сверточной нейронной сети // Цифровая обработка сигналов. 2018. № 3. С. 70-75.

13. Sharma K., Thakur N. A review and an approach for object detection in images // International Journal of Computational Vision and Robotics. 2017. Vol. 7, № 1/2. P. 196-237.

14. Zhang D., Zhang H., Li H. [et al.]. RR-FCN: Rotational region-based fully convolutional networks for object detection // Engineering Applications of Neural Networks. Springer International Publishing, 2018. P. 58-70.

15. Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016. Vol. 39, iss. 6. P. 91-99.

16. Liu W., Anguelov D., Erhan D. [et al.]. SSD: Single Shot Multibox Detector. URL: https://arxiv.org/abs/1512.02325.

17. Fully convolutional reduced VGGNet. URL: https://gist.github.com/weiliu89/ 2ed6e13bfd5b57cf81d6

18. Lin T. Y., Goyal P., Girshick R. Focal loss for dense object detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42, iss. 2. P. 318-327.

References

1. Kuvaev R.O., Nikonov E.L., Kashin S.V. [et al.]. Quality control of endoscopic studies, prospects for automated analysis of endoscopic images. Kremlevskaya meditsina. Klinicheskiy vestnik = Kremlin Medicine. Clinical Bulletin. 2013;(2):51-56. (In Russ.)

2. Obukhova N., Motyko A. Image analysis in clinical decision support system. Computer Vision in Control Systems. Springer, 2017:261-299.

3. Mьnzer B., Schoeffmann K., Bцszцrmenyi L. Content-based processing and analysis of endoscopic images and videos: a survey. Multimedia Tools and Applications. 2018;77:1323-1362.

4. Gudfellou Ya., Bendzhio I., Kurvill' A. Glubokoe obuchenie = Deep learning. Moscow: DMK Press, 2017:652. (In Russ.)

5. Brink Kh., Richards D., Feverolf M. Mashinnoe obuchenie = Machine learning. Saint- Petersburg: Piter, 2017:336. (In Russ.)

6. Nikolenko S.I., Kadurin A.A., Arkhangel'skaya E.O. Glubokoe obuchenie = Deep learning. Saint-Petersburg: Piter, 2018:480. (In Russ.)

7. Lebedev A., Khryashchev V., Stefanidi A. [et al.]. Convolutional neural network for early detection of gastric cancer by endoscopic video analysis. Proc. SPIE 11433, Twelfth International Conference on Machine Vision (ICMV 2019).

8. Khryashchev V., Stepanova O., Lebedev A. [et al.]. Deep learning for gastric pathology detection in endoscopic images. ACM International Conference Proceeding Series, 3rd International Conference on Graphics and Signal Processing, ICGSP 2019. Hong Kong, 2019:90-94.

9. Lebedev A.A., Khryashchev V.V., Stepanova O.A. Recognition of stomach pathologies by video images of endoscopic examination. Novye informatsionnye tekhnologii i sistemy: sb. nauch. st. po materialam XVII Mezhdunar. nauch.-tekhn. konf. = New information technologies and systems: collection of articles. scientific. Art. based on the materials of the XVII Intern. scientific and technical conf. Penza: Izd-vo PGU, 2020:200-203. (In Russ.)

10. Kovalenko D.A., Gnatyuk V.C. Association of scenes in endoscopic video. GraphiCon 2017: Obrabotka i analiz biomeditsinskikh izobrazheniy = GraphiCon 2017: Processing and analysis of biomedical images. Perm, 2017:269-274. (In Russ.)

11. Liedlgruber M., Uhl A. Computer-Aided Decision Support Systems for Endoscopy in the Gastrointestinal Tract: A Review. IEEE Reviews in Biomedical Engineering. 2011;4:73-88.

12. Khryashchev V.V., Ganin A.N., Lebedev A.A. [et al.]. Development and analysis of an algorithm for detecting pathologies on endoscopic images of the stomach based on a convolutional neural network. Tsifrovaya obrabotka signalov = Digital Signal Processing. 2018;(3):70-75. (In Russ.)

13. Sharma K., Thakur N. A review and an approach for object detection in images. International Journal of Computational Vision and Robotics. 2017;7(1/2):196-237.

14. Zhang D., Zhang H., Li H. [et al.]. RR-FCN: Rotational region-based fully convolutional networks for object detection. Engineering Applications of Neural Networks. Springer International Publishing, 2018:58-70.

15. Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016;39(6):91-99.

16. Liu W., Anguelov D., Erhan D. [et al.]. SSD: Single Shot Multibox Detector. Available at: https://arxiv.org/abs/1512.02325.

17. Fully convolutional reduced VGGNet. Available at: https://gist.github.com/weiliu89/ 2ed6e13bfd5b57cf81d6

18. Lin T.Y., Goyal P., Girshick R. Focal loss for dense object detection. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020;42(2):318-327.

Размещено на Allbest.ru