Нейросетевое выявление проблемных участков состояния посевов методами искусственного интеллекта

Размещено на http://www.allbest.ru/

Нейросетевое выявление проблемных участков состояния посевов методами искусственного интеллекта

А.Ф. Рогачев,

И.С. Белоусов

Аннотация

Актуальность. Решение ряда проблем аграрного производства требует применения методов искусственного интеллекта (ИИ). Фенологическое оценивание состояния посевов сельскохозяйственных культур на значительных площадях, несмотря на использование беспилотных летательных аппаратов (БПЛА), в агропроизводственных условиях является весьма трудозатратным. Дополнительную сложность такого оценивания составляет многокомпонентность структуры анализируемых изображений, что определяет необходимость использования системного подхода в процессе исследований. Методы. Для интеллектуального анализа участков сельскохозяйственных полей были сформированы базы данных (БД) цветных изображений формата RGB, размеченные для четырех классов. Проанализированы архитектуры искусственной нейронной сети (ИНС), включая U-net и ее модификации, и установлены возможные ограничения для решения задачи сегментации изображений агрополей. Результаты. Проведенное исследование влияния архитектуры и гиперпараметров ИНС сегментационного типа подтвердило ее приемлемость для решения поставленной задачи. Разработана ИНС для сегментации и выявления проблемных участков агрополей на основе модификации семейства архитектур U-net. Особенностями такого подхода является последовательное уменьшение размерности изображений, использование сверточных слоев и объединение (конкатенация) таких изображений с предшествующими на различных уровнях сжатия. Проверка применимости и преимуществ сегментационного подхода проводилась на архитектуре глубокой ИНС DeepLabV3 в сочетании с ResNet50. Многократными численными прогонами процедуры обучения ИНС выявлено, что повышение точности сегментации изображений участков сельскохозяйственных полей по критерию "Dice coefficient" ограничивается величиной разрешения и качеством ручной разметки БД. Выводы. Построенное семейство архитектур ИНС на основе DeepLabV3 с ResNet50 показали достаточную эффективность и быстродействие для решения задач выявления мелиоративного состояния агрополей и определения состояния и развития растений. ИНС исследованных архитектур на основе DeepLabV3 ResNet50 продемонстрировала преимущества по критерию быстродействия. Благодаря этому такие нейросети могут использоваться в качестве алгоритмического ядра SaaS- систем, для которых скорость сегментации посредством ИНС имеет решающее значение. нейросеть мелиоративный агрополе

Ключевые слова: развитие сельскохозяйственных культур, нейросетевое распознавание, задача сегментации, искусственные нейросети, сверточные слои, U-net архитектура.

NEURAL NETWORK IDENTIFICATION OF PROBLEM AREAS OF THE STATE OF CROPS BY METHODS OF ARTIFICIAL INTELLIGENCE

A.F. Rogachev, I.S. Belousov

Abstract

Introduction. Solving a number of problems of agricultural production requires the use of artificial intelligence methods. Phenological assessment of the state of crops of agricultural crops over large areas, despite the use of unmanned aerial vehicles, in agro-production conditions is very laborintensive. An additional complexity of such an assessment is the multicomponent structure of the analyzed images, which determines the need to use a systematic approach in the research process. Materials and methods. For the intellectual analysis of agricultural fields, databases of RGB color images marked for four classes were formed. The architectures of the artificial neural network, including U- net and its modifications, are analyzed, and possible limitations for solving the problem of image segmentation of agricultural fields are established. Results and conclusions. The study of the influence of the architecture and hyperparameters of an artificial neural network of the segmentation type confirmed its acceptability for solving the problem. An artificial neural network has been developed for segmenting and identifying problem areas of agricultural fields based on a modification of the U -net architecture family. The peculiarities of this approach are the sequential reduction of the image dimension, the use of convolutional layers and the merging (concatenation) of such images with the previous ones at different compression levels. The applicability and advantages of the segmentation approach were tested on the DeepLabV3 deep artificial neural network architecture in combination with Res- Net50. Multiple numerical runs of the artificial neural network training procedure revealed that increasing the accuracy of image segmentation of agricultural fields according to the "Dice coefficient" criterion is limited by the resolution and the quality of the manual marking of the database. The constructed family of artificial neural network architectures based on DeepLabV3 with ResNet50 showed sufficient efficiency and speed to solve the problems of identifying the ameliorative state of agricultural fields and determining the state and development of plants. The artificial neural network of the studied architectures based on DeepLabV3 ResNet50 demonstrated advantages in terms of performance. Due to this, such neural networks can be used as the algorithmic core of SaaS systems, for which the speed of segmentation through an artificial neural network is crucial.

Key words: crop development, neural network recognition, segmentation task, artificial neural networks, convolutional layers, U-net architecture.

Введение

Среди методов искусственного интеллекта (ИИ), которые можно использовать для компьютерного нейросетевого выявления состояния посевов, можно выделить сегментацию их цветных изображений [13, 14] по требуемым классам.

В Постановлении Правительства РФ от 14.07.2021 г. № 717 "О государственной программе развития сельского хозяйства и регулирования рынков сельскохозяйственной продукции..." отмечено, что "... обеспечение развития АПК посредством внедрения цифровых технологий., а также оцифровка всех циклов сельскохозяйственного производства" является актуальной задачей. Отмечается также необходимость создавать "... информационную среду предприятия, состоящую из взаимосвязанных процедур слияния информации от ее составных функциональных систем: системы автоматизированного мониторинга, включая системы "автоматизированного распознавания специфики состояния элементов растительной поверхности." [2].

Задача оценки состояния элементов растительных поверхностей агрополей на значительных по протяженности площадях, фиксируемых и анализируемых в том числе в различных частях оптического спектра, является достаточно трудозатратной [19]. Компьютерные программы (см., например, Шадрин Д.Г. Программный комплекс для фенотипирования растений и оценки динамики их роста с помощью подходов искусственного интеллекта / Свидетельство о регистрации программы для ЭВМ №2022616632 и др.) позволяют обучать нейросети, построенные по архитектурам U-Net и FCN [19], для сегментации изображений агрофитоценозов с целью выявления их биологического состояния в процессе вегетации.

Входные информационные потоки получают методами дистанционного зондирования и с использованием данных других функциональных систем, включая беспилотные летательные аппараты [4, 8]. Для обработки входных данных применяют такие методы ИИ, как машинное обучение и распознавание образов. Наиболее универсальными технологиями являются глубокие искусственные нейронные сети (ИНС).

Специфической сложностью задачи оценки состояния и развития посевов различных агрокультур является многокомпонентность структур анализируемых многоцветных изображений, что обусловливает применение системного подхода в процессе компьютеризованного интеллектуального исследования, включая формирование БД, их предобработку и непосредственно анализ (патенты RU 2688234, МПК G06Q 10/06, СПК A01G 9/00; 2723189, МПК A01G 7/00, G06N 5/00, G06N 20/00, G06Q 50/02 и др.). Решение задач сегментации изображений обеспечивает повышение эффективности управления сельскохозяйственным производством [5, 11, 12].

Некоторые результаты нейросетевого решения задачи анализа и распознавания, применительно к состоянию сельскохозяйственных полей, приведенные в статьях [7, 8], показывают определенную ограниченность задачи классификации. Это обусловило переход к постановке и решению более сложной задачи сегментации [10], или "попик- сельной классификации", позволяющей получать более востребованные сельскохозяйственным производством результаты [1 ].

В то же время ряд специфических вопросов, включая методологию выбора оптимальной размерности изображений и структуры БД, обоснования эффективного сочетания гиперпараметров ИНС для решения задач интеллектуальной поддержки решений в аграрном производстве, требуют модификации подходов и дополнительного решения.

Материалы и методы. При разработке использовались встроенные библиотеки фреймворка PyTorch [6]. Архитектура сегментационной ИНС выбиралась из доступных для PyTorch модулей. В процессе исследований точность сопоставляемых архитектур оценивалась на основе датасета "COCO train2017" (http://cocodataset.Org/#home).

Для проверки гипотезы преимущества сегментационной сети была выбрана сеть DeepLabV3 ResNet50, которая характеризуется точностью, сопоставимой с DeepLabV3 ResNet101, но при этом быстрее. Архитектурно она представляет собой DeepLabV3 на основе ResNet50, которая представляет из себя структуру из последовательности свёрточных слоёв, где в каждый последующий результат объединятся с предыдущим.

Использовались известные критерии качества сегментации "Dice coefficient" (1)

и "Jaccard coefficient" (2)

Обучение ИНС реализовывалось на графическом ускорителе с использованием технологии CUDA. Применялся графический процессор Nvidia RTX 2080Ti, поддерживаемый библиотекой CUDA Toolkit 11.4. Для обеспечения обучения ИНС использовали различные виды аугментации изображений, например методом imgaug, что позволило разнообразить БД и датасет.

Результаты и обсуждение. Ранее выполненные исследования основывались на классификации заданных изображений 200x200 пикселей, что давало только общее представление о проблеме, для случая, когда выявляемая проблема участка поля имела достаточно большие размеры. Сложность обработки изображений при таком подходе квадратично растёт при увеличении линейного размера изображений, что сильно повышает требования к аппаратной части. Применение нейросети на основе сегментационного подхода (рис. 1) позволило снизить нагрузку на процессоры благодаря тому, что появилась возможность сжимать изображения.

Для формирования БД и датасетов при решении задачи сегментации использовались цветные изображения агрополей размерностью 200х 200 пикселей, полученные с помощью БПЛА (База данных цветных изображений сельскохозяйственных полей для обучения искусственных нейронных сетей / Свидет. о гос. рег. БД 2020620950 / Рогачев А.Ф., Мелихова Е.В., Боровой Е.П.). Цветные RGB-изображения размечались по 4-м классам: качественное поле, дефектное поле, прокультивированное поле (не засеянное), не поле (прочие объекты). При разметке датасета сегментирующую маску не накладывали на исходное изображение, а формировали в графическом редакторе.

В качестве архитектуры в поисковых экспериментах использовалась U-Net и DeepLabV3 (рисунок 1).

Рисунок 1 - Сегментация изображений участков агрополей

DeepLabV3 представляет собой архитектуру, которая использует блоки сверточных слоев CNN с ядрами сверток 3х 3 [17] для выделения специфических "особенностей" изображений, которые могут быть использованы для решения задачи сегментации (рисунок 2).

Рисунок 2. - Архитектуры ИНС для сегментации: а) U-Net ; б) DeepLabV3

После многократных сжатий изображений сверточными слоями ИНС формирует "новый" сегментированный образ из изображений, получаемых на различных стадиях обработки исходного, и ещё раз конкатенирует с конечным результатом работы backbone.

В проведенных экспериментах обучение ИНС проводилось как для сжатых изображениях, так и без него, при помощи дробления исходного изображения на изображения 500x500 пикселей.

Показатели IoU (Intersection over Union), характеризующие качество распознавания на тестовой выборке для различных архитектур ИНС, представлены в таблице 1.

Таблица 1 - Сравнение качества распознавания различных архитектур ИНС

Данные таблицы 1 показывают, что архитектура DeepLabV3 ResNet50 и DeepLabV3 ResNet101 демонстрируют более высокое качество работы по сравнению с FCN ResNet101.

В результате построения ИНС сегментационного типа удалось получить более детализированные маски для исходных изображений (рисунок 3).

Рисунок 3 - Сегментация изображения участков агрополей а) Исходное изображение; б) Обработка кластерами размером 500x500; в) Обротка изображения при масштабировании до 500x500

Проведенное исследование сегментации проблемных участков сельскохозяйственных полей подтвердило, что применения ИНС рассмотренных архитектур вида DeepLabV3 ResNet50 позволяют успешно решать задачи выявления мелиоративного состояния агрополей методом многоклассовой сегментации, а также выявлять состояние сельскохозяйственных растений (рисунок 3).

Повышение точности и качества сегментации изображений распознаваемых участков сельскохозяйственных полей на разных стадиях (фазах) вегетационного цикла [9, 16] сдерживается ограниченным разрешением и точностью ручной разметки dataset, используемого для обучения, а также гиперпараметрами ИНС [3, 15, 18, 20].

В качестве направления продолжения исследований планируется совершенствование БД и разрабатываемой программы сегментации. Совершенствование программы позволит обеспечить дополнительные возможности анализа временных рядов (ВР) ретроспективных изображений агрополей в процессе вегетации [19] с целью интеллектуальной оценки динамики развития растений [21], включая решение задачи нейросетевой регрессии.

Выводы

Анализ результатов исследования применения нейросети для сегментации сельскохозяйственных полей показал, что ИНС рассмотренных архитектур DeepLabV3 в сочетании с ResNet50 могут решать задачи сегментации и выявления мелиоративного состояния агрополей, а также состояния развития растений, при этом упомянутая архитектура продемонстрировала преимущества.

Повышение точности сегментации изображений распознаваемых участков сельскохозяйственных полей сдерживается ограниченным разрешением и точностью ручной разметки dataset, используемого для обучения.

Построенное семейство архитектур ИНС могут использоваться в качестве алгоритмического ядра для создания SaaS систем, при этом быстродействие используемой конфигурации ИНС может иметь решающее значение.

Совершенствование программы позволит обеспечить дополнительные возможности анализа ВР изображений сельскохозяйственных полей в процессе вегетации с целью интеллектуальной оценки динамики развития растений.

Библиографический список

1. Алексеев П.П., Квятковская И.Ю. Применение нейронных сетей в системе распознавания промысловых гидробионтов в условиях повышенной флуктуации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2022. № 2. С. 76-86.

2. Вакуленко Д., Кравец А. Реинжиниринг бизнес-процессов агропромышленных предприятий в условиях сквозной цифровой трансформации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2021. № 3. С. 115-125.

3. Исследование сверточных нейронных сетей для обнаружения объектов на аэрокосмических снимках / В.О. Скрипачев, М.В. Гуйда, Н.В. Гуйда, А.О. Жуков // International Journal of Open Information Technologies. 2022. Т. 10. № 7.

4. Комарова А.Ф., Журавлева И.В., Яблоков В.М. Открытые мультиспектральные данные и основные методы дистанционного зондирования в изучении растительного покрова // Принципы экологии. 2016. № 1. С. 40-74.

5. Лила В.Б. Алгоритм и программная реализация адаптивного метода обучения искусственных нейронных сетей // Инженерный вестник Дона. 2012. № 1.

6. Мелешко И.В., Прохоренко В.А. Разработка приложения для семантической сегментации изображений с использованием Python, PyTorch, OpenCV и Albumentations // Новые математические методы и компьютерные технологии в проектировании, производстве и научных исследованиях. Материалы XXII Республиканской научной конференции студентов и аспирантов. Гомель, 2019. С. 142-143.

7. Применение алгоритмов искусственного интеллекта для контроля паводкоопасных территорий / К.А. Курганович, А.В. Шаликовский, Ь.А. Босов, Д.В. Кочев // Водное хозяйство России: проблемы, технологии, управление. 2021. № 3. С. 6-24.

8. Рогачев А.Ф., Мелихова Е.В., Плещенко Т.В. Нейросетевая система управления программируемым аграрным производством с использованием ретроспективных данных и результатов дистанционного зондирования: монография. Волгоград: ФГБОУ ВО Волгоградский ГАУ, 2021. 172 с.

9. Рогачёв А.Ф. Математическое моделирование экономической динамики в аграрном производстве: монография. Волгоград, 2014. 172 с.

10. Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной свёрточной нейронной сети UNET // Инженерный вестник Дона. 2017. № 4.

11. Филиппов Д.В., Чурсин И.Н. Оценка качества цифровых аэрофотоснимков // Вестн. компьютер. и информац. технологий. 2018. № 1. С. 34-39.

12. Чурсин И.Н., Филиппов Д.В., Горохова И.Н. Распознавание сельскохозяйственных культур по мультиспектральным космическим снимкам высокого разрешения // Вестн. компьютер. и информац. технологий. 2018. № 11. С. 22-27.

13. A Review on Deep Learning Techniques Applied to Semantic Segmentation / GarciaGarcia Alberto, Orts-Escolano Sergio, Oprea Sergiu, Villena-Martinez Victor, Garcia-Rodriguez Jose. https://doi.org/10.48550/arXiv.1704.06857.

14. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation. http://docs.cntd.ru/document/902361843.

15. Context-sensitive image analysis for coloring nature images / A. V. Alekseev, V. L. Rozaliev, Y. A. Orlova, A. V. Zaboleeva-Zotova // Advances in Intelligent Systems and Computing. 2016. V. 451.P. 133-141.

16. Deep residual learning for image recognition / K. He, X. Zhang, X. Ren, J Sun // Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition - CVPR. Las Vegas, Nevada, USA, 2016. P. 770-778.

17. Fezan Review DeepLabv3 (Semantic Segmentation). 2020. https://medium.com/swlh/review-deeplabv3-semantic-segmentation-52c00ddbf28d.

18. Rosebrock Adrian. Intersection over Union (IoU) for object detection. https://www.pyimagesearch.com/2016/11/07/intersection-over-unioniou-for-object-detection.

19. Saiz-Rubio V. From Smart Farming towards Agriculture 5.0: A Review on Crop Data Management. https://www.mdpi.com/2073-4395/10/2/207/htm.

20. Sik-Ho Tsang Review: DeepLabv3. Atrous Convolution (Semantic Segmentation). https://towardsdatascience.com/review-deeplabv3-atrous-convolution-semantic-segmentation6d818bfd1d74.

21. Using computer modeling during evaluation of socio-labor potential of the region / Rogachev A.F., Tokarev K.E., Medvedeva L.N., Timoshenko M.A., Shiro M.S. // Perspectives on the Use of New Information and Communication Technology (ICT) in the Modern Economy. Cham, 2019. Pp. С. 989-1004.

Размещено на Allbest.ru