Варьирование визуальной оценки посевов ярового рапса и возможность ее использования для создания автоматической экспертной системы

Размещено на http://allbest.ru

Варьирование визуальной оценки посевов ярового рапса и возможность ее использования для создания автоматической экспертной системы

Дмитрий Васильевич Сибирный, Людмила Николаевна Сибирная,

Нина Георгиевна Маркелова, Алина Сергеевна Баулина,

Владимир Иванович Горшков

Аннотация

В селекционной практике имеется насущная потребность автоматизировать процесс визуальной оценки сортообразцов, количество которых может исчисляться несколькими тысячами. Эту работу можно проводить с помощью нейросети, которая будет заранее обучена на полученных сотрудниками оценках. Цель нашей работы - установить, насколько визуальные оценки, сделанные разными сотрудниками, отличаются друг от друга. Исследования проводились в коллекционном питомнике ярового рапса в 2020-2021 гг. В проведении визуальных оценок принимали участие 4 сотрудника. Три сотрудника проанализировали по 500 образцов, четвертый - 220 сортообразцов. Все сотрудники с небольшим (менее 5 лет) стажем подобной работы. Обработка полученных результатов показала, что корреляция между оценками разных исполнителей не всегда достоверная, а вероятность полного несовпадения оценок, как правило, высокая. Кроме того, невозможно визуально выделить наиболее уклоняющиеся коллекционные образцы. Все это доказывает невозможность использования для обучения нейросети данных, полученных исследователями с небольшим опытом работы.

Ключевые слова: рапс яровой, коллекция, сортообразец, визуальная оценка, нейросеть

Abstract

Variation of spring rapeseed visual evaluation and the possibility of its application for automatic expert system development

In the sphere of selective breeding practice, there is areas on able demand for automatization of sample visual evaluation process, since the number of samples can be equivalent to even several thousand. One may simply as sign such a task to neural net, which can be taught in advance using people made samples. The research issue was to determine how visual evaluations made by different people vary from each other. The study was undertaken in spring rapeseed collection nursery during the period of 2020-2021. Four employees took part in the research. Three of them analyzed 500 plant samples each, the fourth analyzed 220 samples. All the employees had little experience with such work. The processing of the results has shown that the correlation of the assessments of different people is not always high. A possibility of total mismatch of the assessments, in general, is way higher than the assessment match. More over, it is impossible to visually distinguish the most imperceptible collection samples. All these results show the impossibility of involving the employees with the lack of work experience for training neural net.

Keywords: spring rape, plant collection, sample, visual evaluation, neural network

Введение

Хорошо известно, что селекция представляет собой долгий и трудоемкий процесс. В последнее время в селекции растений стали применять новые информационные технологии, позволяющие существенно облегчить селекционный процесс, а иногда даже его автоматизировать [1, 2, 3]. Особое место в практической селекции занимает визуальная оценка сортообразцов. Объективность сделанной на ранних этапах визуальной оценки зачастую определяет весь дальнейший ход селекционного процесса и сильно влияет на конечный результат. Визуальная оценка селекционных номеров - интегральный показатель, на которую влияют как многие биотические и абиотические факторы, так и морфологические признаки самого растения. Из-за этого трудно найти алгоритм визуального оценивания и написать соответствующую компьютерную программу. В настоящее время уже имеется некоторый опыт автоматизации данного вида деятельности, но это работает только в искусственных условиях [4]. В то же время существует насущная необходимость облегчить и ускорить визуальный отбор в полевых условиях. Один из возможных способов решения данной проблемы состоит в том, чтобы проводить полевую оценку образцов с помощью искусственной нейросети [5, 6]. Для эффективной оценки исследуемых образцов нейросеть должна быть заранее обучена на полевых оценках, сделанных научными работниками. Поскольку работа этой нейросети будет фактически определяться оценками, сделанными научными сотрудниками, то именно их мы и рассматриваем в данной работе. Нас не интересует эффективность визуальных оценок посевов, этому посвящены другие работы наших коллег [7, 8]. Для нас представляет интерес только то, насколько сходно разные сотрудники визуально оценивали коллекционные образцы и можно ли использовать эти данные для обучения искусственной нейросети.

Материалы и методы исследований

Исследования проводились в 2020-2021 гг. в коллекционном питомнике Липецкого научно-исследовательского института рапса - филиала ФГБНУ «ФНЦ «ВНИИМК имени В.С. Пустовойта». В первый год из коллекции ВИР было высеяно и оценено 280 образцов ярового рапса (вместе с сортом- стандартом Риф), во второй год - 220 сортообразцов, включая стандарты. Для визуальной оценки коллекционных делянок ярового рапса использовалась 5-балльная шкала (от 1 до 5 баллов, с десятыми долями баллов). Оценка проводилась в фазе полной спелости (во второй половине августа) исследователями глазомерно отдельно по каждой делянке. Учитывался весь комплекс факторов, влияющих на потенциальную величину урожая семян ярового рапса - общий вид делянки, выровненность растений по высоте и по дружности наступления фенофаз, общее количество стручков, их размеры и процент растрескивавшихся стручков, полегаемость растений, степень поражения вредителями и фитопатогенами, устойчивость к неблагоприятным погодным условиям.

В 2020 году исследования проводили 3 сотрудника, в 2021 году работу по оценке проводили 4 сотрудника. Все сотрудники с небольшим опытом самостоятельного проведения подобной работы, связанной с визуальной оценкой посевов (5 лет и менее).

Первый, второй и третий сотрудники (сокращенно:1-сотр., 2-сотр., 3-сотр.) за 2 года одновременно оценили 500 коллекционных образцов ярового рапса, четвертый сотрудник оценил за один год 220 образцов.

Далее сравнения полученных от разных исследователей оценок коллекционных образцов, их анализировали следующим образом:

1. Вычислялись корреляции оценок делянок для всех пар исследователей;

2. Для каждой пары сотрудников сопоставлялись оценки, выставленные ими для одних и тех же образцов.

Если эти оценки одинаковы или отличаются на 0,1 балла, то считается, что оценки, выставленные парой исследователей данному образцу, полностью совпадают. Если парные оценки исследуемого образца отличаются на 0,2-0,3 балла, то оценки считаются частично совпадающие. И парные оценки, отличающиеся на 0,4 балла и более, считаются несовпадающими.

3. Сопоставлялись визуально выделенные разными сотрудниками самые лучшие и самые худшие образцы (с самыми высокими и самыми низкими оценками). Все исследователи, принимавшие участие в оценке образцов, разбивались на всевозможные пары и для каждой пары применялись указанные методы.

На основе перечисленных трех методов сравнения оценок, сделанных разными сотрудниками для одних и тех же коллекционных образцов рапса, делается вывод о совпадении или несовпадении этих оценок, а также о возможности применения этих оценок для обучения искусственной нейросети.

Результаты исследований и их обсуждение

О сопоставимости оценок, сделанных разными исследователями для одних и тех же образцов, можно судить по наличию корреляции. В нашем случае коэффициент корреляции оценок для разных пар сотрудников существенно колебался - от высокого до низкого (таблица 1).

Это дает возможность считать, что визуальные оценки сортообразцов, сделанные разными сотрудниками, могут быть как близкими, так и весьма различными. Из данных таблицы 1 видно, что 1 -сотр., 2-сотр. и 4-сотр. выставляли, в целом, сходные оценки для одних и тех же образцов, а 3 -сотр. (как правило) дает оценки, резко отличающиеся от таковых своих коллег.

Таблица 1

Коэффициенты корреляции визуальных оценок для разных пар исследователей

Корреляция дает общее представление о соотношения оценок, выставленных разными исследователями. Для получения детальной картины надо сравнить оценки, выставленные разными сотрудниками для каждого изученного коллекционного образца.

Напоминаем, что было оценено 500 сортообразцов, из них 280 образцов оценили одновременно 3 исследователя и 220 образцов 4 сотрудника.

Поскольку эту работу проводили несколько сотрудников, то для наглядности мы разбили их на любые возможные пары и сравнивали отдельно визуальные оценки, сделанные участниками каждой пары для каждого сортообразца. Также при сравнении оценок каждого изученного образца участниками пары исследователей, мы условно разбили эти оценки на 3 группы:

а) на полностью совпадающие (разница 0-0,1 балла),

б) на частично совпадающие (разница 0,2-0,3 балла),

в) на несовпадающие (разница 0,4 балла и выше).

Попарное сравнение визуальных оценок показало, что вероятность получить совпадающие оценки всегда меньше вероятности получения несовпадающих (частично или полностью) оценок. Причем полное несовпадение оценок, присуждаемых одному и тому же образцу разными исследователями, имеет высокую вероятность - от 30% до 50% и более (таблица 2).

Поэтому при оценивании отдельной делянки разными сотрудниками нужно рассчитывать скорее на получение совершенно несовпадающих результатов, чем на полностью совпадающих.

Таблица 2

Процент совпадений визуальных оценок образцов ярового рапса, сделанных различными парами исследователей

Таким образом, мы видим, что полученные коэффициенты корреляции и данные сравнения оценок отдельных делянок показывают, что сама по себе визуальная оценка посевов достаточно субъективна, чтобы использовать ее при обучении нейросети. Оценки разных исследователей с небольшим практическим опытом часто сильно разнятся. Можно предположить, что при использовании комплекса визуальных оценок, полученных от разных сотрудников, скорее всего нейросеть либо вообще не обучится, либо будет выдавать случайные результаты.

Требуется рассмотреть еще один вопрос. Дело в том, что селекционера зачастую интересуют не все образцы, а лишь те, которые наиболее уклоняются от общей популяции в ту или иную сторону (положительный или отрицательный отбор). Выделение разными сотрудниками одних и тех же уклоняющихся образцов дало бы возможность обучить этому нейросеть, и это имело бы практическое значение. Поэтому, пользуясь оценками каждого сотрудника, мы выбрали "наилучшие" (с самыми высокими баллами) и "наихудшие" (с самыми низкими баллами) образцы и посмотрели есть ли совпадения для каждого года исследования. При достаточном совпадении выделяемых "крайних" образцов отрицательный эффект от несовпадения оценок по другим образцам был бы минимален. ("Наилучшие" и "наихудшие" образцы взяты в кавычки, т.к. мы выяснили, что сам процесс отбора этих образцов на основании визуальной оценки является субъективным). селекция визуальный фенотипирование рапс

В 2020 году, несмотря на достаточное количество "наилучших" образцов, выделенных разными сотрудниками, отмечено очень мало совпадений: один образец для пары 1-сотр.-2-сотр.; 4 образца для пары 1-сотр.-3-сотр.; 3 образца для пары 2-сотр.-3-сотр. Среди "наихудших" образцов совпал только один образец для пары 1 -сотр.-2-сотр. (таблица 3).

Таблица 3

"Наилучшие" и "наихудшие" образцы, выделенные сотрудниками на основании визуальной оценки делянок (2020-2021 гг.)

В 2021 году было выбрано примерно такое же количество "наилучших" образцов, как и в 2020 г. Однако погодные условия 2021 года обусловили гораздо большую полегаемость растений, чем в 2020 г. Что привело к еще большей дифференциации образцов. Это объясняет большее, по сравнению с прошлым годом, число совпадающих "наилучших" и "наихудших" образцов.

Совпадение "наилучших" образцов: 6 образцов для пары 1-сотр.-2-сотр.; 3 образца для пары 1-сотр.-3-сотр.; 5 образцов для пары 2-сотр.-3-сотр; 4 образца для пары 1-сотр.-4-сотр.; 4 образца для пары 2-сотр.-4-сотр.; 3 образца для пары 3-сотр.-4-сотр.

Совпадение "наихудших" образцов: 2 образца для пары 1-сотр.-2-сотр.; 1 образец для пары 1-сотр.-3-сотр.; 1 образец для пары 2-сотр.-3-сотр; 2 образца для пары 1-сотр.-4-сотр.; 4 образца для пары 2-сотр.-4-сотр. Для пары 3-сотр.-4-сотр. совпадений по "наихудшим" образцам нет.

Однако, возросшее количество совпадений по выделенным разными исследователями "наилучших" и "наихудших" образцов не дало практических результатов: 3-6 совместно выделенных "наилучших" форм из 220 образцов - это очень мало для практической селекции. Поэтому задача выделения из коллекции "наилучших" и "наихудших" образцов на основе визуальных оценок группы сотрудников с небольшим опытом работы, не может быть решена. По нашему предположению, увеличение числа сотрудников, привлеченных к данной работе, также не улучшит точности оценок. По-видимому, здесь сказывается небольшой опыт работы сотрудников в данной сфере деятельности. Возможные пути решения задачи визуальной выборки наиболее уклоняющихся образцов, это либо привлечение сотрудников с большим опытом данной работы (более 10 лет), либо построение экспертной системы, основанной на фактических величинах собранного урожая.

Заключение

В 2020-2021 гг. в коллекционном питомнике Липецкого научно-исследовательского института рапса - филиале ФГБНУ ФНЦ ВНИИМК проводились исследования, целью которых было выяснить, насколько соотносятся между собой визуальные оценки, выставляемые разными сотрудниками. В первую очередь нас интересовала не эффективность визуальных оценок, данных разными исследователями, а схожесть этих оценок. В 2020 году в работе участвовало 3 сотрудника, в 2021 году - 4 сотрудника. Все с небольшим опытом данного вида работы. Первые 3 исследователя оценили по 500 коллекционных делянок ярового рапса, четвертый оценил вместе со всеми 220 образцов.

Результаты исследований показали:

1. Корреляция оценок, сделанных разными сотрудниками, варьирует от низкой до высокой;

2. Процент совпавших оценок для конкретных образцов составляет около 30%, количество несовпадающих оценок либо равно, либо выше количества совпавших оценок - по факту мы имеем совершенно разные оценки для одних и тех же образцов;

3. Задача выделения наиболее отклоняющихся сортообразцов не решается на основе визуальных оценок, они либо совсем не выделяются, либо выделяются в недостаточных количествах.

Все вышесказанное дает основание полагать, что использовать визуальные оценки, сделанные группой исследователей с небольшим опытом данной работы, для построения автоматической системы визуального фенотипирования не представляется возможным.

Список источников

1. Зобова Н.В. Применение СУБД для селекционно-экологического обоснования подбора родительских пар в создании адаптивных форм ячменя // Информационные технологии, системы и приборы в АПК: Материалы международной научно-практической конференции «Агроинфо». Новосибирск, 2006. С. 147-150.

2. Кластеризация коллекционных образцов тритикале для использования в селекции / Д.И. Чанышев, А.Ф. Алейников, И.Г. Гребенникова, А.Ф. Чешкова, И.П. Степочкин // Сибирский вестник сельскохозяйственной науки. 2016. № 6. С. 90-95.

3. Алгоритм прогнозирования селекционной ценности образцов тритикале на основе искусственных нейронных сетей / Д.И. Чанышев, И.Г. Гребенникова, А.Ф. Алейников, И.П. Степочкин // Информационные технологии, системы и приборы в АПК: Матер. международной научно-практической конференции "Агроинфо-2012". Новосибирск, 2012. С. 107-113.

4. Цаценко Л. В., Савиченко Д.Л. Визуальное фенотипирование в селекции растений // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ). Краснодар: КубГАУ, 2017. № 04 (128). URL: http://ej.kubagro/2017/04/pdf/71.pdf.

5. Программно-алгоритмические средства и искусственные нейронные сети в селекции растений / А.Ф. Алейников, И.П. Степочкин, И.Г. Гребенникова, Д.И. Чанышев, Д.Н. Голышев. Новосибирск, 2008. 16 с.

6. Хайкин С. Нейронные сети: полный курс. Пер. с англ. М.: Издательский дом Вильямс, 2006. С. 1104.

7. Михкельман В.А., Кадиков Р.К. Эффективность визуальной оценки линий ярового ячменя по урожайности зерна на разных этапах селекционной работы // Известия ТСХА. 2010. Вып. 5. С. 82-87.

8. Ismail A., Walentine J. The efficiency of visual assessment of grain yield and its components in spring barley rows // Ann. Appl. Biol. 1983.102 (3). P. 539-549.

References

1. Zobova, N.V. Applying Database Management System for the selection and ecology. substant. of the selection of parental pairs to create newbarley adaptive forms. Informat. technol., syst. and devices in the agro-industr.complex: the mater. of the internat. scient. and pract. confer.AGROINFO. Novosib., 2006, pp. 147-150.

2. Chanyshev, D.I., A.F. Aleinikov, I. G. Grebennikova and I.P. Stepochkin. Clustering of triticale collection samples to be used in breeding. Siberian Herald of Agricultural Science. Novosibirsk, 2016, Issue. 6, pp. 90-95.

3. Chanyshev, D.I., I. G. Grebennikova, A.F. Aleinikov and I.P. Stepochkin. Algorithm for predicting the triticale sample breeding value based on artificial neural networks. Information technology, systems and devices in the agro-industrial complex: the materials of the international scientific and practical conference AGROINFO. Novosibirsk, 2012, pp. 107-113.

4. Tsatsenko, L.V., D.L. Savichenko. Visual phenotyp. in plant breed. Polythem. online scient. jour. of Kuban St. Agr. Univer. (Scient. jour. KubSAU). Kr-dar: KubSAU, 2017. No. 04 (128). Av.at: http://ej.kubagro/ 2017/04/ pdf/71 .pdf.

5. Aleinikov, A.F., I.P. Stepochkin, I. G. Grebennikova, D.I. Chanyshev and D.N. Golyshev. Soft- and algorithmic- ware and artificial neural networks in plant breeding. Novosibirsk, 2008. 16 p.

6. Haykin, S. Neural networks: A Comprehensive Foundation. Translated from English. Moscow: Williams Publishing House, 2006, P. 1104.

7. Mikhkelman, V.A. and R.K. Radikov. Effectiv. of visual product. evaluation of spring barley lines by grain yield at different stages of breeding work. Scient. jour.“Izvestiya of Timiryazev Agricult. Academy (TAA). 2010, Issue. 5, pp. 82-87.

8. Ismail, A. and J. Walentine. The efficiency of visual asses.of grain yield and its compon. in spring barley rows. Ann. Appl. Biol., 1983, 102 (3), pp. 539-549.

Размещено на Allbest.ru