Оценка эффективности применения чат-бота как информационной поддержки преподаваемой дисциплины

Размещено на http://allbest.ru

12

Оценка эффективности применения чат-бота как информационной поддержки преподаваемой дисциплины

Быков А.А., Киселева О.М.

Аннотация

Современное развитие информационно-коммуникационных технологий приводит к постоянному появлению и популяризации различных программных продуктов и сервисов. Технологии, которые успешно показали себя в одной области, переходят и адаптируются к другим сферам деятельности человека. Так, использование виртуальных помощников, хорошо зарекомендовавшее себя в экономической области, сегодня недостаточно полно использует свой потенциал в образовательном процессе. Важной частью учебно-воспитательного процесса является информационное сопровождение учебных дисциплин, особенно актуальна его доступность в нерабочее время педагога. Чат-бот может взять на себя решение типичных проблем учащихся при работе с курсом. В статье обобщена классификация виртуальных собеседников по алгоритму, по внешнему виду и по функционалу, описано содержание разработанного виртуального помощника по курсу физики, а также приводятся результаты его внедрения в процесс преподавания дисциплины. При проведении экспериментальной части работы авторами были перенесены в педагогику метрики для оценки качества виртуальных помощников бизнес-приложений и рассмотрены как образовательные критерии оценки эффективности образовательных виртуальных помощников, так и технические. В качестве экспериментальной базы выступил ФГБОУ ВО «Национальный исследовательский университет «МЭИ» в г. Смоленске.

Ключевые слова: виртуальный помощник, чат-бот, образовательный процесс, программное обеспечение, цифровизация.

Abstract

Evaluation of the effectiveness of the use of a chatbot as information support for the taught discipline

Bykov A.A., Kiseleva O.M.

The modern development of information and communication technologies leads to the constant appearance and popularization of various software products and services. Technologies that have successfully proven themselves in one area are transitioning and adapting to other areas of human activity. Thus, the use of virtual assistants, which has proven itself well in the economic field, today does not fully use its potential in the educational process. An important part of the educational process is the information support of academic disciplines, especially its availability during non-working hours of the teacher is relevant. The chatbot can take over the solution of typical problems of students when working with the course. The article summarizes the classification of virtual interlocutors by algorithm, by appearance and by functionality, describes the content of the developed virtual assistant for the physics course, and also provides the results of its implementation in the process of teaching the discipline. During the experimental part of the work, the authors adapted metrics for assessing the quality of virtual assistants of business applications to pedagogy and considered both educational criteria for evaluating the effectiveness of educational virtual assistants and technical ones. The National Research University "MEI" in Smolensk acted as an experimental base.

Keywords: virtual assistant, chatbot, educational process, software, digitalization.

Введение

Пандемия 2020 года способствовала бурной цифровизации всех областей жизни и деятельности человека. Одной из них, несомненно, стало образование. За последние несколько лет произошла переоценка роли информационно-коммуникационных технологий в образовательном процессе. [1] Многие программные продукты, которые раньше были недостаточно востребованы в педагогике, сейчас находят новые сферы применения.

Так, современные мессенджеры позволяют постоянно находиться на связи, что, с одной стороны, способно в значительной степени решить проблему информационного голода при удаленном обучении, с другой - «крадет» нерабочее время у педагога. В большинстве случаев учащихся интересуют одни и те же организационные вопросы, и преподавателю приходится раз за разом озвучивать одни и те же ответы каждому из учащихся.

Таким образом, реализация информационной поддержки преподаваемой дисциплины становится необходимой частью удаленного образовательного процесса [2]. Данная проблема стала особенно ощутима при всеобщем переходе на дистанционное обучение в период локдаунов, однако и при нормализации эпидемиологической обстановки найденные решения остаются актуальными, особенно для дистанционного обучения, обучения заочников или пропускающих занятия по уважительной причине [3]. Одним из вариантов решения обозначенной проблемы может стать использование преподавателем чат-ботов для информационной поддержки учебного курса. Виртуальный собеседник, или чат-бот, - программа, имитирующая человеческое общение, алгоритм которой ориентирован на решение поставленных задач посредством ведения диалога [4].

Назначение чат-бота:

1) выяснение проблемы пользователя;

2) предложение варианта ее решения.

Автоматическая коммуникация с учащимся может вестись как с помощью текста, так и голосом [5]. Виртуальный собеседник осуществляет диалог от лица преподавателя или электронного помощника по учебному курсу. Его цель - довести до студента актуальную информацию в наиболее краткие сроки. Чат-бот может быть использован в качестве альтернативы переписке или звонку педагогу.

Материал и методы исследования

Для достижения поставленной цели была применена группа методов теоретического и эмпирического характера:

- анализ научной литературы по рассматриваемой теме;

- изучение передового педагогического опыта;

- педагогический эксперимент;

- методы математической обработки результатов исследования.

В современном образовании применяют различные виды чат-ботов. Они позволяют автоматизировать целый ряд процессов, например проведение консультаций, реализацию контроля знаний посредством тестирования, организацию обратной связи в виде опросов студентов с целью выявления слабых мест в организации образовательного процесса, а также оказывать своевременную информационную поддержку учащимся по различным вопросам. Обобщим классификацию образовательных чат-ботов и представим ее в виде схемы (рис. 1).

Рис. 1. Классификация образовательных чат-ботов

На практике конкретный чат-бот сложно отнести к какому-либо из видов, поскольку наиболее часто используются смешанные модели. Рассмотрим каждый из видов образовательных виртуальных помощников подробнее.

1. По алгоритму.

ь Ограниченный чат-бот взаимодействует с учащимися по заранее разработанному сценарию, содержащему ответы на наиболее часто задаваемые вопросы.

ь Саморазвивающийся виртуальный собеседник в своей основе имеет нейронную сеть, которая при достаточном количестве примеров сможет имитировать дискуссию.

2. По внешнему виду.

ь Кнопочный онлайн-помощник предоставляет студентам меню, где учащийся выбирает раздел, к которому относится его вопрос, до тех пор, пока не получит необходимый ответ. Большинство ограниченных чат-ботов имеют кнопочный вид.

ь Текстовый виртуальный собеседник распознает наиболее часто используемые в запросе слова и выражения, после чего уточняет вопрос или предлагает решение. Большинство саморазвивающихся и смешанных чат-ботов имеют текстовый вид.

ь По функционалу.

ь Коммуникационные виртуальные помощники используются для информирования путем получения ответов на интересующий вопрос. Данный вид наиболее удачно подходит для проведения консультаций.

ь Функциональные чат-боты позволяют студенту выполнять определенные действия, например переходить по ссылкам, скачивать документы, по идентификационным данным узнавать результаты контрольной работы и т.п.

Для оценки эффективности применения чат-бота как информационной поддержки преподаваемой дисциплины был выбран курс физики, для которого был разработан виртуальный помощник. Внедренный в образовательный процесс чат-бот по алгоритму относится к ограниченным, по внешнему виду - к кнопочным, по функционалу - к смешанным, так как сочетает в себе возможности и коммуникационных, и функциональных виртуальных собеседников. Разработан он был в конструкторе виртуальных помощников Вotmother для Telegram, WhatsApp, Viber, Facebook, Instagram, ВКонтакте и Одноклассников и открыт для использования в Telegram. Стартовая страница представлена на рисунке 2.

Рассматриваемый чат-бот имеет следующее содержание.

1. Раздел новостей, который регулярно пополняет преподаватель.

2. Раздел теоретического материала, содержащий ссылки на видеоконференции, видеофрагменты или тексты лекций, дополнительную литературу по рассматриваемым

темам или ссылки на нее.

Рис. 2. Стартовая страница виртуального помощника по курсу физики

3. Практический раздел включает в себя описания лабораторных работ, ссылки на необходимые для выполнения экспериментальной части: имитационные комплексы, видеоматериалы, демонстрирующие процесс выполнения работы и образцы отчетов.

4. В середине семестра проходит контрольная неделя, во время которой студенты получают предварительную оценку своей работы, поэтому в данном разделе описаны критерии получения отметок и сами результаты.

5. Требования к зачету описаны в соответствующем разделе.

6. Раздел «Обратная связь» необходим для получения отзывов студентов о курсе для дальнейшей его корректировки.

7. Категория «Часто задаваемые вопросы» содержит как сами вопросы, так и ответы на них и регулярно дополняется преподавателем.

8. Чат-бот имеет замкнутую структуру, поэтому если учащийся не находит необходимой информации, он может вернуться на стартовую страницу и написать непосредственно педагогу.

Результаты исследования и их обсуждение

В качестве критериев эффективности использования чат-бота для информационной поддержки преподаваемой дисциплины используем метрики для оценки качества виртуальных помощников бизнес-приложений [10], адаптируя их к рассматриваемой предметной области.

Критерии оценки эффективности образовательных виртуальных собеседников разделим на две группы:

ь Образовательные показатели. Они являются наиболее важными с точки зрения учебного процесса, поскольку именно они способны показать, в какой степени чат-бот выполняет свои задачи. Данные критерии могут быть разными и зависят от функций бота.

ь Количество обращений к преподавателю в мессенджерах. Значительная часть вопросов типовые, поэтому виртуальные помощники справляются с ними не хуже педагогов, а общение с преподавателем необходимо только в нестандартной ситуации.

ь Регулярность выполнения текущих заданий. Информировать учащихся о необходимости своевременного выполнения заданий - это только часть функционала виртуального собеседника, качество его работы оценивается по количеству в срок выполненных требований по учебному курсу.

ь Активация учебной деятельности. Одно из преимуществ виртуальных помощников состоит в возможности периодического напоминания о необходимости выполнять задания. Например, сообщения о сроках видеоконференций или окончании приема отчетов по лабораторным работам.

ь Количество пользователей. Если число студентов, использующих бот, растет, это означает, что пользователи были удовлетворены ответом бота ранее и охотно выбирают данный канал коммуникации.

ь Технические показатели.

ь Результативность общения с виртуальным помощником.

ь Длина пути разговора, который приводит к получению искомой информации.

ь Интерфейс виртуального помощника.

Проверка эффективности использования чат-бота, как информационной поддержки преподаваемой дисциплины, на примере физики проводилась на базе филиала ФГБОУ ВО «Национальный исследовательский университет «МЭИ» в г. Смоленске.

В эксперименте принимали участие 112 студентов и 8 преподавателей, в течение семестра пользующихся разработанным чат-ботом. Испытуемым были предложены анкеты, студентам необходимо было оценить технические показатели, а преподавателям - образовательные.

Проверка эффективности применения чат-бота по физике, как информационной поддержки преподаваемой дисциплины, дала результаты, представленные в таблицах 1, 2. виртуальный информационный учебный

Таблица 1

Количественные результаты опроса преподавателей по каждому из образовательных критериев (количество положительных оценок в %)

Таблица 2

Количественные результаты опроса студентов по каждому из технических критериев (количество положительных оценок в %)

Выводы

На основании получившихся результатов и пояснений к ответам испытуемых сделаны следующие заключения.

1. Общий достаточно высокий результат по образовательным показателям, на наш взгляд, обусловлен:

ь доступностью информационной поддержки виртуальным помощником в любое удобное для студентов время;

ь опосредованное получение информации через бота для некоторых учащихся предпочтительнее, так как часть студентов стесняется задавать вопросы или уточнять ответы педагога, если они были ими не поняты.

Кроме того, преподаватели, участвовавшие в эксперименте, отметили значительное увеличение пользователей виртуального помощника и количества обращений в конце семестра, чему способствовали как формирование определенной привычки к использованию чат-бота, так и близость зачета.

Несмотря на удобство использования данной формы коммуникации, отмеченное как педагогами, так и студентами, значительных изменений при сравнении успеваемости за семестр по дисциплине с предыдущими результатами учащихся не произошло.

2. Средний уровень технических показателей используемого бота по физике свидетельствует о необходимости доработки его содержания. С некоторыми вопросами студентам приходилось обращаться к преподавателям, используя чат виртуального помощника. Студентами было также отмечено, что интерфейс возможно было сделать более тематическим.

Целью проводимого исследования было оценить эффективность использования чат-бота как информационной поддержки преподаваемой дисциплины на примере курса физики, и общая положительная оценка всеми испытуемыми демонстрирует допустимость применения данного способа коммуникации в образовательном процессе.

При этом задача передачи части организационных проблем от преподавателя к дистанционному помощнику была выполнена успешно, что свидетельствует об эффективности применения чат-ботов в образовательном процессе.

Список литературы

1. Быков А.А., Коткина Н.А., Сенчилов В.В., Тимофеева Н.М., Киселева О.М. Пед. аспекты внедрения дистанц. курса по алгебре 9 класс для детей с особыми образ. Потреб. // Europ. Social Science Jour. 2017. № 10. С. 193-200.

2. Киселева О.М., Быков А.А., Сенчилов В.В., Тимофеева Н.М. Возможности программного обеспечения при дистанционном обучении математике детей с особыми образовательными потребностями // Евразийское научное объединение. 2017. Т. 2. № 8(30). С.111-112.

3. Тимофеева Н.М. О структурировании и наглядном представлении информации в виде интеллект-карт средствами онлайн-сервисов // Системы компьютерной математики и их приложения. 2019. Вып. 20 (2). С. 214-218.

4. Гаврилова Т.И., Тимофеева Н.М. Исследование готовности школьников к проектированию развивающих компьютерных игр // Научно-методический электронный журнал Концепт. 2014. № 6. С. 6-10.

5. Гречихин С.С. Дистанц. обучение с помощью образоват. чат-ботов в соврем. мессенджерах // Балтийс. гуманит. журнал. 2020. № 3 (32). С. 66-68.

6. Киселева О.М. Применение методов математического моделирования в обучении: автореф. дис... канд. пед. наук. Смоленск, 2007. 25 с.

7. Синякова Н.Д., Козлов С.В. Применение web-сервисов в образовании // Прикладная математика и информатика: современные исследования в области естественных и технических наук. Тольятти. 2020. С. 977-982.

8. Кузнецов В.В. Перспективы развития чат-ботов // Успехи современной науки. 2016. № 12. С. 16-19.

9. Горячкин Б.С., Галичий Д.А., Цапий В.С., и до. Эффект. использ. чат-ботов в образов. проц. // E-Scio. 2021. № 4 (55). С. 529-551.

10. Ураев Д.А. Метрики для оценки качества чат-бот приложений // Наука, техника и образование. 2019. № 9 (62). С. 36-40.

Размещено на Allbest.ru