Контроль прогресса в изучении иностранных языков на образовательной платформе Дуолингво

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Контроль прогресса в изучении иностранных языков на образовательной платформе Дуолингво

Мухаметов И.И., студент магистратуры 3 курс, факультет иностранных языков направление подготовки: 44.04.01 педагогическое образование (профиль Иностранный язык в лингвокультурном образовательном пространстве)

ЕИ КФУ Россия, г. Елабуга Научный руководитель: Шкилёв Р.Е., доцент, к.н.

Аннотация

Цель исследования-- показать, что усложнение уровня упражнений для изучения языков в мобильном приложении Дуолингво ведет к повышению оценки прохождения итоговых тестов в данном приложении, а, следовательно, и лучшему усвоению учебного материала. Научная новизна работы заключается в доказательстве эффективности использования онлайн платформы Дуолингво в средней общеобразовательной школе в качестве дополнительного образовательного ресурса к основной учебной программе. В результате исследования было обосновано задействование платформы в условиях школы.

Ключевые слова: обучение онлайн, изучение языка, оценивание, регрессия, Дуолингво.

Annotation

Keywords: online learning, language learning, grading, regression, Duolingo.

Введение

Образовательные онлайн платформы имеют в своем распоряжении большие объемы данных того, как их пользователи работают с учебным материалом, как ориентируются в программном обеспечении и как процесс их обучения прогрессирует со временем. Благодаря таким методам как машинное обучение, статистика и психомоторика, исследователи, работающие в сферах извлечения образовательных данных (ИОД) и анализа обучения (АО), могут успешно определить учеников, рискующих бросить обучение на определенном курсе, уловить изменения в характере обучения, предсказать вероятность успешной сдачи экзаменов и охарактеризовать различные стратегии обучения, предпочитаемые учениками [1, с. 124].

Актуальность представленного исследования обусловлена тем, что Дуолингво является образовательной платформой, предоставляющей бесплатное образование в мобильном приложении и на вебсайте. Благодаря около сорока миллионам пользователей, активно использующим данный сервис каждый месяц, Дуолингво предположительно владеет крупнейшей образовательной базой данных среди образовательных и исследовательских учреждений. Исследовательская работа, ведомая в Дуолингво, использует ИОД и АО для поиска возможных улучшений процесса обучения, учебного материала и в общем изучения иностранных языков.

Для достижения указанной цели исследования следовало решить следующие задачи:

• разработать два инструмента, позволяющие более точно наблюдать за обучением изучающих языки: промежуточные тесты (Checkpoint Quiz) и упражнения для повторения ( ReviewExercises). Данные разработки учитывают игровую особенность образовательного процесса, который предполагает поддерживание мотивации и обеспечение учебным материалом.

• Задействовать группу школьников для тестирования платформы в качестве образовательного ресурса в дополнение к основной школьной программе.

• Используя прогностическое моделирование и обработку естественного языка, проанализировать траектории образовательного процесса обучающихся. Выяснить, как изменения в траектории влияют на эффективность обучения, что играет важную роль в развитии сервиса и его учебной программы.

Научная новизна работы заключается в доказательстве эффективности использования онлайн платформы Дуолингво в средней общеобразовательной школе в качестве дополнительного образовательного ресурса к основной учебной программе.

Для определения эффективности платформы Дуолингво в изучении иностранных языков, в статье применяются следующие методы исследования: эксперимент, измерение, моделирование и сравнение.

Теоретической базой исследования послужили публикации зарубежных авторов в таких дисциплинах как машинное обучение, статистика и психомоторика, извлечение образовательных данных (ИОД) и анализ обучения (АО).

Практическая значимость исследования заключается в том, что учителя иностранных языков в средних общеобразовательных школах могут задействовать образовательную платформу Дуолингво в качестве дополнительного ресурса к учебникам, соответствующим основной школьной программе.

Основная часть

Предыдущие достижения в этой сфере.

Большинство приложений в Дуолингво сфокусированы на реализации педагогических методов и на прогностическом анализе с помощью компьютерных технологий. Наиболее тематически близкими к данной статье являются исследования прогностического анализа успешности выполнения следующего упражнения и оценочного теста [2, с. 37].

Некоторые системы, рассматриваемые в других исследовательских работах, вместо полагания на мониторинг оценок предпочитают моделировать поведение учащихся при выполнении определенных упражнений курсов. Отслеживание усваивания информации является популярным подходом для составления модели понимания пользователями учебного материала. Одна из систем сравнивает Байесовскую Модель Отслеживания (БМО) с Отслеживанием Глубокого Знания (ОГЗ), используя Долгую Краткосрочную Память (ДКСП) для лучшего анализа долгосрочного обучения [3, с. 45]. Эти модели прогнозируют успешность выполнения упражнения xt+1, основываясь на результатах предыдущих упражнений (x0, ..., xt). Таким образом, каждое выполнение упражнений используется для составления оценки, отслеживания прогресса и предложения следующего учебного материала. Тем не менее, данный подход остается эффективным для оценки усвоения отдельных тем, но не для общей (холистической) оценки знания и прогресса.

Другие исследования опираются в качестве данных как на отслеживание знания, так и на оценочную информацию, чтобы определить эффективность анализируемого курса. Такой подход более популярен на образовательных платформах, где пользователь сам выбирает учебный материал. В исследовании была задействована БМО для оценки цифровой образовательной игры, а именно выходные данные модели, чтобы спрогнозировать итоговые тестовые результаты [4, с. 108]. В результате была найдена значительная положительная корреляция между выходными данными БМО и результатами итогового теста. Более того, БМО помогла определить сложные для изучения темы, что определило курс дальнейшего развития продукта. Дополнительно, исследование выяснило низкую академическую инициативность пользователей: они предпочитали повторять уже усвоенный материал, а не выполнять новые упражнения.

Отслеживание знания не является единственным методом для определения поведения пользователей по их маршруту прогрессирования по упражнениям. Многие исследователи используют методы обработки естественного языка (ОЕЯ) для комплексной оценки процессов [5, с. 46]. Например, одним из простых методов является вычисление н-граммов: монограммы для фиксирования выполнения одного упражнения, биграммы для последовательного выполнения двух упражнений подряд. Эти данные могут быть использованы для прогностических моделей поведения обычным подсчетом н-граммов или используя методы машинного обучения, такие как иерархическая кластеризация.

Оценочные системы Дуолингво. Структура курсов Дуолингво

Курсы Дуолингво организованы в серии блоков (unit), каждая из которых завершается контрольной точкой (checkpoint). Большинство курсов организованы следующим образом: 25-30 навыков (skill) в каждом блоке с пятью уровнями сложности (level) на каждый навык и 5 -6 уроков (lesson) науровень. Навыки объединены вокруг тем (theme), например, «Путешествие». Лексика, обучаемая в навыках, связана с темой (например, аэропорт, отель, паспорт), так же, как и грамматика, в основном, однородна внутри каждого навыка. Уроки стандартно состоят из 12-15 упражнений (exercise), обучающих ограниченной лексике или грамматической особенности. Составители учебной программы Дуолингво реализуют принципы спиральной учебной программы, повторно предлагая темы для изучения в более усложненных контекстах [6, с. 2]. Стандартная структура курса Дуолингво изображена на рисунке 1.

Рисунок 1. Курс Дуолингво и схема Проверочных Тестов

Пятиуровневая система для каждого навыка обеспечивает ступенчатую подачу материала, в которой пользователи изучают одинаковую лексику или грамматику в постепенно усложняющихся контекстах. Все навыки начинаются с базового уровня 0 и прогрессируют по уровням, где тот же самый материал подается через разные упражнения. Начальные уровни включают упражнения на пассивное узнавание, такое как сопоставление слов и картинок на целевом языке (ЦЯ) с эквивалентом на исходном языке (ИЯ),так как изображено на рисунке 2. Упражнения в последующих уровнях более сложны, требуя вспоминания и производства на ЦЯ (например, перевод предложения сИЯ на ЦЯ, рис.2). Достигнутый в определенном навыке уровень отображается на пользовательском интерфейсе как число внутри значка короны (рисунок 1).

(Basics1) (рисунок 1), в то время как набор навыков в следующем под ним ряду (например,

При начале курса Дуолингво не все навыки сразу доступны в первом блоке. Новый ряд открывается, как только завершен нулевой уровень навыков предыдущего ряда. Например, сначала доступен нулевой уровень Основы 1

Фразы (Phrases) и Путешествия (Travel)) станет доступным только после того, как навык Основы 1 достигнет первого уровня. Как только новые навыки станут доступны, пользователи смогут упражняться в них повторно, постепенно повышая их уровень. Таким образом, пользователи свободны сами выбирать свою траекторию обучения. Одни предпочитают разблокировать уровень 0 и перейти на следующий ряд, другие стараются поднять уровень текущего навыка до максимума. Последнее необязательно, поэтому являет собой сложность при оценке прогресса обучения.

Существуют также другие виды обучения кроме прохождения курса вышеупомянутых упражнений. Пользователи могут развивать свои навыки чтения и аудирования в разделе «Рассказы», где в контент включены как рассказы, так и интерактивные диалоги с упражнениями на понимание.

Обучающиеся дополнительно могут выполнять обобщенные упражнения для повторения всего пройденного материала. Также возможно повторение определенного навыка после прохождения всех его уровней. Если материал оказывается слишком легким, то пользователь может перескочить через навыки на итоговый тест по уровню, сдать его и перейти на следующий.

Несколько методов используются, чтобы оценить прогресс и уровень на курсе Дуолингво. В следующей главе статьи будут описаны два основных из них: промежуточный тест (Checkpoint Quiz) и упражнения для повторения (ReviewExercises).

Промежуточный Тест

В некоторых курсах Дуолингво учащиеся должны пройти специально написанный тест, как только они закончат блок и достигнут промежуточного пункта. Этот промежуточный тест оценивает насколько успешно пользователи добились целей, поставленных для них текущим блоком курса. Вопросы теста отличаются от тех, которые встречаются внутри блока, появляясь только во время прохождения теста. Таким образом обеспечивается новизна тестовых заданий для пользователей, что гарантирует эффективность тестирования. Задания были созданы экспертами учебной программы Дуолингво, в то время как специалисты оценивания провели аналитику для обеспечения их корректности.

Пользователи не получают корректирующую информацию или итоговую оценку при выполнении промежуточного теста, который можно выполнить лишь один раз. На каждом промежуточном пункте пользователи выполняют работу, состоящую из 15 случайно подобранных упражнений (из большого банка вариантов). Первые 7 заданий (дотестовые) связаны со следующим блоком в курсе, вторые 7 (посттестовые) относятся к текущему (только что пройденному) блоку. Посттестовые темы текущего блока совпадают с семью дотестовыми темами предыдущего промежуточного теста. Данная до- и посттестовая комбинация позволяет замерить прогресс по условной теме, проверяемой дважды: в до - и посттестовых вопросах. Последним упражнением является письменное упражнение для оценки текущего блока. Структура промежуточного теста изображена на рисунке 1.

В тесте оцениваются знания лексики и грамматики, понимание прослушанного и прочитанного материала, а также письмо в свободной форме, для чего используются задания, тестирующие указанные языковые навыки и компоненты. Упражнения в лексике и грамматике являются комбинацией тестовых заданий и заполнения пропусков (пользователи вводят пропущенные слова), аудирование и чтение состоят только из тестовых упражнений, в то время как письмо выполняется в развернутом виде. проверочный тест дуолингво упражнение

Упражнения для повторения

Упражнения для повторения предлагают пользователю повторить материал языковых навыков, пройденных ранее в курсе. Одно упражнение для повторения вводится в произвольно выбранные уроки базового (нулевого) уровня навыка (это относится только к навыкам выше начальных пяти). Такие задания выбираются произвольно из упражнений, хронологически расположенных за три или пять навыков до текущего. Например, случайно подобранные упражнения из навыка Животные внедряются в уроки нулевого уровня навыка Места (рисунок 3). Эти упражнения вставляются в уроки в случайном порядке, за исключением первых и последних двух упражнений. Таким образом, уроки с упражнениями для повторения будут на одно упражнение длиннее стандартных уроков. Упражнения для повторения бывают двух видов: ассистированное вспоминание и перевод сИЯ на ЦЯ и наоборот (см. нижний ряд рисунка 2).

Упражнения для повторения имеют следующие преимущества перед промежуточным тестом:

1. Доступны во всех языковых курсах;

2. Позволяют отслеживать обучение в каждом навыке курса, а не только в промежуточных тестах между блоками;

3. Генерируют больше аналитических данных, чем промежуточные тесты.

Тем не менее, упражнения для повторения имеют следующие недостатки по сравнению с промежуточным тестом:

1. Упражнения для повторения встречаются и при прохождении навыков, что вредит оригинальности тестов, где пользователь видит их не в первый раз;

2. Предложения в упражнениях для повторения пока не прошли аналитики как измерительные токены;

3. Данные в упражнениях не классифицировались на наличие лексических и грамматических компонентов, что уменьшает их достоверность для формирования учебного материала.

Таблица 1.

Ключевые различия между промежуточным тестом и упражнениями для повторения.

Пример применения

Обучающиеся на Дуолингво используют платформу разными способами. В рассматриваемом примере будет проанализировано то, как выбор типа упражнения пользователей влияет на результат. Целью является нахождение оптимальной траектории выполнения упражнений, чтобы достигнуть максимальных конечных показателей.

В данном примере будет рассмотрено как методы ИОД позволяют анализировать различные образовательной траектории, выбираемые пользователями, в особенности их поведение при повышении уровней. Также будет рассмотрено то, как этот выбор может повлиять на результат обучения. В работе будет проанализирована взаимосвязь повышения уровней и повышенной точности ответов на промежуточных тестах. Моделирование с использованием данных упражнений для повторения обозначит причинно - следственную связь между обучением на повышенных уровнях и точностью ответов в оценочных тестах.

Промежуточный тест (ПТ)

Данные

Данная работа основывается на данных ПТ на протяжении четырех месяцев. Были собраны пары до- и посттестовых ответов (например, дотестовые ответы на ПТ1 и посттестовые ответы на ПТ2). Также была собрана общая статистика поведения пользователей в оцениваемом блоке (например, количество уроков, пройденных на каждом уровне, количество рассказов, прочитанных в этом промежутке). Развернутые письменные ответы в статистику не включались.

Методы

Для вычисления степеней влияния уроков, завершенных на каждом уровне, на результат ПТ, была построена модель логистической регрессии, чтобы спрогнозировать посттестовые результаты для понятий, ошибочно усвоенных на дотестовом уровне. Основными переменными являлись количество уроков, пройденных на каждом уровне каждого навыка (например,20 уроков уровня 1, 15 уроков уровня 2). При этом не засчитывался начальный уровень 0, так как пользователи неизбежно должны его выполнить для прохождения блока. Модель учитывала и объединяла следующие данные: лексический компонент упражнения (лексика), блок (например, блок 2), язык (например, английский на английском интерфейсе), количество занятий на других ресурсах платформы (например, рассказы, общее повторение, прохождение уровней «автоматом»), начальный уровень, указанный в анкете, статус пользователя (платный или бесплатный).

Результаты

Было выявлено, что средняя точность посттестовых ответов возрастает линейно с каждым уровнем навыка (рисунок 4). Иными словами, каждый дополнительно завершенный уровень навыка повышает вероятность правильно выполненного ПТ в конце блока.

Рисунок 4. График доли правильных посттестовых ответов в зависимости от количества завершенных уровней. Синий цвет - правильные претестовые ответы на ту же тему, оранжевый - неправильные.

Данная тенденция была подтверждена результатами модели логистической регрессии (рисунок 5). Вероятность правильного ответа на посттестовый вопрос возрастает с каждым уроком на уровнях 1,2 и 4. Уровень 3 показал отрицательный коэффициент, что, вероятно, вызвано подавляющей переменной.

Рисунок 5. Данные модели логической регрессии для ПТ. Вероятность правильного ответа в зависимости от количества выполненных дополнительных уроков в разных типах заданий.

Были также сравнены величины эффекта повышения уровня с другими типами заданий, а именно рассказы, практика навыков и общая практика.

Коэффициенты повышения уровня оказали наибольшее в модели влияние. Один повышенный уровень навыков влияет больше, чем один прочитанный рассказ, практика навыка или общая практика.

Исследование ПТ показало, что прохождение пользователями уровней разной сложности во время практики учебного материала повышает результат обучения. Более того, было доказано, что завершение уроков уровней 1, 2 и 4 не только положительно коррелирует с результатами обучения, но и является наиболее положительной корреляцией среди всех видов упражнений. Однако нет четкого доказательства причинно-следственной связи. Причиной наличия корреляции может являться сознательный выбор пользователя, личная мотивация которого подталкивает его как к выполнению дополнительных уровней, так и к более успешному прохождению всего курса. Дополнительное исследование необходимо для четкого выявления вышеуказанной причинно - следственной связи.

Упражнения для повторения

Данные упражнений для повторения были использованы для выявления причинно-следственной связи между повышением уровня при выполнении упражнений и успешностью обучения. Упражнения для повторения (УДП) более уместны для такого анализа, чем ПТ, так как каждое УДП соответствует определенному уроку. Данное соответствие позволяет сравнить пользователей, показывающих идентичный паттерн поведения вне зависимости от завершения дополнительного уровня в данном уроке. Изолирование точности в одном выделенном уровне позволяет избавиться от отклонения самостоятельного выбора и установить причинно-следственную связь.

Данные

Для анализа УДП были собраны все УДП, выполненные на протяжении двух месяцев. Кроме точности ответов в УДП были собраны следующие данные: основано ли УДП на предыдущем третьем или пятом навыке, тип упражнения, вид самого навыка (рисунок 3).

Методы

Были использованы методы логистической и разрывной регрессий для определения влияния прохождения более высоких уровней на точность выполнения УДП, исключая отклонение самостоятельного выбора, характерные для пользователей, сознательно выбирающих повышение уровня, что отличает их от тех пользователей, кто отказывается от такого варианта. Разрывная регрессия является методом, где синтетический контроль применяется для наблюдений, находящихся выше или ниже определенных максим. Для начала находятся пользователи, которые выполнили любое упражнение данного уровня для навыка, присутствующего в УДП (например, минимум одно упражнение первого уровня). Далее, разделяются те, которые выполнили данный уровень урока-источника для УДП (например, уровень 1) от тех, кто выполнил данный уровень предыдущего урока, но не самого урока для УДП (например, уровень 1 предыдущего урока и уровень 0 урока - источника). Таким образом контролируются те пользователи, кто наиболее подвержены отклонению самостоятельного выбора при повышении уровня (все сравнения включают тех, кто решил поднять уровень), и находится более сильное подтверждение причинно-следственной связи между поднятием уровня и точностью выполнения УДП.

В регрессивную модель была внесена переменная с восемью уровнями, чтобы зафиксировать:

1. Самый высокий уровень, достигнутый пользователем в уроке -источнике для УДП;

2. Был ли урок-источник пройден на том же уровне, что и предыдущий урок (например, оба на первом уровне), или же урок-источник был изучен на уровень меньше, чем предыдущий урок (например, предыдущий урок уровень 0, урок-источник уровень 1).

Данная модель выдает коэффициент в форме Level 1:SameLevel, если и предыдущий и текущий (источник) уроки оба находятся на уровне 1, или в форме LevelLLowerLevel, если соответственно уроки находятся на уровне 1 и 2. Для стабильности данных коэффициентов были исключены определенные данные. Были исключены случаи, когда уровень урока-источника для УДП был поднят до 4, так как в таких ситуациях невозможно превзойти данный уровень в предыдущем уроке. Также были исключен самый первый урок курса в качестве источника за неимением предыдущего урока для контрольной сверки.

Вдобавок к главной переменной были учтены дополнительные факторы, влияющие на точность УДП: удаленность от навыка-источника (3 или 5), тип задания (перевод ИЯ-ЦЯ и наоборот), а также сложность навыка-источника. Сложность была вычислена, используя логарифм вероятности правильного выполнения УДП каждого навыка во всем курсе (^((правильный+1)/(неправильный+1))). Последнее помогало учитывать феномен уменьшения точности выполнения УДП в более сложных навыках.

Результаты

Если предположение, что поднятие уровней положительно влияет на успешность выполнения УДП верно, то ожидалось превалирование коэффициентов LevelN:SameLevelнад LevelN-LLower Level.Это показало бы, что поднятие уровней уроков-источников УДП повышает точность выполнения УДП.

Результаты модели логической регрессии показаны на рисунке 6. График показывает, что коэффициенты Level 1:SameLevelпревалируют над Level 0:Lower Level. Данная ситуация показывает, что пользователи, изучившие урок-источник для УДП дважды (на уровнях 0 и 1), более точно выполняют УДП, чем пользователи, изучившие урок-источник для УДП единожды (на уровне 0), но предыдущий урок дважды (на уровнях 0 и 1). Данное соотношение доказывает причинно-следственную связь между повышением уровня изучаемого материала и точностью выполнения УДП. График показывает похожие тренды для уровней выше первого (например, Level 2:Same Level качественнее выше LevelLLowerLevel), указывая на то, что причинно-следственную связь сохраняется, когда пользователи изучают материал на более высоком уровне, хотя и с меньшим эффектом.

Рисунок 6. Данные модели Упражнений для Повторения. Увеличение коэффициентов в связи с повышением уровней.

Выводы

На основании изучения прогрессирования пользователей, выполнявших всё более сложные задания путем повышения уровней, был сделан вывод, что такое прогрессирование положительно влияет на качество усвоения материала. Была выявлена позитивная корреляция между количеством пройденных уровней при изучении навыков и точностью ответов в Проверочных Тестах. Вариативность выбора траектории обучения может привести к отклонению самостоятельного выбора, влияющему на объективность выводов, поэтому был проведен дополнительный анализ упражнений для повторения (УДП) в целях ограничения упомянутого отклонения. Анализ УДП показал, что есть причинно-следственная связь между прохождением дополнительных уровней (выше базового) навыков и успешностью выполнения оценочного теста.

Данные результаты вызвали необходимость включения определенных изменений для мотивации учеников к прохождению дополнительных уровней. Например, были включены визуальные объяснения того, как работает система уровней. Была установлено всплывающее окно, напоминающее о возможности перехода на следующий уровень, как только окончен текущий. В результате было установлено, что такие изменения привели к десятипроцентному увеличению уроков, выполненных на каждом уровне, кроме обязательного базового, и к общему увеличению активности в мобильном приложении платформы. Данные результаты показывают, как выводы на основании изучения ПТ и УДП влияют на общий процесс обучения в Дуолингво.

Данная работа была сфокусирована на одной траектории, выбираемой пользователями Дуолингво, а именно на повышении уровней. Обучающиеся могут также выбирать иные траектории изучения навыков (прохождение всех уровней одного навыка до перехода к следующему, прохождение всего курса на одном уровне, повышение уровней в рамках одного блока), так же, как и изучение других материалов: навыки, повторение, рассказы. Данная работа может дальше развиваться в направлении создания модели эффективного обучения, включающего и упомянутые материалы. Методы для дальнейшего развития могут быть основаны на других исследовательских работах.

Перспективы дальнейшего исследования связаны с изучением потенциала и недостатков оценочных возможностей упражнений для повторения. Данные об эффективности УДП говорят о высоком потенциале данного ресурса как инструмента для оценки прогрессирования в обучении в связи с большим количеством генерируемой информации, с возможностью ограничения выборки (анализ определенных навыков), с обширностью охвата (весь курс). Также может быть изучена корреляция между успешностью выполнения УДП и урока-источника.

Образовательные платформы типа Дуолингво, где пользователи могут сами выбирать свою траекторию обучения, требуют четких инструментов для измерения прогрессирования пользователей. Ввиду того, что обучающиеся сами выбирают, какие упражнения им выполнять, измерение прогрессирования, основанное лишь на ответах в упражнениях, не является достаточным. Дуолингво использует два инструмента для измерения влияния разных методов обучения на его успешность: Проверочный Тест и Упражнения для Повторения. Использование извлечения образовательных данных позволяет подойти к лучшему пониманию того, как выбор траектории обучения влияет на его успешность и как эти данные могут помочь повысить эффективность использования платформы Дуолингво.

Использованные источники:

1. Joshua D. Angrist. Mastering Metrics: The Path from Cause to Effect. / Joshua D. Angrist.-- Princeton University Press, 2014.-- 124 с.

2. Jerome S. Bruner. The Process of Education. / Jerome S. Bruner. -- Harvard University Press, 1960.-- 37 с.

3. Thomas D. Cook. 2002. Experimental and quasi-experimental designs for generalized causal inference. / Thomas D. Cook.-- Houghton Mifflin, 2002.-- 45 с.

4. Albert T. Corbett. 1995. Knowledge Tracing: Modeling the Acquisition of Procedural Knowledge. / Albert T. Corbett. -- Princeton University Press, 1995.-- 108 с.

5. ZacharoulaPapamitsiou. 2014. Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence. / ZacharoulaPapamitsiou.-- Educational Technology and Society, 2014.--46 с.

6. Wanli Xing. 2019. Throughput Prediction in MOOCs: Using Deep Learning for Personalized Intervention / Wanli Xing.-- J Educ, 2019.-- 2 с.

Размещено на Allbest.ru