Размещено на http://www.allbest.ru/

1

53PDMN315

1

53PDMN315

Совместное оценивание деятельности обучающихся в массовых открытых онлайн курсах: систематический обзор литературы

Дацун Наталья Николаевна



Массовые открытые онлайн курсы (Massive Open Online Course, MOOC) имеют потенциал для бесплатного образования университетского уровня в огромных масштабах.

С одной стороны, MOOC представляют собой попытку расширить возможности обучающихся, побуждая их к личностно-ориентированным мероприятиям, таким как коллегиальное оценивание в качестве средства принятия критической педагогики [5].

Однако, серьезной проблемой MOOC остается небольшая доля тех, кто завершает такие курсы. В нашей статье мы фокусируем исследование на STEM-дисциплинах (Science, Technology, Engineering and Mathematics). По данным исследования [9] и обзора [10], процент завершения обучения на STEM-курсах остается крайне низким и колеблется от 0.9% (курс “CS50x - Introduction to Computer Science I”) до 19.2% (“Functional Programming Principles in Scala”).

Среди основных причин высокого уровня отсева обучающихся называется чувство изоляции, вызванное отстутствием быстрой обратной связи от инструктора курса о выполненном задании [10]. Модели сотрудничества для взаимодействия между инструкторами и обучающимися рассмотрены в работах [4, 7, 8].

Деятельность обучающихся в MOOC, подлежащая оцениванию, разнообразна: ответы в тестах-опросах, вкрапленных в видеолекции, ответы в еженедельных / модульных тестах, выполнение письменных заданий (эссе) и/или лабораторных работ, курсовых проектов и пр. Низкая активность включения инструктора в оценивание деятельности обучающихся MOOC связана с тем, что инструктор не в состоянии своевременно оценить и подготовить отзывы на эссе или задания по программированию сотен или тысяч обучающихся [15], на которые требуется несколько дней или недель.

Выделяют четыре типа оценивания результатов деятельности обучающихся MOOCs:

1) самооценивание [5, 17];

2) автоматическое (машинное) оценивание [10, 12, 14];

3) совместное оценивание [4, 5, 10, 12, 14, 15, 16];

4) профессиональное оценивание (инструктором курса) [15, 16].

Оценивание отдельных видов деятельности студентов может быть автоматизировано, например, вопросы с множественным выбором в тестах. Остальные виды заданий требуют взаимодействия “человек-человек”, а не человеко-машинного взаимодействия [16]. Одним из решений по сокращению времени отклика на выполнение заданий обучающимися MOOC является масштабирование количества оценщиков (грейдеров) при использовании технологий краудсорсинга для совместного оценивания. Потенциально при таком подходе количество грейдеров курса совпадает с количеством его участников.

В социальных науках, медицине и программной инженерии используют систематическое исследование литературы с представлением результатов в виде карт (Systematic Mapping Study, SMS) [1, 11]. По тематике MOOC были выполнены систематическое исследование литературы за 2008-12 гг. [13] и систематическое картографирование за 2008-14 гг. [6]. Однако систематическое исследование литературы по совместному оцениванию деятельности обучающихся (СОДО) в MOOC отсутствует.

Целью статьи является изучение результатов научных исследований по совместному оцениванию деятельности обучающихся MOOC, направленного на формирование быстрой обратной связи со студентами с целью снижения уровня их отсева с MOOC. Методом проведения исследования является систематическое исследование литературы 2012-15 гг. в виде SMS.

Систематическое картографирование литературы

Систематические исследования литературы с представлением результатов в виде карт (систематическое картографирование) [11] представляет собой процесс из пяти последовательных этапов. В модели SMS на рис. 1 названия состояний соответствуют названиям этапов исследования, названия внутренних действий - формированию результатов. Результаты этапов 1-4 являются исходными данными для последующих этапов (2-5 соответственно).

Рис. 1. Модель Systematic Maping Study в виде диаграммы состояний

Определение исследовательских вопросов

Исследовательские вопросы (ИВ) в SMS определяют для выделения области и фокуса работы. По результатам проведения этапа 1 нашего SMS были сформулированы два вопроса:

ИВ1. Как выглядит пейзаж исследований за 2012-15 гг. совместного оценивания заданий обучающихся MOOC?

ИВ2. Какие подходы совместного оценивания деятельности обучающихся используются для снижения уровня их отсева с MOOC?

Проведение поиска

Стратегия поиска и источники данных публикаций результатов НИР

Предварительные исследования публикаций результатов научно-исследовательских работ по тематике MOOC, выполненные нами ранее [2, 3], показали, что рост потока публикаций связан с активным использованием коннективистских MOOC (cMOOS). SLR с высшим индексом цитирования по тематике MOOC и охватывает период 2008-12 гг. [13]. Поэтому в нашем исследовании был выбран временной интервал публикаций за период с 2012 г. по 2015 г. (последняя дата обращения 31.07.2015 г.).

Методика проведения SMS [11] рекомендует к рассмотрению публикации, информация о которых представлена в научных электронных библиотеках: SpringerLink, ScienceDirect, IEEE Xplore, ACM Digital Library. В нашем исследовании этот список расширен наукометрическими базами данных Scopus и Webofknowledge. Для того, чтобы получить актуальную иформацию за 2015 г., в список была включена поисковая система Google Scolar.

Первичное исследование

Основными ключевыми словами поиска в нашем SMS являются “MOOC” (или “Massive Open Online Course”, или "Massively Open Online Course") и “grading” (или “grader”, или “graded”). Поэтому в соответствии с рекомендациями о проведении SMS [11] исходная поисковая строка имела вид “MOOC” AND “grad*”. С учетом различий функциональных возмодностей выбранных нами для исследования источников данных публикаций поисковая строка была адаптирована для соответствующего инструмента поиска. В результате проведения второго этапа SMS по поиску публикаций были найдены 1491 статья первичного исследования (табл. 1).

Таблица 1.Результаты поиска первичного исследования

Библиотека / база данных / архив	Общее количество в первичном исследовании	Количество отобранных первичного исследования	Количество релевантных первичного исследования	Процент релевантных первичного исследования
Webofknowledge	60	10	0	0 %
IEEE Xplore	177	25	4	0, 27 %
ACM Digital Library	241	19	10	0, 67 %
SpringerLink	313	1	1	0, 07 %
ScienceDirect	286	1	1	0, 07 %
Scopus	41	39	5	0, 34 %
Google Scolar	365	109	20	1, 35 %
Всего	1491	212	41	2, 76 %

Наибольшее количество статьей первичного исследования было найдено с помощью Google Scolar (365 найденных публикаций или 24, 61% из всех найденных), SpringerLink (313 публикации или 21, 11% соответственно) и ScienceDirect (286 публикаций или 19, 29%). Однако в качестве базовых результатов поиска для первичного отбора были использованы библиотеки ACM Digital Library (241 публикация или 16, 25% из всех найденных) и IEEE Xplore (177 публикаций или 11, 94% соответственно), которые не содержат дубликаты в отличие от ScienceDirect и SpringerLink.

Скриниг документов

На этапе 3 нашего SMS статьи были упорядочены с целью удаления повторяющихся публикаций. Количество отобранных (уникальных) публикаций первичного исследования представлено в табл. 1.

Отбор релевантных документов

В соответствии с рекомендациями о проведении SMS [11] на этом этапе были cформулированы критерии включения и исключения статей в корпус исследуемых публикаций первичного исследования.

Критерии включения следующие:

1) в публикациях рассмотрены исследовательские вопросы нашего SMS (ключевые слова “crowd”, “peer grading” и “peer assessment”);

2) статьи опубликованы в периодических научных изданиях или материалах научных симпозиумов, конференций или семинаров;

3) тематика публикаций связана с использованием MOOC в высшем профессиональном образовании таких направлений подготовки как технические и информационные технологии (ИТ).

Критерии исключения следующие:

1) публикации представляют собой обзоры литературы, оглавления или аннотации книг, сопроводительные части сборников трудов конференций, постеры и презентации докладов;

2) объем публикации менее трех страниц текста.

После применения указанных критериев в корпус релевантных работ первичного исследования были отобраны 41 публикация или 2, 76% найденных на первом этапе (табл. 1), что представляет собой репрезентативную выборку. Исследуемый корпус публикаций приведен в табл. 2.

Таблица 2 Корпус первичных исследований

Номер НИР	Выходные данные о НИР
И1	A case for ordinal peer-evaluation in MOOCs / Shah N.B. [et al.]. Proc. of the NIPS '13. P. 1-10.
И2	A factorization approach to evaluate open-response assignments in MOOCs using preference learning on peer assessments / Luaces O. [et al.]. KBS. 2015. Vol. 85. P. 322328.
И3	Admiraal W., Huisman B., Pilli O. Assessment in Massive Open Online Courses. EJ eL. 2015. Vol. 13. P. 208-217.
И4	An Algorithm for Peer Review Matching in Massive Courses for Minimising Students' Frustration / Estйvez-Ayres I. [et al.]. JUCS. 2013. Vol. 19. №15. P. 2173-2197.
И5	An integrated framework for the grading of freeform responses / Mitros P. [et al.]. Proc. of the LINC '13. 2013. P. 324-328.
И6	Bachelet R., Zongo D., Bourelle A. Does peer grading work? How to implement and improve it? Comparing instructor and peer assessment in MOOC GdP. Proc. of the European MOOCs Stakeholders Summit 2015. Research Track. <halshs-01146710v2>
И7	Berkling K., Thomas C. Looking for Usage Patterns in e-Learning Platform. Proc. of the CSEDU '14. 2014. P. 144-152.
И8	Billingsley W., Steel J.R.H. Towards a supercollaborative software engineering MOOC. Proc. of the ICSE Companion '14. 2014. P. 283-286.
И9	Caragiannis I., Krimpas G.A., Voudouris A.A. Aggregating Partial Rankings with Applications to Peer Grading in Massive Online Open Courses. Proc. of the AAMAS '15. 2015. P. 675-683.
И10	Chinmay E.K., Michael S.B., Scott R.K. PeerStudio: Rapid Peer Feedback Emphasizes Revision and Improves Performance. Proc. of the L@S '15. 2015. P. 75-84.
И11	Das A.K., Das A., Das S. Present Status of Massive Open Online Course (MOOC) initiatives for Open Education Systems in India-An Analytical Study. AJ MS. 2015. Vol. 3.
Номер НИР	Выходные данные о НИР
	Iss. 7. P. 67-80.
И12	Does MOOC really work effectively / Di Chen [et al.]. Proc. of the MITE '14. 2014. P. 272277.
И13	Evaluating the crowd with confidence/ Joglekar M. [et al.]. Proc. of the KDD '13. 2013. P. 686-694.
И14	Falakmasir M.H., Ashley K.D., Schunn C.D. Using argument diagramming to improve peer grading of writing assignments. Proc. of the AIED '13. 2013. Vol. 1009. P. 41-48.
И15	Game theory based peer grading mechanisms for MOOCs / Wu W. [et al.]. Proc. of the L@S '15. 2015. P. 281-286.
И16	Grading the Graders: Motivating Peer Graders in a MOOC / Lu Y. [et al.]. Proc. of the WWW '15. 2015. P. 680-690.
И17	Incentivizing Peer Grading in MOOCS: an Audit Game Approach / Carbonara A. [et al.]. Proc. of the IJCAI '15. 2015. P. 497-503.
И18	Investigating Incentives for Students to Provide Peer Feedback in a Semi-Open Online Course: An Experimental Study / Neubaum G. [et al.]. Proc. of the OpenSym '14. 2014. doi:10.1145/2641580.2641604.
И19	Jordan K. Massive open online course completion rates revisited: Assessment, length and attrition // IRRODL. 2015. Vol. 16. N. 3. P. 341-358.
И20	Leуn-Urrutia M., Davis H. Challenges in the Creation, Development and Implementation of MOOCs: Web Science Course at the University of Southampton. Comunicar. 2015. Vol. XXI. №. 44. P. 37-43
И21	Luo H., Robinson A.C., Park J.-Y. Peer grading in a MOOC: Reliability, validity, and perceived effects. JALN. 2014. Vol. 18, Iss. 2. P. 1-14.
И22	Mi F., Yeung D.Y. Probabilistic Graphical Models for Boosting Cardinal and Ordinal Peer Grading in MOOCs. Proc. of the AAAI '15. 2015. P. 454-460.
И23	Mitros P., Sun F. Creating Educational Resources at Scale. Proc. of the ICALT '14. 2014. P. 16-18.
И24	Nath A., Agarwal S. Massive Open Online Courses (MOOCs) - A comprehensive study and its application to green computing in higher education institution. IJ ETER. 2014. Vol. 2, No. 2. P. 7-14.
И25	Onah D.F.O., Sinclair J., Boyatt R. Dropout rates of massive open online courses: behavioural patterns. Proc. of the EDULEARN '14. P. 1-10.
И26	Peer assessment in MOOCs using preference learning via matrix factorization / Dэez J. [et al.]. Proc. of the NIPS '13. 2013. P. 1-6.
И27	Peer and self assessment in massive online classes / Kulkarni C. [et al.]. Proc. of the ACM CHI '13. 2013. Vol. 20. Iss. 6. Article number 33.
И28	Raman K., Joachims T. Bayesian Ordinal Peer Grading. Proc. of the L@S '15. 2015. P. 149-156.
И29	Raman K., Joachims T. Methods for ordinal peer grading. Proc. of the KDD '14. 2014. P. 1037-1046.
И30	Reisman S. The Future of Online Instruction, Part 2. Computer. 2014. Vol. 47, Iss. 6. P. 8284.
И31	Sбnchez-Vera M.M., Prendes-Espinosa M.P. Beyond objective testing and peer assessment: alternative ways of assessment in MOOCs. RUSC. 2015. Vol. 12. Iss. 1. P. 119-130.
И32	Sandeen C. Integrating MOOCS into traditional higher education: the emerging “MOOC 3.0” Era. MHL. 2013. Vol. 45. Iss. 6. P. 34-39.
И33	Schmidt D.C., McCormick Z. Producing and delivering a coursera MOOC on pattern-
Номер НИР	Выходные данные о НИР
	oriented software architecture for concurrent and networked software. Proc. of the SPLASH '13. 2013. P. 167-176.
И34	Shih T.K., Chiou Yi. Auto Grouping and Peer Grading System in Massive Open Online Course MOOC. IJ DET. 2015. Vol. 13. Iss. 3. P. 25-43.
И35	Some Scaling Laws for MOOC Assessments / Shah N.B. [et al.]. Proc.o the KDD '14. 2014. P. 1-8.
И36	The Effect of Peer Assessment Rubrics on Learners' Satisfaction and Performance within a Blended MOOC Environment / Yousef A.M.F. [et al.]. Proc. of the CSEDU '15. 2015. P. 148-159.
И37	Tuned models of peer assessment in MOOCs / Piech C. [et al.]. Proc. of the EDM '13. 2013. P. 153-160.
И38	Vista A., Care E., Griffin P. A new approach towards marking large-scale complex assessments: Developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review. AWr. 2015. Vol. 24. P. 115.
И39	Vogelsang T., Ruppertz L. On the validity of peer grading and a cloud. teaching assistant system. Proc. of the LAK '15. 2015. P. 41-50.
И40	Walsh T. The PeerRank method for peer assessment. Proc. of the ECAI '14. 2014. P. 909- 914.
И41	Wei Z., Wu W. A Peer Grading Tool for MOOCs on Programming. Proc. of the ICYCSEE '15. 2015. P. 378-385.

Наибольшее количество публикаций в корпусе отобрано из Google Scolar (20 работ или 1, 35% найденных при первичном исследовании). Наукометрические базы данных представлены так: ACM Digital Library (10 статей или 0, 67%), Scopus (5 статей или 0, 34%) и IEEE Xplore (4 статьи или 0, 27%), что гарантирует высокий уровень отобранных для исследования публикаций.

Ключевые слова с помощью аннотации

На этом этапе SMS исследуются аннотации релевантных статей. В них ищутся “ключевые слова”, характерные для исследовательских вопросов, и создаются соответствующие классификационные схемы.

Для ответа на ИВ1 необходимо провести исследование корпуса релевантных статей: 1) по годам публикации и по периодическим изданиям / научным конференциям (ключ “Publication”);

2) по географическому признаку (ключ “Authors”).

ИВ2 требует выделить кластеры публикаций по подходам к совместному оцениванию деятельности обучающихся MOOC, используемые для снижения уровня их отсева. Для этого необходимо воспользоваться классификациями подходов, которые используются в современных системах e-learning (ключи для аннотации статьи: “model”, “approach” и “algorithm”).

Извлечение данных и картографирование процесса

Результаты этапа 4 нашего SMS представлены в этом разделе в виде карт. Публикационная активность по тематике оценивания деятельности обучающихся в MOOC представлена в виде карты (рис. 2).

Рис. 2. Карта публикационной активности

Список научных журналов и трудов конференций, в которых представлены статьи по исследуемой тематике, приведен в табл. 3.

Таблица 3 Список научных журналов и конференций

Список журналов
Акроним	Полное название
ACM CHI	ACM Transactions on Computer-Human Interaction
AJ MS	Asian Journal of Multidisciplinary Studie
AWr	Assessing Writing
Computer	Computer
Comunicar	Comunicar. Media Education Research Journal
EJ eL	Electronic Journal of e-Learning
IJ DET	International Journal of Distance Education Technologies
IJ ETER	International Journal of Emerging Trends in Engineering Research
IRRODL	The International Review of Research in Open and Distance Learning
JALN	Journal of Asynchronous Learning Network
JUCS	Journal of Universal Computer Science
KBS	Knowledge-Based Systems
MHL	The Magazine of Higher Learning
RUSC	RUSC. Universities and Knowledge Society Journal
Список симпозиумов, конференций и семинаров
Год	Акроним	Полное название
2013	AIED '13	16th International Conference on Artificial Intelligence in Education
	EDM '13	6th International Conference on Educational Data Mining
	KDD '13	19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
	LINC '13	The Sixth Conference of MIT's Learning International Networks Consortium
	NIPS '13	27th Neural Information Processing Systems: Workshop on Data Driven Education
	SPLASH '13	Conference on Systems, Programming, & Applications: Software for
		Humanity
2014	CSEDU '14	6th International Conference on Computer Supported Education
	ECAI '14	21st European Conference on Artificial Intelligence
	EDUCON '14	IEEE Global Engineering Education Conference
	EDULEARN '14	6th International Conference on Education and New Learning Technologies
	ICALT '14	IEEE 14th International Conference on Advanced Learning Technologies
	ICSE '14	36th International Conference on Software Engineering
	KDD '14	20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining
	OpenSym '14	International Symposium on Open Collaboration
2015	AAAI '15	Twenty-Ninth AAAI Conference on Artificial Intelligence
	AAMAS '15	14th International Conference on Autonomous Agents and Multiagent Systems
	CSEDU '15	7th International Conference on Computer Supported Education
	ICYCSEE '15	International Conference of Young Computer Scientists, Engineers and Educators
Год	Акроним	Полное название
	IJCAI '15	24th International Joint Conference on Artificial Intelligence
	L@S '15	Second ACM Conference on Learning @ Scale
	LAK '15	Fifth International Conference on Learning Analytics And Knowledge
	WWW '15	24th International Conference on World Wide Web

За период 2012-2015 гг. в каждом из журналов была опубликована одна работа по тематике совместного оценивания в MOOC. На рис. 3 представлена top-3 каналов публикаций в трудах научных конференций. В трудах остальных научных мероприятий опубликовано по одной работе исследуемой тематики.



Рис. 3. Количество публикаций в материалах конференций

Результаты кластеризации публикаций по географическому принципу в виде карты отображены на рис. 4.

Рис. 4. Географическое распределение первичных исследований

Для ответа на ИВ2 предлагается использовать набор категорий подходов к совместному оцениванию, представленный в табл. 4.



Таблица 4 Категории подходов СОДО в MOOC

Номер категории	Название подхода совместного оценивания
I	Краудсорсинг в оценивании (crowdsourcing)
II	Коллегиальное оценивание (peer grading)
III	Количественное и порядковое коллегиальное оценивание (cardinal and ordinal peer grading)
IV	Коллегиальный обзор (peer review)
V	Коллегиальное оценивание и самоценивание (peer grading and self grading)
VI	Коллегиальное оценивание и автооценивание (peer grading and autograding)
VII	Коллегиальное оценивание и оценивание инструктором

Кластеризация публикаций по подходам к совместному оцениванию представлена на рис. 5.

Рис. 5. Количество публикаций по категориям методов оценивания

Содержание кластеров классификации НИР представлено в табл. 5. Полужирным шрифтом выделены номера исследовательских работ, к полному тексту которых есть открытый доступ в Интернет. Курсивом выделены номера исследовательских работ, к полному тексту которых есть доступ при регистрации на сайте соответствующего хранилища данных или в профессиональном сообществе. Подчеркнутым шрифтом выделены номера исследовательских работ, к презентации доклада которых есть открытый доступ.



Таблица 5 Общая характеристика исследований системы методов совместного оценивания деятельности обучающихся в MOOC

Категория	Научно-исследовательские работы
I	И13, И23, И30, И33,
II	И8, И10, И11, И12, И15, И16, И17, И18, И19, И20, И21, И25, И26, И31, И32, И34, И36, И37, И40, И41
III	И1, И2, И9, И22, И28, И29
IV	И4, И14, И38
V	И3, И5, И7, И24, И27
VI	И35
VII	И6, И39

Обсуждение

Свидетельством формирования вектора исследований по совместному оцениванию заданий обучающихся MOOC за период 2012-15 гг. являются результаты изучения ИВ1. Количественный анализ корпуса работ первичного исследования показал, что число научных публикаций выросло с 10 в 2013 г. до 19 в 2015 г. с провалом в 2012 г.

Источниками публикаций являются журналы различного профиля: педагогики

(Comunicar, MHL), инженерии (IJ ETER), технологий цифрового обучения (EJ eL, IJ DET, IRRODL, JALN), компьютерных и информационных технологий (ACM CHI, Computer, IRMJ, JALN, JUCS), лингвистики (AWr), искусственного интеллекта (KBS, RUSC). Доклады по тематике, исследуемой в SMS, были представлены как на традиционных международных конференциях, продолжающихся несколько десятилетий (AAAI, AAMAS, AIED, ECAI, ICALT, ICSE, IJCAI, KDD, WWW), так и на научных мероприятиях инновационных направлений исследований (CSEDU, EDUCON, EDULEARN, EDM, LINC, NIPS, OpenSym, SPLASH, LAK). Также наше исследование выявило формирование конференции Association for Computing Machinery (ACM) нового направления -- L@S) -- по проблемам масштабного обучения. За два года существования этой конференции она возглавила список лидеров публикационной активности по тематике совместного оценивания деятельности обучающихся

MOOC: в корпусе первичных исследований представлен один доклад 2014 г. и 3 доклада 2015 г.

Географическое распределение корпуса первичных публикаций показывает, что около половины НИР выполнены авторами из США (44%). Исследователи Европы выполнили 34% НИР, ученые Азии - 15%, ученые Австралии - 7%. С одной стороны такое распределение соответствует преобладанию на рынке образовательных услуг MOOC-провайдеров из США (Coursera, EdX, MIT и др.). С другой стороны, свидетельством распространения массового открытого образования в странах с различными индексами человеческого развития являются НИР, выполненные вне США.

Дополнительно анализ кластаризации публикаций по географическому принципу показал следующее. Большинство исследований по совместному оцениванию деятельности обучающихся выполнены в академических учебных заведениях (23 публикации или 56, 1%) одной страны или их консорциумами (7 или 17, 07%), так и в кооперации учебных заведений нескольких стран (2 публикации или 4, 88%).

Результаты НИР по совместному оцениванию деятельности обучающихся в MOOC опубликовали исследователи 14 академических учебных заведений высшего образования США. В top-3 вошли Stanford University - 4 публикации, Cornell University и University of California (Berkeley) - по 2. Остальные высшие учебные заведения США представлены в корпусе публикаций одной работой, в том числе такие известные как Massachusetts Institute of Technology (MIT) и Carnegie-Mellon University. Другие страны представлены НИР ведущих университетов по цифровому обучению: такими как Йcole Centrale de Lille (Франция), Aachen University (Германия), Universidad Carlos III de Madrid и University of Murcia (Испания), Diophantus (Греция), University of Melbourne (Австралия), Shanghai Jiaotong University (Китай), National Central University (Тайвань).

Особо следует подчеркнуть, что по тематике нашего SMS представлены результаты исследований не только академических учебных заведений, а также MOOC-провайдеров (EdX, iversity) и их консорциумов с университетами (edX+MIT, Coursera+Stanford University), а также учебных заведений открытого образования (The Open University, Великобритания) и адинистративных образовательных учреждений (American Council on Education).

Результаты анализа корпуса публикаций по составу авторского коллектива свидетельствуют о том, что только часть работ (6 публикаций или 14, 63% корпуса публикаций) выполнены авторами самостоятельно. Остальные публикации подготовлены коллективами исследователей: более половины НИР (21 публикация или 51, 22%) выполнены коллективами из 2-3 человек, но имеются и коллективы с численностью более 5 человек (3 публикации или 7, 32%).

Таким образом, качественный анализ корпуса публикаций показал, что совместное оценивание деятельности студентов MOOC является актуальным и междисциплинарным направлением научных исследований. Также этот анализ показал, что за период с 2012 г. произошло существенное изменение географии исследований по совместному оцениванию деятельности обучающихся. 2012 г. характерен отсутствием публикаций по тематике нашего исследования. В 2013 г. в корпусе публикаций представлены 8 работ из США и 2 из Испании, в 2014 г. - работы из 6 стран, в 2015 г. - из 15. Эти данные являются свидетельством создания в различных странах баз данных учебной аналитики MOOC, информация которых становится предметом научных исследований.

Современные подходы к совместному оцениванию заданий, выполненных обучающимися в MOOC, и направления совершенствования деятельности инструкторов в их рабочем пространстве по стимулированию студентов-оценщиков были выявлены при изучении ИВ2.

В НИР категории I исследуются возможности применимости методов краудсорсинга для масштабируемой оценки в сфере образования [И30] при организации оценивания деятельности обучающихся MOOC. С одной стороны, эти методы позволяют снизить нагрузку на инструкторов курса при повторении задачи оценивания тысяч представленных заданий [И23]. С другой стороны, контроль качества работника является важным аспектом любой системы краудсорсинга. Поэтому в [И13] предложены методы генерации доверительных интервалов для точности оценок грейдеров, участвующих в процессе совместного оценивания. С учетом разнородности уровня сформированности компетенций оценивания у обучающихся MOOC эти интервалы обеспечивают эквивалент «гарантии» безошибочности оценки “толпы”. В MOOC, предназначенных для обучения программированию, метод краудсорсинга оказался полезным при оценивании заданий, выполненных обучающимися на тех языках программирования, которые чужды инструкторам курса [И33]. В результате студенты смогли адаптировать курс, чтобы удовлетворить свои потребности и интересы.

“Peer grading” или коллегиальное оценивание (КО), представленное в публикациях категории II, является самым популярным подходом организации совместного оценивания. Этот вариант СОДО используется в MOOC, основанных на различных теориях обучения:

1) в когнитивно-бихевиористских MOOC (xMOOC) наряду c применением автооценивания [И11, И31];

2) в коннективистских (cMOOC) [И20, И31] и в гибридных MOOC [И32] как самостоятельный вид оценивания.

Автоматическое оценивание в основном ограничено STEM-дисциплинами [И5] и применяется в “FACT-ориентированных” MOOCs (например, в курсах классической или дискретной математики) [И33]. Для многих других дисциплин, в том числе для “Дизайнориентированных” MOOCs STEM-дисциплин [И33], наблюдается рост использования коллегиального оценивания, когда обучающиеся оценивают друг друга. Таким образом, число грейдеров автоматически масштабируется по числу обучающихся на курсе [И35]. Поскольку обучающиеся не являются грейдерами-экспертами, они предварительно должны овладеть оценочной рубрикой. Обычно система КО курса предусматривает оценку каждым студентом заданий, представленных n (2?n?5) другими студентами и формирование обратной связи на основе рубрик. Затем студент получает коллегиальные оценки от n других студентов. Итоговая оценка за представленное задание формируется на основе этих отдельных отметок (чаще всего вычисляется как среднее из них) [И10, И35, И40].

Такая модель КО исследуется в публикациях категории II как базовая:

1) для обеспечения обучающихся быстрой и полезной обратной связью [И10, И17, И21, И31];

2) при выполнении командного проекта для оценки взаимного вклада каждого члена команды в MOOC по программированию или программной инженерии при разработке аркадной игры [И8];

3) для выявления путей стимулирования грейдеров, контроля качества оценивания, повышения качества и достоверности результатов оценивания [И12, И17, И26, И31, И37].

В публикациях категории II указаны недостатки КО, выделенные как обучающимися, так и инструкторами курсов.

С точки зрения учебного персонала MOOCs у коллегиального оценивания:

1) низкая вовлеченность обучающихся [И37];

2) обучающиеся обычно снабжены шаблонами для оценивания (например, рубриками), поэтому они не оценивают задание, а выставляют ему оценку [И20];

3) относительная надежность (25, 8% персонала курсов, применявшего КО, признает его очень надежным, 71% - достаточно надежным, 3, 2% - не надежным [И32]; “пакетный эффект” оценок проявляется в том, что задание имеет тенденцию получить более высокий балл, когда оно обрабатывается в пакете хужих заданий, чем когда оно оценено в группе лучших [И26]; обучающиеся создают свои собственные правила оценивания на основе критериев, которые не вполне обоснованы - ситуация “Слепой ведет слепого”, или ошибочно оценивают другого студента, не являясь экспертами - ситуация “Шарлатан” [И31]);

4) высокая предубежденность грейдеров (обучающиеся дают более высокие оценки студентам из своей страны, вызывая отток студентов из числа культурных меньшинств [И19]);

5) учет возможности сговора атак вредоносных толп грейдеров, особенно при миграции сформировавшегося сообщества обучающихся из одного MOOC в другие (использование классификационных кодов является одним из способов решения этой проблемы [И30]).

С точки зрения обучающихся MOOCs коллегиальное оценивание:

1) требует от них больше работы (в дополнение к работе над своими заданиями [И25]);

2) может снизить общий рейтинг их деятельности из-за более строгих оценок [И19];

3) снижает их производительность [И37] и может привести к разъединению с курсом, вызванному ожиданием обратной связи и получением оценок от других студентов, и даже к отсеву с курса из-за недостаточного уровня владения языком для написания рецензии [И19];

4) разочаровывает их плохой практикой (стилем комментариев о выполненной работе [И25, И37] или плагиатом в работе других студентов [И25]);

Для имитации поведения обучающихся при коллегиальном оценивании и понимания возможности влияния действий инструкторов курса на поведение студентов применяются подходы, основанные на теории игр [И15, И17] и методах машинного обучения [И26].

В связи с тем, что при совместном оценивании роль грейдеров могут или должны выполнять обучающиеся этого курса (участвующие в изучении курса или уже успешно его завершившие), были выполнены исследования воздействия этой деятельности на их опыт обучения в MOOC. Выявлено, что использование КО преследует и вторичную цель: “оценивание оценщиков” мотивирует обучающихся к повышению качества коллегиального оценивания [И16] и как следствие, формирует дополнительные профессиональные компетенции.

Однако при организации коллегиального оценивания выявлены такие проблемы и предложены пути их решения:

1) обучающиеся должны разделить свое время обучения на MOOC-курсе между работой над собственным домашним заданием и оцениванием работ других (поэтому инструкторы курса должны стимулировать студентов, чтобы сбалансировать свое время между работой и оцениванием своих коллег по курсу [И17]);

2) нагрузки на обучающихся увеличиваются в связи с необходимостью выполнения КО (поэтому необходимо разделение срока выполнения задания на два независимых и разнесение их во времени: срок представления своих работ и срок фазы оценивания заданий других студентов [И36]);

3) хотя обратная связь грейдеров является эффективной альтернативой обратной связи от инструкторов, но такой обратной связи может не хватать специфичности, т.е. уровня информации, который представлен в сообщениях обратной связи (поэтому требуется определение стимулов для обучающихся, чтобы дать полноценную обратную связь своим коллегам по курсу, чтобы она не была воспринята как бесполезная и неприятная [И18]);

4) обратной связи не хватает точности, достоверности, прозрачности и надежности (поэтому рубрики, используемые обучающимися при оценивании, должны быть гибкими для обеспечения качества задачи КО [И36]).

Несколько моделей и методов предложено для снижения уровня предубеждения грейдеров и повышения надежности коллегиального оценивания:

1) модели PG1 (смещения и надежности грейдера), PG2 (временной

когерентности) и PG3 (сочетающая оценку и надежность грейдера) [И37];

2) метод PeerRank, который создает ранг для одного агента на основе оценок, предложенных агентами, оценивающими агента [И40];

3) метод, используемый в инструменте коллегиального оценивания для курсов MOOCs по программированию [И41], который разделяет представленные задания на небольшие части, уменьшив задачу рецензентов и придав гибкость масштабирования процесса обзора кода, далее нормализует и кластеризует эти части, чтобы повысить эффективность оценивания рецензентом.

Для решения проблем, возникающих при использовании коллегиального оценивания, используются несколько самостоятельных подходов и гибридных, сочетающих возможности нескольких самостоятельных. Эти решения представлены в работах категорий III-VII.

Публикации категории III рассматривают подходы количественного и порядкового коллегиального оценивания. При количественном КО используются оценки, выставленные обучающимися-грейдерами набору заданий других студентов. В рамках порядкового подхода сырьем, используемым системой оценивания, являются относительные порядки, которыми грейдеры оценивают задания, назначенные им для оценивания [И2]. Во втором случае коллегиальные грейдеры выполняют порядковые сравнения путем ранжирования различных заданий с точки зрения качества. В целом, относительное суждение или порядковое оценивание является более точным, чем абсолютное суждение или кардинальное оценивание [И22]:

1) порядковый подход может быть значительно более надежным-за отсутствия знаний оценщиков по сравнению с обычными кардинальным подходом; существует компромисс между точностью кардинальных баллов и

робастностью оценок порядкового оценивания [И1];

2) порядковое КО выполняют с использованием правила Борда [И9] и Байесовских методов с использованием выборочных методов на основе MCMC в сочетании с Mallows model [И28].

Предложены варианты компромисса между кардинальным и порядковым КО: 1) цель порядкового КО состоит в правильном предсказании относительного ранжирования, но абсолютные показатели должны быть преобразованы в процентили, прежде чем будут назначены финальные оценки [И22];

2) метод факторизации, основанный на знаниях предпочтений суждений, чтобы избежать субъективности в числовых оценках; помимо мнений студентов-грейдеров, учитываются другие предпочтения, индуцированные из заданий с существенно различными средними оценками [И2].

Коллегиальный обзор в публикациях категории IV рассматривается как подход КО, направленный на уменьшение разочарования обучающихся качеством обратной связи и отсутствием надежности оценок коллег по курсу, а также на снижение риска не представить свои рецензии обучающимися-грейдерами из-за отсутствия у них квалификации, соответствующей уровню оцениваемой задачи [И4, И38]. В работе [И14] предложены два алгоритма для согласования коллегиальной оценки: скользящих сроков (SDCR) и фиксированных сроков (FDCR) коллегиального согласования совершения - награждения. Главной целью такого согласования является уменьшение количества преданных обучающихся, которые не получают никакого результата коллегиального обзора за свои представленные задания. Термин “преданные ученики” применяется к тем обучающимся, которые активно участвуют в процессе рассмотрения присланных заданий. Авторы [И14] убеждены, что именно эти студенты являются теми, кто на самом деле ожидают и заслуживают получения обратной связи для своих представленных заданий. Кроме того, эти алгоритмы направлены на уменьшение нагрузки обучающихся, требуемой для достижения главной цели. Задания для оценивания для обеспечения надежности коллегиального обзора назначаются только волонтерам, которые готовы к обзору. Алгоритм SDCR вместо применения одного и того же глобального срока завершения для всех обзоров, устанавливает более короткий срок для каждого обзора, по отношению к моменту его назначения обучающемуся. Если грейдер не в состоянии уложиться в этот срок, то система имеет еще время, чтобы назначить этот обзор другому студенту. Механизм полезной приверженности поощряет “преданных студентов”, завершая их обзоры: представления их заданий получают более высокий приоритет, когда есть меньше доступных рецензентов, чем заданий для обзора. Алгоритм FDCR реализует механизм полезной приверженности в обычных сроках, установленных для коллегиального обзора.

В категории V корпуса первичных исследований исследуется качество самоценивания и его взаимосвязь с КО. В процессе самооценивания обучающемуся сначала предлагается ответить на вопрос, после чего ему показывается рубрика, в соответствии с которой студента просят оценить свой ответ. Этот подход хорошо работает в ситуациях, когда задача имеет четкую рубрику, и студенты имеют необходимые знания для оценки своих собственных работ. У студентов есть стимул оценить себя слишком высоко, но самооценивание может хорошо работать в сочетании с дополнительными механизмами, препятствующими этому [И5, И24].

Самооценивание рассматривается как одно из девяти измерений MOOC-платформ, в соответствии с которыми студенты MOOC могут быть сгруппированы по векторам типа обучающихся. Использование измерений является лучшим средством группирования не стереотипных обучающихся с целью дальнейшей адаптации обучения [И7].

Исследованию взаимосвязи само - и коллегиального оценивания с тестированием и выпускным экзаменом курса MOOC посвящена работа [И3]. Статистические данные исследования трех МООС показали:

1) само - и коллегиальное оценивание должны быть использованы в качестве оценки для обучения вместо оценки обучения;

2) самооценивание не может быть допустимым способом оценки достижений обучающихся в MOOC;

3) еженедельное тестирование и КО оказывают различное влияние на окончательную оценку экзамена, причем коллегиальное оценивание является более слабым предиктором.

Объединение само - и коллегиального оценивания с технологиями искусственного интеллекта (ИИ) является основой подхода в работе [И5]. ИИ-оценивание использует алгоритмы машинного обучения на основе оценок заданий инструктором (обычно, первые сто представленных эссе), чтобы применять оценивание инструктора для новых заданий. После обучения, баллы ИИ-оценивания представленных заданий формируются без участия инструктора.

Объединение этих трех подходов определяется инструктором курса. Минимальный сценарий предполагает последовательность из трех этапов:

1) самооценивание: если самооценка попадает в диапазон пороговых баллов между минимальным и максимальным, указанных инструктором, то обучающийся

переходит к этапу 2;

2) механизм ИИ-оценивания выставляет оценку: если результат ИИ-оценивания попадает в диапазон пороговых баллов между минимальным и максимальным, указанных инструктором, то обучающийся переходит к этапу 3; 3) коллегиальное оценивание: возвращается эта оценка.

Эти оценки могут быть использованы в произвольном порядке с любыми порогами. Обучающемуся показывается оценка и обратная связь для всех завершенных этапов [И5].

Сравнение точности результатов само - и коллегиального оценивания в MOOC-курсе, выполненное в работе [И27], показало высокую корреляцию коллегиального оценивания с оцениванием инструктором и завышение обучающимися оценок при самооценивании по сравнению с коллегиальным в среднем на 7%.

Гибридный подход, сочетающий коллегиальное оценивание с автооцениванием, предложен в работе [И35], отнесенной нами в категорию VI. Автоматическое оценивание используется для уменьшения размерности, используя классические методы статистики и машинного обучения, а КО затем используется для оценки этого множества представленных заданий, имеющего более низкую размерность.

Сочетание коллегиального оценивания и оценивания инструктором рассмотрено в работах категории VII. Работа [И6] исследует близость точности КО и оценивания инструктором, а также возможность комбинирования этих подходов. Для повышения надежности оценивания рекомендуется:

1) внимательно распределять коллегиальных оценщиков;

2) использовать выполнение в курсе четырех оцениваемых заданий;

3) использовать различные критерии оптимального порога переключения с коллегиального оценивания к оцениванию инструктором (случаи менее двух коллегиальных оценок, отсутствие консенсуса в оценивании или наличие нулевых оценок).

Облачная система Учебного Ассистента рассматривается как дополнительный элемент к оцениванию инструктором, коллегиального оценивания и автооценивания в MOOC для повышения достоверности коллегиального оценивания [И39].

Таким образом, результат исследований по совместному оцениванию заданий обучающихся в MOOC иллюстрирует многообразие подходов для совершенствования деятельности в рабочем пространстве инструктора курса с целью сокращения времени формирования обратной связи со студентами.

Применение технологий краудсорсинга в оценивании деятельности обучающихся MOOC приводит к ускорению формирования обратной связи о выполненных заданиях, и как следствие, снижает риск ухода студента с курса. Совместное оценивание позволяет перепрофилировать виды работ как студентов, так и персонала курса. С одной стороны, деятельность студентов в роли грейдера способствует формированию навыков работы в установленные сроки и выработке к них профессиональных компетенций проведения экспертной оценки заданий. С другой стороны, усилия, затрачиваемые инструктором курса на оценивание заданий обучающихся, могут быть перераспределены на другие виды деятельности, такие как управление и оптимизация формирования групп оценщиков или их переформирование в случае разрушения группы [И8, И25, И31], модерирование коллегиального обзора [И8, И31], обучение, мотивация и стимулирование грейдеров [И6, И10].

Таким образом, последующие систематические обзоры литературы СОДО в рабочем пространстве инструктора курса должны быть сосредоточены на исследовании тех видов деятельности учебного персонала MOOC, которые будут направлены на персонализацию и индивидуализацию открытого обучения на фоне его массовости.

Ограничения

Выбор корпуса публикаций на английском языке следует считать главным ограничением нашего SMS. Однако результаты ИВ1 показали, что полученная выборка первичных исследований содержит публикаций авторов из разных стран. Также к ограничениям можно отнести собственная классификация подходов СОДО, в соответствии с которой была выполнена кластеризация НИР. В перспективе эта классификация может быть дополнена подходами, характеризуемыми как “Peer assessment 2.0” [И31]: оценивание, основанное на сети; портфолио; мантия эксперта; Semantic Web; учебная аналитика.

Выполненное систематическое картографирование литературы по тематике совместного оценивания деятельности обучающихся MOOC показало сформированность этого направления исследований в педагогике открытого образования. Анализ подходов СОДО являлся целью проведения этого SMS.

На основе рекомендаций по проведению систематического исследования литературы была разработана стратегия поиска источников. Это позволило из 1491 исходной публикации выделить корпус из 41 релевантной, использованных при анализе и классификации работ по СОДО в MOOC. Для определения ведущих научных изданий в области СОДО, а также для выявления географического ландшафта публикаций за 2012-15 гг. эти релевантные исследования были классифицированы.

14 журналов и 23 конференции опубликовали результаты научных исследований по совместному оцениванию деятельности обучающихся. Больше всего НИР по тематике СОДО было представлено на конференции L@S. Свидетельством междисциплинарности и инновационности СОДО в MOOC как направления научных исследований является широта тематического спектра научных изданий первичных публикаций.

Результаты исследования географии первичных исследований показали, что за 2012-15 гг. положили начало формированию баз данных учебной аналитики MOOC, создаваемой на основе деятельности огромного количества обучающихся разных стран и интенсивных научных и педагогических исследований.

Анализ первичных исследований в соответствии с предложенной нами классификацией подходов выявил, что усилия по улучшению коллегиального оценивания направлены на его различные аспекты: улучшение алгоритмов агрегирования коллегиальных классов, сочетание коллегиального оценивания с автооцениванием, самооцениванием, оцениванием инструктором и машинным обучением, снижение размерности, стимулирование выполнения обучающимися коллегиального оценивания, управление поведением доминирующей стратегии студентов в КО. Эти усилия показали улучшения в практике использования КО как фактора формирования быстрой обратной связи и снижения уровня отсева с MOOC. В рабочем пространстве инструктора сокращение рутинной деятельности персонала MOOC при СОДО создает предпосылки для перехода от безликого массового к индивидуализированному обучению в MOOC.

коллегиальный оценивание инструктор персонал



ЛИТЕРАТУРА

1. Дацун Н.Н. Образование инженерии программного обеспечения: систематический обзор литературы // Вестник Пермского университета. Математика. Механика. Информатика. - 2015. - №2 (29). - C. 87 - 99.

2. Дацун Н.Н., Волкова Е.И. Технологии дистанционного и открытого обучения в химическом образовании // Науковi працi Донецького нацiонального технiчного унiверситету. Серiя: «Хiмiя i хiмiчна технологiя». - 2014. - №2 (23). - С. 195 - 198.

3. Дацун Н.Н., Уразаева Л.Ю. Использование массовых открытых онлайн-курсов в математической подготовке специалистов по программной инженерии // Интернет-журнал «Науковедение», 2015. №7(2). [Электронный ресурс] - М.: Науковедение, 2015. - Режим доступа: http://naukovedenie.ru/PDF/48PVN215.pdf, свободный. - Загл. с экрана. - Яз. рус., англ. (дата доступа 28.08.2015).

4. Claros, I. Towards a collaborative pedagogical model in MOOCs / Claros I., Echeverria L., Garmendiмa A. et al. / Proceedings of the IEEE Global Engineering Education Conference. - Istanbul, Turkey. - 03-05 April 2014. - P. 905-911.

[Электронный ресурс] - Режим доступа: https://www.researchgate.net/publication/277012538_Towards_MOOCs_scenaries_b ased_on_Collaborative_Learning_Approaches, свободный. - Загл. с экрана. - Яз. англ. (Accessed 28.08.2015).

5. Halasek, K. A MOOC With A View: How MOOCs Encourage Us to Reexamine Pedagogical Doxa / K. Halasek, B. McCorkle, C.L. Selfe et al. / Invasion of the MOOCs: The promises and perils of massive open online courses; ed. by S. D. Krause, C. Lowe. - P. 156 - 166. [Электронный ресурс] - San Francisco: Parlor Press, 2014. - Режим доступа: http://www.parlorpress.com/pdf/ invasion_of_the_moocs.pdf, свободный. - Загл. с экрана. - Яз. англ. - (Accessed 28.08.2015).

6. Fernandes A.F., Cardoso J., Marcelino M.J. A Systematic Mapping Applied to MOOC's Study / Proceedings of the 7th International Conference on Computer Supported Education. - Lisbon, Portugal. - 23-25 May 2015. - P. 444 - 449.

7. [Электронный ресурс] - Режим доступа: https://jorge-cardoso.github.io/publications/Papers/CP-2015-078-Systematic-Mapping-MOOCs.pdf, свободный. - Загл. с экрана. - Яз. англ. - ISBN: 978-1-4503-2605-6. (Accessed 28.08.2015).

8. Fox G.C. Collaboration in the cloud and online education environments / Proceedings of the International Conference on Collaboration Technologies and Systems. - San Diego, CA, USA. - 20-24 May 2013. - P. 2011 - 2012. [Электронный ресурс] - Режим доступа: http://grids.ucs.indiana.edu/CTS-May22-2013.pptx, свободный. - Загл. с экрана. - Яз. англ. (Accessed 28.08.2015).

9. Hew K.F., Cheung W.S. Students' and instructors' use of massive open online courses (MOOCs): Motivations and c...