Коллаборативные технологии в образовании: как выстроить эффективную поддержку гибридного обучения?

Размещено на http://www.Allbest.Ru/

Национальный исследовательский университет «Высшая школа экономики»

Коллаборативные технологии в образовании: как выстроить эффективную поддержку гибридного обучения?

О.В. Максименкова,

А.А. Незнанов

Россия, Москва



Аннотация

Современное образование существенно изменилось под влиянием повсеместно проникающих в него цифровых решений, становятся популярными ранее невозможные формы организации учебного процесса. Одной из таких форм является гибридное обучение, поддержка которого стала возможной повсеместно благодаря глобальному распространению и конвергенции телекоммуникационных технологий, а также созданию облачных информационных систем учебного назначения. Цифровые технологии приносят не только видимые прелести автоматизации рутинных операций, но и становятся причиной переосмысления и трансформации ставших привычными процессов не только в преподавании, но и в управлении современным образованием. Данная работа сфокусирована на возможностях, предоставляемых коллаборативными информационными технологиями поддержки учебного процесса, и отвечает на некоторые важные вопросы, связанные с организацией эффективной поддержки гибридного обучения, в том числе на уровне управления.

Ключевые слова: компьютерное коллаборативное обучение, управление образованием, технологии управления учебным процессом



Abstract

Collaborative technologies in education: how to build an effective system for blended learning?

O.V. Maksimenkova, A. A. Neznanov, National Research University Higher School of Economics, Russian Federation

Nowadays education has been significantly transformed by the widespread use of digital solutions. This has made it popular to carry out the new approaches to educational processes, which cannot be easily implemented before. One of such forms is blended learning, and it becomes possible everywhere thanks to the global distribution and convergence of telecommunication technologies and to the appearance of cloud-based educational software.

At the same time digital technologies have brought the apparent profit for the routines automatization and have become the reason of rethinking as in casual teaching and learning processes as in the modern educational management.

This paper focuses on how to support educational processes with technologies.

It is also answering several significant questions about effective blended learning support, especially at the administration level.

Keywords: computer-supported collaborative learning, educational management, educational processes management technologies



Введение

Ландшафт современного образования формируется в том числе и под воздействием информационных технологий, предлагающих разнообразные способы доставки учебного материала, новые формы общения и взаимодействия участников образовательных процессов, а также - во многих случаях - существенно снижающих издержки на поддержку этих процессов [1].

Общим термином для обозначения учебного процесса, часть которого организована при помощи компьютерных информационных систем (информационных систем, ИС) стало гибридное обучение [blended learning, hybrid learning], содержательное определение которого можно найти, например, в [2]. Наиболее интересными представителями ИС за последние пять лет стали развившиеся до полноценных платформенных решений информационные системы, позволяющие поддерживать процессы гибридного обучения, особенно требующие организации и поддержки взаимодействия многих участников при работе в общем пространстве над общими артефактами.

В статье мы коснемся коллаборативных ИС поддержки гибридного обучения. Очевидно, что появление их последнего поколения, затронуло не только процесс обучения, но и способы управления им. Статья сфокусирована на технологических возможностях, позволяющих как преподавателям, так и администраторам трансформировать свои рабочие процессы и повысить их эффективность.



О коллаборациях и коллаборативных технологиях

Прилагательное «коллаборативный» как прямую кальку с английского термина «collaborative» все чаще используют для уточнения объема таких слов, как «совместный», «коллективный», «групповой», «осуществляемый сообща», «общий». Уточнение касается отнюдь не любых примеров употребления, а в первую очередь описания новых технологий (включая социальные), которые стали доступны с развитием средств телекоммуникаций, человеко-машинного взаимодействия и обработки знаний в формализованной форме. Одновременное использование этих технологий в различных формах для резкого повышения эффективности автоматизированного труда коллективов обычно и называют коллаборативными технологиями (КТ).

Во главу угла ставится «обогащение» рабочей среды и «практически исчезновение» транзакционных издержек. Если не учитывать технологические особенности, то коллаборацию [collaboration] обычно определяют как интерактивный процесс, объединяющий двух и более участников, совместно работающих над достижением цели, которую они не могут достичь по отдельности [3].

Коллаборативное пространство (КП) [collaboration space] - набор совместно создаваемых артефактов и способов доступа к ним участников коллаборации, а коллаборативные технологии (КТ) [collaborative technologies] - любые технологии построения и поддержки КП.

Считается, что впервые новое значение термина «коллаборативность» сформировал Дуглас Енгельбарт. Он с коллегами не только создал «The mother of all demos» [4] и придумал мышку, но и получил неформальный титул «Father of Groupware» [5]. В 1984 г. он компактно сформулировал основные требования, которым должны удовлетворять коллаборативные технологии для эффективного расширения креативных возможностей коллективов, что в дальнейшем привело к формулировке понятия «коллективного интеллекта человечества» [Collective IQ], позволяющего решать непрерывно усложняющиеся задачи [6]. Таким образом, история развития КТ насчитывает уже 35 лет.

Телекоммуникационная революция 2000-х гг. резко снизила накладные расходы на коллаборативные технологии и позволила масштабировать коллаборации до десятков тысяч человек, находящихся в любой точке земного шара, что послужило одним из драйверов развития системной инженерии [7].

Хороший пример - коллаборации большого адронного коллайдера [Large Hadron Collider (LHC)]. Например, коллаборация ATLAS сейчас состоит более чем из 5000 участников, включая более 3000 ученых из 183 научных центров, представляющих 38 стран [8]. Снижение издержек также позволило сделать оправданным краудсорсинг [crowdsourcing] - привлечение значительного числа сотрудников из неопределенного круга лиц для работы над конкретным проектом.

Особое внимание с точки зрения развития технических средств сейчас уделяют коллаборативным платформам, которые позволяют создавать универсальные КП. Развитые платформы на основе облачных вычислений сейчас активно развивают все ведущие игроки ИТ-области, такие как Microsoft, IBM, Google и др. «Облачные вычисления» [cloud computing] - маркетинговый термин, имеющий, тем не менее, адекватное отражение и в технологиях [9], и в методологии эффективной коллективной работы мобильных пользователей. При этом заметен тренд переноса опыта, наработанного при проектировании и конструировании ИТ-продуктов, в другие области. Так, с точки зрения менеджеров, исключительно важным является тренд на расширение ареала гибких [agile] управленческих технологий, которые совершили новый рывок в масштабировании рабочих групп именно за счет КП поддержки проектной деятельности.



О коллаборативных технологиях в образовании

Отдельные образовательные технологии предполагают разнородное взаимодействие преподавателей друг с другом, преподавателя и учащегося, учащихся между собой.

Реализация преподавателем одной из методик активного обучения предполагает, что учащиеся воздействуют на различные аспекты этого процесса, взаимодействуют с учебным материалом и друг с другом при работе с ним. К групповым методам активного обучения относятся, например, такие как совместное обучение [collaborative learning], кооперативное обучение [cooperative learning], обучение в парах [think share pare], а также формирующее оценивание, например, взаимное оценивание [peer assessment] [2]. Заметим, что реализация даже самых простых подходов, предполагающих взаимодействие учащихся, в неавтоматизированном («ручном») режиме, требует серьезных ресурсов, особенно временных, и очень плохо масштабируется [10, 11]. Примером может быть организация взаимного оценивания, при котором требуется рандомизация участников, тиражирование работ, сбор рецензий, обобщение результатов и предоставление обратной связи на самостоятельные работы учащихся.

Возможности, имеющиеся у коллаборативных ИС, упрощают подобную деятельность как в аудитории, так и вне класса. Применение кол- лаборативных информационных технологий дает, например, возможность организовать и упростить групповую работу учащихся при выполнении домашних работ. Поддержка методик формирующего контроля при помощи коллаборативных ИС возможна по различным направлениям и существенно раздвигает границы оценивания, открывая дорогу новым подходам и методам. Исследователи в области образования относят их к относительно новым формам преподавания: интерактивному коллаборативному обучению [interactive collaborative learning] [12] и компьютерному коллаборативному обучению [computer-supported collaborative learning, CSCL], Говоря об относительности новизне, отметим, что еще в 1990-е гг. ICL/CSCL была лишь привлекательной, но очень проблемной формой преподавания [13], а в настоящее время говорим уже о производных формах, например, мобильном компьютерном коллаборативном обучении [mobile-computer-supported collaborative learning, mCSCL] [14].

Коллаборативные технологии намного повышают отдачу от собственных цифровых устройств учащихся: от ноутбуков и смартфонов до систем дополненной и виртуальной реальности [AR/VR]. Задействование собственных устройств [by your own device, BYOD] как персональных помощников и способов вхождения в учебное КП стало частью ICL и производных методологий. Это позволило, например, на новом уровне реализовать виртуальные лаборатории [15, 16].

Задачи и проблемы ИС поддержки гибридного обучения

Обозначим основные задачи и проблемы, связанные с ИС поддержки гибридного обучения. Для этого выделим важнейшие группы пользователей ИС в образовании: учащиеся, преподаватели и администраторы (различного уровня). Далее, говоря о пользователях ИС, мы будем иметь в виду все эти группы и именовать их при необходимости различения.

Одна из важнейших задач, стоящая перед преподавателями и администраторами при реализации гибридного обучения - повышение эффективности базовых процессов коммуникации, в которых участвуют пользователи:

- организация общей коммуникации с учащимися;

- совместная работа над специфичными для предметной области артефактами;

- надежное хранение и отслеживание изменений материалов:

• для преподавателей - в масштабе от отдельных тем конкретных дисциплин до многолетнего развития какой-либо области знаний;

• для администраторов - в масштабе от конкретных процессов учебных офисов до развития образовательных программ и центров компетенций;

- сбор и анализ данных об учебном процессе и участниках этого процесса.

Выделим лишь некоторые проблемы, связанные с этими процессами.

- раздельное использование технологий в различных областях (например, использование облачного хранилища лично и / или в учебном процессе) как проявление разделенного мышления [icompartmentalization];

- возрастание количества ИС и объема данных, необходимых в профессиональной деятельности;

- возрастание скоростей потребления и переработки данных;

- повсеместно упоминаемое «клиповое мышление», которое на самом деле является интуитивным ответом сознания на три предыдущие проблемы;

- низкий уровень «цифровой грамотности» [17], усугубляемый технологическим разрывом между преподавателями и учащимися;

- усложнение соблюдения лицензионной чистоты и минимизации общей стоимости приобретения, внедрения и поддержки технологий.

Скорость смены реально используемых на индивидуальном уровне технологий стала настолько высокой, что задержка в 2-3 года при овладении новым техническим устройством, программным средством или методикой может стать причиной серьезного коммуникационного конфликта. Но более распространена ситуация, когда человек в каких-либо сферах деятельности употребляет набор технологий, не перенося накопленный опыт на смежные области. Особенно ярко это проявляется при сравнении промышленных систем коллективной работы и систем, используемых в образовании.

В рамках данной работы нас интересует пласт уже имеющихся и доступных для преподавателя (как школьного учителя, так и профессора вуза) и администратора учебного заведения технологий, получивших обобщающее название «коллаборативных». К ним сейчас предъявляют следующие базовые требования.

1. Глобальный доступ с максимально большим охватом клиентских устройств.

2. Доступность.

3. Надежное хранение данных.

4. Автоматическое версионирование (отслеживание изменений и возможность их «отката») с удобным отображением авторства и временных меток.

5. Одновременное редактирование артефатов с:

а) блокировкой элементов, оптимальной по гранулярности в пространстве (часть артефакта) и времени;

б) максимально автоматизированным разрешением конфликтов редактирования.

6. Предотвращение плагиата (от выявления заимствований и установления авторства до поддержки прокторинга).

7. Сбор данных о процессе обучения для поддержки анализа данных в образовании [Educational Data Mining] [18].

8. Поддержка стандартов интероперабельности с наиболее популярными LMS, как минимум - поддержка IMS LTI [19].

Отдельно подчеркнем вопросы взаимодействия. Именно взаимодействие преподавателей учебной дисциплины и администрации, безусловно, является важной составляющей учебного процесса. Особенно остро вопрос организации взаимодействия встает на очных курсах с многочисленным контингентом учащихся, преподавание на которых ведется более чем двумя преподавателями. Эффективное взаимодействие в такой ситуации подразумевает как минимум:

- своевременную реакцию на запросы учащихся, работающих преимущественно с разными преподавателями;

- согласованность решений преподавателей о тематиках и объеме учебного материала, уровне сложности контрольных мероприятий, критериях оценивания работ учащихся;

- синхронизацию усилий преподавателей и администраторов по работе с отстающими и проблемными учащимися.

Взаимодействие учащихся и преподавателей в процессе обучения выражается не только в двустороннем участии в контрольных мероприятиях, но и в ежедневной учебной деятельности: решении учебно-тренировочных задач, передаче / получении учебных материалов; фиксации вопросов и ответов в рамках формирующей обратной связи. Взаимодействие учащихся друг с другом в рамках учебного процесса может быть эффективно организовано ими самими, например, при коллективной работе над проектами, совместном решении домашнего задания, работе старшекурсников с младшекурсниками (кураторство) и прочее.

Что получает преподаватель с применением КП?

устраняет:

- использование разных аккаунтов и точек входа (явная тенденция интеграции сервисов в КП);

- лишние письма в почтовом ящике (КП использует внутреннюю систему уведомлений и позволяет агрегировать по несколько уведомлений в одном письме);

- дублирование артефактов (КП обеспечивает коллективную работу над артефактом);

- потерю контроля над изменениями артефактов (КП автоматически сохраняет результаты работы и версионирует данные);

- рутинную работу по синхронизации рабочих мест (КП отслеживает и «сливает» все изменения с любых поддерживаемых устройств - рабочих станций, планшетов, смартфонов);

предоставляет:

- удобное создание коллабораций и управлению проектами (что является основной целью разработки коллаборативных платформ);

- различные виды удобной обратной связи (КП интегрирует средства информативной обратной связи и контроля действий пользователей);

- повторное использование и упрощение актуализации артефактов (КП поддерживает версионирование материалов, их тегирование и сквозной полнотекстовый поиск в рамках всего пространства);

- автоматическую публикацию (КП позволяет «делиться» актуальным результатом деятельности, в том числе с неограниченным кругом лиц в сети «Интернет»);

- включенность в профессиональные сети и автоматизированное формирование бренда (КП позволяет сформировать четкое представление о реальных результатах и вкладе учащегося / коллеги в «общее дело»).

Что получает администратор с применением КП?

Для администратора устраняет:

- серьезный пласт задач системного администрирования (за счет использования облачных вычислений и кардинально нового способа предоставления ИКТ-сервисов);

- бюрократические проволочки, ранее завесившие от внешних по отношению к ИТ- инфраструктуре процессов;

- перманентно возникающие задачи, связанные с интероперабельностью средств поддержки учебного процесса и средств поддержки административной деятельности;

предоставляет:

- конвергенцию инструментов поддержки учебного процесса и управления им (как следствие нового уровня интероперабельности КП со специализированными сервисами бюджетирования, бухучета, планирования нагрузки, организации официального документооборота и т. п.);

- интеграцию средств администрирования организационных процессов и программно-аппаратных комплексов;

- естественное согласование уровней управления и снижение нагрузки на менеджеров учебных офисов;

- полностью автоматическую генерацию отчетности о значительной части индикаторов проектной деятельности учащихся (по накопленным в КП данным).

Что получает учащийся?

Учащиеся не только получают пространство для собственного коллаборативного взаимодействия, они также заметят:

- собственно переход к новым формам активного обучения;

- те же преимущества последнего поколения облачных решений, что и преподаватели, особенно важные для сокращения «цифрового неравенства»;

- заметно лучшую методическую поддержку, особенно при изучении дисциплин на острие развития науки и техники;

- новые формы информативной обратной связи с ускорением реакции и беспроблемным отслеживанием состояния;

- возможность не только оставлять более полный «цифровой след» учебному учреждению, но и использовать инструменты управления «цифровой памятью», причем как индивидуальной, так и коллективной.

информационный коллаборативный гибридный образовательный

Внедрение коллаборативных технологий

Раскроем аспекты внедрения КТ поддержки гибридного обучения, начиная от многообразия инструментов и заканчивая вопросами администрирования и ответственности. Заметим, что, говоря о внедрении КТ, авторы опираются не только на общемировые тенденции и практику, но и на собственный опыт реализации гибридного обучения на базе КТ, обобщенный в нескольких работах, например, по вопросам подготовки программистов [20, 21]. Далее расставим несколько акцентов, выделив как очевидные преимущества коллаборативных технологий, так и неочевидные подводные камни, а также последствия внедрения.

Бесплатность инструментов и скорость внедрения

Одним из наиболее популярных универсальных КП является Microsoft Office 365 Education, которое методически поддерживается «Сообществом преподавателей Microsoft» [22]. С ним конкурирует КП компании Google - G Suite for Education.

Другими показательными примерами специализированных средств создания артефактов являются следующие КП, доказавшие свою успешность в поддержке учебного процесса.

1. КП разработки программных средств: repl.it для начинающих, Microsoft Azure DevOps для серьезной командной разработки;

2. КП создания интеллект-карт: coggle.it

3. КП написания научных работ: Authorea Overleaf, прешедший на смену ShareLatex

4. КП работы с библиографией и цитированием: Mendeley;

5. КП наполнения прикладных онтологий: Protйgй, Cognitum Ontorion

6. Легковесные КП поддержки управления проектной деятельностью: Trello, Microsoft Planner.

Отдельно выделим замечательный пример коллаборативных инструментов геймификации - Minecraft: Education Edition.

Отметим возможность получения бесплатных или заметно более дешевых версий перечисленных продуктов преподавателями или учебными учреждениями. В том числе образовательные версии решений Microsoft и Google бесплатны в базовых версиях как для преподавателей, так и для учащихся.

Облачный характер КП резко сокращает время развертывания и стоимость внедрения. Подчеркнем, что акцент при внедрении все больше смещается на обучение пользователей, особенно в случае, если новые ИС требуют смены идеологии работы. При этом универсальные КП обладают незаметными на первый взгляд преимуществами с точки зрения обучения пользователей - лучшей интеграцией справочных материалов в основные сценарии использования, мощнейшей системой сквозного полнотекстового поиска и упрощением взаимопомощи пользователей.

По нашему опыту наиболее полной иллюстрацией возможностей последнего поколения универсальных КП с учетом требований преподавателя является Microsoft Office 365 Education с новыми компонентами Teams, и уже очень популярными OneNote Class/Staff Notebooks.

Администрирование КП

Особую значимость приобретают универсальные КП, надстроенные специальными возможностями и интегрированные с другими ИС поддержки учебного процесса. Хорошим примером является пара Microsoft OneNote Class Notebook [23] для преподавателей/учащихся и OneNote Staff Notebook [24] для администраторов, так как в основе это тот же OneNote! Преподавателям и администраторам не нужно «переключать мозг» в другой режим, а также задумываться над конвертацией артефактов или, что еще хуже, повторном ручном вводе данных.

Отметим, что в настоящее время большинство современных образовательных КП не учитывают некоторых российских реалий, особенно связанных с обязательной отчетностью и особенностями формализации методической работы, что заставляет решать задачи интеграции со средами предыдущего поколения. К счастью, для такой интеграции уже наработаны «лучшие практики», например, решения Microsoft позволяют интегрировать электронный журнал со многими LMS предыдущих поколений, причем LTI-интеграция не требует никакой дополнительной доработки решений (см., например).

От учебно-методического комплекса к открытым образовательным ресурсам

Отметим, что внедрение ICL и современных КП подталкивает к пересмотру взглядов на открытые образовательные ресурсы (ООР) [open educational resources - OER] [25]. УМК, то есть учебно-методические комплексы, которыми отчитываются преподавателями, часто воспринимаются как неизбежное «бюрократическое зло», чему способствуют проблемы актуализации, повторного использования и излишней формализации. Но если формализация сопровождается проработанными схемами метаданных, повторное использование ставится во главу угла, а об актуализации серьезно задумываются, то все изменяется, ООР так уже не воспримешь... Отношение к ООР в массовом сознании еще не сформировано. В целом же проблемы открытости начинают играть все более важную роль с реальным внедрением КТ во всех областях.

Ответственность за коллаборацию

Внедрение ICL требует некоторых изменений в мировосприятии преподавателя (что является общей проблемой активного обучения). Учащиеся становятся критиками, «собирателями ссылок», соавторами материалов. Некоторые из них становятся «лидерами мнений», что подтверждается историей общения в КП и конкретными артефактами.

На уровне же управления учебными процессами ответственность за коллаборацию несут администраторы. Как и в примере выше на администраторов учебных учреждений ложатся функции перестройки общей корпоративной культуры и организации обучения персонала. Например, по отношению к виртуальным собраниям, уровень ответственности за отсутствие на которых «интуитивно» существенно ниже.

Повторное использование материалов

Особо отметим абсолютно новый уровень использования материалов с произвольной гранулярностью. Это достигается за счет глобально-уникальной идентификации любых материалов КП вкупе с готовностью их для публикации.

Возможность переноса материалов из прошлогодних КП, а также любых других КП (рис. 1) позволяет сократить до минимума время на подготовку КП к занятию/тесту/контрольной работе.

Возможность блокировки КП позволяет в момент окончания дисциплины одним кликом получить «слепок» версии КП, который участники уже не смогут изменить (рис. 2). Отметим, что в результате получается искомый многими исследователями «цифровой след» [digital footprints],

Рис. 1. Варианты повторного использования материалов КП - распространение всем учащимся отдельных страниц и секций КП, а также пополнение библиотеки материалов в OneNoteClass Notebook

Fig. 1. Reuse of materials from collaboration space -distribution of sections and pages to students, appending materials into content library in OneNoteClass Notebook

Рис. 2. Блокировка коллаборативного пространства в OneNote Class Notebook / Fig. 2. Collaboration space locking in OneNote Class Notebook

Разрешения пространства для совместной работы исключительно удачный с точки зрения уже упоминавшегося EDM.

Остается вопрос актуализации материалов. Как уже отмечалось, о ней серьезно задумались, но удобные инструменты для конечного пользователя только начали появляться, просачиваясь через барьер, отделяющий профессиональных разработчиков программного обеспечения от обычных людей. Онтологическое моделирование должно нас спасти, но не прямо сейчас. В данный момент приходится выстраивать идеологию размещения и именования материалов, разделяемую преподавателями одной дисциплины или образовательной программы в целом, что все равно получается намного проще, чем в средах предыдущего поколения из-за автоматического версионирования, развитых схем тегирования и полнотекстового поиска, включая поиск по тексту на изображениях.



Заключение

Гибридное обучение как рамочная методология, охватывающая большое число частных методологий активного и адаптивного обучения с применением современных ИКТ, позволяет перевести на новый уровень практически все образовательные процессы. Это означает, что изменения затрагивают всех участников от учащихся до администраторов. Соответственно, цена изменений в терминах поддерживающих процессов исключительно велика и без снижения накладных расходов на коммуникацию, координацию, логистику, доступ к материалам и т. д. была неприемлема еще в конце прошлого столетия. Но результаты информационной революции к настоящему времени сделали не только оправданным обсуждение любых вариантов гибридного обучения, но и позволили переходить к нему в том числе с целью повышения общей эффективности, а не только качества образования. Одним из краеугольных камней технологического базиса гибридного обучения стали коллаборативные технологии.

Коллаборативные технологии поддержки гибридного обучения позволяют, кроме прочего, обогатить существующие процессы упрощенными вариантами обратной связи, а также расширить представления администраторов об объекте управления за счет расширения спектра собираемых данных и возможностей по их анализу и интерпретации, что облегчает реальный, а не декларируемый переход к практике доказательной образовательной политики [26, 27], а также внедрение интеллектуальных технологий в учебный процесс [28].

В рамках предложенной работы мы обсудили возможности современных коллаборативных технологий, плюсы и минусы, которые они могут принести в учебный процесс на разных уровнях, для которых, в свою очередь, мы обозначили группы пользователей. Как следствие, для этих групп открывается широкое поле дальнейшей работы по формализации сценариев использования коллаборативных технологий и реинжиниринга процессов организации. Отметим, что мы не рассматривали дополнительные инструменты, связанные с изменением медиасреды (включая виртуальную и дополненную реальность) и задействованием искусственного интеллекта.



Список литературы

1. Al-Samarraie H., SaeedN. A systematic review of cloud computing tools for collaborative learning: Opportunities and challenges to the blended-learning environment // Computers & Education, No. 124, 2018, pp. 77-91.

2. Richey R. Encyclopedia of Terminology for Educational Communications and Technology. New York: Springer Science+Business Media, 2013.

3. Salmons J., Wilson L., editors. Handbook of Research on Electronic Collaboration and Organizational Synergy. IGI Global, 2009, 1026 pp.

4. Highlights of the 1968 «Mother of All Demos» [Электронный ресурс] // Doug Engelbart Institute: [сайт].

5. Engelbart D.C. Collaboration Support Provisions in Augment // Proceedings of the 1984 AFIPS Office Automation Conference. Loc Angeles, CA. 1984. pp. 51-58.

6. Engelbart D.C. Toward High-Performance Organizations: A Strategic Role for Groupware // GroupWare `92. San Jose, 1992, pp. 77-100.

7. Guide to the Systems Engineering Body of Knowledge (SEBoK) [Электронный ресурс] [2017].

8. Canals F., Ortoll E., Nordberg M. Collaboration Netwoks in Big Science: the Atlas Experiment at Cern // El Profesional de la Informacion, vol. 25, No. 5, 2017. pp. 961-971.

9. National Institute of Standards and Technology. The NIST Definition of Cloud Computing // NIST Site. 2011. [Электронный ресурс].

10. Sivan A. The Implementation of Peer Assessment: An Action Research Approach // Assessment in Education: Principles, Policy & Pratice, vol. 7, No. 2, 2000, pp. 193-231.

11. Freeman R., Roger L. Planning and Implementing Assessment. Routledge, 1998. 340 pp.

12. International Conference on Interactive Collaborative Learning [Электронный ресурс]

13. Silverman B.G. Computer Supported Collaborative Learning (CSCL) // Computers&Education, vol. 25, no. 3, 1995, pp. 81-91.

14. Amara S., Macedo J., Bendella F., Santos A. Group Formation in Mobile Computer Supported Collaborative Learning Contexts: A Systematic Literature Review // Journal of Educational Technology & Society, vol. 19, no. 2, 2016, pp. 258-273.

15. Potkonjak V., Gardner M., Callaghan V., Mattila P., Guetl C., Petrovic M., Jovanovic K. Virtual laboratories for education in science, technology, and engineering: A review // Computers & Education, vol. 95, 2016, pp. 309-327.

16. Faulconer E., Gruss A.B. A Review to Weigh the Pros and Cons of Online, Remote, and Distance Science Laboratory Experiences // International Review of Research in Open and Distance Learning, vol. 19, no. 2, 2018, pp. 156-168.

17. The Digital Competence Framework 2.0 [Электронный ресурс] // The European Commission's science and knowledge service: [сайт]. [2019].

18. Educational Data Mining [Электронный ресурс] // educationaldatamining.org: [сайт].

19. Learning Tools Interoperability - LTI v1.3 and LTI Advantage [Электронный ресурс] // IMS Global Learning Consortium: [сайт]. [2019].

20. Neznanov A., Maksimenkova O. Blended Learning in Software Engineering Education: the Application Lifecycle Management Experience with Computer-Supported Collaborative Learning // Proceedings of 18th International Conference on Interactive Collaborative Learning (ICL 2015). 2015, pp. 646-653.

21. Максименкова О.В., Незнанов А.А. О методических и технологических особенностях взаимного оценивания при формировании компетенций разработчиков программного обеспечения // Преподавание информационных технологий в Российской Федерации, материалы четырнадцатой открытой всероссийской конференции. 2015, pp. 135-137.

22. Сообщество Microsoft в образовании [Электронный ресурс] // Microsoft in Education: [сайт].

23. OneNote Class Notebook [Электронный ресурс] // Microsoft OneNote

24. OneNote Staff Notebooks [Электронный ресурс] // Microsoft OneNote

25. Open educational resources [Электронный ресурс] // ISKME OER Commons: [сайт].

26. Tacconi G. Between Evidence-based Education and Analysis of Teaching Practices. A Review of Didactic Research on the Italian High School System // Form@re - Open Journal per la formazione in rete, vol. 15, no. 3, 2015, pp. 102-115.

27. Escueta M., Quan V., Nickow A.J., Oreopoulos P. Education Technology: an Evidence-based Review // National Bureau of Economic Research. 2017. [Электронный ресурс]

28. Aoun J.E. Robot-Proof: Higher Education in the Age of Artificial Intelligence. MIT Press, 2017. 216 pp.



References

1. Al-Samarraie H., Saeed N. A systematic review of cloud computing tools for collaborative learning: Opportunities and challenges to the blended-learning environment. Computers & Education, no. 124, 2018. pp. 77-91.

2. Richey R. Encyclopedia of Terminology for Educational Communications and Technology. New York: Springer Science+Business Media, 2013.

3. Salmons J, Wilson L, editors. Handbook of Research on Electronic Collaboration and Organizational Synergy. IGI Global, 2009. 1026 pp.

4. Highlights of the 1968 «Mother of All Demos». Doug Engelbart Institute

5. Engelbart D.C. Collaboration Support Provisions in Augment. Proceedings of the 1984 AFIPS Office Automation Conference. Loc Angeles, CA. 1984. pp. 51-58.

6. Engelbart D.C. Toward High-Performance Organizations: A Strategic Role for Groupware. GroupWare `92. San Jose. 1992, pp. 77-100.

7. Guide to the Systems Engineering Body of Knowledge (SEBoK)

8. Canals F., Ortoll E., Nordberg M. Collaboration Netwoks in Big Science: the Atlas Experiment at Cern. El Profesional de la Informacion, vol. 25, no. 5, 2017, pp. 961-971.

9. National Institute of Standards and Technology. The NIST Definition of Cloud Computing. NIST Site

10. Sivan A. The Implementation of Peer Assessment: An Action Research Approach. Assessment in Education: Principles, Policy & Pratice, vol. 7, no. 2, 2000, pp. 193-231.

11. Freeman R., Roger L. Planning and Implementing Assessment. Routledge, 1998. 340 pp.

12. International Conference on Interactive Collaborative Learning,

13. Silverman B.G. Computer Supported Collaborative Learning (CSCL). Computers&Education, vol. 25, no. 3, 1995, pp. 81-91.

14. Amara S., Macedo J., Bendella F., Santos A. Group Formation in Mobile Computer Supported Collaborative Learning Contexts: A Systematic Literature Review. Journal of Educational Technology & Society, vol. 19, no. 2, 2016, pp. 258-273.

15. Potkonjak V., Gardner M., Callaghan V., Mattila P., Guetl C., Petrovic M., Jovanovic K. Virtual laboratories for education in science, technology, and engineering: A review. Computers & Education, vol. 95, 2016, pp. 309-327.

16. Faulconer E., Gruss A.B. A Review to Weigh the Pros and Cons of Online, Remote, and Distance Science Laboratory Experiences. International Review of Research in Open and Distance Learning, vol. 19, no. 2, 2018, pp. 156-168.

17. The Digital Competence Framework 2.0. The European Commission's science and knowledge service, available at:

18. Educational Data Mining,

19. Learning Tools Interoperability - LTI v1.3 and LTI Advantage. IMS Global Learning Consortium,

20. Neznanov A., Maksimenkova O. Blended Learning in Software Engineering Education: the Application Lifecycle Management Experience with Computer-Supported Collaborative Learning. Proceedings of 18th International Conference on Interactive Collaborative Learning (ICL 2015). 2015, pp. 646-653.

21. Maksimenkova O.V., Neznanov A.A. O metod- icheskikh i tekhnologicheskikh osobennostyakh vzaimnogo otsenivaniya pri formirovanii kompetentsii razrabotchikov pro- grammnogo obespecheniya. Prepodavanie informatsionnykh tekhnologii v Rossiiskoi Federatsii, materialy chetyrnadtsatoi otkrytoi vserossiiskoi konferentsii. 2016, pp. 135-137. (In Russ.).

22. Microsoft community of educators. Microsoft in Education,

23. OneNote Class Notebook. Microsoft OneNote,

24. OneNote Staff Notebooks. Microsoft OneNote,

25. Open educational resources. ISKME OER Commons,

26. Tacconi G. Between Evidence-based Education and Analysis of Teaching Practices. A Review of Didactic Research on the Italian High School System. Form@re - Open Journal per la formazione in rete, vol. 15, no. 3, 2015, pp. 102-115.

27. Escueta M., Quan V., Nickow A. J., Oreopoulos P. Education Technology: an Evidence-based Review // National Bureau of Economic Research. 2017.

28. Aoun J. E. Robot-Proof: Higher Education in the Age of Artificial Intelligence. MIT Press, 2017. 216 pp.

Размещено на allbest.ru

...