Выбор метода разработки модели оценивания результатов обучения по образовательной программе

Согласно практическому руководству необходимо выполнить 7 последовательных шагов (табл.13)

Таблица 13 Сопоставление 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP с элементами типового алгоритма

Методика предусматривает практически для каждого шага подробное описание последовательности всех операций, анкеты и чек-листы для самопроверки.

В рамках методики на шаге 3 рекомендуется разработка карты учебного плана с указанием взаимосвязи курсов с РО по ОП и определением значимости каждого РО для каждого курса (неважные - НВ, довольно важные - ДВ, умеренно важные - УВ, очень важные - ОВ). При этом для каждого РО должен быть установлен индекс УВ или ОВ хотя бы за одним курсом или дисциплиной (табл.14).

Таблица 14 Образец карты учебного плана и результатов обучения по ОП

На шаге 4 заполняется карта учебного плана с указанием курсов и инструментов оценивания (статья (С), экзамен (Э), портфолио (П), лабораторная работа (ЛР), стандартизированный тест (Т), презентация (Пр), стажировка (Ст) и т.п.) (табл.15).

Таблица 15 Образец карты учебного плана, результатов обучения по ОП и инструментов оценивания

В продолжение шага 4 рекомендуется подготовить таблицу «Интеграция результатов обучения и инструментов оценивания» (табл.16).

Таблица 16 Интеграция результатов обучения и инструментов оценивания

На шаге 5 представлены рекомендации по сбору и анализу данных и созданию «административного резюме», в котором отражены сведения о собранных данных с указанием электронных ссылок для удобного доступа (табл.17).

Таблица 17 Образец административного резюме

На высоком уровне развития системы оценивания результатов обучения образовательная программа имеет план оценивания на несколько лет, в котором определено, когда и как каждый результат обучения будет оценен, и какие улучшения, основанные на выводах, будут реализованы.

Вывод по результатам анализа модели оценивания результатов обучения по образовательной программе с применением 7-ми шаговой методики UTEP (рис. 4):

1) Процесс оценивания РО по ОП «встроен» в процесс оценивания по всем элементам учебного плана. Ответственность за формирование и оценивание результатов обучения по образовательной программе несут преподаватели всех дисциплин, за которыми закреплены конкретные РО по ОП.

2) Достижения обучающихся в ходе освоения образовательной программы отражаются также и в портфолио.

3) Данные по результатам оценивания накапливаются в разных базах, и на этапе формирования сводного отчета формируется «административное резюме» с электронными ссылками на разные источники.

4) Непонятно, сколько всего формируется процессов оценивания РО по ОП. Судя по таблице «Интеграция результатов обучения и инструментов оценивания», их ровно столько, сколько дисциплин в учебном плане.

5) В методике предусмотрен раздел, в рамках которого обсуждается вопрос о значении и достаточности оценок. Но при этом непонятно, учитывается ли оценивание РО по ОП в системе выставления оценок.

4-х стадийный цикл оценивания результатов обучения по образовательной программе (HEQCO)

Следующий подход разработан Советом по качеству высшего образования Онтарио (Learning Outcomes…, 2015). Методика строится на основе таксономии SOLO Б. Биггса. В рамках данной методики предлагается непрерывный 4-х стадийный цикл оценивания результатов обучения по образовательной программе.

Таблица 18 Сопоставление 7-ми шаговой методики оценивания результатов обучения по образовательной программе UTEP с элементами типового алгоритма

На второй стадии разрабатывается карта учебного плана (табл.19). Картирование учебного плана обеспечивает эффективную стратегию для определения, выравнивания и интеграции результатов обучения с последовательностью и расположением курсов в учебном плане. Иными словами, на этом этапе важно определить, как и где обучение происходит в учебном плане и как оно оценивается. Разработчики подхода отмечают, что картирование является визуальным подходом к анализу программ и может осуществляться с использованием графиков, таблиц, диаграмм или других инструментов, которые позволяют провести обзор и анализ программы в целом. С этим процессом может справиться небольшая команда, которая собирает начальную информацию у преподавателей и вводит данные в карту учебного плана.

Таблица 19 Карта взаимосвязи результатов обучения в преподаванием, обучением и оцениванием

Разработчиками подхода предлагается и другой вариант карты учебного плана по курсам (табл.20). Эта версия карты отражает, какую лепту каждый курс вносит в достижение результатов обучения, а также в рамках каких курсов проводятся оценочные мероприятия.

Таблица 20 Карта взаимосвязи результатов обучения по образовательной программе и курсов

Примечание: В - вводный уровень; У - усиленный уровень; М - уровень мастерства; О - оценивание.

В результате такого анализа учебного плана пробелы в оценивании результатов обучения становятся очевидными. Например, можно выявить, что некоторые результаты обучения редко или вообще не оцениваются.

Действительно, картирование обеспечивает отличную возможность для проверки оценочных заданий, включаемых в программу. Конкретные оценочные задания могут быть перепроектированы. Как рекомендуют разработчики подхода, оценочные задания должны быть спроектированы на основе таксономии SOLO и учитывать приращение знаний, умений и навыков от каждого курса. Также оценочные задания должны быть встроены в курсы и базироваться на принципах аутентичного оценивания, соответствующего дисциплине. Каждый курс должен быть проверен для уверенности в том, что оценивание является конгруэнтным и строится через определенные результаты обучения по образовательной программе.

Таким образом, карта оценочных заданий по образовательной программе направляет процессы оценивания результатов обучения по отдельным курсам и систематической генерации доказательств на уровне программы.

Стадия 3 предполагает формирование механизмов сбора и анализа результатов оценивания. Сбор и анализ данных должен быть непрерывным (проводиться каждый семестр или ежегодно). Этот процесс решает несколько важных задач: определяет степень достижения студентами установленных результатов обучения по образовательной программе; позволяет выделить области образовательной программы, которые необходимо совершенствовать; демонстрирует качество образовательной программы работодателям, партнерам и потенциальным студентам; документально подтверждает достижения и обучение студентов, что может пригодиться при прохождении оценке эффективности и аккредитации образовательной программы.

Выводы по результатам анализа модели (рис. 5), полученной с применением подхода HEQCO:

1) Модель включает несколько процессов оценивания РО по ОП - по количеству установленных результатов обучения. При этом дисциплины, за которыми закреплены результаты обучения, ранжируются (вводный, усиленный уровни и уровень мастерства).

2) Оценивание конкретного результата обучения по ОП проводится по дисциплинам, в рамках которых РО формируется на уровне мастерства. Но в некоторых случаях оценивание РО по ОП может проводиться два раза - на последнем усиленном уровне и уровне мастерства.

3) По каждому РО по ОП выстраивается четкая траектория процесса оценивания на уровне образовательной программы.

Подход All-in-One

Подход «All-in-One» разработан в Принс-Джордж Колледже и применяется с 2012 года (Richman, Ariovich, 2013). Данный подход позволяет комбинировать системы выставления оценок и оценивания результатов обучения по отдельным курсам.

Как отмечают авторы, данный подход позволяет преодолеть «дефрагментацию» в оценивании, возникающую вследствие того, что образовательные организации создают отдельные, сосуществующие практики оценивания, обращаясь к оцениванию дисциплин, курсов и программ как к изолированным частям, а не как к взаимосвязанным компонентам оценки знаний и навыков студентов [50, С.3]. Подход All-in-One позволяет посредством использования унифицированных оценочных рубрик формировать централизованную базу данных, что требует применения технологической платформы.

Таблица 21 Сопоставление шагов подхода All-in-One с типовым алгоритмом

По аналогии с ранее рассмотренными подходами, методика также предполагает тщательный и непрерывный анализ учебного плана для поддержания связей между результатами обучения по дисциплинам (модулям) и программы в целом. Принципиально важным моментом является необходимость разработки оценочных рубрик для каждого элемента учебного плана.

На уровне курса создание взаимосвязей начинается с определения ключевых заданий, которые используются для демонстрации всех результатов обучения по курсу. Если охватить все результаты обучения в одном задании невозможно, студенты оцениваются по 2-3 заданиям (например, промежуточный или финальный проект по дисциплине).

Каждая оценочная рубрика (табл.22) разрабатывается с помощью шаблона в электронной оболочке. Используя эту таблицу, преподаватели определяют набор оценочных заданий и уровней их исполнения, ранжируя их по шкале от «отлично» до «неудовлетворительно». Таким образом, преподаватель определяет, что включается в рубрику и то, как оценивается работа студента, затем заполняет таблицу в формате WORD. Далее оценивающий персонал загружает рубрику в базу данных по оцениванию.

Таблица 22 Образец оценочной рубрики

Чтобы решить сколько баллов задать, преподаватель вначале использует описание, даваемое в каждой ячейке (например, в ячейке «средне»). Описание в этой ячейке включает конкретные характеристики. Для максимизации гибкости выставления оценок, преподаватель может затем решить, в рамках «среднего», заслуживает ли студенческая работа 5, 4 или 3 баллов, основываясь на качестве презентации работы. Таким образом, преподаватель не попадает в ловушку 5-ти категориальной рубрики. Вместо этого преподаватели могут использовать рубрику для направления процесса выставления оценок, но, тем не менее, удерживая оценку в предложенном континууме.

Как только закончится семестр, рубрики начинают использоваться немного в другом ключе. Для целей оценивания интересно не количество баллов, которые получил каждый студент, а уровень которого они достигли (отлично, хорошо, средне и т.д.) по рубрике для каждой области. Фокус анализа направлен на выявление доли студентов, которые попали в каждый уровень достижений. В целом, студенты, которые попали в уровни «отлично», «хорошо» и «средне», считаются достигшими ожиданий для определенных навыков (например, письмо), в то время как студенты, попавшие в уровни «ниже среднего» и «неудовлетворительно», считаются отстающими от ожидаемых результатов для этого навыка.

Как отмечают разработчики подхода, все знания, навыки и ценности, к которым студенты стремятся на уровнях курса, программы или образования вообще, являются взаимосвязанными. На уровне отдельного студента обучение является холистическим процессом, в котором различные наборы навыков могут приобретаться одновременно в течение продолжительного периода времени. Более того, все артефакты, произведенные студентом, представляют многообразие навыков и знаний, работающих во взаимодействии.

Управление измерением этих способностей через отдельные процессы, по мнению разработчиков, не имеет смысла. Вместо того, чтобы заставлять работать в организации три системы измерения, All-in-One снижает нагрузку, действуя в существующем рабочем процессе. Преподаватель оценивает работу студента и вводит данные в электронную систему. Этих данных достаточно для сбора информации по обучению на курсах и программах по всей образовательной организации. В этом случае отпадает необходимость в других процессах, которые снова и снова переоценивают работу студентов сквозь призму то результатов обучения по программе, то общих результатов образования. Все необходимые данные производятся одним процессом.

Кроме того, подход All-in-One оставляет за преподавателями свободу определения критериев для оценивания навыков студента не только на уровне курса, но также и на уровне программы или общего образования. Например, преподаватель, который преподает психологию, хотел бы оценить такой навык любого образованного человека, как «письмо». В этом случае преподаватель психологии создает оценочную рубрику, отражающую его собственные представления о навыках написания текстов. Этот подход, по мнению авторов, привлекателен для преподавателя, потому что в этом случае он не вынужден руководствоваться расплывчатым, универсальным «золотым стандартом» письма, но вместо этого, он вовлекает себя в дискуссию об ожиданиях в отношении навыков написания текстов по конкретной дисциплине, и о проблемах, которые встречают студенты, когда движутся от одной среды применения данного навыка к другой.

Высокий уровень вовлечения преподавателей в All-in-One влечет за собой значительный объем работы, что требует адекватной институциональной поддержки (как минимум, трехуровневой).

Сбор данных осуществляется на трех уровнях: отдельной секции курса, курса в целом и по всей образовательной программе. Эти данные фокусируются на количестве и доле студентов, попавших в каждую из групп (отлично, хорошо, средне, ниже среднего, неудовлетворительно). При анализе данных по образовательной программе результаты представляются в разрезе конкретных навыков (ключевых компетенций), как например, навыки письма. Кроме того, данный анализ может служить в качестве обратной связи для студента и информировать его, например, о том, что навыки письма у него сформированы на уровне «отлично», а критическое мышление - «средне». Таким образом, студент может наблюдать свой прогресс при освоении образовательной программы и предпринимать меры по повышению качества своего обучения.

Выводы по результатам анализа модели оценивания результатов обучения по ОП с применением подхода All-in-One:

1) Модель предусматривает один процесс оценивания РО по ОП, который «встроен» в процессы оценивания результатов обучения по отдельным элементам учебного плана с помощью унифицированных оценочных рубрик, что исключает дублирование процессов.

2) Оценивание РО по ОП идет в ходе всего срока освоения программы и предусматривает постоянное (после каждого цикла оценивания) информирование обучающихся и преподавателей о достижении результатов обучения по ОП.

3) Результаты оценивания РО по ОП «встроены» в систему выставления оценок.

4) Не совсем понятно, как учитывается прогресс обучающихся в достижении РО по ОП. Решение этой проблемы требует постоянного анализа оценочных рубрик для их выравнивания во избежание занижения или завышения критериев оценивания. Это сделать возможно, но трудоемко.

2.3 Обоснование критериев выбора модели оценивания результатов обучения по образовательной программе

3. РЕЗУЛЬТАТЫ

3.2 Сравнительный анализ предлагаемых вариантов моделей оценивания результатов обучения по образовательной программе и выбор модели для магистерской программы «ГМУСЭРСТС»

Модель оценивания РО по ОП будет разрабатываться для магистерской программы «ГМУСЭРСТС», имеющей узкую направленность и срок освоения 2 года.

Напомним общие требования к модели: актуальность (учет особенностей учебного плана и срока освоения образовательной программы), результативность (переориентация содержания и логики процесса оценивания на достижение планируемых результатов обучения), достоверность (документирование процессов оценивания), экономичность (учет действующей системы учебно-методической документации ОП).

Краткие характеристики моделей представлены по следующим показателям: количество процессов оценивания; количество циклов оценивания; участие всех ППС в оценивании РО по ОП; охват РО по ОП на каждый цикл; форма для сбора данных по результатам оценивания; хранение результатов оценивания.

Таблица 25 Сводная таблица характеристик предлагаемых моделей оценивания результатов обучения по образовательной программе

По данным табл. 25 видно, что самые существенные различия возникают по 4 показателям: количество циклов оценивания; участие всех ППС в оценивании РО по ОП; охват РО по ОП на каждый цикл; форма для сбора данных по результатам оценивания.

Сводные результаты оценки моделей представлены в табл.26.

Таблица 26 Результаты оценки моделей в соответствии с установленными критериями

Примечание: 1 - плохо, 2 - недостаточно хорошо, 3 - хорошо, 4 - очень хорошо.

Сравнительный анализ предлагаемых моделей оценивания результатов обучения по образовательной программе для магистерской программы «ГМУСЭРСТС» показал, что установленным критериям более всего соответствует модель, разработанная с применением подхода All-in-One, которая набрала по итогам оценивания 12 баллов из 12 возможных.

Действительно, данная модель отвечает всем требованиям к современным моделям оценивания результатов обучения по образовательной программе, таким как: возможность проведения цикла оценивания каждый семестр; унифицированная форма для сбора данных оценивания по всем элементам учебного плана; включенность всех элементов учебного плана в процесс формирования и оценивания результатов обучения по образовательной программе; высокая вовлеченность преподавателей, задействованных в реализации образовательной программы, при сохранении их свободы в части определения оценочных заданий и критериев оценивания; широкие возможности для обратной связи со студентами в ходе реализации образовательной программы. Но вместе с тем, высок и риск неудачи, если не удастся убедить и вовлечь всех участников в процесс оценивания результатов обучения по образовательной программе.

3.3 Проект модели оценивания результатов обучения по образовательной программе «ГМУСЭРСТС», разработанный с применением адаптированного подхода All-in-One

С учетом результатов предпроектного исследования определим алгоритм разработки модели оценивания результатов обучения по образовательной программе на основе подхода All-in-One. Подход требует адаптации некоторых элементов и разработки дополнительных инструментов для обеспечения соответствия ФГОС ВО и учета особенностей действующей модели оценивания по образовательной программе.

Алгоритм разработки модели оценивания результатов обучения по образовательной программе на основе подхода All-in-One включает:

1) Формулирование результатов обучения по образовательной программе (перечень и кодификация).

2) Установление взаимосвязи результатов обучения по образовательной программе с набором компетенций ФГОС ВО (матрица 1 в формате MS EXCEL).

3) Установление взаимосвязи результатов обучения по образовательной программе с набором дисциплин учебного плана (матрица 2 в формате MS EXCEL).

4) Разработка карты оценочных заданий по образовательной программе.

5) Разработка оценочных рубрик по каждой дисциплине на основе матриц 1 и 2 (оценочные рубрики в формате MS EXCEL).

6) Описание схемы и инструментов сбора и анализа данных результатов оценивания.

7) Описание схемы взаимодействия по совершенствованию образовательной программы и процесса оценивания.

Этап 1. Формулирование результатов обучения по образовательной программе (перечень и кодификация)

При формулировании результатов обучения по образовательной программе использованы рекомендации ряда авторов и практических руководств университетов, описания программ по государственному управлению разных университетов и программы по местному и региональному развитию Университета Арктики. Планируемые результаты обучения по образовательной программе «ГМУСЭРСТС»:

1. Применять критическое мышление и соответствующие технологии для анализа ситуации, описания и решения социально-экономической проблемы (РО1).

2. Готовить планы, проекты и стратегии по управлению сельскими территориями Севера на основе инновационного и предпринимательского подходов (РО2).

3. Проводить оценку потребностей местных сообществ на основе аналитических исследований в целях разработки управленческих решений по развитию территорий (РО3).

4. Представить результаты своего исследования в виде аналитического отчёта (статьи) с использованием технологии публичной защиты (РО4).

5. Готовить официальные письма и документы в соответствующем стиле (РО5).

6. Применять технологии лидерства и работы в команде в управленческой практике (РО6).

7. Выстраивать эффективные коммуникации в коллективе и в работе с населением на принципах толерантности и деловой этики (РО7).

Этап 2. Установление взаимосвязи результатов обучения по образовательной программе с набором компетенций ФГОС ВО

Установление взаимосвязей компетенций ФГОС ВО и планируемых результатов обучения по программе необходимо для представления доказательств о том, что все компетенции, установленные ФГОС, охвачены ключевыми результатами обучения по образовательной программе. При выполнении этой операции можно еще раз проверить корректность формулировок результатов обучения, проанализировать корректность установленных взаимосвязей между компетенциями, видами профессиональной деятельности и результатами обучения. Матрицу 1 (табл. 27) рекомендуется разработать в формате MS EXCEL для удобства проведения группировок данных в соответствии с потребностями.

Данная матрица может быть полезна преподавателям при разработке оценочных рубрик и определении содержания оценочных заданий по дисциплине. В уже применяемых при проектировании образовательной программы и учебного плана инструментах предусмотрено установление взаимосвязей компетенций и дисциплин. Создание данной матрицы необходимо рассматривать как вспомогательный инструмент, создающий «надстройку» нового уровня, которая позволит уже существующие комбинации компетенций переместить в контекст особенностей и направленности конкретной образовательной программы, и заставит все элементы учебного плана «заработать» не только на формирование компетенций, но и на их применение в определенном контексте.

Таблица 27 Матрица соответствия компетенций ФГОС ВО и результатов обучения по образовательной программе ГМУСЭРСТС

Этап 3. Установление взаимосвязи результатов обучения по образовательной программе с набором дисциплин учебного плана (матрица 2 в формате MS EXCEL).

Следующим важным шагом является установление взаимосвязи результатов обучения по ...