Выбор метода разработки модели оценивания результатов обучения по образовательной программе

Размещено на http://www.allbest.ru/

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1. ОБЗОР ЛИТЕРАТУРЫ

1.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

1.2 Оценивание результатов обучения по образовательной программе: подходы, проблемы, тенденции

1.3 Выводы по обзору литературы

2. МЕТОДОЛОГИЯ РАБОТЫ

2.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

2.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

2.3 Обоснование критериев выбора модели оценивания результатов обучения по образовательной программе

3. РЕЗУЛЬТАТЫ

3.1 Характеристики действующей модели оценивания результатов обучения по магистерской программе «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера (ГМУСЭРСТС)»

3.2 Сравнительный анализ предлагаемых вариантов моделей оценивания результатов обучения по образовательной программе и выбор модели для магистерской программы «ГМУСЭРСТС»

3.3 Проект модели оценивания результатов обучения по образовательной программе «ГМУСЭРСТС», разработанный с применением адаптированного подхода All-in-One

ВЫВОДЫ И ОБСУЖДЕНИЯ

БИБЛИОГРАФИЯ

ПРИЛОЖЕНИЯ

ВВЕДЕНИЕ

1. ОБЗОР ЛИТЕРАТУРЫ

В настоящее время образовательные стандарты высшего образования не устанавливают жёстких требований к окончательному набору компетенций. Определение набора формируемых компетенций конкретной образовательной программы, как и её направленности, находится в ведении разработчика. При этом направленность конкретной образовательной программы можно отразить в её наименовании, описании, заявленном наборе компетенций, учебном плане и рабочих программах дисциплин и практик. Но зачастую заявленные в образовательных программах наборы компетенций малоинформативны для потенциальных студентов и работодателей, поскольку содержат стандартизированные формулировки компетенций, установленных ФГОС ВО. На практике образовательные организации редко устанавливают дополнительные компетенции, поскольку всё это автоматически приводит к увеличению объемов разрабатываемой методической документации.

Помимо набора компетенций, разработчик может конкретизировать направленность образовательной программы посредством определения её миссии, цели и задач, а также ключевых результатов обучения. Эти дополнительные инструменты позволяют позиционировать образовательную программу на рынке образовательных услуг, привлечь внимание потенциальных работодателей и студентов. Но особо важное значение среди этих инструментов имеют результаты обучения, поскольку именно они позволяют активизировать механизмы взаимодействия всех участников образовательного процесса, «оживляют» целевой набор компетенций (помещая его в определенный контекст), заставляют «работать» все элементы образовательной программы и виды учебной деятельности на достижение студентами планируемых результатов обучения. Установление результатов обучения по образовательной программе требует перестройки и систем оценивания, которые должны быть информативными, объективными, простыми и удобными, мотивировать студентов, отражать их достижения, в том числе и в части освоения компетенций.

Особенно остро эта проблема стоит для узконаправленных программ магистратуры, которые, как правило, имеют короткий срок освоения и ограниченные ресурсы (временные, кадровые, финансовые) для разработки оценочных средств и проведения оценивания. С учетом данных проблемных вопросов приступим к обзору литературы.

1.1 Результаты обучения по образовательной программе как ключевой элемент системы конструктивного выравнивания

Проблема оценивания результатов обучения до сих пор остается одной из самых актуальных, что подтверждают многочисленные публикации зарубежных и отечественных исследователей. Так, Вильям и Блэк (2001) определяют оценивание следующим образом: «Оценивание относится ко всем видам деятельности, предпринимаемым преподавателями и их студентами для самооценки, которые обеспечивают информацию, подлежащую использованию в качестве обратной связи для последующей модификации их деятельности по преподаванию и обучению» [40, с.2].

Как было отмечено ранее, идея конструктивного выравнивания, предполагает формирование логической связки «результаты обучения - опыт обучения - оценивание обучения», которая выстраивается в процессе проектирования образовательной программы.

На сегодняшний день при проектировании образовательных программ, по мнению Челышковой М.Б. (2015), преимущественно применяется декомпозиция, предполагающая разложение каждой компетенции на дескрипторы (признаки проявления), которые затем связываются с результатами реализации учебных программ и курсов (знаниями и умениями). Основным недостатком декомпозиции является формирование у студента набора дискретных компетенций, когда он не способен выполнить задачу на высоком уровне профессионального мастерства, хотя отдельные признаки компетенции у него сформированы. Интегральный подход, предполагающий «построение компетентностной модели выпускника - комплексной интегральной структуры конечного результата образования в вузе, в основе которого лежит связанная и иерархически упорядоченная совокупность компетенций» [32, с.6-7], ввиду своей сложности практически пока нигде не реализован.

Так, на декомпозиции основываются следующие подходы, например: проектирование образовательных программ на основе методологии TUNING (Караваева, Телешова, Ульянова, Эченикэ, 2013) и картирования компетенций (Караваева (2014), Елина, Ковтун, Родионова (2015)), технология проектирования инженерных образовательных программ на основе модернизированной двухконтурной модели АВЕТ (ABET - the Accreditation Board for Engineering and Technology [36]) (Чучалин, Муратова, Епихин, 2012), методология проектирования образовательных программ на основе результатов обучения (Ребрин, Шолина, 2014). Отметим, что два последних подхода предполагают формулирование результатов обучения по образовательной программе с учетом требований ФГОС ВО и международных стандартов инженерного образования. Данные подходы к определению и оцениванию результатов обучения основываются на опыте зарубежных университетов. Необходимо обратить внимание на то, что в зарубежных методиках вопросы проектирования образовательных программ на основе результатов обучения рассматриваются в единой связке с вопросами их оценивания. Из аналогичных российских разработок можно, например, выделить опыт Томского политехнического университета (Чучалин, Муратова, Епихин, 2013).

Обзор ряда практических руководств зарубежных университетов [45, 49, 50, 53] показал, что в основе оценивания результатов обучения по образовательной программе лежит следующий алгоритм: оценка ожиданий - определение результатов обучения по образовательной программе - картирование и выравнивание учебного плана - определение плана оценивания - подбор методов оценивания - сбор и анализ данных оценивания - совершенствование образовательной программы (рис. 2).

Алгоритм выстроен на принципах конструктивного выравнивания и эффективно работает, как отмечают авторы руководств, только на циклической основе.

Для проведения самооценки уровня развития системы оценивания образовательной организации в практических руководствах [45, 53], как правило, предлагаются оценочные рубрики с разной степенью детализации. Пример одной из таких рубрик приведен в табл .3.

Таблица 3 Оценочная рубрика для самооценки систем оценивания образовательных программ [45, с.27]

В приведенном примере необходимо обратить внимание на важный, на наш взгляд, момент: уровень развития системы оценивания определяется не столько качеством применяемых оценочных средств, а сколько развитием организационного механизма, обеспечивающего непрерывность возобновления циклов оценивания, документирования и анализа данных. Именно развитие данного механизма в последующем приводит к повышению качества оценочных средств и профессионализма участников оценочного процесса, а также накоплению необходимого объема данных для последующего анализа и принятия решений.

Проблемы и тенденции развития подходов к оцениванию результатов обучения по образовательной программе

Вопрос о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе предлагаем рассмотреть сквозь призму их влияния на выбор конкретной модели оценивания результатов обучения по образовательной программе.

В литературе понятие «модель оценивания результатов обучения по образовательной программе» не имеет четкого определения и описания составных элементов. Авторы его используют в разной интерпретации, и единого подхода, к сожалению, выявить не удалось. Так, например, в качестве модели оценивания РО по ОП позиционируются либо циклы оценивания (по аналогии с описанным алгоритмом, но с разной степенью детализации), либо кейсы университетов с описанием конкретных наборов оценочных мероприятий и применяемых оценочных средств. Если в основе современных подходов к оцениванию результатов обучения лежит типовой алгоритм оценивания, основанный на принципах конструктивного выравнивания, то что тогда определяет различия в моделях оценивания РО по ОП и наш выбор той или иной модели?

Можно выделить три основные дискуссии по вопросам оценивания результатов обучения по образовательной программе:

1) о формирующем и итоговом оценивании;

2) о качестве оценочных средств и их развитии;

3) о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок.

Рассмотрим данные вопросы подробнее. Так, дискуссия о формирующем и итоговом оценивании интересует нас с точки зрения того, насколько процессы оценивания РО по ОП своевременны, информативны и полезны в части влияния на прогресс достижений обучающихся. В настоящее время выделяют два вида оценивания: формирующее (formative assessment) и итоговое (summative assessment) (табл.4).

Таблица 4 Виды оценивания в образовательном процессе

Бойцова Е.Г. (2014) отмечает, что ключевым отличием формирующего оценивания от итогового являются не применяемые методы или оценочные средства, а цель его проведения. При этом результаты формирующего оценивания должны немедленно использоваться для корректировки процесса обучения, в этом случае данный вид оценивания приобретает непрерывный характер. Землянская Е.Н. (2015) определяет следующие характеристики формирующего оценивания: студентоцентрированность; личностную ориентированность формирование образовательного процесса; расширение круга участников образовательной программы; формирование у студентов проектировочных, коммуникативных, рефлексивных умений; объективизация и дифференциация оценки компетенций студентов; организация самостоятельной работы студентов; учет динамики учебных достижений студентов; возможность логичного вплетения в структуру учебного процесса. Возрастающий интерес к формирующему оцениванию объясняется тем, что на практике преобладает применение итогового оценивания как на уровне отдельных дисциплин, так и на уровне образовательной программы.

Кроме того, в целях непрерывного совершенствования образовательных программ и повышения качества обучения необходимо развивать связи между итоговым и формирующим оцениванием. В частности, авторы практического руководства (Learning Outcomes…, 2015) обращают внимание на работы Харлен и Джеймс (1997) и Тарас (2009), в которых обсуждаются вопросы о возможности взаимного использования данных формирующего и итогового оценивания. Данные, получаемые в рамках этих двух видов оценивания, при перекрестном использовании надо тщательно отбирать. Так, например, не все данные формирующего оценивания, по мнению Харлен и Джеймс, могут быть использованы при итоговом оценивании. Выравнивание критериев оценивания позволит быстрее выстраивать необходимые связи между формирующим и итоговым оцениванием.

Таким образом, оценивание результатов обучения по образовательной программе может строиться на сочетании данных и возможностей формирующего и итогового оценивания. Для оценивания результатов обучения по образовательной программе данный вывод является важным, поскольку в некоторых предлагаемых моделях оценивание результатов обучения по образовательной программе предусмотрено практически на стадии завершения процесса обучения, что, на наш взгляд, сокращает количество полезных циклов оценивания и снижает их информативность для студентов.

Вторая дискуссия о развитии и качестве оценочных средств поможет нам прояснить вопрос влияния оценочных средств на выбор подходящей модели оценивания. В соответствии с типологией оценочных средств (Звонников, Малыгин, Челышкова, 2012) выделяют две основные группы оценочных средств для количественного и качественного уровней измерений. К первой группе относят стандартизированные тесты с заданиями на выбор ответов и стандартизированные анкеты. Ко второй группе - традиционные средства оценивания, тесты практических умений, кейс-измерители и портфолио. Авторы также выделяют третью группу оценочных средств - это тесты, сочетающие количественные и качественные уровни измерений (например, компетентностные тесты).

Исследования в этом направлении базируются на основе теории педагогических измерений (классической теории тестов (CTT), современной теории конструирования и применения тестов (IRT), теории генерализации (G-Theory)), в рамках которой реализуются нормативно-ориентированный и критериально-ориентированный подходы [9,10,11,12,22,23]. Наиболее перспективным подходом к оцениванию результатов обучения авторы (Звонников, Малыгин, Челышкова, 2012) считают многоступенчатые адаптивные критериально-ориентированные измерения, предполагающие применение различных измерителей в рамках трехступенчатой модели оценивания уровня сформированности профессиональных компетенций.

При выборе типа и разработке оценочных средств важно помнить о том, что оценка уровня сформированности компетенций должна проводиться «в условиях максимального приближения содержания и методов оценивания к будущей профессиональной деятельности выпускников» [10, с.119]. Поэтому вопрос правильного подбора и разработки качественных измерителей стоит очень остро. Для апробации и совершенствования самостоятельно разработанных оценочных средств большое значение также имеет достаточное количество циклов оценивания, предлагаемых в рамках той или иной модели.

Кроме того, для каждого результата обучения рекомендуют использовать определенные виды оценочных заданий. Пример представлен в табл.5 (таблица подготовлена по материалам практического руководства Совета по качеству высшего образования Онтарио [45]).

Таблица 5 Рекомендуемые виды оценочных заданий для результатов обучения

При принятии решения о выборе модели оценивания результатов обучения по образовательной программе, вопрос о подборе оценочных средств невозможно рассматривать без обсуждения трудоемкости и ресурсоемкости разработки оценочных средств. Так, в большинстве рассмотренных практических руководств рекомендуется учитывать наличие времени и ресурсов (кадровых, административных, финансовых и др.) при определении планов оценивания и подборе оценочных средств.

Дискуссия о возможности комбинирования оценивания результатов обучения по образовательной программе и системы выставления оценок интересует нас с точки зрения экономичности, информативности и полезности процесса оценивания. Обратим внимание на последний элемент алгоритма оценивания результатов обучения по образовательной программе - это «совершенствование образовательной программы», которое является одной из конечных целей цикла оценивания наряду с определением путей повышения качества обучения студентов.

Так, Г. Роджер (2003) [38] отмечает, что оценивание результатов обучения по образовательной программе направлено на представление доказательств того, что студенты могут продемонстрировать знания или навыки, напрямую связанные с конкретными результатами обучения по программе. Но что в итоге дает нам это оценивание - только информацию о том, как совершенствовать образовательную программу? Если оценивание результатов обучения по образовательной программе привязано к ее конкретным элементам, таким как, например, практики, НИР или ВКР, то в принципе результаты их оценивания в виде оценок будут включены в диплом студента. Не возникнет ли при этом противоречия с оценками по промежуточной аттестации? Как отмечает Г. Роджер, оценки по дисциплинам отражают, как правило, то, что студент выполнил требования преподавателя по данной дисциплине. Поэтому они являются неинформативными в части отражения успехов студентов по достижению результатов обучения на уровне программы.

Следствием такого подхода является то, что образовательные организации попадают в своеобразную ловушку невзаимосвязанных и ресурсоемких процессов оценивания на уровне отдельных дисциплин и программы в целом, в итоге получая «разрыв» между оценками в дипломе и реальным уровнем сформированности компетенций выпускников [17, 50].

Таким образом, рассмотренные дискуссии свидетельствуют об активном поиске способов решения проблем и задач по оптимизации процессов оценивания результатов обучения по образовательной программе. Основной тенденцией в развитии подходов к оцениванию РО по ОП становится смещение фокуса дискуссий с вопросов о том, что и как оценивать, к обсуждению вопросов о том, как оптимизировать эти процессы, при этом повышая их качество и информативность. Это важный вывод, который может повлиять на определение критериев выбора модели оценивания результатов обучения по образовательной программе.

1.3 Выводы по обзору литературы

2. МЕТОДОЛОГИЯ РАБОТЫ

2.1 Обоснование подбора подходов к разработке моделей оценивания результатов обучения по образовательной программе

Исходя из полученных по итогам обзора литературы выводов о проблемах и тенденциях развития подходов к оцениванию результатов обучения по образовательной программе, необходимо осуществить подбор альтернативных методов и выбор одного из них для последующей разработки модели оценивания результатов обучения по образовательной программе для конкретной магистерской программы «Государственное и муниципальное управление социально-экономическим развитием сельских территорий Севера» (далее - «ГМУСЭРСТС»).

В ходе изучения литературных источников был проведен обзор подходов к проектированию образовательных программ на основе методологии результатов обучения и принципов конструктивного выравнивания, а также ряда практических руководств по оцениванию результатов обучения по образовательной программе. Напомним, что итогом проведенной работы стал вывод о том, что в основе любого подхода к оцениванию результатов обучения по образовательной программе, разработанной на принципах конструктивного выравнивания, лежит типовой алгоритм оценивания результатов обучения по образовательной программе, состоящий из 7 последовательных шагов, повторяющихся на непрерывной циклической основе.

На основе данного вывода был осуществлен подбор подходов к разработке модели оценивания результатов обучения по образовательной программе. В ходе подбора были исключены подходы и методы, в которых рассматриваются либо только подходы к проектированию образовательной программы, либо только подходы к оцениванию результатов обучения.

Таким образом, в окончательную выборку попали 4 подхода:

- технология проектирования образовательных программ ТПУ (Чучалин, Муратова, Епихин, 2012) (далее - подход ТПУ);

- 7-шаговая методика оценивания результатов обучения по образовательной программе Университета Техаса в Эль Пасо (2009); 2012) (далее - подход UTEP);

- 4-х стадийный цикл оценивания результатов обучения по образовательной программе (Совет по качеству высшего образования Онтарио, HEQCO) (2015) (далее - подход HEQCO);

- подход All-in-One (Richman, Ariovich, 2013) (далее - подход All-in-One).

Каждый из данных подходов, несмотря на разную степень детализации, действительно построен на типовом алгоритме оценивания результатов обучения по образовательной программе (табл.6). По приведенной таблице можно еще раз убедиться в том, что применение данных подходов возможно при проектировании образовательных программ на основе принципов конструктивного выравнивания всех элементов учебного плана с планируемыми результатами обучения по образовательной программе. Но сведения об этапах применения каждого из подходов, представленные в данной сводной таблице, не дают информации о том, какую модель оценивания результатов обучения по образовательной программе можно получить в результате применения данного подхода.

Следующим шагом видится описание и анализ каждого подхода с точки зрения возможности построения описания модели оценивания результатов обучения по образовательной методике, что позволит до этапа проектирования модели осуществить выбор в пользу применения одного из подходов. Описание каждого подхода представлено в отдельных разделах и будет включать: сведения о разработчиках и опыте применения подхода; описание алгоритма работ; образец модели; выводы. После описания всех подходов, с учетом полученных в результате анализа каждого подхода выводов, необходимо определить примерные критерии для выбора модели оценивания результатов обучения по образовательной программе, которые будут уточнены на этапе анализа действующей модели оценивания по магистерской программе «ГМУСЭРСТС».

Таблица 6 Сравнение подходов с типовым алгоритмом оценивания результатов обучения по образовательной программе

2.2 Описание подходов к разработке моделей оценивания результатов обучения по образовательной программе

Технология проектирования образовательных программ ТПУ

Данный подход разработан и применяется в Национальном исследовательском Томском политехническом университете. В литературе подход описан как технология проектирования инженерных образовательных программ (Чучалин, Муратова, Епихин, 2012). Основой для разработки данного подхода послужили международные стандарты инженерного образования и ФГОС ВПО. Также подход основывается на двухконтурной модели АВЕТ [29, с.26-28], включающей 2 процесса: процесс установления целей ООП и процесс определения, достижения и оценивания результатов обучения по ООП. Технология предполагает выполнение 10 последовательных шагов, представленных в табл.7.

Таблица 7 Сопоставление технологии проектирования ОП ТПУ с элементами типового алгоритма

При применении данной технологии разработчику образовательной программы на первом шаге необходимо изучить требования ФГОС, профессиональных стандартов и заинтересованных сторон, а также ситуацию на рынках труда. Далее формулируются результаты обучения. По итогам 2 и 3 шагов заполняется табл.8.

Таблица 8 Планируемые результаты обучения

Таблица 9 Взаимное соответствие целей ООП и результатов обучения

На этапе декомпозиции необходимо определить составляющие результатов обучения - знания (З), умения (У), владение (В) (табл.10).

Таблица 10 Декомпозиция результатов обучения

На следующем этапе разработчик должен распределить результаты обучения по циклам ООП (табл.11), затем аналогично - по модулям ООП.

Таблица 11 Распределение результатов обучения по циклам ООП

Далее технология предполагает установление соответствия модулей ООП результатам обучения (табл.12).

Таблица 12 Соответствие модулей ООП результатам обучения

Полученные матрицы становятся основой для разработки рабочих программ отдельных дисциплин или модулей.

Оценивание достижения результатов обучения производится на уровне каждой дисциплины или модуля, а также, для некоторых РО, на уровне программы в целом, например, в рамках выполнения курсовых проектов, проектных работ, практик, НИР или подготовки выпускной квалификационной работы. Авторы обращают внимание на то, «что на основании оценки достижения составляющих результатов обучения в большинстве случаев не представляется возможным достоверно судить о целостных результатах освоения ООП - приобретении компетенций» [33, с.15]. Вслед за Ефремовой Н.Ф., отмечавшей значимость квазипрофессиональных ситуаций при проведении оценивания сформированности компетенций, разработчики подхода предлагают активизировать междисциплинарную деятельность студентов в рамках курсового проектирования, НИР, практик и ВКР и создавать условия, «максимально приближенные к реальной инженерной деятельности» [33, с.15]. При этом важно обеспечить проведение экспертной оценки компетенций по заранее установленным индикаторам и критериям. Таким образом, оценивание уровня сформированности компетенций предлагается проводить в рамках междисциплинарных элементов учебного плана, а оценку достижения локальных результатов обучения - в рамках проведения промежуточной аттестации по модулям.

Выводы по результатам анализа модели оценивания результатов обучения по образовательной программе с применением подхода ТПУ:

1) Модель включает 2 процесса оценивания: локальных результатов - на уровне отдельных модулей (дисциплин); результатов обучения по образовательной программе - на уровне междисциплинарных элементов учебного плана (практик, курсовых проектов, НИР и ВКР).

2) Оценивание результатов обучения по образовательной программе проводится в каждом семестре при оценивании выполнения студентами работ в рамках междисциплинарных элементов учебного плана, за которыми закреплены конкретные наборы РО по ОП.

3) Результаты оценивания учитываются при выставлении оценок по указанным элементам учебного плана.

4) Результаты учитываются при корректировке целей и результатов обучения ОП по завершении периода обучения по программе.

5) В модели, на наш взгляд, остается непонятным, как фиксируется и анализируется прогресс достижений обучающихся, сопоставимы ли закрепленные за междисциплинарными элементами наборы РО по ОП, и как определяется возрастание сложности оценочных заданий.

7-ми шаговая методика оценивания результатов обучения по образовательной программе (UTEP)

Данная методика разработана Университетом Техаса в Эль Пасо (Program Learning…, 2009) на основе работ ряда авторов и с применением практических руководств таких университетов, как California Polytechnic State University, Texas A&M University, University of Central Florida, University of Delaware, University of Texas at Dallas, University of Virginia [49, с.38]. Практическое руководство не потеряло своей актуальности, продолжает использоваться и дополняться (Student Learning…, 2013).