Оценка качества высшего образования: обзор международного опыта

Размещено на http://www.allbest.ru/

Оценка качества высшего образования: обзор международного опыта

К.С. Губа

Центр институционального анализа науки и образования Европейского университета в Санкт-Петербурге

Аннотация

Обзор посвящен опыту других стран по организации и реформированию национальной системы оценки качества образования. Многие страны за последние десятилетия не только с нуля разработали систему оценки качества образования, но и успели ее реформировать под влиянием дискуссий о том, какие меры могут действительно способствовать развитию качества образования. В обзоре представлены как кейсы стран, известных давней историей оценки качества (Англия или США), так и кейсы, которые под влиянием внешних причин почти с нуля выстроили модель оценки качества. Мировой опыт отражается в трех основных тенденциях. Во-первых, страны или существенно изменяют формат аккредитации, или отказываются от него вовсе. Среди экспертов сформировался консенсус, что целью системы оценки должно быть улучшение качества образования, для чего формат аккредитации не подходит, так как главным образом связан с соответствием минимальным стандартам. Во-вторых, все больше экспертов видят необходимым введение аудита качества, формат которого направлен на оценку способности университета самостоятельно поддерживать высокие стандарты качества образования. В-третьих, признается важным отказ от единой оценки университетов, так как она приводит к уменьшению разнообразия системы образования. Система оценки должна учитывать специфику университета - дифференцированная система образования позволяет лучше отвечать запросам рынка труда, потребностям студентов и общества. Сама идея создания единых стандартов качества за пределами России и нескольких стран Восточной Европы не только не получила большого распространения, но и активно критикуется. Все эти тенденции позволяют сделать вывод о том, что на сегодняшний момент система оценки качества образования российских вузов не отвечает мировой практике. В этой связи опыт других стран по организации национальной системы оценки качества образования видится особенно актуальным для контекста российского высшего образования.

Ключевые слова: оценка качества образования, аккредитация, аудит, высшее образование, эффективность университетов

Abstract

QUALITY OF HIGHER EDUCATION: A REVIEW OF INTERNATIONAL PRACTICE

K.S. Guba

Center for Institutional Analysis of Science and Education, European University at Saint Petersburg

The article reviews international practice in managing and reforming national education quality assurance systems. Due to the influence of debates about instruments that have the potential to contribute to the development of quality education, many countries over the past decades have elaborated a system for assessing higher education quality. The review discusses both countries known for a long history of quality assurance (England or the United States) and cases that, under the influence of external pressures, developed a model of quality assessment from scratch. There are three significant trends in international experience. Firstly, countries either substantially reform the format of accreditation or abandon it entirely. There is a consensus among experts that the aim of the assessment system should be improving the quality of education. The accreditation is not suitable for it, since this format is generally related to satisfying the minimum standards. Secondly, more and more experts emphasize the advantages of quality audit, its format being related to assessing the university's ability to autonomously maintain high standards of education quality. Third, the rejection of a unified assessment of universities is considered necessary, as it leads to a decrease in the diversity of the education system. A quality assurance system should take into account the specific features of the university, since the differentiated education system is more responsive to the demands of the labour market, the needs of students and society. The idea of creating uniform quality standards outside Russia and several countries of Eastern Europe not only lacks popularity, but is also criticized actively. All these trends allow us to conclude that the current Russian education quality assurance system does not meet international trends. In this regard, the experience of other countries in organizing the national system of education quality assessment is seen as particularly relevant to the context of Russian higher education. Keywords: education quality assurance, accreditation, quality audit, higher education, universities' effectiveness

Оценка качества образования в университетах - сравнительно новое, но бурно развивающееся направление в области управления высшим образованием. Нельзя сказать, что университеты раньше полностью игнорировали вопросы качества образования, однако именно в последние десятилетия в разных странах наблюдается серия разнообразных инициатив по систематической оценке вузов. Первоначальный импульс во многом был связан с появлением массового образования [1], когда в ответ на возросший спрос со стороны студентов стали открываться новые (преимущественно частные) университеты, а старые организации расширили спектр предлагаемых программ. Одновременно в ряде стран произошло сокращение государственного финансирования, на фоне чего появилась необходимость доказательств, что деньги налогоплательщиков тратятся с пользой - университеты успешно выполняют свои задачи и не вовлечены в сомнительную деятельность [2, p. 40]. Государство, обратив более пристальное внимание на университеты, сделало их подотчетными (accountable) - теперь они должны регулярно проходить через оценку качества, получая или обновляя свой статус благонадежных организаций [3, p. 229]. В свою очередь, Болонское соглашение перезапустило международную студенческую мобильность, а значит, потребовались гарантии, что в университетах по всей Европе поддерживаются минимальные стандарты качества. Сейчас мы можем говорить о накопленном опыте проб и ошибок, который необходимо учесть при разработке или реформировании системы оценки качества в отдельной стране.

Опыт других стран по организации национальной системы оценки качества образования видится особенно актуальным и полезным для контекста российского высшего образования. Признав его качество крайне неутешительным, с 2012 г. Министерство образования взяло курс на «очищение высшего образования»1, предполагая, что в большом количестве вузов не поддерживаются даже минимальные стандарты качества [4]. За пять лет число вузов уменьшилось почти на треть - профильное ведомство сделало вывод, что задача успешно выполнена. Должно ли государство теперь поставить следующую задачу - как достигнуть улучшения качества? Может ли существующая система оценки в формате аккредитации с едиными для всех вузов стандартами этому способствовать?

Цель этого обзора - дать представление об основных моделях оценки качества образования, которые или сейчас присутствуют в странах, или действовали сравнительно недавно. В этом обзоре мы будем опираться не только на страны, известные давней историей оценки качества, как Англия или США, но также обратимся к кейсам, которые под влиянием внешних причин почти с нуля выстроили модель оценки качества. Особенно нас будет интересовать опыт стран с дифференцированной системой высшего образования, к которым относится Россия. В таких системах разные типы университетов обладают своей миссией, различаются карьерными трэками студентов, форматом обучения и доступными ресурсами [2]. Как выстроены государственные системы оценки качества в странах со сложной системой образования? Позволяют ли они сохранить специфику разных типов институций? Эти вопросы важны в контексте ценности диверсифицированной системы образования, которая позволяет лучше отвечать запросам рынка труда, потребностям студентов и общества, стимулирует мобильность и инновации [5, р. 392].

Модель оценки качества образования

Система оценки качества - это набор инструментов, с помощью которого регулируется институциональное поведение университетов для того, чтобы гарантировать некоторый ожидаемый результат [6]. Многочисленные описания [7] страновых кейсов показывают, что при всем разнообразии национальных систем оценки можно выделить набор элементов общей модели оценки качества. Эти элементы присутствуют практически во всех случаях, однако в каждой отдельной стране они могут быть организованы по-разному. Например, везде процедура включает визит экспертов, но в их роли могут выступать государственные инспекторы на службе, преподаватели или работодатели. Рассмотрим основные элементы по порядку.

Систему оценки курирует специальное агентство, которое может быть автономным или частью более крупного государственного подразделения. В Европе чаще всего контроль над агентством принадлежит государству (иногда при участии ассоциации университетов). В американской модели аккредитационные агентства функционируют как некоммерческие организации без заметного участия государства. Участие в оценке может быть свободным - университет сам стремиться пройти процедуру. Обязательный характер оценки означает, что институция не может отказаться от участия. Промежуточный вариант - это системы, в которых университеты могут не проходить оценку качества, но в этом случае они несут издержки, к примеру, не получают доступа к федеральным ресурсам (США). Фокус оценки может включать образовательные программы или организации в целом. оценка качество образование

Методология оценки строится на следующих источниках информации, значение которых может различаться для разных национальных систем. В ходе самообследования университет сам собирает информацию о своей деятельности. Результатом обычно становится отчет, формат которого определяет агентство. Главное преимущество самообследования - это низкие затраты, так как оно протекает с помощью сил самого университета. Кроме того, позитивно воспринимается участниками, особенно если документ с самообследованием имеет ключевое значение для всей процедуры. Мнение экспертов - важнейший источник информации, которая собирается во время недолгого визита в университет. Экспертами обычно выступают представители университетской среды, могут привлекаться люди из бизнеса и профессий. Количественная информация включает индикаторы результативности университета, тестирование студентов, опросы работодателей и т. д. Индикаторы разделяют на входные условия (к примеру, количество преподавателей разной квалификации или финансирование на одного студента) и итоговые результаты, измеряемые через отсев студентов, количество выпускников или успешный найм по специальности [9]. Пример использования статистической информации - финская база KOTA, включающая информацию о студентах, степенях, преподавателях, аспирантах, публикациях и т. п.

Формат итогового отчета определяется задачей процедуры оценки. Если в результате принимаются серьезные решения - о закрытии институции или доле ее финансирования - то отчет, главным образом, предназначается профильному министерству. Если же главная цель: это улучшение качества, то отчет создается для университета. В таком отчете обычно формулируются подробные рекомендации, какие изменения необходимо предпринять. Отчет может быть закрытым, а может широко публиковаться с обсуждением результатов в прессе.

Любой конкретный дизайн модели оценки качества строится на продумывании того, каким образом будут включены все эти элементы. Нужно ответить на следующие вопросы [7]. Кто будет контролировать процедуру оценки качества? Будет ли она обязательной для всех университетов? Какой будет степень стандартизации методов и процедур оценки? Кто назначает экспертов и в чем заключается суть их визита? Какие запланированы последствия оценки? Ответы на эти вопросы зависят от того, как формулируется главная проблема качества образования. Стейкхолдеры в системе высшего образования выделяют две основные проблемы - это сомнение в минимальных стандартах качества и необходимость его постоянного улучшения. Считается, что эти проблемы сменяют друг друга - стремиться к превосходству в образовании можно после того, как решена задача достижения минимального качества.

Задача оценки при проблеме достижения минимального уровня качества - это идентификация образовательных программ, которые не соответствуют стандартам. Природа оценки - подотчетность государству, которое выступает главным инициатором процедуры. Основные источники информации - описательные отчеты и показатели эффективности, разрабатываемые так, чтобы иметь возможность принять решение (к примеру, задаются пороговые значения). Риски такой процедуры сосредоточены вокруг меньших возможностей для развития вузов - весь фокус на минимальных стандартах, а не на превосходстве.

Следующая большая проблема оценки качества выстроена вокруг сомнения в том, что университеты стимулируют инновации в образовании и сами способны отслеживать свое качество. Задача состоит в том, чтобы университеты начали стремиться к постоянному улучшению качества. Признается, что не стоит формулировать один стандарт качества и спускать его сверху вниз (университеты могут задавать свои собственные цели и стандарты). Главное, чтобы они при этом стремились самостоятельно и регулярно оценивать, насколько успешно эти цели достигаются. В оценке ключевую роль играют отчеты о самообследовании с описанием стратегии развития и внутренних процессов. Организация должна показать, что она аккумулирует информацию о своей деятельности, чтобы улучшить положение дел.

Различные типы проблем качества образования решаются и различными системами его оценки. Сомнение в стандартах качества задает формат аккредитации, при котором оценка сосредотачивается на возможности получить образование минимального качества в стенах этой организации. Этот формат часто реализуется в виде оценки не самого качества образования, а способности организации его предоставить (institutional capacity). Отсюда и фокус внимания на оценке инфраструктуры (количество книг в библиотеке), преподавателей (количество преподавателей со степенями), учебного плана [11]. Задача улучшения качества решается форматом аудита качества образования. Его процедура направлена на оценку того, насколько сам университет внедряет различные механизмы оценки. Университет может декларировать, что он поддерживает определенную систему мониторинга качества образования, аудит направлен на проверку справедливости этих заявлений. Тем самым аудит не проверяет качество само по себе, но устанавливает, насколько процедуры, которые есть в организации, за этим качеством помогают следить [2, p. 54].

Рассмотрим далее подробнее два доминирующих формата оценки качества образования - формат аккредитации и формат аудита.

Формат аккредитации

Аккредитация - это процедура оценки качества образования, по итогам которой проверяется, соответствует ли программа или институция минимальным стандартам качества [2, p. 52]. Результатом становится бинарное решение - программа или университет аккредитованы или нет. Обычно аккредитация включает три этапа: самообследование, визит экспертов, решение комиссии. Если раньше эта модель особенно была развита в Соединенных Штатах, то затем и страны Европы стали вводить аккредитацию для оценки образовательных программ. Аккредитация дает университетам дополнительные права. В Европе, к примеру, аккредитованные университеты могут открывать собственные образовательные программы без специального одобрения государства. В США студенты могут получить федеральный заем на оплату учебы, только если они зачислены в аккредитованный университет.

Формат аккредитации реализуется с разной степенью гибкости. Менее гибкий формат - это обязательная проверка всех программ на соответствие стандартам, заданным одинаковым образом для каждой дисциплины [12]. Такой формат особенно распространен в Восточной Европе. Государство сначала устанавливает стандарты доступной инфраструктуры и содержания образовательной программы, а затем проверяет, соответствуют ли им программы. При более гибком формате единые стандарты отсутствуют. Это чаще всего реализовано в виде существования нескольких аккредитационных агентств, которые могут предлагать различные схемы оценки (европейские примеры - Голландия и Германия). При гибком формате университет может продолжать свою деятельность и без аккредитации, если готов на некоторые ограничения в своей работе.

Для Восточной Европы система оценки качества образования реализовалась в виде обязательной аккредитации. Была поставлена задача привести качество образования в соответствие минимальным стандартам. Эта логика раньше больше относилась к профессиональным областям, однако, во многом в связи с внешними причинами, стала распространяться на все образовательные организации [13]. В Восточной Европе самым важным фактором для внедрения систем оценки стал быстрый и неконтролируемый рост числа частных вузов. Аккредитация стала средством справиться с ростом частного сектора, что чаще всего означало стремление сократить количество вузов - результаты аккредитации использовались для их закрытия. Второго шанса в виде работы над ошибками университетам не предоставлялось [14, р. 119]. В этом контексте аккредитация приобрела свою специфику - речь идет о странах, где содержание курсов напрямую контролируется государством. Теоретически это означает отсутствие вариации в минимальных стандартах, так как для всех организаций стандарты одинаковы. Оценка образовательной программы означала не проверку того, насколько деятельность организации, которую она выстраивает самостоятельно, соответствует минимальным стандартам, а действительно ли установленные сверху стандарты исполняются [14].

Большинство стран, где присутствует формат аккредитации, однако реализует его без разработки единых стандартов для всех дисциплин. Менее гибкий вариант - когда каждое агентство задает параметры оценки, проговаривая, чему именно будет уделяться внимание экспертов. При более свободном формате университету дают возможность сформулировать свои цели и специфику, задача экспертов при этом убедиться, что их удается достигать. Например, аккредитация в Голландии развивалась от более свободного варианта к менее гибкой процедуре. Система оценки была перезапущена в 2000 г. в связи с Болонским соглашением [15]. В процедуру также входило самообследование и визит экспертов, но теперь агентство определяло, что должно оцениваться во время визита. Заключение об аккредитации стало иметь свои последствия для университета, так как статус аккредитации позволял студентам получать финансовую помощь для оплаты учебы. При отрицательном решении университету предоставлялось время для работы над ошибками в течение двух лет. Если же за это время ему не удавалось улучшить результаты, то его могли закрыть.

Кейс: система аккредитации в Германии

Аккредитация в Германии введена в 1998 г. на фоне изменения системы степеней в связи с Болонским соглашением. Европейский подход к аккредитации, как это хорошо видно на примере Германии, отличается от американского: он, скорее, затрагивает аккредитацию образовательных программ, а не институций, охватывает все организации в виде обязательного получения аккредитации. Решение не такое категоричное, как в других странах - предусмотрен вариант не только положительного или отрицательного вердикта, но также положительного с условиями, выполнение которых будет проверено в дальнейшем. Заявка на прохождение процедуры содержит разную информацию о факультете и его программах, количестве студентов и преподавателей. Вторая часть заявки посвящена самой программе, описываются ее цели, формат и модули. Важно, что клерки в агентстве проверяют консистентность заявки - все ли в ней нужное присутствует, а эксперты работают с содержанием. В комиссии экспертов могут участвовать не только преподаватели, но и работодатели. Визит состоит из дискуссий с руководством факультета и программы, преподавателями и студентами. С руководством обсуждаются цели программы, планы по ее реализации и продвижению, с преподавателями - учебный план, методы преподавания и оценки студентов, со студентами - взаимодействие с преподавателями, доступные возможности в виде стажировок и обучения заграницей. Важно, что реаккредитация проходит быстрее и с меньшими формальностями. По результатам половина программ на 2009 г. была аккредитована только частично. Главная проблема заключалась в том, что агентства не успевали с аккредитацией всех программ, поэтому они начинали действовать без нее. В итоге, если эксперты встречали неудовлетворительное качество на новых программах, то, чтобы снизить ущерб для студентов, процесс аккредитации приостанавливался и запускался заново после работы над ошибками. Во многом медлительность процесса была связана с поиском экспертов, которые бы согласились принять участие. Еще большей проблемой считают усложнение всей системы оценки качества, так как помимо аккредитации университету для открытия программы нужно получить одобрение от местных властей.

Кейс: создание образовательных стандартов в Англии

В Англии в 1998-2001 гг. была запущена инициатива по определению эталонных содержательных стандартов (UK Subject Benchmarks Program), в основном в связи с изменением статуса политехникумов, которые получили право открывать свои программы без их утверждения сверху. Это привело к росту числа студентов и новых образовательных программ, особенно в междисциплинарных областях, где не было согласия в том, что должно преподаваться на таких программах. По итогам дискуссий было принято решение провести исследование, которое помогло бы ответить на вопросы о том, возможно ли идентифицировать общие компетенции и навыки выпускников вне специализированного корпуса знания. Могут ли такие компетенции быть общими для всех выпускников или выпускников одного типа программ? Могут ли общие компетенции использоваться при разработке минимальных стандартов? Если да, то как их можно измерить? Такие вопросы были поставлены перед рабочими группами, которые сделали вывод, что едва ли можно найти общие компетенции. Скорее, их можно перечислить (критическое мышление, например, обязательно будет в этом списке), однако такой список не будет иметь особенной пользы, так как основные навыки должны касаться содержания программ. Соответственно в дальнейшем государство поставило задачу разработать набор специальных навыков и компетенций для отдельных программ, которые бы также включали и общие навыки. Для начала остановились на химии и истории. При этом химики согласились, что можно разработать одну модель обучения химии в университете, тогда как историки резко выступили против разработки такой модели. Тем не менее проект распространился на все дисциплины - в эти годы работало около 50 комитетов, которые должны были утвердить, какие навыки требуются для получения диплома в каждой области. Важно отметить подход к формированию комитетов, в котором специально оговаривалась необходимость сохранить разнообразие научных областей. В результате всей этой работы из-за разных причин, в том числе и противодействия престижных университетов, стандарты не стали иметь регулирующей силы, однако сами институции ими пользуются.

Формат аудита

Аудит качества направлен на оценку способности университета самостоятельно поддерживать высокие стандарты качества образования. Университеты и раньше развивали внутренние системы оценки качества курсов, программ и факультетов. К примеру, американские университеты проводят регулярную оценку департаментов с привлечением внешних экспертов. Процедура основана на рефлексии над собственными достижениями, оценке доступных ресурсов, разработку стратегии. Аудит связан с необходимостью удостовериться в том, все ли университеты имеют такие внутренние системы оценки качества.

Формат аудита ближе к тому, чтобы анализировать результаты студентов при обучении. Однако оценки за курс сами по себе не имеют значения: оценивается то, насколько университет использует результаты студентов для оценки качества преподавания. В этом случае внимание уделяется не самому содержанию курса, а тому, как выстроена система сбора информации о результатах студентов по итогу обучения на этом курсе. Предполагается оценка внутренних процессов: экспертиза создания новых программ и курсов, процедура оценки программ, валидность инструментов оценки преподавания и обучения [17]. Сама процедура проходит в виде визита экспертов, которые оценивают доказательства вовлеченности университета в поддержание качества. Результаты оценки часто формулируются в виде рекомендаций о дальнейшем развитии.

Академический аудит обладает существенными преимуществами. Во-первых, в сравнении с дисциплинарными стандартами достигнут консенсус в том, как выстроить систему оценки студентов, сбор отзывов и их дальнейшее использование в разработке курса [11, р. 220]. Во-вторых, он развивает культуру продолжающегося мониторинга качества в университетах, на которые возлагается ответственность поддерживать и развивать качество образования. В-третьих, аудит позволяет сохранять разнообразие системы и автономию университетов. Преподаватель может сам сформулировать цели, которые студенты должны достичь на его курсе, главное, чтобы он отслеживал, достигаются ли эти цели в действительности. Считается, что если это происходит регулярно, то качество преподавания будет постоянно совершенствоваться.

Английский опыт приводится как пример давнего внимания к аудиту качества в виде оценки того, гарантирует ли организация механизмы его поддержания [2, р. 112]. В 1997 г. было создано агентство (Quality Assurance Agency for Higher Education), которое проводило оценку программ и институций с фокусом на управленческие практики и систему оценки качества внутри организации. Были разработаны процедуры академического аудита, цель которых - способствовать изменениям внутри университета. Большое внимание уделялось контексту функционирования университета: «качество университета может быть оценено только в контексте целей и задач институции» [15]. Отчет по итогам проверки не содержал окончательного вердикта, он предоставлялся университету и не публиковался открыто. Сейчас аудит применяется во многих других странах или в формате, дополнительном к аккредитации (Финляндия), или в виде основного формата оценки (Гонконг). В США, например, аккредитация программ по подготовке школьных учителей проходит по модели аудита качества.

Аудит качества в Гонконге - это пример оценки того, как организации достигают поставленные перед собой цели [11, с. 220]. При разработке этой системы оценки озвучивалась цель поддержки университетов в улучшении их деятельности. В дизайне заложена важная идея, что понимание качества различается в разных институциях и необходимо эти различия сохранить (light touch approach). Само качество обучения не оценивается (стал ли студент хорошим социологом), так как считается, что содержательно это слишком трудная задача. Внимание сосредотачивается на тех действиях институции, которые она сама предпринимает для оценки качества своего образования. Эксперты анализируют цели программ, учебные планы, методы преподавания и оценки знания студентов на курсах. Качественное преподавание - это когда преподаватели отслеживают результаты студентов, анализируют, соответствуют ли они целям, а затем, если требуется, запускают изменения. Отзывы студентов - один из самых важных элементов оценки качества преподавания. Сами же стандарты курса не оцениваются, только то, как работают с результатами и отзывами студентов, есть ли связь между ними и дальнейшими действиями преподавателя. Во время визита экспертов основное время - это групповые дискуссии, чтобы понять, как в действительности выстраивается работа университета. Итогом становится отчет с рекомендациями, что можно сделать лучше.

В США сравнительно недавно был учрежден специальный совет (Teacher Education Accreditation Council), который занимается аккредитацией программ подготовки школьных учителей [18]. Во время прохождения аккредитации оценивается, насколько программа поддерживает принципы качества, суть которых главным образом связана с фокусом на студенческие результаты. Экспертов нужно убедить, что преподавание ведется на высоком уровне, инструменты оценки студенческих знаний валидны, отзывы студентов используются для улучшения курсов. Программа должна объяснить цели преподавания и показать с привлечением доказательств (evidence-based approach), что она их достигает. При этом сами варианты доказательств не спущены сверху, институция сама их подбирает - оценки студентов, отзывы о курсе, портфолио, рейтинги, промежуточные оценки, тесты, обследование студентов и выпускников. Визит аудиторов в основном связан с проверкой доказательств - они могут запросить силлабусы, отзывы студентов или провести интервью.

Результаты аудита [18] систем оценки в университетах показывают, что преподаватели воспринимают преподавание как область, свободную от формализации. В своей научной работе они признают, что необходимо разработать план проекта, вести протокол сбора и анализа данных, внимательно изучать промежуточные результаты с тем, чтобы корректировать ход исследования. Однако в преподавании такие шаги им представляются излишними, даже если речь идет о преподавателях, специализирующихся на исследовании образования. Для продвижения культуры качества преподавания потребовались тренинги, где обучали, как формулировать цели и суждения о программе, какие источники информации могут служить доказательствами выполнения целей.

Выбор формата: от оценки минимальных стандартов к улучшению качества

Сравнение двух форматов обычно проводится в критическом ключе с описанием преимуществ аудита качества. Считается, что аккредитация часто приводит к стандартизации и упрощению, тогда как аудит позволяет не только сохранять различия, но и действительно совершенствовать качество образования [19]. Аудит по своей сути ближе к тому, чтобы оценивать именно качество образования, так как во внимание принимаются студенческие результаты в ходе или по итогам обучения. Считается, что системы оценки слишком сосредоточены на косвенных признаках качества: оценивается инфраструктура организации или учебные планы, хотя все это может иметь мало влияния на непосредственные результаты студентов. Если отказаться от тестов и опросов студентов (см. кейс ниже), то остается смотреть на то, как сами институции работают со студенческими результатами.

Разные подходы к оценке качества, с одной стороны, противопоставляют разные национальные системы (аккредитация в США и аудит в Англии), с другой стороны, в рамках одной системы можно проследить, как разные форматы сменяли друг друга. Смену формата связывают с изменением главной проблемы качества - некоторое состояние дел в высшем образовании, которое осознавалось как проблематичное [10]. Проблема определяет общий подход к оценке качества образования (в чем будет ее главная задача?) и инструменты оценки. Первая фаза была связана с сомнениями в том, что университеты поддерживают минимальные стандарты качества, вторая направлена на постоянное совершенствование качества. К примеру, в Финляндии аккредитация в традиционном формате стала играть меньшую роль. Ее сменил аудит систем качества, который проводится каждые шесть лет [2, р. 110]. Аудит обязывает университеты развивать свои собственные системы оценки образования. Если аудит не пройден, то процедура может быть запущена повторно. При этом участие в таком аудите не является обязательным, а результаты могут не приводить к немедленным санкциям (на момент 2012 г.).

В Германии из-за того, что аккредитация программ влечет серьезные издержки, как временные, так и финансовые, начали внедрять не только аккредитацию отдельных образовательных программ, но аккредитацию всего университета. Такая аккредитация направлена на оценку того, как организация развивает процедуры оценки своей деятельности - по сути, речь идет об аудите качества. Университеты должны сами быть ответственны за то, чтобы поддерживать качество. При этом они самостоятельно могут разрабатывать процедуры, главное - убедительно показать, что им следуют [2, р. 112]. Это подчеркивает еще одно преимущество аудита - его проведение с фокусом на институцию обходится с меньшими издержками. Процедура аудита всей институции оправдана тем, что внутри одного университета можно выстроить систему оценки качества образования, которая будет распространяться на все подразделения.

Кейс: оценка студенческих результатов через тесты и опросы

Если исходить из того, что качество образования должно описываться через результаты обучения студентов (student learning outcomes), то один из немногих способов его оценки состоит в опросах и тестах. Интерес к тому, чтобы напрямую оценивать студенческие результаты звучит все чаще и чаще, однако примеров таких инициатив меньше, если сравнивать с распространенностью форматов аккредитации и аудита. Один из значимых примеров - это появление инфраструктуры оценки студенческих знаний в США, где в 2000 г. был запущен специальный опрос студентов (National Survey of Student Engagement). Утверждалось, что о качестве образования часто судят по характеристикам организации и ее репутации, а непосредственно студенческие результаты и опыт не попадают в поле зрения [20]. Соответственно, суть опроса заключалась в получении информации о студенческом опыте и окружении, в котором студенты получают образование. В опрос вошли только те блоки, о которых было известно, что существует эмпирическая связь между опытом студентов, качеством среды и результатами обучения. Такой подход выбрали, чтобы повысить доверие к результатам опроса, который оценивает качество обучения, проанализировать не оценки, но опыт студентов.

В итоге в опрос включили степень академической сложности в виде количества времени, которое студенты тратят на обучение; уровень сложности заданий; активное и групповое обучение; взаимодействие с преподавателями; развивающие практики, например, в виде обучения за рубежом; качество поддержки в университете. При этом университеты сами выбирают, участвовать им в опросе или нет. Однако в ряде штатов обязали участвовать все университеты; результаты выкладывают в открытый доступ. По итогам опроса университет получает отчет с результатами, где ему показывают его место в контексте результатов других университетов того же типа (в каком дециле он находится). За дополнительную плату можно также получить отчет, сравнивающий университет с другими типами. На момент 2010 г. в опросе приняли участие более миллиона студентов из более 1200 институций.

Единые экзамены для оценки выпускников практически не используются, за исключением профессиональных областей. Исключение - это Бразилия [21] с обязательным тестированием всех студентов-выпускников (National Assessment of Courses). Контекст для введения тестирования - это массовизация образования в виде увеличения количества студентов и новых программ. Ответом на спрос стали многочисленные новые программы в частных вузах, к деятельности которых на тот момент отсутствовали жесткие требования. Частные вузы могли насчитывать десятки тысяч студентов при небольшом количестве преподавателей, что порождало сомнения в качестве образования. Сейчас тест разработан для 26 различных областей, охватывает на момент 2010 г. 6500 программ. Изначальная цель - предоставить информацию студентам, чтобы можно было сделать выбор учебного заведения. Были организованы 24 комиссии из числа представителей областей, чтобы разработать рекомендации к организации и содержанию теста. Экзамен в виде тестов и ответов на открытые вопросы проводился для студентов последнего курса в один день во всех университетах. При этом не приветствовались вопросы на знание информации, скорее на критическое мышление и умение применять концепты. Экзамен также включал блок вопросов о студенческом опыте обучения в университете. Итоги публиковались в виде отчетов по разным дисциплинам, индивидуальные отчеты рассылались руководителям программ. Результаты широко обсуждались публикой, хотя практически не использовались Министерством в управленческих целях. При этом спрос на программы с низкими баллами заметно уменьшился, стали открываться более качественные программы. Однако существует большая проблема с такими тестами в связи с тем, что остается неясным, где срабатывает изначальное качество студентов, а где - качество институции. Если университет принимает студентов без особенного культурного капитала, но вкладывается в их результаты, то университет будет «наказан» низкими оценками. Хотя при этом он делает важный вклад социальную мобильность. Часть критики учли при модификации процедуры проведения теста в последующие годы.

Выбор между форматами может отсутствовать - для дифференцированных систем высшего образования более эффективной стратегией может оказаться совмещение форматов. С одной стороны, стандартизация помогает снизить издержки по проведению оценки вузов, что актуально для стран с большим количеством университетов - университеты проверяются по одной процедуре вместо анализа уникального положения каждой институции, требующего больше времени. С другой стороны, если при этом университеты различаются между собой, то унифицированная система оценки скорее создаст новые проблемы, чем решит старые [7]. В системе на разных уровнях могут существовать разные проблемы. Для университетов с давними традициями можно не сомневаться в том, что их программы соответствуют минимальным стандартам качества, однако если в системе образования много новых институций, то по их поводу такие сомнения могут остаться. Рекомендуют при разработке системы оценки учитывать это разнообразие и не стремиться к созданию одной процедуры для всех университетов. Мы видим ряд примеров стран, которые совмещали разные форматы в прошлом или делают это сейчас.

Австрия - это пример системы высшего образования, которая охватывает институции нескольких типов, для них действуют разные типы оценок. На 2012 г. оценка качества государственных университетов, частного сектора и университетов прикладных наук находилась в руках трех разных агентств. В секторе государственных вузов регулирование было заметно меньше - прикладные и частные вузы обязаны получить аккредитацию каждой программы, тогда как государственным вузам такое требование не выдвигалось (схожий вариант реализован в Норвегии). Если для прикладных и частных вузов агентство занимается аккредитацией, то есть проверяет, насколько их образовательные программы соответствуют минимальным стандартам качества, то для государственных вузов оценка качества заключается в отслеживании, насколько организации поддерживают внутренние процедуры оценки качества. При этом подробно не прописывается, какие именно процедуры должен внедрить университет, также как внешняя оценка не является обязательной для университета. Для частных же вузов агентство действительно является гейткипером, так как по итогам экспертиз только 15 % заявок на получение институциональной аккредитации было одобрено.

Система высшего образования [22] в Чили включает три уровня: университеты, которые выдают академические и профессиональные степени, профессиональные институты, технические учебные центры с двухлетним обучением. Оценка качества трансформировалась от лицензирования институции к ее аккредитации, процедура получения которой строится на способности университета достигать поставленных целей. При этом учреждения могут сами добавлять категории, по которым они стремятся достигнуть успеха. Главное, чтобы они обеспечили доказательства того, что цели сформулированы как руководство к действию внутри институции - они учитываются при принятии решений и проработаны на уровне формальной внутренней политики и конкретных механизмов. Нужно также показать, что результаты достигаются в соответствии с поставленными целями, или что университет, анализируя свою деятельность, способен принимать адекватные решения по ее изменению. Такой подход действовал с 1999 до 2007 г.

Китайский опыт также показывает, как могут сосуществовать различные формы оценки для институций разных типов [23]. Если аккредитация обращена к новым организациям, то оценка превосходства предназначена для университетов с высоким уровнем преподавания. Для регулирования университетов с аспирантским обучением был создан отдельный центр, который должен аккредитовывать программы аспирантского уровня, а также оценивать развитие дисциплин в вузах. В свою очередь, учреждения профессионального образования и частного сектора проходят через аудит, организованный по стандартной схеме местными аккредитационными комитетами. Норвежская [5] модель также предполагает разные уровни свободы для разных типов организаций. Аккредитованные университетские колледжи могут открывать программы только на уровне бакалавриата. Магистерский уровень требует аккредитации аспирантуры в этой области. Специализированные институции могут по своему профилю открывать программы на любом уровне. Университетам аккредитация не требуется.

Заключение и рекомендации

Мировой опыт сравнительно недавнего реформирования систем оценки отражается в трех основных тенденциях.

Во-первых, страны или существенно реформируют формат аккредитации, или отказываются от него вовсе. Если университеты прошли через процедуру аккредитации, они подтвердили соответствие минимальным стандартам качества. Далее необходимо совершенствовать систему оценки, а не перепроверять университеты раз за разом на соответствие стандартам. Среди экс-пертов сформировалось мнение, что целью системы оценки должно быть улучшение качества образования, для чего формат аккредитации не подходит [17]. Он не только не помогает развивать качество образования, но и создает серьезную нагрузку на университеты и экспертное сообщество.

Во-вторых, все больше экспертов видят необходимым введение формата аудита качества. Преимущества формата аудита качества связывают с возможностью организовать процедуру оценки на уровне университета, а не отдельной программы. В результате существенно снижаются издержки на экспертное сообщество, которые высоки в случае экспертизы каждого направления. Кроме того, формат аудита концептуально опирается на результаты и отзывы студентов при обучении - оценивается то, насколько университет использует их для улучшения качества образования [11]. Это дает возможность в большей степени приблизиться именно к оценке качества образования. Наконец, ауд ит больше поддерживается университетским сообществом, которое в целом к любым попыткам регулирования относится скорее отрицательно.

В-третьих, признается важным отказ от единой оценки университетов, так как она приводит к уменьшению разнообразия системы образования. При этом именно дифференцированная система образования позволяет лучше отвечать запросам рынка труда, потребностям студентов и общества [2, 15]. Система оценки должна учитывать специфику университета. В небольших странах это возможно при проведении каждой экспертизы. В странах с большим количеством университетов более релевантна иная стратегия. Сначала вузы могут классифицироваться или на основе исторически сложившихся типов или на основе количественных показателей. Затем для каждого типа создаются свои ориентиры при оценке. Университеты-лидеры, сомнение в качестве программ которых избыточно, или освобождаются от оценки, или к ним применяется формат аудита.

Каким образом должна быть организована система оценки в той или иной стране? Выделим сначала общие принципы, а затем сформулируем ряд рекомендаций по поводу основных элементов модели оценки образования.

Первый принцип указывает на необходимость стремиться к соответствию дизайна оценки поставленной задаче. Государство может идентифицировать разные проблемы в системе высшего образования. В зависимости от того, каким образом определена проблема, подбирается вся модель оценки качества. Методология и инструменты должны соответствовать целям системы оценки. Соответственно, первый важный шаг - это сформулировать конкретно, в чем заключается главная проблема качества образования в вузах.

Второй принцип отсылает к необходимости учитывать особенности системы высшего образования, среди которых значение имеет степень ее дифференциации. Для систем с высокой степенью дифференциации следует избегать разработки единой системы оценки для всех учреждений без учета их специфики. Система высшего образования может быть разделена на типы в соответствии с их миссией и спецификой. Для создания классификации могут использоваться количественные индикаторы. Сама оценка может учитывать миссию в каждом конкретном случае, или же стандарты качества могут разрабатываться для каждого типа вуза. Тем самым возможен вариант, соединяющий в одной модели оценку, основанную на миссии, и оценку, основанную на стандартах [23]. Это даст возможность учесть для каждого сегмента доступные ресурсы, цели и представления о качестве.

Третий принцип указывает на важность доверия университетской среды к системе оценки качества. Государство не может проверить досконально все институции, поэтому необходимо запустить систему так, чтобы университеты сами стремились внедрять практики без строгого надзора [20]. Недоверие к системе оценки едва ли приведет к позитивным результатам. Если даже прямое противодействие будет отсутствовать, можно ожидать масштабной имитации деятельности. Один из способов повысить уровень доверия - широкие консультации с сообществом при разработке системы оценки, внимательный подход к отбору экспертов, которые участвуют в ее создании.

Опыт стран, реализующих аккредитацию и аудит, также позволяет сформулировать ряд рекомендаций к каждому элементу модели оценки. Каких ошибок можно избежать?

Агентство, курирующее оценку вузов, должно обладать независимостью. Организационно рекомендуется избегать подведомственности профильному министерству. Система оценки может стать инструментом для государства, которому нужны легитимные основания для закрытия университетов. Другим заинтересованным лицом могут стать традиционные университеты, оказавшиеся в ситуации конкуренции с частным сектором. Поэтому необходимо предусмотреть барьеры, способные предотвратить навязывание своей повестки. Кроме того, работа агентства должна регулярно проходить оценку качества с привлечением международных экспертов.

Оценка качества образования должна фокусироваться на дисциплинарной программе или направлении, если оцениваются содержательные стандарты. Если оцениваются практики оценки преподавания, процедура может быть сосредоточена на уровне всей организации - практики оценки меньше различаются, чем содержание образовательных программ.

Эксперты должны представлять университетское сообщество, и им должна быть гарантирована автономия суждения. С одной стороны, практически везде в дизайне оценки предусмотрено участие экспертов, с другой стороны, часто сама процедура излишне бюрократизируется, что противоречит природе экспертизы [5, с. 393]. Бюрократизация строится на следовании определенному порядку - проверить наличие документов и поставить галочку, если они верно заполнены. Процедура же профессиональной оценки основана на уникальных знаниях, которые нельзя так легко формализовать, ведь эксперт при оценке опирается на свой опыт профессиональной деятельности. Как подчеркивают исследователи, система оценки пытается в одной процедуре сочетать две логики - бюрократию и экспертизу, однако между ними существует неустранимое напряжение, поэтому нужны специальные шаги, чтобы его снизить. К примеру, часть предварительной работы по оценке консистентности документов может быть возложена на инспекторов агентства, тогда как эксперты могут больше вовлекаться в дискуссии и наблюдения.

Методология должна сочетать баланс между разработанными стандартами и экспертным суждениям. Нужно стремиться к тому, чтобы оценка отражала текущую жизнь университета. Специальное производство документов только для проведения экспертизы может привести к их тотальной имитации. Итальянский опыт описывается в самых черных красках как производство никому не нужных, кроме внешних экспертов, документов. Преподаватели зачастую не в курсе существования всех этих отчетов, производимых специальными подразделениями внутри университета: «Это ритуал, который не дает ничего нового для развития и который отвлекает внимание от реальных проблем» [24, с. 550].

Нужно избегать прямой связи между результатами оценки и немедленными решениями о судьбе университета. Такая связь создает сильные стимулы к тому, чтобы соответствовать показателям, а значит, и сильные стимулы к манипуляции ими. Университеты будут стремиться любой ценой к соответствию критериям (compliance culture), даже если для них они никак не связаны с качеством их деятельности [25, с. 368]. Опыт многих стран показывает, что можно принимать решение с некоторыми условиями, проверяя в дальнейшем, были ли они выполнены. Если университет любыми способами пытается соответствовать критериям, это часто происходит в ущерб тем направлениям, которые сложнее измерить, но которые выражают суть его деятельности [26, с. 36]. Отчет комиссии не должен состоять только из вердикта, он должен помочь университету в понимании слабых сторон и действий, необходимых для их преодоления.

Список литературы

1. Frazer M. Report on the Modalities of External Evaluation of Higher Education in Europe, Higher Education in Europe, 1997, vol. 22, no. 3, pp. 349-401. doi. org/10.1080/0379772970220308

2. Bernhard A. Quality Assurance in an International Higher Education Area: A Case Study Approach and Comparative Analysis. Wiesbaden: VS Verlag fur Sozialwissenschaften, 2012. 294 p.

3. Harvey L., Newton J. Transforming Quality Evaluation: Moving On In D. F. Westerheijden, B. Stensaker, M. J. Rosa (Eds.), Quality Assurance in Higher Education: Trends in Regulation, Translation and Transformation (pp. 225-247). Dordrecht: Springer, 2007. doi. org/10.1007/978-1-4020-6012-0_9

4. Губа К., Макеева А., Соколов М., Цивинская А. Как работает Рособрнадзор: анализ открытых данных о контрольно-надзорной деятельности в сфере высшего образования. СПб: ЦИАНО ЕУСПб, 2018. 24 c.

5. Langfeldt L., Stensaker B., Harvey L., Huisman J., Westerheijden D. F. The Role of Peer Review in Norwegian Quality Assurance: Potential Consequences for Excellence and Diversity, Higher Education, 2010, vol. 59, no. 4, pp. 391-405. doi.org/10.1007/s10734-009-9255-4

6. Capano G. The Re-regulation of the Italian University System through Quality Assurance. A Mechanistic Perspective, Policy and Society, 2017, vol. 33, no. 3, pp. 199-213. doi.org/10.1016/j.polsoc.2014.08.001