Размещено на http://www.allbest.ru/

Оглавление

• Список основных сокращений
• Список основных понятий
• Введение
• Глава 1. Анализ направлений использования результатов национальных мониторингов образовательных достижений школьников
• 1.1 Роль Мониторингов в структуре национальной системы оценки качества общего (школьного) образования
• 1.2 Направления использования результатов
• 1.3 Рамка для анализа
• Глава 2. Общий обзор национальных мониторингов образовательных достижений школьников в странах СНГ
• 2.1 Республика Армения
• 2.2 Республика Беларусь
• 2.3 Республика Казахстан
• 2.4 Республика Кыргызстан
• 2.5 Российская Федерация
• Глава 3. Сравнительный анализ опыта стран СНГ в использовании результатов национальных мониторингов образовательных достижений школьников
• Заключение
• Список использованной литературы
• Приложение 1. Руководство для проведения интервью.
• Приложение 2. Сравнение основных характеристик Мониторингов в странах СНГ и России


Список основных сокращений

BAAS Национальное исследование по предметам естествознания (Республика Армения)

HAAS Национальное исследование по предметам армяноведения (Республика Армения)

OLAS Национальное исследование по иностранным языкам (Республика Армения)

PIRLS Progress in International Reading Literacy Study (международное исследование качества чтения и понимания текста)

PISA Programme for International Student Assessment (международная программа по оценке образовательных достижений учащихся)

READ Russia Education Aid for Development (Многолетняя программа, финансируемая Министерством финансов Российской Федерации и реализуемая Всемирным Банком с целью укрепления экспертного потенциала в области анализа образовательной политики и оценки качества образования)

TIMSS Trends in Mathematics and Science Study (международное мониторинговое исследование качества школьного математического и естественнонаучного образования)

ВОУД Внешняя оценка учебных достижений

ВРП Валовый региональный продукт

ВУЗ Высшее учебное заведение

ЕАОКО Некоммерческое партнерство содействия развитию образования «Евразийская Ассоциация оценки качества образования»

ЗУН Знания, умения, навыки

ИПК Институт повышения квалификации

ИСМО Институт содержания и методов обучения

КР Кыргызская Республика

Минобрнауки РФ Министерство образования и науки Российской Федерации

МОН РК Министерство образования и науки Республики Казахстан

МСИ Международные сопоставительные исследования

НИКО Национальное исследование качества образования

НИУ ВШЭ Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский университет - «Высшая школа экономики»

НООДУ Национальное оценивание образовательных достижений учащихся (Республика Кыргызстан)

НФПК Национальный фонд подготовки кадров

ОКО Оценка качества образования

ОСОКО Общероссийская система оценки качества образования

РАО Российская Академия Образования

РК Республика Казахстан

Рособрнадзор Федеральная служба по надзору в сфере образования и науки Российской Федерации

РСОКО Региональная система оценки качества образования

СНГ Содружество независимых государств

СЭС Социально-экономических статус

ФГОС Федеральный государственный образовательный стандарт



Список основных понятий

Качество образования - комплексная характеристика образовательной деятельности и подготовки обучающегося, выражающая степень их соответствия образовательным стандартам, требованиям и (или) потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы.

Национальная система оценки качества общего (школьного) образования - совокупность организационных структур, оценочных процедур, норм и правил, обеспечивающих получение и использование информации относительно образовательных достижений обучающихся, образовательных программ, деятельности общеобразовательных организаций и их систем с учетом запросов основных участников отношений в сфере образования.

Национальный мониторинг образовательных достижений школьников - процедура оценки результатов обучения, которая проводится на регулярной основе и имеет своей целью предоставление актуальной для управленцев и педагогов информации относительно уровня знаний и навыков различных групп учащихся, тенденций их изменений и факторов, оказывающих влияние на результаты обучения. Оно может проводиться как на всех учащихся определённого возраста (генеральной совокупности), так и на репрезентативных выборках.

Национальные экзамены - стандартизированная измерительная процедура, используемая для оценки освоения образовательной программы учащимися организаций общего (школьного) образования и отбора наиболее подходящих кандидатур для продолжения обучения по программам профессионального или высшего образования.



Введение

Внедрение механизмов оценки качества общего (школьного) образования на национальном уровне предполагает повышение эффективности принятия управленческих решений, призванных обеспечить высокий уровень качества образования. Это сложный и многоаспектный процесс, успешность которого во многом определяется системным подходом к его реализации, а также проработанностью отдельных составляющих национальной системы оценки качества общего (школьного) образования (далее - НСОКО).

Создание подобной системы длительный процесс, ставящий перед ее организаторами множество трудных задач, среди которых определение самого понятия качества образования, критериев его оценки, разработки различных процедур оценки, развитие кадрового потенциала, создание специализированных центров оценки и многие другие. Однако наиболее важным является формирование умения использования данных оценки качества образования всеми заинтересованными сторонами - именно это определяет смысл и ценность решения всех предшествующих задач.

Одним из ключевых элементов НСОКО в России и странах СНГ, как и в большинстве других образовательных системах мира, является оценка образовательных достижений учащихся, которая состоит из трёх основных видов оценочных процедур. К ним относятся:

· оценивание в классе (или внутришкольное оценивание);

· процедуры итоговой аттестации;

· мониторинговые исследования, которые в свою очередь подразделяются на международные сопоставительные исследования и национальные (региональные или муниципальные) мониторинги образовательных достижений школьников, отличающиеся целями и возможностями использования данных, получаемых в ходе их проведения.

Особое внимание на национальном и региональном уровнях в большинстве стран уделяется развитию двух последних видов оценки (Robinson, 2016). Внутришкольное оценивание остается пока на периферии этого внимания.

Данное исследование сосредоточено на сравнительном анализе международных практик использования результатов национальных мониторингов образовательных достижений школьников - процедур оценки результатов обучения, которые проводится на регулярной основе и имеют своей целью предоставление актуальной для управленцев и педагогов информации относительно уровня знаний и навыков различных групп учащихся, тенденций их изменений и факторов, оказывающих влияние на результаты обучения. Они могут проводиться как на всех учащихся определённого возраста (генеральной совокупности), так и на репрезентативных выборках (Болотов, 2013б) (далее - Мониторинг). При этом одной из наиболее трудных задач, стоящей перед руководством любой страны, внедряющей в НСОКО данный инструмент, является адекватное и наиболее полное использование полученных результатов для повышения качества образования. Это подтверждается как оценочными суждениями экспертных сообществ стран СНГ, включая Российскую Федерацию, прозвучавших на конференции ЕАОКО в октябре 2015 года, так и, в большинстве случаев, отсутствием разработанных механизмов учета и использования, собираемых в ходе проведения Мониторингов данных для применения с целью совершенствования системы образования или ее отдельных составляющих.

Трудность обозначенной задачи косвенно подтверждается и исследователями из других стран и международных профессиональных объединений, которые сообщают о дефиците, а порой и полном отсутствии, информации о путях использования данных, собираемых в ходе проведения рассматриваемых оценочных процедур, в национальной образовательной политике стран Азиатско-Тихоокеанского региона (Tobin, 2015), включающего ряд рассматриваемых нами стран СНГ.

Ценность проведенного Мониторинга для образования в итоге определяется умением использования его результатов заинтересованными в этом сторонами: государством, научным и экспертным сообществами, образовательными организациями, родителями и учениками, общественностью и т.д. - всеми, кому они могут быть адресованы. Чем ниже уровень их использования, тем меньше смысла в самой оценке, а неправомерное применение полученных данных и вовсе способно нанести значительный вред системе.

Таким образом, одной из базовых проблем в современном образовании, характерной для многих стран мира, в т.ч. стран СНГ, является создание механизмов, которые бы в полной мере, т.е. по всем возможным направлениям, были способны использовать данные Мониторингов для принятия управленческих решений (совершенствование учебно-методических материалов, системы подготовки и повышения квалификации работников образования, разработка и изменение образовательных стандартов и т.д.) и корректировки образовательной политики. Подобные механизмы позитивно скажутся на качестве управления образованием, а также позволит модернизировать и сами оценочные процедуры, повышая их ценность и потенциальный положительный вклад в качество национального образования (Багдасарян, 2013).

Целью исследования является выявление практик применения результатов Мониторингов для повышения результативности образовательного процесса и совершенствования механизмов управления системой образования в странах СНГ.

Проводимый в ходе исследования анализ позволит обобщить международный опыт решения вышеуказанной проблемы на примере стран СНГ, выявить ключевые направления использования результатов и практики их применения для повышения результативности образовательного процесса, что будет способствовать совершенствованию отечественной системы образования в целом (Мариносян, 2015).

На основе поставленной цели был сформулирован ряд задач:

1. Провести анализ литературных источников по проблематике исследования с целью определения основных характеристик управленческой деятельности по использованию результатов Мониторингов: принципы, подходы, механизмы, критерии и условия эффективности;

2. Подготовить описания НСОКО стран СНГ, включая Россию, с фокусом на использовании их результатов;

3. Провести сравнительный анализ полученных данных об опыте использования результатов Мониторингов;

4. Выявить общие черты, практики применения и основные трудности, с которыми сталкиваются специалисты из стран СНГ;

5. Определить основные факторы, оказывающие влияние на возможность использования результатов Мониторингов.

В рамках исследования сравнительному анализу практик использования результатов Мониторингов кроме Российской Федерации будет подвергнут опыт следующих стран СНГ: Республика Армения, Республика Беларусь, Республика Казахстан, Республика Кыргызстан.

Выбор группы стран СНГ для проведения анализа объясняется тем, что изучение их опыта, во-первых, представляется важным в свете схожести образовательных систем, сформированных во времена существования Советского Союза. Это может обеспечить возможность их адаптации и применения в российских условиях. Во-вторых, во всех странах СНГ период формирования НСОКО имеет сопоставимую продолжительность во времени.

Критериями отбора конкретных стран послужили: наличие функционирующего Мониторинга, существование на национальном уровне планов по его развитию, отраженных в нормативных правовых документах, а также опубликованные доклады, отчеты, аналитические материалы содержащие результаты проведенных процедур оценки.

Источником информации для описания опыта Российской Федерации послужили открытые данные в сети «Интернет», отчетные и аналитические и документы стран по итогам проведенных Мониторингов, научные публикации и нормативные правовые документы. В случае со странами СНГ, наряду с указанными ранее источниками, использовались экспертные обзоры НСОКО этих государств, которые легли в основу описания их опыта. В случае с Республиками Арменией и Казахстан, опыт которых представляет наибольший интерес, дополнительно проведен ряд интервью специалистов, которые принимали участие в разработке инструментария на руководящих позициях, с целью уточнения и дополнения имеющейся информации по вопросу использования результатов Мониторингов.

Разработкой методологии аналогичных исследований занимались как зарубежные ученые, так и отечественные. Работы в рамках данного труда опираются на опыт работ В. Грини, Т. Келлагана, М. Скотта, посвященные применению результатов национальных мониторинговых исследований образовательных достижений обучающихся для управления системой образования, труды Марии-Хосе Рамирес, посвященные проблемам развития НСОКО Республики Чили (Ramirez, 2012), а также распространению и использованию информации по оценке достижений учащихся, ценный опыт накоплен исследованиями SABER (The Systems Approach for Better Education Results), в рамках которых собирается и анализируется информация об образовательной политике в десятках стран мира, с использованием рамочных методов, основанных на фактических данных, и выделением ключевых направлений образовательной политики и важнейших институтов, являющихся наиболее важными в деле совершенствования образования для детей и молодежи.

Среди отечественных работ можно выделить труды таких ученых как В.А. Болотов, Г.С. Ковалева, Мерцалова Т.А., И.А. Вальдман, Б.В. Илюхин, С.А. Боченков, посвященных изучению как национального, так и регионального опыта в области построения систем оценки качества образования в Российской Федерации и ряде зарубежных стран, а также применению полученных результатов на различных уровнях системы образования, обеспечению их открытости.

При анализе информации находящейся в нормативных правовых документах, открытых источниках на официальных сайтах органов исполнительной власти стран СНГ, а также организаций, занимающихся вопросами ОКО, использован метод формализованного анализа документов по заранее разработанной рамке анализа.

Для получения информации об опыте стран СНГ в области формирования НСОКО был применен экспертно-аналитический метод исследования по рамке, разработанной с участием автора.

Кроме того, проведен ряд интервью со специалистами, которые принимали участие в разработке инструментария на руководящих позициях, с целью уточнения и дополнения имеющейся информации по вопросу использования результатов Мониторингов.

Благодарности

Автор выражает благодарность руководителю Федеральной службы по надзору в сфере образования и науки Российской Федерации С.С. Кравцову и его сотрудникам, без поддержки которых не был возможным проект «Разработка рекомендаций для совершенствования системы оценки качества школьного образования в Российской Федерации на основании сравнительного анализа опыта стран СНГ и Российской Федерации, а также изучения лучшего опыта стран дальнего зарубежья», реализованный Институтом образования Национального исследовательского университета «Высшая школа экономики» по заказу Федеральной службы по надзору в сфере образования и науки Российской Федерации.

Особенна ценна помощь национальных экспертов из стран СНГ, которые подготовили подробные и качественные аналитические материалы по обзору опыта их стран в формировании национальных систем оценки качества образования в рамках указанного проекта, в последствии ставшими основой для описания их опыта использования результатов Мониторингов и последующего проведения его сравнительного анализа. Их авторы:

· Республика Армения. А.Г. Багдасарян, заместитель директора Центра оценки и тестирования при Правительстве Республики Армения;

· Республика Беларусь. Л.А. Худенко, заместитель директора Национального института образования по научно-исследовательской работе; Н.С. Феськов, директор Республиканского института контроля знаний; В.В. Гинчук, начальник управления мониторинга качества образования Национального института образования;

· Республика Казахстан. К.С. Абдиев, директор Национального центра тестирования; Г.С. Примбетова, руководитель управления по организации формирования тестовых заданий для среднего образования;

· Республика Кыргызстан. А.Н. Бакиров, директор Национального центра тестирования Министерства образования и науки Кыргызской Республики; Б.С. Шамшидинова, начальник отдела методики и технологии тестирования Национального центра тестирования Министерства образования и науки Кыргызской Республики.

Все приведенные выше аналитические материалы, использованные при написании данной работы, опубликованы в свободном доступе на сайтах Российского тренингового центра Института образования Национального исследовательского университета «Высшая школа экономики» и Евразийской Ассоциации оценки качества образования.



Глава 1. Анализ направлений использования результатов национальных мониторингов образовательных достижений школьников

Национальные системы оценки качества общего (школьного) образования в большинстве развитых или развивающихся стран мира представляют из себя сложные системы, состоящие из множества взаимодействующих составляющих (подсистем), вследствие чего они приобретают новые свойства, которые отсутствуют на подсистемном уровне и не могут быть сведены к свойствам подсистемного уровня (Боулдинг, 1969).

В связи с этим, для понимания возможных путей использования результатов национальных мониторингов образовательных достижений школьников в России и странах СНГ, необходимо рассматривать изучаемый вопрос с позиции системности. Это позволит задать четкую рамку для последующего анализа, зафиксировать то, на какие вопросы Мониторинги могут дать ответ для системы образования, а на какие не могут, от чего зависит выбор направления использования их результатов и ключевые факторы, оказывающие на это влияние.

Для реализации такого подхода в первую очередь нам необходимо определить место Мониторингов в НСОКО.

1.1 Роль Мониторингов в структуре национальной системы оценки качества общего (школьного) образования

Понятие «Национальная система оценки качества общего (школьного) образования» рассматривается как совокупность организационных структур, оценочных процедур, норм и правил, обеспечивающих получение и использование информации относительно образовательных достижений обучающихся, образовательных программ, деятельности общеобразовательных организаций и их систем с учетом запросов основных участников отношений в сфере образования (Болотов, 2016).

Подобные системы создаются для решения целого ряда задач на различных уровнях образования, из которых, несмотря на то, что существует большое разнообразие взглядов (Болотов, 2013б) как российских, так и международных экспертов на их полный перечень, можно выделить наиболее важные и универсальные сформированные в несколько групп:

Организационные:

· Подтверждение завершения той или иной ступени обучения;

· Отбор школьников для продолжения обучения или трудоустройства.

Контрольно-оценочные:

· Определение уровня образовательных достижений школьников;

· Оценка условия проведения обучения в образовательных организациях;

· Оценка качества образовательного процесса;

· Оценка доступности образования;

· Оценка удовлетворенности образованием со стороны заинтересованных в этом сторон.

Аналитико-управленческие:

· Определение динамики и тенденций в изменении уровня образовательных достижений школьников;

· Определение факторов, влияющих на уровень образовательных достижений школьников;

· Оценка деятельности образовательных организаций;

· Оценка деятельности образовательных систем.

Очевидно, что с помощью одного единственного инструмента оценки невозможно решить все приведенные задачи, а для решения наиболее специфических придется разрабатывать отдельные процедуры оценки, что подтверждает исключительную важность целей и задач, ради достижения которых принимается решения о создании любой оценочной процедуры.

Инструменты, созданные для решения организационных, а также ряда контрольно-оценочных (уровень достижений, условия обучения, качество процесса) и аналитико-управленческих (динамика, тенденции, факторы, влияющие на достижения) задач, формируют группу, посвященную оценке качества подготовки обучающихся (образовательных результатов с преобладанием знаниевой компоненты), и являются наиболее проработанным как с содержательной, так и с технологической точки зрения, что легко объясняется в русле современного движения за стандартизацию образования, которое приняло глобальный характер и в настоящее время оказывает сильнейшее воздействие на реформы образования в большинстве стран мира (Robinson, 2016), где постсоветские страны не стали исключением.

По этой же причине именно эта группа инструментов оценивания стала использоваться для решения оставшихся в аналитико-управленческой группе задач: оценка деятельности организаций и образовательных систем, в том числе для сравнения между собой образовательных систем различных государств мира.

Таким образом, если результаты, полученные в ходе оценки качества подготовки обучающихся, становятся основой для принятия решений об эффективности образовательных организаций и их систем, то эту группу оценочных инструментов можно считать базовым элементом всей НСОКО.

Инструменты оценки образовательных результатов школьников в передовых образовательных системах мира преимущественно состоят из трёх процедур:

- внутриклассное оценивание, обеспечивающее текущую повседневную или итоговую (по завершению изучения предмета или его части) оценку учебных и образовательных достижений школьников, необходимую для эффективной организации учебного процесса на уровне школы;

- процедуры итоговой аттестации, которые служат для оценки освоения школьниками образовательной программы и отбора выпускников общеобразовательных школ для продолжения обучения на других уровнях (ступенях) образования;

- мониторинги образовательных достижений - национальные и международные исследования, которые чаще всего используются для оценки эффективности деятельности образовательных организаций и их систем, а также могут быть использованы для определения прогресса и оказание поддержки в обучении каждому конкретному ребёнку, чем серьезно дополняют систему внутришкольного оценивания (Поливанова, 2010). Преимущественно именно в ходе данных исследований выявляются факторы, влияющие на качество образования и эффективность образовательных реформ. При этом национальные процедуры оценивания, в конечном счете, служат для обеспечения управленцев, представителей педагогических работников и руководителей образовательных организаций информацией с целью улучшения их практической деятельности (Ferreg, 2006).

Приведенные элементы оценки тесно взаимосвязаны между собой, что необходимо учитывать при использовании их результатов. При этом одним из ключевых моментов является цель и задачи, стоящие перед той или иной оценочной процедурой, которые во многом определяют ее дизайн, содержательные, организационно-технические особенности и направления использования, полученных результатов.

1.2 Направления использования результатов

Если обратиться к истории, то стоит отметить, что значительный рост числа проводимых Мониторингов в глобальном масштабе, сопровождался сдвигом в подходах к использованию этих инструментов: от изучения различий между образовательными системами к оценке эффективности и результативности их образовательной деятельности (Kamens, 2009). Еще одним глобальным трендом является постепенный уход от понимания мониторинга в качестве средства контроля и надзора, к мониторингу как средству помощи и поддержки, что мы увидим далее на примере отобранных для изучения стран. При этом несмотря на то, что один Мониторинг во многих отношениях может очень сильно походить на другой, в действительности между ними всегда будут различия, которые повлияют на использование их результатов (Benveniste, 2012).

Сами результаты оценки представляют из себя набор определенных данных, который может сильно отличаться по итогам разных процедур оценки. В общем представлении они могут включать следующее:

· данные об уровне образовательных достижений школьников;

· контекстные данные, включая социально-экономический статус семьи;

· прочую информацию о системе образования в зависимости от специфики инструментария (доступность образования, материально-технические условия в образовательных организациях, удовлетворенность населения образовательными результатами и т.д. - от страны к стране в международном масштабе эта информация достаточно сильно отличается (Грини, 2011));

· аналитические и отчетные документы для различных групп пользователей, сформированные на основе указанных выше данных.

Качественный состав результатов зависит от того, на какие вопросы может ответить проведенный Мониторинг и на каких из них он был сосредоточен в большей или меньшей степени для решения поставленных перед ним задач.

В. Грини, Т. Кэллаган и С. Мюррей в серии книг «Национальная оценка учебных достижений» (Грини, 2011) определяют такие главные вопросы, ответы на которые может дать успешно проведенный Мониторинг:

· каковы успехи школьников (по отношению к общим ожиданиям, целям образовательных программ и подготовке к продолжению обучения, к жизни)?

· есть ли факты, указывающие на отдельные сильные и слабые стороны в знаниях и умениях школьников?

· есть ли отдельные подгруппы среди школьников, принимавших участие в оценке, которые демонстрируют низкие результаты?

· какие факторы влияют на демонстрируемые достижения?

· соблюдаются ли требования государственных стандартов?

· какова динамика уровня учебные достижения школьников?

Возможные направления использования этих результатов можно разделить на два крупных блока, относительно их направленности:

1) поддержка отдельных учащихся или их групп;

2) принятие управленческих решений на разных уровнях системы образования - от конкретной образовательной организации до национального органа управления образованием.

Во втором случае, в соответствии с трудами Болотова В.А. и Вальдмана И.А., такие способы использования данных можно классифицировать исходя из выбора объекта оценки (Болотов, 2012). Авторы предлагают следующее разделение:

1. Оценка деятельности образовательной организации, при которой данные используются по двум ключевым направлениям:

· аккредитация образовательной организации, а также проведение контрольно-надзорных процедур;

· проектирование зоны ближайшего развития образовательной организации - определение перспективных задач работы и того, каким образом их следует реализовывать.

2. Оценка образовательных систем. В этом случае использование результатов также имеет развилку:

· для реализации контрольно-надзорных процедур в отношении работы системы образования;

· для выработки образовательной политики на различных уровнях образования.

Рис. 1. Схема основных направлений использования результатов.

Выбор направления использования результатов представляет из себя еще один ключевой вопрос на стадии проектирования инструментария, после определения целей и задач, оказывающих влияние на всю процедуру в целом и ее эффект для системы образования.

Возможность использования результатов в том или ином направлении в свою очередь обусловлено влиянием целого ряда факторов, среди которых следует отметить:

· субъект, использующий результаты;

· политический контекст;

· стремление органов управления образования к организации системы подотчетности для подконтрольных образовательных организаций;

· качество и дизайн инструментария для проведения Мониторинга;

· умение использования результатов оценки в системе образования.

Рассмотрим подробнее каждый из факторов.

Субъективность.

Очевидно, что у такой крупномасштабной процедуры как Мониторинг, может быть достаточно широкий круг пользователей - субъектов, принимающих решение об использовании полученных результатов тем или иным образом, в том числе и отказ их применять. Так, если орган государственной власти, осуществляющий регулирование в сфере национального образования, вероятно, будет рассматривать результаты оценочных процедур для выработки или коррекции образовательной политики, то педагогическую общественность будет интересовать, например, совершенствование собственной методики преподавания, основанной на данных проведенного исследования. Родителей же, результаты и вовсе могут не интересовать.

В рамках данной работы мы сосредоточимся на изучении способов использования результатов только одного из субъектов, которому дадим условное собирательное наименование «управленцы», так как именно этот субъект во многом играет определяющую роль в том, кто и как будет использовать данные процедур оценки. Это понятие в первую очередь относится к представителям национальных и, в меньшей степени, региональных органов управления образованием обычно выступающих в роли заказчика на разработку и проведение Мониторингов. Так же это понятие относится и к руководителям таких структур как центры оценки качества образования различных уровней, национальные центры тестирования, национальные институты образования, которые зачастую выступают в качестве исполнителя: разработчика и организации-оператора Мониторинга, безусловно имеющих высокий уровень влияния на то, каким образом органы власти будут использовать результаты оценок.

Политический контекст.

Зачастую оценка напрямую связана с политическим процессом в стране, что обусловлено сильным влиянием ее результатов на социальные связи различных слоев населения (например, управленцев и учителей). При этом контроль над анализом, интерпретаций и представлением полученных данных демонстрирует той или иной заинтересованной политической группы влиять на образовательную политику, распределение ресурсов и общественное восприятие результатов Мониторинга. Однако отследить влияние данного фактора достаточно сложно, кроме общей характеристики «открытости» и «закрытости» от общества, системы образования, что также является важным фактором проявления политического контекста (Benveniste, 2002), но все же в большей степени отражает влияние общемировых тенденций связанных с усилением подотчетности.

Качество и дизайн инструментария.

Здесь «качество» трактуется нами как возможность получения валидной информации о знаниях и умениях школьников в определенной области образовательной программы. Так как в рамках данного исследования отследить качество инструментария не представляется возможным (нужны отдельные исследования, а информация об уже проведенных отсутствует), то отследить степень влияния этого фактора не удастся.

Такие характеристики дизайна Мониторинга, как описание выборки или наличие и качество собираемых контекстных данных накладывают серьезные ограничения на область применения результатов оценки и является важным пунктом анализа в данной работе.

Подотчетность.

Рост подотчетности в сфере образования уже давно наблюдается во всем мире (McDonnell, 2005), не стали исключением и постсоветские страны.

Подотчетность здесь понимается в соответствии со стандартом AA1000SES как совокупность компонентов (Заир-бек, 2010):

· прозрачность - доступность информации всем заинтересованным сторонам, что перекликается с политическим контекстом;

· готовность реагировать - способность государства, системы образования, отвечать на проблемы, волнующие различные заинтересованные стороны;

· соответствие требованиям - следование требованиям законодательства, стандартов образования, соблюдение принципов и т.д.

Данная тенденция в большей степени проявляется через обеспечение соответствия требованиям, что обусловлено рядом причин. Среди них:

· сложность самой системы и желание управленцев привести ее к некоему «единому знаменателю», сделать «прозрачной» и «понятной» для управления ей,

· ограниченность ресурсов для распределения, а для этого нужны правила и критерии оценки объемов распределения материальных и финансовых благ, основанные на объективных причинах,

· в конце концов, распространение идей менеджмента на сфере образования, заимствованных из мира бизнеса и продолжающееся развитие конкуренции в образовании.

Наличие санкций, официальных ренкингов и рейтингов, доступность информации о результатах оценки, наличие адресных аналитических материалов ориентированных на конкретные группы пользователей могут свидетельствовать о степени влияния данного фактора на процедуру проектирования и последующего проведения Мониторинга.

Умение использовать результаты оценки в системе образования

Влияние данного фактора предполагается оценить через возникающие проблемы в ходе использования результатов оценки. Например, при наличии рекомендаций организации-оператора Мониторинга о неправомерности использования результатов для построения рейтингов или применения санкций в отношении отдельных образовательных организаций, педагогических и руководящих работников, и при этом наличие подобных случаев на региональном или муниципальном уровнях.

Резюмируя, можно отметить, что наиболее важными аспектами Мониторингов, влияющих на использование их результатов, являются цель и задачи, для решения которых они создаются. Применение получаемых в ходе оценки данных, аналитических и отчетных материалов для решения не свойственных Мониторингу задач не только снижает его ценность, но может нанести вред системе образования необоснованным управленческим решением. Не менее важно и определение последующего направления использования результатов еще на этапе проектирования инструментария. Однако на возможность подобного применения результатов оказывают влияние целый ряд вышеперечисленных факторов, из которых в рамках данного исследования можно выявить следующие:

· субъетивность, т.е. то «кто» использует результаты непосредственно связано с «как» он это делает;

· характеристики выборки исследования накладывает серьезные ограничения на область применения результатов. Если выборка учащихся не репрезентативна для отдельных административно-территориальных единиц и их образовательных систем, то, например, неправомерно оценивать их деятельность по имеющимся данным. Если же исследование проводится на генеральной совокупности участников, то это позволит делать выводы относительно каждого учащегося и использовать результаты для построения их индивидуальных образовательных траекторий.

· наличие и качество собираемых контекстных данных позволяют анализировать причины полученных результатов. Так, например, если образовательная организация показывает относительно низкие результаты, то это может объясняться не только низким качеством ее деятельности, но и определенным социально экономическим статусом семей учащихся. Сбор контекстных данных позволяет существенно повысить качество принимаемых управленческих решений;

· такие характеристики измерительных материалов как участники оценивания, предмет или область, направленность оценки ограничивают использование результатов относительно определенных параллелей классов, предметных областей, отдельных видов знаний, умений и т.д.;

· наличие ренкингов и рейтингов, доступность информации о результатах оценки, наличие адресных аналитических материалов ориентированных на конкретные группы пользователей характеризует определенный уровень развития подотчетности системы образования, который в целом оказывает позитивное влияние на использование результатов другими заинтересованными субъектами: методистами и педагогами, родителями и учениками, учеными и общественными организациями, широкой общественностью (Болотов, 2012);

· способность управленцев к грамотному использованию полученных результатов (уход от схемы наказания невиновных и награждения непричастных, имеющей место быть в любой стране в большей или меньшей степени) характеризует кадровый потенциал сферы образования в области ОКО и в целом принятия управленческих решений, что непосредственно влияет на направления использования данных процедур оценки.

1.3 Рамка для анализа

Следующим шагом для проведения данного исследования стало обеспечение стандартизации процессов сбора информации о Мониторингах в странах СНГ, ее последующего анализа и интерпретации. Для ее решения была разработана рамка для анализа Мониторингов, с фокусом на использовании их результатов (далее - Рамка), которая базируется на проведенном ранее обзоре и представляет из себя ряд взаимосвязанных вопросов, направляющих ход анализа.

Рамка максимально сфокусирована на использовании результатов Мониторингов национальными и, в меньшей степени, региональными органами управления образованием, однако, для обеспечения сопоставимости полученных описаний, она включает и контекстную информацию, среди которой характеристики самого инструментария, данные о его развитии с течением времени, особенности организации и проведения.

Особое внимание в Рамке уделяется выявлению и фиксации направлений использования результатов Мониторингов и основных проблем, с этим связанных.

Рамка

№ п/п	Вопрос	Пояснение
1.	Каковы цели?	Определяется, для достижения каких целей будет использоваться Мониторинг
2.	Каковы ключевые задачи (вопросы, на которые отвечает)?	Приводится перечень задач (вопросов), для решения которых разработана процедура оценки
3.	Кого оценивают?	Описывается характеристика выборки, возраст (класс) участников
4.	Что оценивается?	Знания, способность их применения и т.д.
5.	Каковы ключевые характеристики инструментария?	Стандартизированный или нет, способен отследить динамику или нет, наличие сбора контекстных данных и их качество
6.	В каких формах представляются результаты?	Отчет, доклад, пресс-релиз, аналитика общая, тематическая и т.д.
7.	Какова степень открытости результатов?	На сколько они доступны для различных групп пользователей, наличие обсуждений, проведения конференций и прочих форм привлечения широкой общественности
8.	Каковы направления использования результатов?	Изменения содержания образования, методов обучения, подготовки, переподготовки и повышения квалификации педагогов, реструктуризация сети образовательных организаций, совершенствование материально-технических условий и другие
9.	Кто и на каком административном уровне может стать пользователем результатов?	Управленцы различного уровня, педагоги, школьники и их родители, ученое и экспертное сообщество, общественность и т.д.
10.	Есть ли проблемы с использованием результатов и с чем они связаны?	Неправомерное использование, неверные интерпретации, неиспользование вовсе и т.д.



Глава 2. Общий обзор национальных мониторингов образовательных достижений школьников в странах СНГ

В данной главе мы приведем обзор Мониторингов в Российской Федерации, ряда стран СНГ (Армения, Белоруссия, Казахстан и Кыргызстан) в области использования их результатов в соответствии с ранее представленной Рамкой. Источником информации для описания опыта Российской Федерации послужили открытые данные в сети «Интернет», отчетные и аналитические документы по итогам программ оценки, научные публикации. В случае со странами СНГ, наряду с указанными ранее источниками, использовались экспертные обзоры НСОКО этих государств, которые легли в основу представленного ниже описания. В случае с Республиками Арменией и Казахстан, опыт которых представляет наибольший интерес, авторами данной работы дополнительно проведен ряд интервью с теми специалистами, которые принимали участие в разработке инструментария на руководящих позициях, с целью уточнения и дополнения имеющейся информации по вопросу использования результатов Мониторингов.

2.1 Республика Армения

Работы по проведению первого Мониторингов начаты в 2010 году. Толчком этому послужило участие республики в международных исследованиях TIMSS. Разработку и проведение осуществляет Центр оценки и тестирования при администрации Правительства Республики Армения с целью выявления соответствия знаний учащихся государственным стандартам и факторов, влияющих на качество образования.

Изначально специалисты разделили национальную оценку на несколько отдельных инструментов:

· по предметам армяноведения HAAS (армянский язык, литература и история Армении);

· по предметам естествознания BAAS (физика и химия), BAAS (биология и география);

· по иностранным языкам OLAS (русский язык, английский язык).

В период 2011-2014 годы каждый год было проведено по одному из указанных Мониторингов.

По данным опроса инструменты могут ответить на следующие вопросы:

· Какова степень усвоения программного материала?

· Каков уровень развития когнитивных особенностей и умений применять знания и навыки в жизненных ситуациях?

· Какие методы преподавания и учебные материалы приводят к демонстрации наилучших результатов обучения?

· Какие сильные и слабые стороны демонстрируют учащиеся?

· Какие факторы влияют на уровень образовательных достижений?

При этом авторы Мониторингов не исключают использование результатов в селективных целях, хотя и относят это к наименее возможному.

Национальные инструменты HAAS, BAAS и OLAS были разработаны по методу исследований TIMSS. Как и в исследованиях TIMSS, оценивались три когнитивные области: знание известных фактов, применение знаний в реальных ситуациях и рассуждение о заданной ситуации, о выборе метода и шагов решения.

Участие принимают учащиеся 8-ых классов, а их выборка репрезентативна для страны и регионов (марз).

Все тесты двупредметные (в случае BAAS предметы разбиты на две пары: физика и химия, биология и география) собранные в одну книжку для ответов из трех частей, где последняя представлена анкетой для учащихся. Двадцать шесть заданий на каждый предмет и по 45 минут на работу с каждой из трех частей книжки учащегося (процедура аналогична TIMSS).

Контекстные данные (в том числе образовательные и социально-экономические) собираются при помощи анкет для учеников, состоящей из 30-и вопросов, разделенных на шесть блогов: «О тебе», «О твоей школе», «После уроков», «Армянский язык в вашей школе», «История Армении в вашей школе» и «Твои предпочтения» (на примере HAAS). По всем вопросам анкеты проводится подробный статистический анализ.

Предварительные итоги национальных исследований HAAS, BAAS и OLAS неоднократно докладывались и представлялись на различных конференциях, обсуждались на семинарах и тренингах.

Несмотря на то, что исследования представляют информацию скорее для высших административных уровней (национальных и региональных), есть возможность проведения дополнительных исследований, предназначенных специально для конкретных заинтересованных групп (города, села и конкретные образовательные организации).

В первую очередь адресатом результатов Мониторингов является государство в лице министерства образования, при этом в той или иной степени ими могут быть все заинтересованные стороны, но в особенности учителя.

Среди информационных продуктов следует отметить подробные отчеты, посвященные, в основном, психометрическим характеристикам тестов и тестовых заданий (а также, анкетам для учеников), и нацеленные на, прежде всего, улучшение качества самих национальных инструментов, что связано с незавершенной процедурой их апробации. Общее описание инструментов есть на сайте Центра оценки и тестирования Республики Армения.

Применение метода TIMSS так же предполагает ряд методов представления результатов и информационных продуктов, областей применения полученных данных и использование результатов, среди которых можно выделить следующие (согласно интервью):

· совершенствование образовательных программ и методов преподавания;

· совершенствование методов и инструментов оценивания;

· создание учебно-методических пособий и учебников;

· проведение сравнительного анализа между регионами, и, потенциально, с другими стратам.

Создатели Мониторингов отмечают, что косвенно они могут обеспечивать осуществление контрольно-надзорных функций государства, но это не главная цель: помощь и поддержка - вот область их применения, особенно для составителей образовательных программ и учебников, учителей, работников методических объединений, исследователей и руководителей системы образования.

В экспертных оценках НСОКО и в ходе проведенного интервью указывается, что наиболее серьезно снижает возможность использования результатов ограниченность средств (финансовых и кадровых), а также нехватка времени.

Учитывая то, что данные процедуры оценки находятся на стадии апробации, разработчики считают, что пока рано делать обоснованные рекомендации по итогам трендовых исследований (повторные исследования не были проведены), которые могли бы лечь в основу дальнейших управленческих решений. Однако уже сейчас существует есть определенный общественный резонанс и заинтересованность, в частности, в школах и среди учеников, однако, как отмечают разработчики, всегда есть соблазн по результатам этих процедур оценивать и рейтинговать школы, учителей и т.д., что рассматривается в качестве потенциальных рисков использования результатов.

HAAS, BAAS и OLAS пока что носят пилотный характер, требуют доработки для полноценного и масштабного применения.

Финансирование осуществляется из республиканского бюджета

2.2 Республика Беларусь

Республиканский мониторинг качества общего среднего образования проводится ежегодно по пяти направлениям, одно из которых уровень обученности учащихся по учебным предметам

Мониторинг проводится для изучения уровня усвоения учащимися содержания образования и факторов, влияющих на уровень образовательных достижений, в соответствии с образовательными стандартами и учебными программами.

Проводится на выборках учащихся, их родителей, педагогов (625 респондентов каждой категории).

Предметы: белорусский и русский языки, математика, физика, химия, биология, всемирная история и история Беларуси.

До 2014 года тест не стандартизированный, а после этого года при разработке КИМов был учтен опыт России по разработке инструментария для оценки качества начального общего образования в соответствии с ФГОС. Обучающие в течение 45 минут выполняют 20 заданий, которые предполагают выбор ответа из предложенных, краткий ответ и свободно конструируемый ответ. Большинство заданий имели практикоориентированный характер, требовали применения усвоенных знаний в реальных жизненных ситуациях.

В 2014 году впервые проведен мониторинг читательской грамотности учащихся V, VIII классов, в рамках которого оценивался уровень сформированности у учащихся читательских умений находить информацию, заданную в явном виде, интерпретировать и обобщать информацию, анализировать и оценивать содержание текста, основанный на МСИ PIRLS.

Для сбора информации о факторах, влияющих на результаты учебной деятельности учащихся, проводится компьютерное анкетирование учащихся и педагогов.

По результатам мониторинговых исследований готовятся и представляются в Министерство образования информационно-аналитические материалы. На основании информационно-аналитических материалов разрабатываются рекомендации по совершенствованию качества общего среднего образования, которые публикуются на национальном образовательном портале (http://adu.by), в научно-практическом и информационно-методическом журнале «Веснік адукацыі» и в научно-методических предметных журналах.

Результаты Мониторинга используются на разных уровнях системы образования для совершенствования управления качеством образования:

· МОН РБ: создание условий (нормативных правовых, кадровых, финансовых и др.) для получения качественного образования в школах;

· НИО: совершенствование учебных программ, учебно-методических комплексов;

· управлениями образования районных, областных исполкомов: совершенствование кадровых, финансовых, материально-технических условий организации образовательного процесса, методической работы с педагогическими кадрами;

· школами, педагогическими работниками: совершенствование условий организации образовательного процесса, методик и технологий обучения и воспитания, механизмов контрольно-оценочной деятельности, работы методических объединений учителей-предметников;

· ВУЗ: корректировка учебных планов и программ подготовки специалистов в области педагогики и психологии, методики обучения учебным предметам;

· Академией последипломного образования, региональными институтами развития образования: совершенствование учебных планов и программ повышения квалификации педагогических работников; повышение эффективности методической работы, инновационной деятельности в системе образования.

Среди сложностей отмечается необходимость в налаживании эффективной организационной схемы взаимодействия республиканских и региональных структур в области оценки качества образования.

Финансирование осуществляется из средств республиканского и местного бюджетов.

2.3 Республика Казахстан

С 2012 года в республике в Закон РК «Об образовании» были внесены изменения и дополнения, вследствие чего Промежуточный государственный Контроль (далее - ПГК), проводимый с 2005 года, как Мониторинг был исключен. ВОУД как мониторинг внедрен вместо ПГК, имевшего жесткие последствия для организации образования - внеочередная аттестация в случае неудовлетворительных показателей.

Задачами ВОУД в организациях образования являются:

- осуществление мониторинга образовательных достижений;

- оценка эффективности организации учебного процесса;

- проведение сравнительного анализа качества образования в образовательных организациях.

Участниками ВОУД являются учащиеся 9-х классов. Выборка организаций образования составляет 10-20% школ РК от общего количества. Параметрами выборки (2012-2013 и 2013-2014 учебные годы) послужили: типы школы (общеобразовательная, лицей, гимназия); язык обучения (казахский, русский); место расположения (город, село).

ВОУД проводится ежегодно по четырем общеобразовательным предметам. Казахский язык является обязательным предметом, а три других предмета определяются МОН РК.

В рамках ВОУД в 2012-2013 гг. проверялись предметные знания учащихся, а начиная с ВОУД-2014 согласно Национальному плану действий по развитию функциональной грамотности школьников на 2012-2016 годы наряду с заданиями на проверку предметных знаний были впервые использованы задания на проверку функциональной грамотности школьников. Тестовые задания для проверки предметных ЗУН учащихся разрабатываются в соответствии с учебными программами по общеобразовательным предметам и их содержание соответствует материалам учебников, утвержденным МОН РК.

...