Тестовые задания, использованные в ВОУД в 2012-2014 гг., были закрытой формы с выбором одного правильного ответа из пяти предложенных. Количество тестовых заданий по каждому предмету - 20, где за каждое правильно выполненное задание учащийся получает 1 балл. На тестирование отводится 120 минут.

По итогам ВОУД с целью ознакомления общественности с состоянием дел в среднем образовании Национальным центром образовательной статистики и оценки, а также Национальным центром тестирования издаются аналитические отчеты, статьи. Аналитические отчеты содержат рекомендации по улучшению качества знаний учащихся, а также по совершенствованию учебных программ, учебников.

Среди наиболее решенных задач отмечается оценка уровеня освоения тем государственного образовательного стандарта, а среди наименее решенных - оценка уровеня оказания образовательных услуг.

Тестовые задания для ВОУД разрабатываются по заказу МОН РК из республиканского бюджета в секретном режиме в НЦТ. Экспертиза и апробация тестовых заданий также осуществляется НЦТ. Ответственность за организацию и проведение ВОУД несет МОН РК и НЦТ. ВОУД проводится представителями МОН РК. Организация и проведение данного мероприятия финансируется из республиканского бюджета.

В отличие от ПГК данное мониторинговое исследование имело преимущество: во-первых, наличие двух идентичных форматов (бланочное и компьютерное тестирование); во-вторых, отсутствие правовых последствий для его участников по результатам ВОУД.

В рамках ВОУД в 2012-2013 гг проводилось фоновое обследование, целью которого является определение причин, влияющих на уровень подготовленности учащихся. Фоновое обследование проводилось в форме анкетирования. В анкетировании принимают участие учителя, педагогический коллектив организаций образования, учащиеся и их родители. Объекты фонового исследования: результаты учебных достижений учащихся 9х классов, ресурсное обеспечение (преподаватели), материально-техническое обеспечение, индивидуальные особенности (интересы, мотивы), внешне влияние (семья, одноклассники, друзья). По итогам фонового обследования опубликован аналитический обзор «Факторы, влияющие на качество знаний учащихся 9-х классов».

Результаты ВОУД, как говорилось ранее, публикуются ежегодно в Национальном докладе о состоянии и развитии образования РК, и в аналитических обзорах, сводных ведомостях по заранее утвержденным формам, которые доступны отдельно каждой школе только по своим результатам, а сводные в направляются в МОН и публикуются на сайте НЦТ в виде общего обзора. Результаты ВОУД используются для принятия управленческих решений по повышению качества образования. При этом есть только элементы обсуждения с широкой общественностью в отдельных случаях.

Во время проведения интервью коллеги отмечают, что еще на стадии проектирования главная цель ВОУД ставилась как «отход от системы контроля к мониторингу, от всеобщего охвата к выборочному исследованию». Соответственно, предусматривалось, что результаты не должны были использоваться с целью принятия решений об аттестации школ, сертификации школьников.

На вопрос «Может ли, на Ваш взгляд, Мониторинг обеспечить осуществление контрольно-надзорных функций?» был получен следующий ответ: «Нет, не может. В нашей практике есть мнение некоторых специалистов о том, что результаты можно использовать при государственной аттестации школ. Однако, это нельзя делать т.к. задачи мониторинга другие. Есть еще не совпадение предметов, классов и сроков проведения. Аттестационным комиссиям можно лишь рекомендовать использовать результаты анализа, открыто опубликованные в разных изданиях». Цели Мониторинга заключаются в оказании помощи и поддержки системе образования.

Среди адресатов результатов отмечается в первую очередь государство в лице МОН РК. Оно заказывает анализ результатов своим подведомственным организациям, исследователям.

Если посмотреть с позиции пользователей результатов административные уровни (национальный, региональный, муниципальный и образовательной организации), то опять же в первую очередь выделяется национальный и областной уровни, а родители и ученики в этой роли выступают в меньшей степени.

Помимо ВОУД в РК проводилось еще одно исследование «Независимое мониторинговое исследование». В 2012-2013 гг. с целью определения уровня естественно-математической подготовки школьников проводилось независимое мониторинговое исследование оценки учебных достижений учащихся основной школы. В 2012 году тестирование проходили учащиеся 5-х и 9-х классов, в 2013 году - те же самые учащиеся (соответственно учащиеся 6-х и 10-х классов).

Очень интересен ответ респондентов относительно того, как в их стране используются результаты Мониторингов. В нем отмечается, что к сожалению, традиционно - для сравнения школ, районов. В меньшей степени - исследователями для сравнения с результатами международных исследований.

Особенностью данного исследования является то, что в его рамках проводится фоновое обследование на предмет выявления факторов, влияющих на результаты обучения. В течение двух лет в данном исследовании принимает участие один и тот же контингент учащихся, администрации школ, учителей-предметников, что позволяет выявить динамику учебных достижений школьников.

Количество участников независимого мониторингового исследования: в 2012 году - 5282 учащихся 5-х и 9-х классов; в 2013 году - 3762 (учащихся 6-х классов - 2 388, учащихся 10-х классов - 1374).

Количество тестовых заданий в одном варианте теста: для учащихся 6-х классов - 30, для учащихся 10-х классов - 40. Время тестирования: 6 класс - 60 минут, 10 класс - 90 минут.

Тестирование проводилось по следующим предметам:

- 6 класс - математика, естествознание;

- 10 класс - математика, физика, химия, биология, география.

Содержание тестовых заданий направлено на проверку предметных знаний, умений, навыков, умений обосновывать, аргументировать точку зрения, объяснять наблюдаемые явления, работать с информацией, представленной в виде таблиц, графиков, диаграмм.

В рамках независимого мониторингового исследования были использованы следующие формы тестовых заданий:

- закрытой формы (с одним или несколькими правильными ответами);

- открытой формы (краткий и развернутый ответ);

- на установление соответствия;

- на установление правильной последовательности.

С 2013 года стартовало еще одно независимое мониторинговое исследование - «Оценка образовательных достижений учащихся 9-х классов общеобразовательных школ Казахстана». Отличие данного исследования от предыдущего состоит в формате проведения и в объекте оценивания исследования: первое исследование проводилось в формате бланочном, а второе - на компьютере; объект оценивания первого исследования - предметные знания учащихся по математике и предметам естественнонаучного направления, объект второго исследования - функциональная грамотность учащихся (естественнонаучная, математическая и читательская грамотность).

Задания для данного исследования до 2015 года разрабатывались Национальным центром образовательной статистики и оценки (НЦОСО) с привлечением учителей школ. Ответственными за организацию и проведение независимого мониторингового исследования до 2015 года являлся НЦОСО. Организация и проведение данного мероприятия финансируется из республиканского бюджета.

Итоги независимого мониторингового исследования рассматриваются на разных уровнях системы управления образованием, а также в организациях образования на заседаниях творческих лабораторий, научно-методических семинарах, советах, классных часах. Итоги исследования использовались для корректировки методики обучения учащихся для того, чтобы улучшить результаты казахстанских школьников в международных сравнительных исследованиях.

До 2016 года в соответствии с Государственной программой развития образования на 2011-2020 годы ВОУД среднего образования будет проводиться в 9 классах. В будущем ВОУД будет проводиться также, и в начальной школе.

Планируется внесение изменений в формат мониторингового исследования (формы заданий, технология проведения). Данный вопрос на сегодняшний день находится на стадии обсуждения.

Результаты Мониторингов используются учеными и методистами для выработки рекомендаций по совершенствованию учебных программ, учебников, по повышению квалификации учителей; управленцами - для принятия управленческих решений по повышению качества предоставляемых образовательных услуг.

В деле повышения эффективности использования результатов коллеги отмечают хватку культуры и грамотности в сфере оценки качества образования, особенно руководителям районного и областного уровня, как одну из главных и требующих решения путем проведения обучения ключевых пользователей. В том числе и это приводит к рассмотрению результатов ВОУД в целом без разделения на отдельные темы, предметы. Наиболее опасное - сравнение не сравниваемых результатов, без учета места нахождения школы, вида (типа) школы.

2.4 Республика Кыргызстан

Национальное оценивание образовательных достижений учащихся (НООДУ), которое используется для измерения уровня образования относительно национальных стандартов, проводилось в 2007, 2009 годах (4 и 8 классы) и 2014 году в 4 классах в рамках проекта READ при Министерстве образования и науки КР на средства гранта Всемирного банка. Исследование проводилось Центром оценки в образовании и методов обучения. Целью исследования было получение представления об образовательных результатах 4 и 8 классов. Полученные в результате должны были помочь в понимании того, насколько ученики начальной школы готовы к дальнейшей учебе, а выпускники основной школы способны продолжить учебу или заниматься трудовой деятельностью. Результаты исследования использовались для улучшения как содержания школьных предметов, методики преподавания, так и в целях стратегического планирования в области дальнейшего развития образовательной системы.

Инструментарий оценки представлен самим тестом и набором анкет (для учащегося, для учителя и для администрации школы).

Способ диагностики - тестирование образовательных достижений учащихся.

В тесте использовалось несколько типов вопросов:

1. Закрытый тип представляет из себя вопрос с выбором одного верного ответа и предложенных;

2. Комплексные вопросы предполагают ответ в формате верно/неверно, да/нет;

3. С открытым ответом.

В каждой из областей знаний, которые предполагалось оценить, были выделены основополагающие компоненты, оказывающие наибольшее влияние на способность учащихся к успешной учебе и самореализации в обществе.

Дизайн теста. Всего среди 4 классов было разработано 246 заданий (66 заданий по чтению, 90 заданий по математике и 90 заданий по естественным наукам), объединенных в юниты. Затем они по ряду правил объединялись в более крупные группы - кластеры. Таким образом, из 246 заданий было собрано 15 кластеров, по 5 на каждую предметную область. Комбинируя их, удалось составить 10 тестовых тетрадей. В каждой тетради, предназначенной для ответов учащихся, содержалось по 1 кластеру из каждой предметной области.

Выбор 4 и 8 классов для исследования был обусловлен следующими причинами:

1. 4 класс является завершающей ступенью образования в начальной школе и формирует базу для дальнейшего обучения в старших классах.

2. во-первых, 9 класс - достаточно напряженный период в жизни выпускников ведь их жду аттестационные испытания, а проведение исследования в 8 классе не приведет к переутомлению. Во-вторых, получение результатов по 8-классникам позволит оперативно внести необходимые коррективы в образовательную программу 9-ти классников.

Для участия в исследовании НООДУ была определена выборка 202 школы. В исследовании были определены следующие страты:

- административные области Кыргызстана (7 областей, г. Бишкек, г. Ош);

- школы малых городов, сельские школы, школы столицы;

- язык обучения: кыргызский, русский, узбекский;

- тип школы: гимназия, лицей, общеобразовательная школа;

- малые школы (до 35 учащихся);

- очень маленькие школы до 20 человек.

В каждой школе, если это возможно, случайным образом отбирались 40 учащихся. Всего в исследовании участвовало 6965 учащихся.

Результаты учащихся оценивались в 1000-балльной шкале. Для представления результатов достижения учащихся распределялись по 4 уровням:

- ниже базового;

- базовый;

- выше базового;

- высокий уровень достижений учащихся.

Приведенные уровни определены для каждого класса и для каждой предметной области в соответствии с необходимым уровнем овладения ЗУН.

Результаты проведенного тестирования в 4 и 8 классах по математике, естественным наукам, чтению и пониманию письменного текста показали следующее:

1. Большинство учащихся обоих классов продемонстрировали знания на уровне «ниже базового», что свидетельствует о том, что дети не имеют необходимых для дальнейшего успешного обучения ЗУН по исследованным дисциплинам.

2. В 4 классе от 62 до 65 % обучающихся не достигают базового уровня. Только около 30% четвероклассников продемоснтрировали достижения на уровне базовых и лишь около 10% - более высокие достижения.

3. Наивысшие результаты продемонстрировали школьники столицы, обучающиеся на русском языке, наиболее слабые результаты - школьники из сельских школ, обучающихся на кыргызском и узбекском языках. Схожая картина наблюдается и по чтению и пониманию, а также по математике и естественным наукам (у сельских восьмиклассников более 90% учащихся находятся на уровне ниже базового).

4. Сложности с пониманием письменного текста являются чрезвычайно важными и негативно сказываются на освоение всех предметов школьного цикла.

5. Тревожная ситуация сложилась в восьмом классе, где в целом по выборке на уровне ниже базового находится от 73,5% до 84,3% учащихся. Только 12-15% восьмиклассников показало базовые достижения и от 3 до 10% учащихся 8 класса имеет достижения выше базового уровня.

6. Результаты по биологии: 73% ниже базового уровня, 19,1% на базовом уровне, 5,9% на уровне выше базового и 1, 4% на высоком уровне. Самые низкие результаты получены по химии: 88,5% ниже базового уровня, 9,7% на базовом уровне, 1,8% на уровне выше базового, на высоком уровне - 0%. При этом в некоторых регионах, в Баткенской и Таласской областях, процент учащихся на уровне ниже базового достигает 92%, что говорит о крайне низких результатах обучения и почти 100% несоответствия знаний учащихся требованиям стандартов обучения.

Все эти результаты были направлены в Министерство образования и науки, а также всем другим участникам отношений в сфере образования, в том числе родителям.

Полученные в 2007 году результаты стали шоковыми для всех слоев населения. Учитывая то, что доклад по НООДУ вышел раньше, чем по международному сопоставительному исследованию (далее - МСИ) PISA, то некоторое время обществу было трудно поверить в достоверность результатов. Опубликованные вскоре результаты МСИ, где Кыргызская Республика заняла последнее место, подтвердили результаты НООДУ. Первой реакцией широкой общественности, в том числе и педагогической, было выражение недоверия и поиск виноватых. При этом назывались самые разные внешние по отношению к системе образования причины, которые могли негативно повлиять на результаты: неверно составленные вопросы, неправильно проведенное тестирование, ошибочная обработка данных, отсутствие должной психологической подготовки учащихся и др. Для осознания текущего положения нужно было время. Последующее через два года исследования НООДУ, а также и вскоре появившийся отчет по PISA 2009 вновь подтвердили крайне низкие результаты обучающихся и по местным, и по международным стандартам. Несмотря на то, что по обоим исследованиям можно было констатировать положительный сдвиг, он слабо сказывался на в целом очень тяжелом положении дел в Кыргызстане.

Основные выводы по итогам исследований отражены ниже:

· Существуют серьезные проблемы с пониманием письменного текста у большинства обучающихся, что негативно сказывается на освоении всех предметов школьного цикла.

· Существует нехватка учителей, особенно имеющих необходимую для преподавания своих предметов квалификацию. У педагогического коллектива отсутствует материальная мотивация.

· Знания преподаются бессистемно, бессвязно между учебными предметами, нет единого стандарта, которому они должны соответствовать.

· Заучивание, чтение и пересказ учебного материала - основные методы работы в классе и дома.

· Крайне низкий доступ к информационным источникам.

· Низкая вовлеченность родителей в образовательный процесс своих детей.

· Методическая подготовка педагогического коллектива остается на очень низком уровне, система повышения квалификации также не соответствует современным требованиям.

· Дошкольный уровень образования развит слабо и остается практически недоступным в сельских территориях страны.

· Материально-техническая обеспеченность образовательных организаций также находится на низком уровне.

После публикации результатов обоих исследований 2009 года был принят ряд немедленных и серьезных мер по выходу из сложившейся ситуации (Валькова, 2013), для чего были предложено:

· Срочное увеличение инвестиций в систему образования.

· Все разрабатываемые меры должны быть системными и с долговременным планированием.

· Система повышения квалификации и подготовки педагогических кадров должна быть пересмотрена.

· Необходимо установить материально-технический минимум для каждой образовательной организации и довести их уровень до требуемого в кратчайшие сроки.

· Школам с наиболее неблагоприятным социально-экономическим статусом необходимо оказывать специализированную помощь.

· Существенно увеличить охват детей дошкольным образованием.

· Включить в школьную программу такие материалы для чтения, которые наиболее интересны учащимся, соответствуют их возрасту.

· Обеспечить новые стандарты, разработанные в соответствии с ними образовательные программы, учебно-методическими комплектами.

· Возродить в вузах кафедры методики преподавания школьных предметов.

· Повысить престижность профессии школьного учителя, используя экономические рычаги (ликвидировать перегруженность учителя, стимулировать стремление к повышению квалификации, создать систему поощрений).

· Система внутришкольного оценивания должна быть пересмотрена.

Коллеги из Кыргызстана отмечают, что осознание реального положения дел, роли Мониторингов (национальных и международных) в принятии различного уровня решений и даже сама необходимость проведения диагностических исследований на постоянной основе приходят постепенно. Необходимы также знания того, каким образом использовать результаты таких исследований для реформирования образования и опыт.

Возможно, отмечают эксперты, что предпринимаемым усилиям не хватает скоординированности, не всегда полученный результат отвечает ожиданиям, тем не менее происходит нелегкий поворот от мало контролируемых, разрозненных, разнонаправленных и кратковременных воздействий на образование к системе мер, основанных на результатах национальных мониторингов и МСИ.

Особенно примечателен опыт республики тем, что прослежен путь от анализа проблем, к рекомендациям и далее к конкретным шагам, которые уже предприняты. Как отмечает Валькова И.П., можно отметить следующие реализованные мероприятия (Валькова, 2013):

· Повышена зарплата учителям, изменена структура оплаты труда.

· Разработан и в 2009 году принят новый рамочный куррикулум (стандарт), где акцент обучения переносится с процесса на результат.

· Разработаны предметные куррикулумы для начальной школы. Новые куррикулумы, обеспеченные учебниками и методическими пособиями для учителей ввели с первого класса.

· Дорабатываются куррикулумы для средней (5-9 классы) школы, а для старшей школы и для профильных классов такая разработка начата.

· Определены компетенции, которыми должны обладать учащиеся не только на выходе, но и на промежуточных этапах (4 класс, 9класс).

· Меняются подходы к оцениванию индивидуальных успехов учащихся (внедряется формирующее оценивание, проводятся курсы для учителей по оцениванию успехов учащихся в классе).

· Ведется работа по изменению формы итогового оценивания в 9 и 11 классах.

· Разрабатываются подходы к уменьшению нагрузки на учащихся (3 варианта сокращения часов).

· Решается проблема дошкольного образования (общинные и сезонные детсады, дошкольная подготовка - 480 годовых часов).

· Работает программа разработки и оснащения школ учебниками.

· Вводится подушевое финансирование в школах.

Однако, по мнению других экспертов, уровень школьного образования пока не становится лучше - необходимы документально подтвержденные данные о динамике изменений. Ценность мониторинговых исследований заключается в том, что оно содержит эти данные, стремится раскрыть причины ухудшения и дает рекомендации по улучшению. В дополнении к этом, важно понимать, что предпринятые меры скажутся еще не через один год, в связи со спецификой системы образования, в связи с чем необходимо проведение Мониторингов на систематической основе.

2.5 Российская Федерация

До недавнего времени в стране отсутствовала единая программа мониторинга качества образования на федеральном уровне и инициатива их проведения принадлежала научным организациям и региональным службам (Болотов, 2013а). В 2014 г. по инициативе Рособрнадзора в Российской Федерации начата реализация программы Национальных исследований качества образования (НИКО), цели которой многочисленны и носят весьма общий характер:

· содействие развитию единого образовательного пространства в Российской Федерации;

· содействие выполнению поручений Президента Российской Федерации, а также программных документов федерального уровня, касающихся качества образования;

· содействие совершенствованию механизмов получения достоверных и содержательных данных о состоянии уровней и подсистем системы образования, в том числе с учетом введения ФГОС;

· развитие информационно-аналитической и методологической базы для принятия управленческих решений по развитию системы образования в Российской Федерации;

· содействие эффективному внедрению ФГОС;

· содействие процессам стандартизации оценочных процедур в сфере образования.

Программа НИКО предполагает проведение исследований на постоянной основе относительно качества образования по отдельным учебным предметам и уровням общего образования, но не реже 2 раз в год, каждое из которых при этом является отдельным проектом в рамках общей программы.

В рамках НИКО в 2014-2015 гг. были проведены следующие мониторинговые исследования:

· качества математического образования в 5-7 классах, для анализа состояния математического образования, в том числе, с учетом принятия Концепции развития математического образования в России, а также внедрения двухуровневого ЕГЭ. (28 октября 2014 г.);

· качества начального образования с учетом ФГОС (14 апреля 2015 г.);

· качества образования в области информационных технологий в 8-9 классах (октябрь 2015 г.).

· качества образования по истории и обществознанию в 6 и 8 классах (апрель 2016 г.)

Нормативная база, регулирующая проведение НИКО включает следующие документы (на примере исследования качества математического образования):

· Распоряжение Правительства Российской Федерации от 24 декабря 2013 г. № 2506-р «О Концепции развития математического образования в Российской Федерации»

· Письмо Рособрнадзора №05-318 от 15.09.14 «О проведении национальных исследований качества образования»

· Приказ Министерства образования и науки Российской Федерации №1378 от 27.10.14 «О проведении мониторинга качества подготовки учащихся»

Мероприятия НИКО проводятся на выборке образовательных организаций (в среднем около 15 образовательных организаций, далее - ОО) от каждого участвующего в исследованиях субъекта Российской Федерации). Выборка составляется федеральными координаторами. В случае несогласия субъекта участвовать в исследовании координаторы предлагают замену. В каждом ОО участвует вся параллель выбранных классов. Процедуры включают проведение диагностической работы и анкетирования.

Диагностические работы, проводимые в рамках проектов программы НИКО, основаны на системно-деятельностном и компетентностном подходах. Измерительные материалы представляют собой совокупность заданий, разнообразных инструкций, систем оценивания и шкал по одному или нескольким учебным предметам, а также бланков, анкет, протоколов. Используемые в инструментарии задания направлены на выявление у участников исследования широкого спектра предметных и метапредметных умений, а также сформированности универсальных учебных действий, обеспечивающих возможность успешного продолжения обучения, а именно: сформированности понятийного аппарата по проверяемым разделам содержания; знания основных правил, формул, законов и умение их применять; владения навыками смыслового чтения, понимания и адекватной оценки информации, представленной в различных знаковых системах (текст, таблица, различные виды диаграмм, чертежи и т.п.); умения применять изученные понятия, результаты, методы для решения задач практического характера; владения навыками решения широкого спектра учебных задач, в т.ч. с использованием ИКТ; способности использовать приемы анализа/синтеза, проводить классификации объектов по выделенным признакам, устанавливать причинно-следственные и другие связи, выстраивать логическую цепь рассуждений и распознавать логически некорректные рассуждения и др. мониторинг школьник образовательный

Результаты выполнения диагностических работ выдаются в первичных баллах. Суммарные первичные баллы, набранные участником исследования, могут быть по желанию образовательной организации или обучающегося переведены в отметки по пятибалльной шкале на основе рекомендаций, приведенных в спецификациях измерительных материалов соответствующих диагностических работ. В диагностических работах используется два типа оценивания заданий: дихотомическое (за выполнение задания выставляется 0 баллов или 1 балл) и политомическое (за выполнение задания ставится балл от 0 до 2). Экспертная проверка развернутых ответов участников проектов НИКО осуществляется на основе стандартизированных критериев и только при условии прохождения экспертами соответствующего предварительного обучения и аттестации. В процессе проверки работ осуществляется выборочный контроль качества проверки.

Анализ результатов проводится по совокупности участников исследования, а также по группам субъектов Российской Федерации (стратам), выделенным в процессе формирования выборки образовательных организаций для участия в исследовании. Для проведения исследования страты формируются с использованием следующих критериев:

· уровень математического образования в регионе, оцениваемый по характеру распределения баллов участников ЕГЭ по математике в соответствующем году;

· уровень образования по русскому языку в регионе, оцениваемый по характеру распределения баллов участников ЕГЭ по русскому языку в соответствующем году;

· уровень экономического развития региона, оцениваемый по значениям валового регионального продукта на душу населения.

Разработчики предполагают, что результаты каждого проекта программы НИКО могут быть использованы:

· На федеральном уровне - для формирования ключевых направлений в области государственной политики в общем образовании и разработки конкретных мер по их реализации;

· На региональном и муниципальном уровнях - для формирования методических рекомендаций в целях совершенствования преподавания отдельных предметов, для улучшения программ повышения квалификации педагогических работников;

· Образовательными организациями - совершенствование преподавания отдельных предметов на основании подготовленных методических рекомендаций, а также для повышения квалификации учителей;

· Родителями и детьми - для повышения информированности, развития моделей родительского оценивания, принятия обоснованных решений о выборе образовательной траектории ребенка.

Важно отметить, что использование результатов программ не предусмотрено для оценки деятельности образовательных организаций, педагогических работников, муниципальных и региональных органов исполнительной власти, осуществляющих государственное управление в сфере образования.

Координатором работ по реализации мероприятий НИКО в 2014-2016 гг. является Московский Центр Непрерывного Математического Образования (МЦНМО, www.mccme.ru). Работы по организации тестирования и анкетирования выполняет Учебно-издательский центр «Интерактивная линия».

Кроме НИКО к наиболее значимым Мониторингам можно также отнести следующие:

- проекты, которые проводились параллельно с международными исследованиями на тех же выборках учащихся (Изучение алгебраической подготовки учащихся 9 классов школ России, 1995 г.; Изучение математической подготовки выпускников начальных школ России, 1999 г.);

- выборочная перепроверка и анализ результатов школьных экзаменов за курс основной и средней школы (2001-2002 гг.);

- мониторинг образовательных достижений в ходе эксперимента по модернизации структуры и содержания общего образования (2001-2004 гг.);

- мониторинг образовательных достижений учащихся начальной школы в рамках эксперимента по введению стандартов второго поколения (2007-2010 гг.).

- Information and Communication Literacy Test (ICL Test) - это специально разработанный инструментарий для измерения уровня информационно-коммуникационной компетентности (ИК-компетентности) выпускника основной школы. Проводился с 2011 по 2015 годы.

- «Доработка, апробация и внедрение инструментария и процедур оценки качества начального общего образования в соответствии с Федеральными государственными образовательными стандартами», проводившийся ИСМО РАО в 2011-2013 годах.

Отдельно следует отметить два последних Мониторинга.

Инструментарий для оценки качества в начальной шеколе. В апреле-мае 2013/2014 учебного года при помощи данного инструментария в регионах Российской Федерации изучались первые результаты введения Федеральных государственных образовательных стандартов (ФГОС) начального общего образования в экспериментальных школах. Эти школы весной 2014 года выпустили первых четвероклассников, обучавшихся в начальной школе по новым ФГОС.

Всего в проекте 2014 года участвовали 31085 выпускников начальной школы из 1680 четвертых классов 1045 образовательных организаций 8 регионов страны.

Оценка освоения образовательной программы начального образования осуществлялась в соответствии с новой моделью оценки образовательных достижений, разработанной по заданию Министерства образования и науки Российской Федерации в ходе проекта «Доработка, апробация и внедрение инструментария и процедур оценки качества начального общего образования в соответствии с Федеральными государственными образовательными стандартами» в 2011-2013 годах и апробированной в 33 субъектах Российской Федерации. Опыт данного проекта был использован специалистами из Республики Беларусь, для совершенствования собственного Мониторинга.

ICL Test. Так же признанный инструмент оценки, прошедший апробацию в России (Республика Татарстан, г.Красноярск, г.Барнаул, г.Москва, ЯНАО), Таиланде, Республике Армения, Англии, Республике Беларусь.

Инструмент позволяет оценить информационно-коммуникационную компетентность школьников 9-х классов и выявить факторы, влияющие ее на формирование.

Анализ результатов проводится группой экспертов НФПК, с последующей разработкой рекомендации, которые могут использоваться как для формирующего оценивания в классе, так и для аттестации при окончании основной школы.

Оба эти заслуживающих уважения инструмента не вошли в состав НИКО, появившегося позже них и в рамках которого также проводится оценка ИКТ-грамотности и качество начального образования.



Глава 3. Сравнительный анализ опыта стран СНГ в использовании результатов национальных мониторингов образовательных достижений школьников

Перед тем, как приступить непосредственно к анализу, приведем кратко те положения, относительно которых он будет проводится. Все они достаточно подробно изложены в 1 главе данной работы.

Проблема использования результатов Мониторингов будет рассматриваться с позиции одного из субъектов, использующих их,- управленцев.

Основное внимание будет сконцентрировано на выявлении и фиксации направлений использования результатов Мониторингов относительно основных факторов, оказывающих на это влияние:

· характеристики выборки;

· наличие и качество собираемых контекстных данных;

· характеристики измерительных материалов (участники оценивания, предмет или область, направленность оценки);

· наличие ренкингов и рейтингов, доступность информации о результатах оценки, наличие адресных аналитических материалов ориентированных на конкретные группы пользователей;

· способность управленцев к грамотному использованию полученных результатов.

В целях лучшего понимания причин использования результатов Мониторингов по тем или иным направлениям в странах СНГ важно понимать своего рода контекст, фон на котором они создавались.

С одной стороны - это глобальное движение за стандартизацию образования, что привело к созданию во всех рассматриваемых странах государственных образовательных стандартов, с другой - международные сопоставительные исследования (далее - МСИ): все страны, опыт которых изучается в рамках данной работы, принимали участие в МСИ проводимых такими организациями как OECD и IEA, за исключением Республик Беларусь. При этом последняя уже планирует участие в PISA в период до 2020 года.

Эксперты из Армении, комментируя свой опыт построения НСОКО, отмечают достаточно очевидную необходимость в таких исследованиях и утверждают, что реализовывая собственные образовательные программы и оценивая их эффективность, страна неизбежно сталкивается с необходимостью сравнения своих достижений с изученным мировым опытом и достижениями других стран.

Лучше всего отношение к данным процедурам оценки в нашей стране демонстрирует участие практически во всех МСИ, проводимых IEA и OECD, начиная с 1988 года еще в качестве СССР. Дальнейшее участие как и в ряде стран СНГ запланировано вплоть до 2020 года в нормативных документах, о которых уже говорилось ранее.

Среди стран СНГ по числу проведенных международных мониторингов лидирующие позиции занимает Российская Федерация (1, Агранович) (см. таблица 1). Тому несколько основных причин: относительно высокая стоимость участия в подобных исследованиях, недостаточный кадровый потенциал организаций, формирующих НСОКО, и небольшой опыт государств СНГ в проведении и использовании результатов процедур оценки качества образования.

Международные сравнительные исследования качества образования оказывают сильное влияние на формирование национальной системы оценки качества образования в России, особенно в ситуации отсутствия национальной? системы мониторинга качества образования до 2014 года. МСИ в таких ситуациях становится одним из надежных источников информации по многим направлениям функционирования системы школьного образования, предоставляя сопоставимую информацию.

Особый интерес представляет не столько сравнение достигнутых результатов каждой отдельной страны, сколько использование этих результатов для совершенствование системы образования, а также сам опыт их проведения, который оказал, как отмечают эксперты, сильное влияние на на последующую разработку собственных, уже национальных, инструментов оценивания.

МСИ становятся причиной пересмотра национального учебного плана, введения новых стандартов, изменения программ подготовки учителей. Так участие Российской Федерации в международных мониторингах качества образования способствовало формированию культуры педагогических измерений, реформированию содержания образования и созданию федеральных государственных образовательных стандартов нового поколения (ФГОС), разработке новых учебников, а также обновлению программ повышения квалификации учителей. Сходный эффект отмечают и эксперты из Армении, Казахстана и Кыргызстана. Однако, учитывая тот факт, что чем большее количество стран принимают в них участие, тем меньше проверочные задания отражают национальные стандарты обучения, создавая необходимость в национальных инструментах, способных это учитывать. Данное направление использование результатов Мониторингов отмечено во всех странах, опыт которых нами изучен.

Также МСИ часто стимулируют национальные министерства образования проводить анализ эффективности расходования ресурсов и принимать решения об их увеличении, сокращении или перераспределении для достижения различных целей по развитию образования, что является общим для всех стран. В данном случае интересен опыт Кыргызстана, где уже собственный инструмент - НООДУ - в 2007 году, результаты которого стали для страны шоковыми, как отмечают эксперты, показал важность развития дошкольного образования, необходимость срочного и значительного увеличения объема государственных инвестиций в систему образования для выправления тяжёлой ситуации сложившейся в образовании.

Отдельно следует подчеркнуть влияние участия в международных исследованиях на систему образования Армении, участие которой в исследованиях TIMSS послужило толчком к организации и реализации таких исследований в национальном контексте - Мониторингов: HAAS - по предметам армяно-ведения (армянский язык, литература и история Армении); BAAS - по естественным наукам (физика и химия, биология и география); OLAS - по иностранным языкам (русский язык, английский язык). Каждое из них разработано по методу исследования TIMSS, а значит предполагает не только аналогичную организационную схему, направленность оценки и многое другое, но и определенный перечень направлений использования получаемых данных - результатов оценки.

Можно выделить основные направления использования результатов МСИ в рассматриваемых странах:

1. Сопоставление собственных результатов как с общими, так и с результатами стран имеющих сходную систему образования;

2. Корректировка образовательной политики;

3. Изменение учебных стандартов и программ общеобразовательных предметов, совершенствование учебно-методической базы;

4. Разработка курсов повышения квалификации для педагогических и руководящих работников;

5. Совершенствование национальной системы оценки качества образования;

6. Проведение углубленных исследований по анализу и интерпретации результатов МСИ.

При анализе использования результатов Мониторингов мы увидим схожие направления их применения, кроме, конечно, сопоставления результатов между странами, которое проявилось в сопоставлении результатов между административно-территориальными единицами стран. Исключением здесь будет только Российская Федерация, где данные репрезентативны только для групп регионов.

Данные об участии всех стран в МСИ отражены в таблице 1.

Табл. 1. Участие стран СНГ в основных международных сопоставительных исследованиях (зеленым цветом отмечено участие).

Исследование	Год	Страна
		Россия	Армения	Беларусь	Казахстан	Кыргызстан
TIMSS	1995
	1999
	2003
	2007
	2008
	2011
	2015
PISA	2000
	2003
	2006
	2009
	2012
	2015
PIRLS	2001
	2006
	2011
TALIS	2008
	2013
ICILS	2013

Источники: данные официальных сайтов исследований, 2016 год.

Несмотря на то, что Республика Беларусь пока не принимала участия в исследованиях, тем не менее нельзя утверждать, что они не оказали влияния на использования результатов их собственного исследования. Эксперты из Белоруссии отмечают, что ими был учтен Российский опыт проведения исследований в начальной школе (оператор и разработчик ИСМО РАО), а так же как специалисты в области ОКО они прекрасно знакомы с МСИ.

Далее рассмотрим непосредственно сами Мониторинги в СНГ. Как мы отмечали ранее, уже много лет подобные инструменты функционируют в этих странах:

· с 2003 года в Республике Беларусь запущен республиканский мониторинг качества общего среднего образования в Белоруссии по пяти направлениям, одно из которых направлено на оценку уровня обученности учащихся по учебным предметам;

· национальное оценивание образовательных достижений учащихся в Республике Кыргызстан инициировано впервые в 2007 году;

· в Республике Казахстан накоплен наиболее серьезный опыт в этой области. Так с 2005 по 2011 год проводился «Промежуточный государственный контроль». С 2012 года заменен на усовершенствованный инструмент «Внешняя оценка учебных достижений». Более того для решения отдельных задач, стоящих перед системой образования, были разработаны и успешно проведены отдельные мониторинговые исследования на национальном уровне «Независимое мониторинговое исследование» в 2012 и 2013 годах, а также с 2013 года стартовало еще одно независимое мониторинговое исследование «Оценка образовательных достижений учащихся 9-х классов общеобразовательных школ Казахстана».

· в республике Армения: HAAS - по предметам армяноведения (армянский язык, литература и история Армении), BAAS - по естественным наукам (физика и химия, биология и география), OLAS - по иностранным языкам (русский и английский языки). Каждое исследование прошло апробацию, но еще не запущено в штатном режиме. Впервые HAAS было проведено в 2011 году.

Важно отметить, что, как и в Российской Федерации, во всех рассматриваемых странах разработка и функционирование подобных исследований качества школьного образования закреплено в различных правительственных программах по развитию (модернизации) образования. Это говорит о понимании важности подобных направлений работ в рамках системы образования на уровне правительства и находит дополнительные подтверждения этой точки зрения еще в ряде моментов:

1. За разработку и проведение процедур оценивания отвечают государственные структуры: в большинстве представленные министерствами образования и контрольно-надзорными органами, а также некоммерческими организациями, обычно находящимися в их прямом подчинении;

2. Финансирование осуществляется полностью за счет бюджетных средств;

3. Бюджетные расходы в большинстве стран закладываются на перспективу от трех до девяти лет.

Все инструменты разработаны для решения следующих задач:

· выявления соответствия знаний учащихся государственным стандартам и иным требованиям (запросы родителей, работодателей и т.д.);

· отслеживания динамики учебных достижений обучающихся;

· выявления факторов, влияющих на уровень учебных достижений;

· оценки эффективности образовательной политики.

Дополнительно в Республике Казахстан фиксируется в качестве одной из целей проведение сравнительного анализа качества образовательных услуг, предоставляемых организациями образования, что в дальнейшем было отменено, а в Российской Федерации - развитие единого образовательного пространства и содействие процессам стандартизации оценочных процедур в сфере образования.

Эти задачи, определили и направления последующего использования. Так, ни одна из стран не применяет полученные результаты для аттестации учащихся, в документах, регламентирующих проведение того или иного Мониторинга отражен запрет на использования результатов для оценки образовательных организаций, или иных действий, в результате которых предполагаются санкционные меры по отношению к педагогическому коллективу, руководящим сотрудникам, образовательной организации в целом. Это так же подтверждает тот факт, что глобальная тенденция по переосмыслению управленцами возможных направлений использования результатов Мониторингов затронула и страны СНГ: мы видим переход от понимания инструмента в качестве контрольно-надзорного механизма, к процедуре, направленной в первую очередь на помощь и поддержку системе образования.

Одними из ключевых вопросов при разработке и внедрении национальных мониторинговых исследований являются определение участников и формирование выборки.

К решению первого из них страны подходят достаточно разнообразно и из сходных признаков можно отметить лишь большее внимание к учащимся 4 и 8 классов школы (см. табл. 2). Выбор подобных классов достаточно хорошо объяснен в Кыргызстане, однако это справедливо для всех стран: 4 класс является завершающим и оценка знаний и умений учащихся позволит оценить ту базу, с которой учащиеся передут уже в основную школу. Что касается 8 классов, то во-первых, 9 класс - достаточно напряженный период в жизни выпускников ведь их жду аттестационные испытания с последующим переходом с старшую школу, профессиональную образовательную организацию или трудоустройство, а проведение исследования в 8 классе не приведет к переутомлению. Во-вторых, получение результатов по 8-классникам позволит оперативно внести необходимые коррективы в образовательную программу 9-тиклассников.

Таблица 2. Участники национальных мониторинговых исследований учебных достижений в странах СНГ.

Классы	Россия	Армения	Беларусь	Казахстан	Кыргызстан
1 класс
2 класс
3 класс
4 класс
5 класс
6 класс
7 класс
8 класс
9 класс
10 класс
11 класс

Еще одним важным моментом является определение выборки: будет ли она генеральной или репрезентативной, что накладывает определенные ограничения на использование результатов проводимых исследований. Во всех странах СНГ было принято решение проводить оценку на выборке образовательных организаций и учащихся репрезентативной для страны в целом и всех ее регионов. Такой формат позволяет получать ценные данные и отдельным регионам, которые не редко могут существенно отличаться друг от друга социально-экономическими условиями и многими другими важными характеристиками, непременно учитывающихся при разработке и корректировании региональной образовательной политики. В этом ключе исследование НИКО в России, репрезентативное для страны и групп регионов (страт) объединенных по ряду критериев (ВРП, средние баллы по математике и русскому языку в ЕГЭ), существенно снижает применимость его результатов на уровне субъектов федерации и, несмотря на заверения разработчиков, принципиально снижает его потенциальную пользу для них.

К тому же это создает соблазн применения полученных данных для принятия управленческих решений на уровне региона России, даже если они для него не репрезентативны. В случае с НИКО такую ситуацию усугубляет еще и перечень направлений для использования результатов, представленный в концепции Мониторинга: «На региональном и муниципальном уровне - для разработки методических рекомендаций по совершенствованию преподавания учебных предметов, для совершенствования программ повышения квалификации учителей».

В инструментарии каждого национального мониторингового исследования можно выделить как сходства, так и существенные различия. Отметим их ниже:

1. Приоритет в выборе оцениваемой предметной области отдается национальному языку и математике во всех странах. Частичным исключением можно считать российский опыт, где знание русского языка проверяется только в начальной школе и не оценивается в основной. При этом у некоторых стран перечень предметов может быть, как фиксированным из года в год (Армения, Беларусь, Кыргызстан и Россия), а может меняться, как это сделано в Казахстане, где, помимо обязательного мониторинга по Казахстанскому языку, три другие предметные области определяются соответствующим приказом Министерства образования и науки Республики Казахстан ежегодно.

2. Все исследования направлены на выявление уровня знаний на предмет их соответствия образовательным стандартам. Кроме того, в Республике Армения, например, оценивают способность применять знания в реальных ситуациях и рассуждать о заданной ситуации, с выбором метода и шагов решения (аналогично TIMSS). В Казахстане с 2014 года дополнительно оценивается и функциональная грамотность (аналогично PISA). В России метапредметные умения, а также сформированность универсальных учебных действий. Анализируя историю развития мониторинговых исследований в странах СНГ, прослеживается четкая тенденция в переходе от оценки исключительно предметных знаний к учету метапредметных умений и способности применять имеющиеся знания.

3. Заказ на разработку формируется в рамках государственного заказа от национального органа исполнительной власти, регулирующего сферу образования, либо организацией, осуществляющей контроль и надзор в сфере образования.

4. Во всех странах измерительные материалы стандартизированы, исключением до недавнего времени являлся Республиканский мониторинг качества общего среднего образования в Республике Беларусь.

5. Наличие экспертизы и апробации измерительных материалов отмечается не всеми национальными экспертами, что может свидетельствовать как об их отсутствии, так и недостаточном внимании к этим важным работа в рамках разработки Мониторингов.

6. В Белоруссии и Казахстане разработчики пошли по пути разработки монопредметных тестов, в Армении тесты двупредметные по каждому из трех исследований, полипредметные тесты используются в Кыргызстане. В рамках российского НИКО используются как моно- так и полипредметные тесты в зависимости от программы оценки.

Здесь следует подчеркнуть, что во всех странах в большей степени внимание направлено на оценку языковой грамотности и математической подготовки, а значит и применение результатов оценки в том числе направлены преимущественно на повышение качества преподавания, содержания и пр. именно для этих учебных предметов. Такая ситуация, по мнению профессора Сэра Кена Робинсона (Robinson, 2016), в том числе приводит к ряду очень серьезных проблем в сфере образования.

Отдельно необходимо заострить внимание на проблеме сбора, учета и использовании контекстных данных при проведении национальных мониторинговых исследований.

Международный опыт показывает, что учет контекстных данных (социально-экономический статус семьи, уровень квалификации педагогических работников, используемые учебно-методические комплекты, методы обучения, материально-техническое обеспечение образовательных организаций и многое другое) при проведении любых процедур направленных на оценку образовательных достижений учащихся критически важен. Так данные национального мониторинга SIMCE (Sistema de Mediciуn de Calidad de la Educaciуn - Система измерения качества образования), проводимого в Чили на систематической основе с 1998 года, показывают, что социально-экономический статус семей (далее - СЭС) оказывает наибольшее влияние на результаты учащихся, он объясняет более 70% всех результатов.

Все МСИ в области образования (PIRLS, TIMSS, PISA, ICILS и другие) также в обязательном порядке обеспечивают сбор контекстных данных об участниках исследований.

Вместе с тем все же есть исключения в международной практике. Так, например, с 2008 года в Австралии функционирует национальная программа оценки грамотности по английскому языку и математических навыков школьников NAPLAN (National Assessment Program - Literacy and Numeracy) в ходе которой сбор контекстных данных не происходит. Однако даже в этом случае при анализе полученных данных, их интерпретации, привлекается информация, собранная на основании государственной статистики, используется так называемый «Индекс местных социально-образовательных условий» (Index of Community Socio-Educational Advantage - ICSEA), которые покрывают потребность в фоновой информации об образовательных организациях, учащихся и их родителях и т.д.

...