Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями (на материалах системы полного среднего образования в Республике Саха (Якутия)

Многообразие видов эвалюации в исследовании сводится к множеству моделей (целевая модель, ресурсно-потенциальная модель, модель «вход - выход» и модель «вход -процесс-выход») с четко очерченным дизайном и иерархией показателей функционирования. Дизайн модели задает комплексные условия ее функционирования в виде совокупности факторов влияния, показателей и результатов образования, включая прогнозируемые последствия управленческих или образовательных воздействий. Ключевым понятием, определяющим результаты эвалюации, предлагается считать образовательный эффект. Результаты эвалюации проявляются во множестве эффектов, которые не следует отождествлять ни с результатами педагогических или управленческих воздействий, ни, тем более, с показателями, по которым ведется оценивание качества программы или проекта, а с оценкой прироста по совокупности показателей качества образования.

Системный подход к эвалюации должен регламентироваться рядом требований, приведенных в главе. В системном подходе особое внимание уделяется оценке качества процессов и результатов оценивания, т.е. мета-эвалюации, которая должна осуществляться в соответствии с сформулированными в диссертации принципами, сопровождая и завершая проектную и программную эвалюации, обеспечивая информацию о возможности использования результатов эвалюации и их генерализации для принятия управленческих решений в образовании. В соответствии с определением, введенным в исследовании, под оцениванием понимается результат вместе со сложным операциональным процессом получения оценки, с сопутствующим процедурами анализа и интерпретации данных о качестве образования. В контексте этого определения эвалюация в образовании является обобщающим понятием, отражающим современные процессы интеграции дидактики, теории педагогических измерений и управления качеством образования с опорой на единую бипарадигмальную методологию и динамические методы анализа изменений характеристик обучаемых в сочетании с построением логических и математических моделей для оптимизации управленческих процессов.

В конце первой главы помещены выводы, содержащие обобщенное представление материала.

В главе II «Теоретико-методологические основы региональных систем оценки качества образования» предлагаются результаты сравнительного анализа работ отечественных и зарубежных исследователей по компетентностному подходу к трактовке качества результатов образования, проведенного с позиций проблем оценивания качества результатов образования. Приводятся основные цели, функции и принципы научной организации оценочных систем, даются основные положения классической и современной теорий педагогических измерений, дается научное обоснование подходов к интеграции данных, полученных на количественном и качественном уровнях измерения в условиях формирования полного информационного базиса образовательной системы, предлагаются инновационные подходы к анализу качества результатов оценочных процессов на основе оценки их надежности, валидности и генерализуемости.

В начале главы обозначены основные факторы влияния на процесс модернизации контрольно-оценочных систем и сформулированы цели региональной системы оценки качества образования, рассматриваемой как составная часть общероссийской системы оценки качества образования. Хотя часть функций носит традиционное название, но в условиях модернизации они приобретают новые оттенки. В частности, на внутришкольном уровне оценка превращается из средства принуждения к обучению со стороны педагога в побудительный мотив для самосовершенствования учащегося, характерный для развивающего обучения, в процессе которого также активизируется обучающая функция в режиме самооценки.

Наиболее эффективно самооценивание организуется на основе адаптивного тестирования, поскольку оптимизация трудности заданий в данных тестах приводит к позитивным тенденциям в развитии личности обучающегося, способствуя закреплению установок на самообразование, самоутверждение и самоактуализацию. Существенным признаком доминирования обучающей и развивающей функций оценивания является то, что оно протекает в зоне ближайшего развития обучаемого, методологические и технологические основы определения границ которой осуществляется с помощью аппарата современной теории тестов (IRT). В целом, в наши дни происходит переосмысление роли контрольно-оценочной системы в образовании, когда контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса.

К числу новых функций оценочных систем в исследовании отнесены информационная, сравнительная и прогностическая, рассмотрена их реализация на различных уровнях управления образованием. При анализе выполнения этих функций необходимо учитывать входные характеристики в обучение, связанные с начальными способностями учащихся, квалификацией преподавателей, размерами финансирования, средней наполняемостью классов по школам внутри района и т.д.

К методологическим основам построения и функционирования систем оценки качества образования в исследовании отнесен ряд принципов, способствующих эффективному осуществлению оценочных процессов. Среди них ведущая роль отводится принципу научности, в соответствии с которым функционирование систем оценки качества образования должно опираться на бипарадигмальную методологию эвалюации, теорию педагогических измерений, методологию мета-эвалюации, теорию генерализации, современную и классическую теории тестов и концептуальные подходы к трактовке качества образования. При проведении оценивания количественного и качественного характера принцип научности предписывает учитывать уровень измерений и производить с результатами только те операции, которые адекватны выявленному типу шкалы.

Принцип эффективности оценивания регламентирует выбор определенной методики, обеспечивающей полноценную реализацию всех функций оценочных процессов при минимальных затратах времени, усилий и средств со стороны педагога. В исследовании формулируется набор требований, способствующих повышению эффективности функционирования систем оценки качества образования, даются обобщенные критерии эффективности в рамках теории педагогических измерений с формальных позиций руководителей учебных заведений или органов управления образованием, либо с позиций финансовых затрат и трудозатрат на оценочные процессы.

Согласно принципу высокой объективности, при оценивании необходимо принятие всех возможных мер, обеспечивающих минимизацию ошибок измерения. В исследовании анализируются случайные и систематические ошибки измерения. Последние связываются с факторами, характерными для системы образования в Республике Саха (Якутия). Для снижения влияния систематических ошибок измерения в данном исследовании предлагаются методики идентификации заданий, которые дискриминируют одни группы испытуемых по отношению к другим и подлежат удалению из измерителей. Как одна из наиболее эффективных мер повышения объективности оценок учащихся, рассматривается переход от качественных к количественным измерениям. Результаты оценивания могут быть представлены в интервальной метрической шкале при выполнении совокупности условий: используются стандартизированные тесты, состоящие из калиброванных заданий только с выбором ответов; разработка тестов основана на теории IRT; результаты тестирования при шкалировании представляются в логитах.

Помимо основных принципов, вводится ряд специфических новых принципов: принцип функционально-структурного строения целостной региональной оценочной системы, принцип систематического повышения управляемости качеством образования; принцип минимакса и контроля дисперсии оценок, принцип динамичности при оценивании показателей качества образования, принцип постепенного роста числа функций оценочной системы, принцип высокой сопоставимости оценок и др.

Для осуществления мета-эвалюации в исследовании введены дополнительные новые принципы: приоритетность операционализируемых показателей качества образования, достижение высокой аутентичности измерителей, высокая надежность и валидность данных эвалюации; сопоставимость данных внутри однородных групп сравнения; учет специфичности объектов эвалюации (региональные, территориальные, национальные или социокультурные аспекты и запросы пользователей) при выборе модели эвалюации, контекстный анализ при интерпретации результатов эвалюации.

Сравнительный анализ подходов к трактовке качества образования, проведенный в исследовании, показал, что требования к качеству образования и само его понимание находятся под воздействием эволюционных процессов. Современная система образования должна обеспечивать формирование свободной личности, способной к активной и экономически эффективной деятельности, самостоятельно и успешно ориентирующейся в информационных средах, готовой к осознанному и ответственному выбору в условиях динамичной рыночной экономики. В соответствии с этими приоритетами, в настоящее время наибольшее распространение имеет компетентностный подход, получивший свое развитие во многих странах мира.

Во второй главе приводится обзор отечественных и зарубежных взглядов на компетенции, анализируется взаимосвязь терминов «компетенция» и «компетентность», вскрывается ряд недостатков и проблем компетентностного подхода, частичное преодоление которых предлагается в данном исследовании. В частности, в нем проведено уточнение ряда определений понятийного аппарата компетентностного подхода, предложена классификационная схема инновационных аутентичных измерителей для оценки уровня сформированности компетенций, разработаны подходы к эмпирической валидизации критерия сформированности компетенций. Также в исследовании введены определения ключевых, общепредметных, инструментальных и предметных компетенций, которые включаются в четырехуровневую схему, предназначенную для построения компетентностно-ориентированной системы оценки качества образования в регионе. Для выпускников полной средней школы предложена совокупность из 10 ключевых компетенций. Приводится анализ возможностей, достоинств и недостатков инновационных измерителей и даются алгоритмы их разработки, подчеркивается роль методов многомерного шкалирования и специальных моделей интеграции оценок отдельных компетенций обучающихся на основе современных достижений теории педагогических измерений.

Оценка компетенций может проводиться на основе классической или современной теории тестов, возможности которых рассматриваются во второй главе в сравнительном контексте. Обе теории вводятся как компоненты методологического базиса педагогических измерений. Приводится краткий исторический анализ развития классической теории тестов и ее основные аксиомы, в которых основополагающим является понятие истинного балла. Рассматриваются цели использования статистических данных, связанные с описанием результатов измерения и получением выводов для проверки статистических гипотез. Анализ классической теории завершается перечнем ее недостатков, сформулированных с позиций современных потребностей оценочных систем.

Как альтернатива классической теории тестов, в главе рассматривается современная методология педагогических измерений, в роли которой выступает теория Item Response Theory (IRT), интенсивно развиваемая преимущественно в трудах зарубежных ученых с 80-х годов ХХ века. В IRT вводятся специальные математические модели, на основе которых, благодаря специальным алгоритмам, удается реализовать свойство инвариантности оценок испытуемых от трудности заданий тестов, получить оценки параметра испытуемых в метрической шкале логитов вместе с дифференцированными ошибками измерения и оценить эффективность заданий различной трудности вдоль оси переменной измерения на основе информационных функций заданий и теста.

В IRT исходят из основного предположения о существовании некоторой функциональной связи между наблюдаемыми результатами тестирования и латентными параметрами испытуемых, выполняющих тест. Наблюдаемые результаты связывают с вероятностью правильного выполнения задания группой испытуемых, либо с вероятностью правильного выполнения испытуемым различных по трудности заданий теста. Сам по себе латентный параметр появляется в результате концептуализации оцениваемой истинной величины измеряемого качества испытуемого и в этом смысле может быть отождествлен с истинными компонентами измерения классической теории тестов.

Число параметров, входящих в аналитическое задание функций IRT, является основанием для их подразделения на классы. Среди логистических функций основное место принадлежит однопараметрической модели G. Rasch. Она имеет вид

или

или ,

где и - параметр испытуемого, в - параметр трудности заданий, являющимися независимыми переменные для первой и второй функций, соответственно, а результаты по каждому заданию оцениваются дихотомически, как 0 или 1. График первой функции получил название характеристической кривой задания и широко используется при разработке тестов. В приложении 3 к диссертации приведены характеристические кривые заданий контрольных измерительных материалов ЕГЭ по русскому языку и математике, построенные по данным 2009 года для выпускников национальных школ и для выпускников русскоязычных школ с помощью программы ConQuest.

Многолетний анализ согласованности статистик с требованиями однопараметрической модели привел исследователей к мысли о необходимости введения дополнительных параметров, в результате чего появилась двухпараметрическая и трехпараметрическая модели A. Birnbaum, возможности которых анализируются в главе в контексте проблемы исследования. В главе также рассматриваются другие классы моделей (грейдерная модель Samejima, номинальная модель Bock, модели частичного вклада Masters и Andrich, обобщенная или генерализованная модель частичного вклада Muraki), разработанные в XXI веке. Важным фактором для выбора оптимальной модели для использования в региональных оценочных системах является компетентностный подход, определяющий специфику содержания и виды измерителей. Эта специфика, подробно рассмотренная в исследовании, приводит к выводу о необходимости преимущественного обращения к однопараметрической модели частичного кредитования Андриха при использовании IRT в региональной системе оценки качества образования.

Последнее десятилетие ХХ века характеризовалось интенсивным развитием непараметрической статистики, расширением применения непараметрических методов в различных приложениях к задачам оценивания качества результатов обучения. В непараметрических моделях подготовленность оценивается по дискретной шкале, а в качестве математического аппарата используется нелинейная регрессия. Среди непараметрических подходов в IRT можно выделить теорию оценивания дихотомических заданий, известную как Moккен-шкалирование (порядковые шкалы). В главе анализируются возможности непараметрических моделей IRT, применительно к задачам использования компетентностно-ориентированных оценочных средств.

В параметрической теории IRT анализ взаимного расположения оценок параметров и и в на единой оси позволяет вычленить задания, не пригодные для данной выборки испытуемых в силу избыточной или недостаточной трудности. Подобное распределение, построенное при обработке результатов тестирования с помощью моделей IRT для данных ЕГЭ по русскому языку и по математике по представительной выборке выпускников русскоязычных и национальных школ в Республике Саха (Якутия) 2009 года, приводится в приложении 3 к диссертации. Для обработки результатов ЕГЭ также использовалась программа ConQuest.

Углубленный анализ результатов ЕГЭ проводится в главе на основе информационных функций, которые в современной теории тестирования IRT для теста имеют вид , где символом I(и) обозначена информационная функция теста, состоящего из n заданий. Информационные функции (прил. 3) позволяют планировать заранее желаемую надежность теста, которая вместе с генерализуемостью результатов оценочных процессов рассматривается подробно во второй главе.

Анализ методологических проблем обоснования надежности, валидности и генерализуемости результатов оценочных процессов позволил сформулировать совокупность требований к инструментарию для оценивания и самим оценочным процедурам в региональной системе оценки качества образования. На основе анализа формул для коэффициента надежности получены выводы о факторах, влияющих на надежность теста.

Ситуация с ростом надежности может радикально измениться в сторону улучшения при использовании теории IRT и банка калиброванных заданий для моделирования измерителя запланированной надежности. В диссертации предлагается подход, связывающий информационные функции теста с моделированием измерителя при его генерации из банка калиброванных заданий для оценки качества результатов обучения и включающий ряд шагов, приведенных в главе.

В связи с введением в тесты значительного числа заданий со свободно конструируемыми ответами, в наши дни большое внимание стали уделять внутрирейтерной надежности, показывающей меру отличия разброса экспертных оценок по каждому заданию от средней оценки разброса, полученной на представительной выборке. В главе рассматривается связь внутрирейтерной надежности с традиционной надежностью, предлагаются диапазоны оценок надежности для различных задач измерения в региональной системе оценки качества образования.

Теория генерализации является одной из методологических основ принятия управленческих решений в образовании на основе результатов измерений. Процесс генерализации состоит в переходе от выборочных оценок к генеральным оценкам и получении выводов о возможности обобщения выборочных данных на генеральную совокупность объектов измерения на основе однофакторного дисперсионного анализа - ANOVA (Аnalysis of variance).

Генерализация в региональной оценочной системе позволяет проводить анализ стабильности ответов тестируемых на некотором временном промежутке, эквивалентности оценок испытуемых по различным вариантам теста, внутренних связей отдельных подшкал для оценок испытуемых или характеристик заданий, возможностей переноса оценок по отдельным шкалам на единую шкалу в случае многомерности конструкта и решать другие проблемы измерения (оценка надежности тестов и инструкций для тестирования, устойчивости рейтинговых шкал и уровневых шкал, адекватности моделей измерения эмпирическим данным и т.д.).

Генерализация сводится к формированию фасетов, определению модели исследования, подсчету сумм квадратов степеней свободы и среднего квадратического для каждого из фасетов в дизайне исследования. В главе строятся фасетные дизайны для ряда ситуаций, когда множество испытуемых пересекается с множеством заданий теста, множество испытуемых размещается внутри множества объектов муниципальных систем образования и оба фасета (испытуемые и муниципальные системы образования) пересекаются со множеством заданий КИМ ЕГЭ и т.д. В целом, выбор конкретного фасетного дизайна определяется задачами управления и связывается с направлениями региональных исследований для повышения качества образования. Приводятся формулы для оценки коэффициента генерализации, отражающего степень, в которой можно обобщить полученные результаты измерения.

Особую важность приобретает теория генерализации в региональных системах с территориальными или национальными особенностями, например, в Якутии, где необходимо комплексное исследование генерализуемости данных о качестве результатов обучения в силу существования систематических ошибок измерения, вызванных влиянием фактора территориальной разобщенности школ, проблемами в кадровом обеспечении школ в удаленных улусах, наличием национальных школ с родным языком обучения до 10 класса. В главе предлагаются дизайны генерализации для анализа влияния фактора территориальной разобщенности на обобщаемость оценок качества результатов обучения в школах Якутии, расположенных в крупных населенных пунктах и в местах, отдаленных от центра региона, а также дизайны для анализа влияния фактора принадлежности школы к группе национальных школ на генерализуемость оценок учебных достижений.

Значительное внимание в главе уделяется развитию научных методов анализа валидности результатов оценивания, актуальность которых значительно повышается в связи с введением компетентностного подхода, который приводит к дополнительным трудностям при валидизации за счет мета-латентного характера переменных измерения - компетенций. К наиболее важным видам валидности предлагается отнести конструктную, содержательную и прогностическую валидность. В главе подробно рассматривается процесс содержательной валидизации и связанные с ним различные подходы к выбору таксономии целей обучения, проводится их сравнительный анализ в контексте проблемы оценивания уровня сформированности компетенций. Для планирования содержания измерителей предлагается трехмерная модель, включающая характеристики содержания, техники измерения и кластеры компетенций. Связь между кластерами предлагается осуществлять путем построения структурно-описательных моделей. Для повышения качества содержания измерителя приведены критерии для работы экспертов. Столь же подробно рассматривается проблема конструктной валидности, для анализа которой предлагается оценивать корреляцию между результатами по новым и уже существующим признанным тестам, применять теоретический анализ содержания тестов, использовать факторный анализ, анализировать внутреннюю согласованность теста методами корреляционного анализа и т.д. Приводятся рекомендации по повышению валидности результатов измерений.

Связь надежности и валидности теста представляет собой определенную проблему, которая по-разному интерпретируется учеными по мере развития теории педагогических измерений. Примерные границы оценок надежности и валидности, позволяющие исследователям ориентироваться при оценке качества результатов измерений и основанные на опыте анализа результатов ЕГЭ за годы его проведения в Республике Саха (Якутия), представлены в таблице 1.

Табл. 1. Границы оценок надежности и валидности теста.

На результаты обучения, главным образом, оказывают влияние два фактора, один из которых - качество преподавания, а второй - прирост меняющихся способностей обучаемого, где второй фактор находится под влиянием первого.

Табл 2. Оценка факторов, влияющих на валидность.

Поэтому для обеспечения высокой конструктной валидности в процессе измерений оценка этих факторов должна проводиться в соответствии с определенными этапами, как показано в таблице 2. В целом, необходимо использовать множественные измерения, чтобы более адекватно отразить все характеристики каждого конструкта, предназначенного к оцениванию.

Таким образом, валидность представляет собой интегративное понятие, поскольку при оценке валидности приходится принимать во внимание всевозможные доказательства, связанные с характеристиками теста, процедурами его применения, обработкой, шкалированием и интерпретацией результатов его выполнения.

В конце главы помещены выводы, содержащие обобщенные результаты исследования.

Глава III. «Методические и организационные аспекты построения системы оценки качества образования в регионах с территориальными и национальными особенностями» содержит методику оценивания систематической ошибки заданий (дифференцированного функционирования заданий) в региональных оценочных системах, обладающих специфичными условиями функционирования. Также приводится методика иерархического линейного моделирования. Апробация методик показана на данных ЕГЭ 2009 г. для представительной выборки выпускников национальных и русскоязычных школ Республики Саха (Якутия). Приводится методика шкалирования оценок качества результатов обучения в рамках компетентностного подхода.

В регионах с территориальными и национальными особенностями, рассматриваемыми в данном исследовании на примере Республики Саха (Якутия), крайне важно проводить статистический, эмпирический и процедурный анализ дифференцированного функционирования заданий. В этой связи в исследовании предлагается ввести новую характеристику качества заданий - антидискриминирующую валидность, характеризующую способность задания измерять заявленный конструкт вне зависимости от действия различного рода факторов, не связанных с конструктом. При этом справедливость оценок обучающихся понимается как отсутствие преимуществ у одних групп обучающихся, по сравнению с другими, при выполнения заданий теста.

В главе приводится сравнительный и исторический анализ развития методов для идентификации дифференцированного функционирования заданий, которые приводят к систематической ошибке и заведомо имеют меньшую вероятность правильного выполнения для отдельных групп испытуемых с одинаковым уровнем подготовки (подход, основанный на дисперсионном анализе, анализ систематической ошибки заданий тестов на основе теории IRT, метод, подобный хи-квадрат, полный метод хи-квадрат, метод стандартизации и др).

При выявлении заданий, приводящих к систематической ошибке, в региональной системе образовании предлагается анализировать ряд факторов, к которым отнесены: региональный фактор (экономические, социокультурные, демографические, территориальные, национальные особенности школьного образования в регионе), гендерный фактор, муниципальный фактор (внешняя социальная среда окружения школ, экономические характеристики района, расположения школ), школьный фактор (социально-педагогический фон, вид школы, кадровые характеристики, социальная активность педагогов), педагогические факторы, личностные факторы (психологические и педагогические характеристики учащихся, образование родителей, социально-экономический статус семьи).

В данном исследовании подробно рассматриваются алгоритмы метода, основанного на теории IRT, и показывается его применение для выявления заданий КИМ ЕГЭ по русскому языку и математике, ставящих в неравные условия выпускников национальных школ и школ с русским языком обучения в Якутии. Метод основан на оценивании трудности заданий для двух стратифицированных выборок выпускников с одинаковым уровнем подготовленности в национальных и русскоязычных школах. Наличие значимого расхождения (рис. 2, слева) в оценках трудности задания является свидетельством существования систематической ошибки, которую оно вносит в результаты ЕГЭ, нарушая его справедливость.

Рис.2. Пример гипотетических характеристических кривых двух заданий для двух групп испытуемых.

Численно эффект дифференцированного функционирования задания можно выразить в виде площади области между двумя его характеристическими кривыми (площади ) по формуле для однопараметрической модели теории IRT.

.

С появлением второго и третьего параметра в моделях IRT возникают определенные трудности, которые подробно анализируются в главе. Там же приводится анализ соотношения параметра дифференцирующей способности задания в контексте его влияния на рост систематической ошибки. Апробация метода на результатах выпускников школ Якутии по русскому языку и математике позволила выявить ряд заданий (прил. 3), приводящих к систематическим ошибкам измерения и подлежащим удалению из КИМ для обеспечения справедливости результатов ЕГЭ. Очевидно, что в России, которая является многонациональной, поликультурной страной, необходимо проведение подобного анализа на федеральном и региональном уровнях для обеспечения равенства прав отдельных категорий обучающихся на справедливую оценку учебных достижений.

Другой аспект методического обеспечения региональной системы оценки качества образования, представленного в главе, был связан с иерархическим анализом данных педагогических измерений. Он проводится с помощью определенных моделей, для использования которых были выбраны адекватные единицы измерения и методы выявления изменений переменных измерения по уровням. В главе представлен краткий анализ развития линейных иерархических моделей, которые в зарубежной научной литературе получили название HLM. Использование моделей HLM в региональной системе оценки качества образования возможно c тремя целями: повышение точности оценок учебных достижений учащихся; формулировка и проверка гипотез, связанных с предположениями о взаимодействии факторов разного уровня анализа; выделение доли вариации, объясняемой выявленными факторами на различных уровнях анализа. В целом, HLM предоставляет эффективные методы анализа данных с учетом различных факторов и поэтому интерес к иерархическому моделированию постоянно растет в научном мире.

В данном исследовании была поставлена задача выявления влияния различных факторов с иерархической структурой на качество учебных достижений выпускников школ Республики Саха (Якутия), оцениваемое в ЕГЭ по двум обязательным предметам - русскому языку и математике. Применение аппарата HLM потребовало серьезной работы по обеспечению представительности выборки данных, поэтому проведение многоуровневого анализа на основе HLM в данном исследовании результатов ЕГЭ предварялось верификацией данных по формату представления, анализом репрезентативности выборки и ее структурной представительности, выбором подходов к ее стратификации, планированием учета факторного влияния в условиях возможной перекодировки уровней фактора.

Результаты обработки данных приведены в диссертации в приложении 4. Проведение иерархического анализа предваряла проверка выборочных данных по русскому языку и математике на нормальность, по критерию Колмогорова-Смирнова, которая показала, что оба данных распределения вполне соответствует нормальному закону, то есть можно принять гипотезу о существовании нормального распределения. Для отбора факторов с целью их включения в модель HLM вводился дисперсионный анализ ANOVA (метод Бонферрони), по результатам которого устанавливалось наличие статистически значимого влияния отдельных факторов на средние результаты выпускников по двум предметам.

Результаты дисперсионного анализа ANOVA показали, что статистической значимости между влиянием фактора зоны на средние результаты выпускников школ Якутии в ЕГЭ по двум предметам по методу Бонферрони не обнаружено. Поэтому можно сделать вывод о том, что во всех школах, расположенных в различных зонах Якутии, обеспечивается одинаковое качество результатов обучения по математике и русскому языку, что характеризует образование в Якутии очень положительно. Одним из главных международных критериев по оценке качества образования является равный доступ к качественному школьному образованию вне зависимости от региона внутри страны. Можно констатировать, что этот критерий внутри Республики Саха (Якутия) полностью выполняется.

Также в главе приводятся результаты анализа влияния демографического фактора (места расположения школы) на данные ЕГЭ по обязательным предметам, собранные на представительной выборке выпускников школ Якутии. Результат применения ANOVA по математике не обнаруживает статистически значимых различий в средних результатах в зависимости от места расположения школы. Но результаты применения ANOVA для данных ЕГЭ по русскому языку позволяют сделать вывод о наличии статистически значимых различий между средними баллами выпускников школ г. Якутска, крупных (в данном случае г. Нерюнгри) и средних городов (г. Алдан, г. Ленск, г. Мирный), и сельских школ. Средние баллы намного выше в крупных городах и в Якутске, чем в сельских школах, а особенно низки в малых городах. Полученный результат говорит о необходимости включения в модель HLM фактора местоположения школы при анализе данных ЕГЭ по русскому языку.

В отличие от математики, по которой в Якутии обеспечивается сравнительно однородное по результатам подготовки выпускников обучение, по русскому языку равный доступ к качественному школьному образованию вне места расположения школы не достигается. Для этой негативной тенденции есть вполне логичное объяснение, которое связано с тем, что в сельской местности и в малых городах дети и учителя чаще говорят на родном, якутском, языке, который является для них основным языком общения. Ситуация несколько выравнивается в малокомплектных школах, характерных для сельской местности, за счет высокой индивидуализации обучения. Поэтому в региональной системе образования Якутии необходимо обратить самое пристальное внимание на меры по улучшению преподавания русского языка в небольших городах, расположенных на значительном удалении от центра региона. В самом Якутске результаты обучения по русскому языку оказались значительно лучше, по сравнению с сельскими школами и школами малых и средних городов.

На следующем этапе рассматривались школьные факторы по методу ANOVA. Как и в предыдущем случае, в русском языке наблюдается статистически значимое различие в результатах выпускников школ различных видов. При анализе влияния фактора наполняемости школы оказалось, что его необходимо включить в модель HLM, поскольку он вызывает значимые различия между средними результатами выпускников якутских школ по математике и русскому языку. Результаты дисперсионного анализа ANOVA, проведенного для выборок выпускников школ Якутии, сформированных по признаку принадлежности к национальной или русскоязычной школе, не показали значимых различий ни по математике, ни по русскому языку. Второй фактор, связанный с национальностью учительского состава в школе, показывает значимые различия в результатах ЕГЭ по математике русскому языку. В целом, анализ данных ЕГЭ с помощью модели HLM позволил уточнить влияние различных факторов на качество обучения выпускников школ Якутии по русскому языку и математике и сделать вывод о том, что уровень образования Якутии по этим двум предметам соответствует общероссийскому уровню.

Третья методика, рассмотренная в главе, ориентирована на шкалирование оценок учебных достижений в региональной системе оценки качества образования. Методику предваряет определение процесса шкалирования и описание четырех основных этапов построения измерительных шкал в образовании. Приведены различия в понимании процедуры шкалирования при нормативно-ориентированном подходе и критериально-ориентированном подходе к интерпретации результатов измерения. Дан обзор шкал, рассмотрены их достоинства и недостатки, применительно к задачам региональной системы оценки качества образования. Обсуждены проблемы неверного построения рейтинговой шкалы, весьма распространенного в отечественном образовании.

Значительное внимание в главе уделено выравниванию результатов шкалирования. Предлагается подход к выравниванию результатов измерений, полученных учащимися по разным вариантам тестов и разным годам в региональной системе оценки качества образования. Рассматривается традиционный подход к сопоставимости норм тестов, основанный на использовании якорного теста для составления таблиц эквивалентности баллов по разным тестам. Приводится разработанная инновационная методика установления связи результатов тестирования по годам внутри региональной системы оценки качества образования.

Другая подробно рассматриваемая проблема, получающая свое методическое решение в главе, связана с построением шкал для компетентностных тестов. Поскольку компетентностные тесты всегда разрабатываются в рамках критериально-ориентированного подхода, то основная трудность при таком шкалировании заключается в установлении порогового балла для отсечения группы учащихся, не показавшей достаточного уровня освоения компетенции. В главе рассматриваются методики установления порогового балла и его эмпирическая валидизация для случая минимизации вероятностей ошибочной классификации в условиях, когда все ложные позитивные и все ложные негативные ошибки одинаково серьезны, и в условиях, когда ложные позитивные и ложные негативные ошибки отличаются по степени серьезности друг от друга. Методика шкалирования завершается анализом этапов построения уровневой шкалы, которая определяется как оптимальная для интерпретации результатов выполнения компетентностных тестов. Завершается глава сравнительным анализом методов шкалирования результатов тестирования, проведенным в контексте проблем сопоставления оценок учащихся в региональной системе оценки качества образования.

В конце главы помещены выводы, содержащие итоговые рекомендации и обобщения.

В главе IV «Система оценки качества образования в Республике Саха (Якутия), ее особенности в структуре и организации» представлены региональные особенности системы образования Республики Саха (Якутия), рассматривается роль региональной системы оценки качества образования в развитии человеческого потенциала (системы образования) республики, социально-педагогические факторы, обеспечивающие эффективность оценивания на региональном уровне, и предлагается модель региональной системы оценки качества образования в Республике Саха (Якутия) вместе с перспективными направлениями ее развития. На основе рассмотрения построена перспективная функционально-структурная модель региональной системы оценки качества образования в Республике Саха (Якутия), приведенная на рис. 3.

Рис. 3. Функционально-структурная модель региональной системы оценки качества образования в Якутии.

В основу функционирования модели положены единое законодательное и нормативное поле, системный подход к организации оценочных действий на разных уровнях региональной системы образования, единый инструментарий для оценки и совокупность показателей качества образования, утвержденная на региональном уровне и доведенная до сведения не только участников образовательного процесса, но и потребителей образовательных услуг.

Принципиальное институциональное изменение - создание независимого от органов управления образованием органа, осуществляющего оценку качества образования.

Приведен анализ практики создания региональных органов, реализующих контрольно-оценочную деятельность в России через формулирование и систематизацию четырех вариантов создания таких структур (территориальный орган - структурное подразделение федерального органа контроля и надзора в сфере образования, независимая от органов управления образованием служба контроля и надзора при региональном органе государственной власти или губернаторе (президенте), независимое рейтинговое агентство, ведомственная служба контроля при органе управления системой образования).

Выработан ряд требований к оценочным системам, имеющим территориальные и национальные особенности системы образования на примере Республики Саха (Якутия), функционирование которых должно с высокой надежностью и валидностью обеспечивать информационную основу для получения обоснованных управленческих выводов, принятия решений, установления тенденций и прогнозирования образовательных перспектив.

Анализ результатов исследования, положенных в основу построения региональной системы оценки качества образования республики, показан через описание направлений деятельности и итоги практической деятельности Государственной службы по контролю и надзору в сфере образования и науки при Президенте РС (Я), а также разработку показателей качества образования, представленных в приложениях к диссертации.

В разделе «Заключение» интегрируются основные выводы по главам диссертации и перечисляются результаты работы, полученные в соответствии с задачами исследования. Специфической чертой данного диссертационного исследования являлась его междисциплинарность, поэтому область полученных результатов базируется на отдельных положениях педагогики, теории и методологии педагогических измерений, теории управления образовательными системами, методах математического моделирования, статистики, теории вероятности. Результаты исследований прилагаются к практике построения систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями, рассматриваемых на примере Республики Саха (Якутия).

Фундаментальная теоретическая часть результатов, связанная с проблемами измерений, преимущественно ориентирована на современную методологию педагогических измерений, а прикладные теоретические аспекты результатов лежат в сфере эвалюации. Совокупность методик, разработанных в диссертации, ориентирована на практику массового тестирования в региональной системе оценки качества образования. Две из представленных методик предназначены для систем оценки качества образования в регионах с территориальными, национальными или социокультурными особенностями.

В целом, в диссертации решены все задачи, поставленные на этапе замысла работы, а гипотеза исследования получила свое полное подтверждение, в частности:

- проведен анализ результатов научных исследований по рассматриваемой в диссертации проблеме с целью выявления позитивных тенденций и перспективных направлений для совершенствования региональных систем оценки качества образования;

- получили свое развитие методологические основы научной организации региональных систем оценки качества образования на основе бипарадигмальной методологии измерений и эвалюации;

- разработаны концептуальные основы региональных систем оценки качества образования, предполагающих ориентацию на приоритет инновационных технологий обучения, инновационных видов измерителей, методов самоконтроля, самокоррекции и самооценки результатов учебной деятельности обучающихся;

- сформированы совокупности показателей качества процесса и результатов обучения, адекватные задачам функционирования региональных систем оценки качества образования;

- создана классификация видов современных измерителей и требований к их характеристикам для аутентичного оценивания в контексте компетентностного подхода;

- разработан научно-методический аппарат для формирования полного информационного базиса образовательной системы в условиях высокой надежности и валидности, двухуровневости, динамичности, сопоставимости, справедливости и прогностичности результатов оценочных процессов, в том числе, в регионах, обладающих территориальной и национальной спецификой;

-разработаны научные методы шкалирования результатов оценивания в условиях многомерности, высокой сопоставимости данных о качестве обучения и корректной интеграции количественных и качественных результатов измерения в рамках компетентностного подхода.

Особенностью полученных результатов исследования является отсутствие альтернативного характера его выводов, которые не отрицают существующие традиционные оценочные средства качественного уровня измерений, а лишь дополняют их, создавая необходимые предпосылки для эффективного информационного обеспечения и выполнения всех функций оценочных систем, учитывая специфику их развития в отдельных регионах России.

образование эвалюация валидность шкалирование

Основное содержание и результаты исследований по теме диссертации отражены в работах, среди которых:

Монографии

1. Третьякова, Т.В. Организационно - педагогические основы государственной (итоговой) аттестации выпускников общеобразовательных школ Республики Саха (Якутия) в форме единых государственных экзаменов: монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2007. - 240 с. (15,0 п.л.).

2. Третьякова, Т.В. Научные основы региональной системы оценки качества образования и ее организационные особенности в Республике Саха (Якутия): монография / Т.В. Третьякова. - Якутск: Издательство Якутского научного центра Сибирского отделения РАН, 2008. - 285 с.(17,7 п.л.).

3. Третьякова, Т.В. Теория и методология построения региональных оценочных систем (на материалах Республики Саха (Якутия): монография / Т.В. Третьякова. - Якутск, Издательство Дани Алмас, 2010. - 352 с.(22,0 п.л.).

Методические пособия, аналитические сборники

4. Санникова, Т.В. Мониторинг качества образования: сб. тестов / Т.В. Санникова. - Якутск: Изд-во ДНИСПО,1999. - 106 с.(6,6 п.л.).

5. Санникова, Т.В. Анализ состояния качества образования в Республике Саха (Якутия): метод. пос. / Т.В. Санникова, В.А. Терехова. - Якутск, ЦАККО, 2001. - 16 с. (авторских - 8; 0,5 п.л.).

6. Санникова, Т.В. Выпускнику о едином государственном экзамене: метод. пос. / Т.В. Санникова, В.А. Терехова, Т.Ф. Мартынова, А.Д. Саввинов. - Якутск, Изд-во ООО РИЦ «Офсет», 2002. - 104 с. (авторских - 53; 3,3 п.л.).

7. Санникова Т.В. Аналитический отчет Республики Саха (Якутия) о едином государственном экзамене в 2002 году: метод. пос. / Т.В. Санникова, А.Р. Поскачин. - Якутск, Изд-во «Ардах», 2002. - 20 с. (авторских - 6; 0,4 п.л.).

8. Третьякова, Т.В. Анализ результатов государственной (итоговой) аттестации обучающихся, освоивших основные образовательные программы основного и полного (среднего) общего образования в Республике Саха (Якутия) в 2009 году. Аналитический отчет: метод. пос. / Т.В. Третьякова, Н.Е. Егорова, В.М. Саввинов, Э.Н. Павлова, С.Н. Николаева. - Якутск: Гособрнадзор, 2009. - 196 с. (авторских - 98 с.; 6,1 п.л.).

9. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия) в 2009 году. Сборник статистических данных: методическое пособие / Т.В Третьякова, А.Д. Саввинов, В.А.Терехова. // Якутск: ООО «Дисплей», 2009. - 198с. (авторских - 23с.; 1,4 п.л.).

Статьи

10. Третьякова, Т.В. Русский язык в национальной школе, или еще раз о равенстве возможностей. /Т.В. Третьякова, М.П. Старостина. // Высшее образование сегодня. - 2008. - № 5 - С. 105 - 110 (0,3 п.л.).

11. Третьякова, Т.В. Аттестация качества образования. /Т.В. Третьякова. // Наука и образование. -2005. - № 2 - С.130-133 (0,2 п.л.).

12. Третьякова, Т.В. О концепции качества образования. /Т.В. Третьякова. // Наука и образование. - 2005. - № 1 - С.83-86 (0,2 п.л.).

13. Третьякова, Т.В. Анализ концепции качества образования / Т.В. Третьякова. // Высшее образование сегодня. - 2007. - № 11 - С. 62-65 (0,2 п.л.).

14. Третьякова, Т.В. Роль единого государственного экзамена в формировании государственной системы контроля качества образования. / Т.В. Третьякова. // Наука и образование. - 2007. - №4 (48) - С. 106-110 (0,3 п.л.).

15. Третьякова, Т.В. Управление качеством образования в общеобразовательной школе на основе результатов независимого контроля индивидуальных достижений учащихся. / Т.В. Третьякова. // Наука и образование. - 2007. - №1 (45) - С. 119-120 (0.1 п.л.).

16. Третьякова, Т.В. Общие принципы проектирования региональных систем оценки качества образования. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. - 2007. - №3 (47) - С. 67-70 (0,2 п.л.).

17. Третьякова, Т.В. О некоторых зарубежных моделях оценки образовательных учреждений. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. - 2007. - №2 (46) - С. 123-126 (0,2 п.л.).

18. Третьякова, Т.В. Мониторинг результатов ЕГЭ по математике и его использование в регионе и в образовательном учреждении. / Т.В. Третьякова. // Вопросы образования. - 2007. - №2. - С. 188-200 (0,8 п.л.).

19. Третьякова, Т.В. Мониторинг результатов ЕГЭ по физике в Республике Саха (Якутия). / Т.В. Третьякова. //Стандарты и мониторинг в образовании. - 2007. - № 5 (56). - С. 17-22 (0,3 п.л.).

20. Третьякова, Т.В. Роль общества и личности в оценке качества образования. / Т.В. Третьякова. // Наука и образование. - 2008. - №1 (49) - С.57-60 (0,3 п.л.).

21. Третьякова, Т.В. Что показал ЕГЭ? (рассуждения о преподавании русского языка в национальной школе). / Т.В. Третьякова, М.П. Старостина. // Наука и образование. 2008. - №2 (50) - С 18-22 (0,3 п.л.).

22. Третьякова, Т.В. Модель региональной системы оценки качества образования в Республике Саха (Якутия). / Т.В. Третьякова. // Наука и образование. - 2008 г. - № 4 (52) - С.121-124 (0,3 п.л.).

23. Третьякова, Т.В. Анализ подходов к оценке качества образования за рубежом. / Т.В. Третьякова. // Вестник Якутского государственного образования имени М.К. Аммосова. - 2009. - Т.6, № 2. - С.59-64 (0,3 п.л.).

24. Третьякова, Т.В. Качество образования: от оценки к управлению. / Т.В. Третьякова. // Высшее образование сегодня. - 2010. -№ 6. - С. 16-22 (0,4 п.л.).

25. Санникова, Т.В. Итоги тестирования выпускников общеобразовательных школ РС (Я). / Т.В. Санникова. // Наука и образование. - 1997. - № 4. - С. 152-156 (0,3 п.л.).

26. Санникова, Т.В. К вопросу о критериях оценки эффективности деятельности образовательного учреждения. / Т.В. Санникова. // Народное образование Якутии. - 1999. - С. 98-101 (0,2 п.л.).

27. Санникова, Т.В. Мониторинг качества образования как педагогическая проблема. / Т.В. Санникова: сб. мат. республиканской научно-практической конференции. - Якутск, 1999. - С. 48-53 (0,3 п.л.).

28. Санникова, Т.В. Что показал первый год проведения федерального эксперимента по введению единого государственного экзамена? / Т.В. Санникова. // Материалы V Всероссийской научно-практической конференции. - Сочи, 2001. - С. 53-56 (0,2 п.л.).

29. Санникова, Т.В. Роль и место единых государственных экзаменов в системе модернизации современного российского образования. / Т.В. Санникова, В.А. Терехова. // Наука и образование. - 2002. - № 3 (27) - С. 86-87(0,12 п.л.).

30. Третьякова, Т.В. Профильное образование и ЕГЭ. / Т.В. Третьякова, В.А. Терехова. // Наука и образование. - 2003. - № 4 - С. 133-135 (0,2 п.л.).

31. Третьякова, Т.В. Социальные аспекты организации единых государственных экзаменов в Республике Саха (Якутия). / Т.В. Третьякова.// Народное образование Якутии. - 2004.-№ 2. - С. 81-87 (0,4 п.л.).

32. Третьякова, Т.В. Использование результатов ЕГЭ в управлении качеством в общеобразовательной школе. / Т.В. Третьякова // Организация и задачи эксперимента по введению единого государственного экзамена: материалы научно-практической конференции. - С-Пб., 2004. - С. 47 - 50 (0,2 п.л.).

33. Третьякова, Т.В. Единые государственные экзамены в Республике Саха (Якутия). Информационно-аналитический акт об итогах федерального эксперимента по введению единого государственного экзамена за 2001-2006 годы: информационно-аналитический акт. / Т.В Третьякова, В.А.Терехова, И.Г. Ларионова, Л.А. Давыдов, В.П. Старостин. - Якутск, Изд-во ООО «Компания Дани Алмас», 2006. - 252 с. (авторских - 68 с.; 4,3 п.л.).