Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования

Размещено на http://www.allbest.ru/

МОДЕЛЬ И ТЕХНОЛОГИЯ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ ДЛЯ СИСТЕМЫ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Специальность: 13.00.08 - теория и методика профессионального образования

Автореферат диссертации на соискание ученой

степени кандидата педагогических наук

МАКСИМОВА Оксана Александровна

Москва, 2010

Диссертация выполнена в отделе программ и технологий начального и среднего профессионального образования и подготовки Центра начального, среднего, высшего и дополнительного профессионального образования

Федерального института развития образования Министерства образования и науки Российской Федерации

Научный руководитель: кандидат технических наук, доцент Пермяков Олег Евгеньевич

Научный консультант: доктор педагогических наук, доцент Менькова Светлана Викторовна

Официальные оппоненты: доктор педагогических наук, профессор Кравцов Сергей Сергеевич

кандидат педагогических наук, доцент Митрофанов Кирилл Германович

Ведущая организация: ГОУ ВПО «Российский государственный профессионально-педагогический университет»

Защита состоится __29 июня 2010 г., в 10.00 часов, на заседании Диссертационного совета Д 212.342.02 по защите диссертаций на соискание ученой степени доктора (кандидата) педагогических наук при Федеральном институте развития образования по адресу: 125319 Москва, ул. Черняховского, 9.

С диссертацией можно ознакомиться в библиотеке Института.

Текст автореферата размещен на сайте Федерального института развития образования: www.firo.ru.

Автореферат разослан ___28 мая_____ 2010 г.

Ученый секретарь Диссертационного совета,

кандидат педагогических наук, доцент В.Н. Манюкова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Современное социально-экономическое и политическое развитие России формирует новые требования к качеству подготовки специалистов. Согласно «Концепции модернизации российского образования на период до 2010 года» основной целью профессионального образования является «подготовка квалифицированного работника соответствующего уровня и профиля, конкурентоспособного на рынке труда, компетентного, ответственного, свободно владеющего профессией и ориентированного в смежных областях деятельности, способного к эффективной работе по специальной и профессиональной мобильности, удовлетворению потребностей личности в получении соответствующего образования» [79].

Процесс повышения качества профессионального образования затрагивает все уровни образовательной деятельности. В контексте мировых тенденций к обеспечению качества высшего профессионального образования особую значимость приобрела проблема разработки и внедрения внутривузовских систем оценки качества образования.

Как следствие преобразований в системе профессионального образования, возникает проблема формирования принципиально новых подходов к педагогическому контролю учебных достижений обучающихся. В новой парадигме педагогической науки акцент ставится, прежде всего, на многомерном и многоэтапном измерении качества учебных достижений обучающихся. Необходимость в достоверной оценке актуализировала проблему поиска эффективных научно обоснованных методов и средств контроля качества результатов профессионального образования. Одним из эффективных средств педагогического контроля качества обучения является педагогическое тестирование.

Современное педагогическое тестирование представляет собой комплекс стандартизованных методов измерения учебных достижений обучающихся. Эффективность применяемой системы контроля зависит не только от объективных и надежных технологий, но и от качества применяемых тестовых материалов. В этой связи проблема обеспечения систем контроля качества образования надежными и валидными тестами приобрела особую актуальность.

В научных исследованиях зарубежных (К. Ингенкамп, Б. Немерко, К. Денек, Ю. Кеттел, В. Оконь, Б. Блум и др.) и отечественных (В С. Аванесов, В.П. Беспалько, Н.Ф. Ефремова, М. В. Кларин, Г.С. Ковалева, А.Н. Майоров, А.О. Татур, В.С. Черепанов, М.Б. Челышкова и др.) ученых доказано, что педагогические тесты обладают рядом преимущественных свойств перед другими средствами педагогического контроля: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность и т.д. В системе профессионального образования дидактические тесты являются основным средством оценки качества и мониторинга профессионального образования: в процедурах оценки результатов образовательной деятельности, аккредитации образовательных учреждений и т.д.

Одной из важнейших задач применения тестовых технологий для контроля в учебном процессе является разработка и совершенствование педагогических тестов как максимально объективного и точного измерительного инструмента.

В настоящее время в практике применения тестовых технологий в системе профессионального образования существуют противоречия между:

ь потребностью в достоверной и оперативной информации о качестве учебных достижений обучающихся и невозможностью ее получения из-за отсутствия стандартизированных фондов оценочных средств;

ь необходимостью в повышении качества тестов и используемыми методами экспертизы, которые не позволяют получить объективную оценку их качества;

ь целями экспертизы и невозможной их полной реализации из-за отсутствия комплексного подхода в применении релевантных методов оценивания качества тестовых материалов;

ь потребностью в технологии комплексной экспертизы качества тестовых материалов, применение которой позволит обеспечить контроль надежными и валидными тестами, и отсутствием соответствующей технологии.

Проблема исследования заключается в необходимости разработки и апробации технологии комплексной экспертизы качества тестовых материалов для системы профессионального образования.

Практика применения тестовых технологий выявила важнейшую проблему: использование некачественных тестов для педагогического контроля качества обучения. Как возможное решение этой проблемы Министерством образования России был подписан Приказ «О сертификации качества педагогических тестовых материалов» (Приказ от 17.04.2000 №1122). В это же время начались активные научные разработки моделей экспертизы качества тестовых материалов и процедур сертификации тестов с разных позиций: на основе формальных правил конструирования тестовых заданий (Н.А. Гулюкина, В.Ю. Переверзев, С.В. Клишина), формально-содержательных правил (М.Б. Челышкова, В.С. Аванесов, Е.Л. Михайлычев, В.И. Васильев, А.В. Никитин) и методологических основ (Е.Д. Попова, Д.М. Узденов). Несмотря на накопленный научно-педагогический опыт в области дидактической тестологии, вопрос об оценивании качества тестовых материалов до сих пор остается актуальным.

Значимость данной проблемы определила тему исследования: «Модель и технология комплексной экспертизы качества тестовых материалов для системы профессионального образования».

В данном диссертационном исследовании термин «тестовый материал» используется применительно к педагогическим тестам, не прошедшим процедуру стандартизации и сертификации.

Объект исследования: качество тестовых материалов.

Предмет исследования: модель и технология комплексной экспертизы качества тестов, используемых в системе профессионального образования.

Под технологией понимается «система условий, форм, методов, средств и критериев решения поставленной педагогической задачи» (А.М. Новиков, 2009).

Цель исследования: разработка модели оценки качества тестовых материалов и технологии комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования.

Гипотеза исследования состоит в предположении о том, что качество тестов может быть обеспечено, если:

? качество тестов рассматривать как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

? оценка качества тестов будет проводиться с использованием методов комплексного оценивания на основе критериев и показателей качества тестовых материалов;

? технология комплексной экспертизы качества тестов будет разработана на основе модели оценки тестовых материалов.

В соответствии с целью и гипотезой исследования были определены следующие задачи:

1. Провести теоретический обзор научной литературы по проблемам разработки и применения тестовых материалов для контроля учебных достижений обучающихся в системе профессионального образования.

2. Проанализировать опыт применения существующих моделей оценки качества тестовых материалов.

3. Обосновать необходимость комплексного оценивания качества тестовых материалов.

4. Обосновать систему критериев и показателей качества тестовых материалов.

5. Разработать модель оценки качества тестовых материалов на основе комплексного оценивания.

6. Разработать технологию комплексной экспертизы качества тестовых материалов для системы профессионального образования.

7. Провести апробацию технологии комплексной экспертизы качества тестовых материалов.

Теоретико-методологическую основу исследования составили ведущие положения:

ь теории и методологии профессионального образования (В.И. Байденко, В.И.Блинов, А.Т. Глазунов, А.Н. Лейбович, М.В. Никитин, А.М. Новиков, П.Н. Новиков, Е.А. Рыкова, Д.В. Чернилевский, и др.);

ь методологии системного анализа (Ф.П. Тарасенко, Ф.И. Перегудов, И.В. Прангишвили, Я. Такахара),

ь общей, образовательной и педагогической квалиметрии (Г.Г. Азгальдов, С.И. Архангельский, В.И. Байденко, К. Ингенкамп, А.Н. Майоров, Е.А. Михайлычев, В.И. Огорелков, С.А. Сафонцев, А.И. Субетто, и др.);

ь в области формирования систем оценки качества образовательных достижений обучающихся (В.П. Беспалько, В.И. Блинов, К. Ингенкамп, А.Н. Лейбович, А.Н. Майоров, А.М. Новиков, О.Е. Пермяков, А.И. Субетто и др.).

ь разработки технологий компьютерного тестирования (В.И. Васильев, Т.Н. Тягунова и др.);

ь таксономии уровней усвоения учебного материала (В.П. Беспалько, Г.К. Селевко, Д. Толлингерова, К. Денек);

ь теории и технологии обучения (С.И. Архангельский, Ю.К. Бабанский, В.П. Беспалько и др.);

ь дидактической тестологии (В.С. Аванесов, Т.М. Балыхина, Н.А. Гулюкина, Н.Ф. Ефремова, С.В. Клишина, В.Ю. Переверзев, М.Б. Челышкова, и др.);

ь работы в области экспертного оценивания (А.И. Орлов, Б.Г. Литвак, B.C. Черепанов).

Методы исследования: при решении поставленных задач были использованы теоретические методы (теоретико-информационный анализ научной литературы; понятийно-терминологический анализ философских и педагогических источников; проектирование и моделирование технологических процессов комплексной экспертизы с помощью программного обеспечения BPWin 4.1); эмпирические методы (анкетирование; тестирование, сбор и обработка данных с использованием программ Statistica, Exel, Winsteps, SPSS Statistics 17.0; методы экспертных оценок, примененные при апробации технологии комплексной экспертизы качества тестовых материалов); методы математической статистики и статистики качеств, примененные при обработке экспериментальных данных.

База исследования:

Опытно-экспериментальная работа проводилась на базе ГОУ ВПО «Томский политехнический университет» (ТПУ). В эксперименте приняли участие обучающиеся I и II курсов (было проведено свыше 30 тыс. человеко-экзаменов в период с 2003 по 2005 гг.), преподаватели общеобразовательных дисциплин, разработчики и эксперты тестовых материалов, организаторы тестирования, слушатели курсов повышения квалификации Томского областного института повышения квалификации и переподготовки работников образования.

Этапы диссертационного исследования. Исследование проводилось в три этапа. оценка качество тестовый материал

На первом этапе (2002-2003 гг.) изучалось состояние проблемы в теории и практике контроля и мониторинга качества учебных достижений студентов технического вуза, осуществлялся ее всесторонний анализ, разрабатывались и проверялись отдельные подходы и процедуры, впоследствии составившие основу модели комплексной экспертизы качества тестовых материалов, определялась гипотеза исследования.

На втором этапе (2003-2005 гг.) были уточнены предмет и задачи исследования, разработана модель оценки качества тестовых материалов с позиций комплексного оценивания, проведена опытно-экспериментальная работа по проведению апробации отдельных элементов технологии комплексной экспертизы качества тестовых материалов при проведении массового тестирования обучающихся ТПУ.

На третьем этапе (2005-2008 гг.) осуществлялась обработка и анализ эмпирических данных, полученных в ходе опытно-экспериментальных работ, проверка гипотезы диссертационного исследования, обобщение и систематизация результатов исследования.

Научная новизна диссертационного исследования.

1. Обоснован комплексный подход к оцениванию качества тестовых материалов, выступающий методологическим регулятивом в процедурах экспертизы качества и обеспечивающий интегральную оценку качества тестовых материалов.

2. Разработана модель системы оценки качества тестовых материалов, состоящая из системной совокупности четырех основных подсистем (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы, позволяющая получить достоверную оценку качества тестовых материалов за счет:

ь того, что категория «качество тестовых материалов» рассматривается как интегральное свойство, проявляющееся через соответствие требованиям к качеству содержательных, формальных, функциональных и структурно-логических характеристик тестовых материалов;

ь реализации комплексного подхода к оцениванию качества тестовых материалов;

ь применения релевантных методов оценивания интегрального качества;

ь реализации последовательности этапов экспертизы;

ь использования системы критериев и показателей для оценки интегрального качества тестовых материалов.

3. Разработана и апробирована технология комплексной экспертизы через реализацию последовательности алгоритмов организации и оценивания интегрального качества тестовых материалов.

Теоретическая значимость заключается в том, что:

ь определена роль педагогических тестов как средства, обеспечивающего достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования;

ь разработаны методологические подходы к формированию фондов стандартизированных оценочных средств для контроля и оценки учебных достижений обучающихся;

ь на основе анализа категории «качество тестовых материалов» определена специфика тестовых материалов для системы профессионального образования как педагогического измерительного инструментария оценки качества подготовки обучающихся;

ь обогащен понятийный аппарат тестовой квалиметрии путем уточнения понятия «качество тестовых материалов», дано определение «комплексная экспертиза качества тестовых материалов» и «интегральный показатель качества тестовых материалов»;

ь научно обоснован комплексный подход в оценивании качества тестовых материалов и предложены релевантные методы оценивания интегрального качества тестовых материалов;

ь предложена модель оценки качества тестовых материалов и апробирована, разработанная на ее основе, технология комплексной экспертизы.

ь предложена иерархическая система критериев и показателей качества тестов и тестовых заданий, основанная на теории важности критериев.

Предложенные подходы в рамках технологии комплексной экспертизы качества тестовых материалов обогащают теорию и практику тестовой квалиметрии релевантными методами оценивания интегрального качества тестовых материалов.

Практическая значимость определяется возможностью использования технологии комплексной экспертизы качества тестовых материалов в образовательных учреждениях и организациях, занимающихся независимой оценкой качества образования, при формировании фондов стандартизированных оценочных средств, обеспечивающих достоверную оценку учебных достижений обучающихся в учреждениях профессионального образования, в части:

1) использования разработанной иерархической системы критериев и показателей качества тестов и тестовых заданий;

2) применения комплекса мер по организации и проведению комплексной экспертизы качества тестовых материалов;

3) применения алгоритмов определения комплексного (интегрального) показателя качества тестовых материалов для формирования фонда стандартизированных педагогических тестов.

Применение технологии комплексной экспертизы качества тестовых материалов позволяет повысить качество тестовых материалов за счет реализации комплексного подхода.

По материалам диссертационного исследования разработана программа курсов повышения квалификации работников образования по теме: «Технология разработки и комплексной экспертизы качества тестовых материалов для мониторинга и оценки качества образования».

Технология комплексной экспертизы качества тестовых материалов применяется при разработке педагогических тестов для мониторинга качества образования в Томском политехническом университете.

Материалы диссертационного исследования реализованы в «Методических рекомендациях по конструированию педагогических тестов для мониторинга качества образования», учебно-методическом комплексе «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Апробация и внедрение результатов исследования. Основные результаты диссертационного исследования обсуждались на международных и всероссийских конференциях «Информационные технологии в повышении качества образования», г. Омск, 2006 г.; «Актуальные проблемы качества образования и пути их решения», г. Уфа, 2006 г.; «Наука. Технологии. Инновации», г. Новосибирск, 2006 г.; «Образование и наука без границ-2006», г. Днепропетровск, 2006 г.; «Новые информационные технологии в образовании», г. Екатеринбург, 2007 г., «Развитие тестовых технологий в России», г. Москва, 2007 г. и др.

Технология комплексной экспертизы качества тестовых материалов апробирована и применяется в Томском политехническом университете, что подтверждается актом использования результатов научных исследований. На базе Томского областного института повышения квалификации и переподготовки работников образования осуществляется повышение квалификации по теме «Технология разработки и комплексной экспертизы тестовых материалов для мониторинга и оценки качества образования».

Достоверность и обоснованность результатов исследования обеспечиваются комплексным рассмотрением изучаемой проблемы в рамках концепции построения общероссийской системы оценки качества образования; применением методов системного анализа, квалиметрии, математической статистики; положительными результатами опытно-экспериментальной работы, апробацией в условиях конкретных образовательных систем региона.

На защиту выносятся следующие положения:

1. Качество тестовых материалов ? это интегральное свойство их содержательных, формальных, функциональных и структурно-логических характеристик, обусловливающих достоверность оценки учебных достижений обучающихся.

2. Экспертиза качества тестовых материалов должна отвечать общеметодологическим принципам системности, объективности, комплексности, профессиональной компетентности экспертов, преемственности всех этапов экспертизы, и необходимости контроля за соблюдением процедур экспертизы.

3. Модель оценки качества тестовых материалов представлена системной совокупностью четырех основных подсистем - (предварительной, формально-содержательной, тестологической и интегральной экспертизы), находящихся в вертикальной соподчиненной причинно-следственной связи, определенной логикой последовательности достижения целей экспертизы.

4. Комплексное оценивание качества тестовых материалов реализуется посредством применения многокритериального иерархически взаимосвязанного оценивания качественных и количественных показателей качества тестовых материалов и выражается через значение интегрального показателя качества.

Структура диссертационного исследования определяется логикой исследования и поставленными задачами. Диссертация состоит из введения, трех глав, заключения, списка использованной литературы, включающего 169 наименований, 4 приложений. В диссертации 27 таблиц, 12 рисунков. Общий объем работы составляет 195 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность проблемы исследования; определяются объект, предмет, гипотеза, цель, задачи и методы исследования; формулируются основные положения, выносимые на защиту; характеризуется достоверность и обоснованность полученных в исследовании результатов и выводов, сфера их апробации и внедрения; показана научная новизна исследования, теоретическая и практическая значимость, отражены основные этапы исследования.

В первой главе «Проблемы применения тестовых технологий для контроля учебных достижений обучающихся в системе профессионального образования» представлен обзор научных работ по проблемам применения тестовых технологий для системы профессионального образования, проведен анализ проблем обеспечения контроля надежными и валидными тестами, рассмотрены основные этапы разработки тестовых заданий и тестов, произведен теоретический обзор научных проблем экспертизы качества тестовых материалов, проанализированы существующие методики экспертизы, применяемые в современной дидактической тестологии.

Анализ научных работ В.И. Байденко, В.П. Беспалько, В.И. Блинова, Н.Ф. Ефремовой, К. Ингенкампа, А.Н. Лейбовича, А.Н. Майорова, А.М. Новикова, О.Е. Пермякова, А.И. Субетто и др. показал, что совершенствование системы высшего профессионального образования актуализирует проблему обеспечения качества образования. Гарантия качества образования лежит в основе параметров качества обучения, формирующих образовательный процесс.

Оптимальным решением проблем обеспечения качества профессионального образования, в этой связи, видится в разработке и внедрении внутривузовских систем оценки качества образования на основе стандартов, разработанных ENQA (Европейская ассоциация по обеспечению качества высшего образования). По мнению В.И. Байденко, внедрение стандартов качества в систему профессионального образования призвано обеспечить гарантии качества за счет соответствия целому ряду требований, которые включают в себя: формализованную политику, официальные механизмы утверждения периодических проверок и мониторинга программ и степеней, системы оценивания достижений обучающихся, системы аттестации, повышения квалификации и пр. В научных исследованиях ученых в области квалиметрии образования, таких как Н.Ф. Ефремова, А.Н. Лейбович, О.Е. Пермяков, А. И. Субетто, С.А. Сафонцев, Н.А. Селезнева, Ю.Г. Татур, В.С. Черепанов и др. отмечается тенденция интеграции основных категорий образовательного пространства: образование рассматривается как совокупность «процесса» и «результата». В этих условиях категория результата образовательного процесса из итогового компонента, имеющего триединую сущность (единство результатов обучения, воспитания и развития) модифицируется в многоуровневую и многокомпонентную категорию.

Изменения содержания обучения в системе профессионального образования, основанные на внедрении государственных образовательных стандартов, ориентация на овладение базовыми профессиональными компетенциями влечет за собой и изменения в контрольно-оценочной системе как составляющей системы управления качеством образования: на основе анализа результатов контроля проверяется не только качество обучения, но и эффективность образовательных технологий в целом, вырабатываются корректирующие мероприятия по совершенствованию учебно-воспитательного процесса и пр.

Как отмечает Э.М. Коротков, современное понимание качества профессионального образования включает в себя такие характеристики, как уровень и объем знаний, концептуальность и системность знаний, устойчивость, долговременность и перспективность знаний, фундаментальность и практичность, сложившийся тип профессионального мышления, способность синтезировать знания по изменяющимся условиям деятельности, т.е. стиль деятельности и уровень профессиональной подготовки [61].

Одним из основных объектов контрольно-оценочной деятельности, с позиций измерения результата образовательного процесса, являются учебные достижения как фундаментальная основа формирования профессиональных компетенций обучающихся.

В отечественной педагогике считается признанным тот факт, что эффективное управление качеством образования немыслимо без объективной и оперативной информации об учебных достижениях обучающихся.

В связи с этим возникает необходимость применения качественных тестовых материалов, которые позволяют достоверно оценивать учебные достижения обучающихся. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств тестов: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность. При этом качество тестов оценивается через соответствие характеристик тестовых заданий и вариантов тестов как совокупности требований к качеству тестовых материалов. Категория «качество тестового материала» обладает дуальной сущностью: качество проявляет себя через свойства в системе взаимодействий и отношений, в то же время свойства внутренне обусловлены качеством, при этом свойства являются основой для формирования требований к качеству тестовых материалов и его комплексной оценки в целом.

Экспертиза качества тестовых материалов является обязательным этапом процедуры разработки тестов. На основе анализа опыта применения существующих моделей экспертизы качества тестовых материалов доказана необходимость комплексного подхода к экспертизе как условию, обеспечивающему качество тестового материала, на основе применения системного и квалиметрического подходов.

В диссертационном исследовании отмечено, что экспертиза качества тестовых материалов представляет собой специфический вид деятельности. В процессе экспертизы тестовые материалы оцениваются через соответствие критериям и показателям оценки качества. С позиций системного и квалиметрического подходов экспертиза качества тестовых материалов представляет собой целостную сферу деятельности, включающую процедуры анализа, измерения и собственно оценки качества объектов. В основе технологии экспертизы выделяются оценочные акты, функциональная схема которых может быть представлена следующим образом: субъекты экспертизы, используя необходимые средства и знания, производят процедуры оценивания над объектом в целом или над его отдельными свойствами с определенной целью и получают в итоге некоторый результат (собственно оценку).

Применяя концепцию оценки качества, предложенную А.И. Субетто [39], экспертизу (Э) качества тестовых материалов можно представить следующей моделью:

Э = < С, О, Б, П >, где

С - субъекты проведения экспертизы;

О - объекты экспертизы;

Б - база оценивания;

П - технологические этапы и процедуры экспертизы качества тестовых материалов.

Субъект оценивания. В качестве субъектов оценивания качества тестовых материалов выступают организаторы экспертизы, эксперты?предметники и тестологи.

Объект оценивания. Объектами оценивания являются тестовые материалы: отдельные тестовые задания, варианты тестов и сопутствующая этапу разработки нормативная документация (спецификация, кодификатор, инструкции для тестируемых и инструкции для организаторов тестирования и др.).

База оценивания. Базу оценивания качества тестовых материалов составляет система критериев качества и соответствующие им базовые значения показателей. Систему критериев оценки качества тестовых материалов составляет совокупность комплексных (валидность, надежность, релевантность) и частных (значимость содержания, репрезентативность содержательных компонентов, комплексность и сбалансированность, темперированность сложности, системность, дискриминативность, оптимальность длины, логическая и семантическая непротиворечивость, внутренняя согласованность) критериев.

Под комплексной экспертизой качества тестовых материалов понимается процесс системного исследования совокупности внутренних и внешних свойств тестовых материалов методами и приемами комплексного оценивания с целью определения интегрального показателя их качества.

Вторая глава диссертационного исследования «Технология комплексной экспертизы качества тестовых материалов» посвящена разработке модели и описанию технологии комплексной экспертизы качества тестовых материалов.

Важность применения корректных процедур экспертизы качества тестовых материалов отмечается в научных трудах таких ученых, как А. Анастази, К. Д. Дятловой, Н.Ф. Ефремовой, Д. Кубельски, А.Н. Майорова, Е.А. Михайлычева, В.Ю. Переверзева, Е.Д. Поповой, О.А. Татура, Д.М. Узденова, М.Б. Челышковой и т.д. На данный момент существующие методики экспертизы тестовых материалов применяются бессистемно, иногда в процедурах экспертизы отсутствуют целые блоки (в виду их трудоемкости, длительности по времени проведения и отсутствия подготовленных специалистов), отсутствует стандартизированная критериальная база оценивания.

Методологическим основанием оценки качества тестовых материалов является рассмотрение экспертизы как технологии, представляющей собой системную совокупность приёмов и способов планирования, организации и проведения экспертно-аналитических мероприятий, получения и обработки информации о качестве педагогических тестов. Согласно требованиям, предъявляемым педагогическим и информационным технологиям (В.П. Беспалько, В.В. Гузеев, А.М. Новиков, Г.К. Селевко, М.Н.Скаткин и др.), технология комплексной экспертизы должна отвечать следующим признакам:

­ наличие методологической основы;

­ системность ? логика процесса оценивания и взаимосвязь его частей.

­ наличие критериальной базы оценивания качества тестовых материалов.

­ алгоритмизация последовательности действий и операций в процедурах оценивания;

­ взаимосвязанная деятельность субъектов оценивания качества тестовых материалов;

­ воспроизводимость ? возможность воспроизведения технологии и повторения результатов оценивания;

­ эффективность - оптимальность соотношения затрат и результатов применения технологии;

­ адаптивность - возможность адаптации технологии при изменении внешних и внутренних условий с гарантией повторения результатов оценивания.

Структура технологии комплексной оценки качества тестовых материалов включает в себя следующие элементы:

1. Концептуальную основу: в качестве методологической основы комплексной экспертизы качества тестовых материалов выступают концептуальные положения теории педагогических измерений и тестовой квалиметрии.

2. Содержательную базу:

­ перечень целей и задач комплексной экспертизы качества тестовых материалов;

­ критериальную базу оценивания качества тестовых материалов (система критериев и показателей оценки качества);

­ нормативное правовое и инструктивное обеспечение оценочных процедур.

3. Технологический процесс, включающий:

­ регламентированную последовательность действий и операций по оценке качества тестовых материалов;

­ методики целенаправленного структурирования, анализа и представления результатов оценки качества тестовых материалов;

­ конструирование комплекса средств и методов оценки качества тестовых материалов;

­ комплексную методику, включающую системное соединение способов организации деятельности субъектов оценивания, ресурсов для достижения целей комплексной экспертизы качества тестовых материалов.

Таким образом, технология комплексной экспертизы качества тестовых материалов функционирует в качестве:

- методологии, исследующей наиболее рациональные пути получения достоверной информации о качестве тестов;

- системы способов, принципов и регулятивов, применяемых при экспертизе качества тестовых материалов;

- системной совокупности технологических процессов комплексной экспертизы качества тестовых материалов.

Понятие «технология комплексной экспертизы качества тестовых материалов» в образовательной практике может употребляться в контексте двух иерархически соподчиненных уровней:

1) общепедагогический (общедидактический) уровень - «массовая технология», характеризующая системный комплекс технологических процессов комплексной экспертизы качества тестовых материалов разрабатываемых для итоговой аттестации обучающихся в целях определения результатов освоения профессиональных образовательных программ на федеральном уровне или уровне учреждения профессионального образования. В этом случае технология комплексной экспертизы качества тестовых материалов является компонентом системы профессионального образования: в нее включается совокупность целей, содержания, средств и методов экспертизы качества тестовых материалов, алгоритмов деятельности субъектов и объектов, вспомогательных технологических процессов.

2) частнометодический (предметный) уровень, употребляемый в значении "частная технология комплексной экспертизы качества тестовых материалов", т.е. как совокупность методов и средств экспертизы качества тестовых материалов, представляющего собой средство решения локальных педагогических задач в рамках предварительного, текущего и рубежного контроля результатов изучения отдельных компонентов учебной дисциплины, междисциплинарного курса и др.

В результате применения алгоритмической декомпозиции было выделено четыре основные подсистемы комплексной экспертизы качества тестовых материалов:

1. предварительная экспертиза;

2. формально-содержательная экспертиза;

3. тестологическая экспертиза;

4. интегральная экспертиза.

С точки зрения организации, каждый из этапов можно представить как экспертно-методическую систему, функционирование которой направлено на осуществление процессов экспертизы с целью получения информации о соответствии характеристик тестовых материалов заданным параметрам, определенным в соответствии с образовательными целями и условиями. Процессы экспертизы можно представить как динамические, протекающие в реальном масштабе времени с заранее заданным детерминированным алгоритмом выполнения операций. В этом случае при описании процессов применяется алгоритмическая декомпозиция, с использованием метода структурного проектирования «сверху-вниз».

Предварительная экспертиза проводится с целью отбора тестовых материалов, соответствующих формальным и структурным требованиям к их качеству. Введение этапа предварительной экспертизы в структуру комплексной экспертизы качества тестовых материалов позволяет сэкономить ресурсы. На сегодняшний день идет активная разработка тестовых материалов с целью формирования фондов оценочных средств. При этом бывают случаи, когда авторы не всегда знакомы с требованиями по оформлению, содержанию и структуре тестовых материалов. Чтобы исключить оценивание «псевдотестовых» заданий на этапе экспертного оценивания и апробационного тестирования, необходимо провести предварительную экспертизу «авторских» тестовых материалов на соответствие формальным требованиям по следующим критериям: структурная полнота, краткость формулировки, понятность формулировки, технологичность и эргономичность, дифференцируемость, нормативность, целенаправленность, изолированность, формальность и др.

На этапе формально-содержательной экспертизы качества тестовых материалов проводится оценивание внутренних свойств, характеризующих их качество. Объектами оценивания в данном случае выступают содержательная валидность, функциональная валидность, прогностическая валидность, уровни подготовки, на проверку которых направлено применение тестовых материалов, соответствие кодификатору, оценивание параллельности вариантов (в случае применения нескольких вариантов тестов) и пр. Методом проведения внутренней экспертизы качества тестовых материалов является экспертное оценивание.

Тестологическая экспертиза качества тестовых материалов проводится после проведения тестирования с целью получения количественных статистических параметров тестовых материалов и, в случае необходимости, высчитываются нормы выполнения отдельных заданий и варианта теста в целом на выборочной совокупности обучающихся. Отдельные тестовые задания и варианты тестовых материалов оцениваются на соответствие требованиям сбалансированности по трудности заданий, сбалансированности по показателям дифференцирующей силы заданий, валидности заданий, корректности подбора дистракторов, критериальной валидности теста, внутренней согласованности теста, параллельности вариантов, надежности теста, адекватности длины теста целям тестирования, релевантности, адекватности ожидаемого процента выполнения и адекватности ориентировочного времени выполнения, указанных разработчиком в спецификации.

На этапе тестологической экспертизы применяются основные методы параметрической и непараметрической статистики.

Заключительным этапом является интегральная экспертиза качества тестовых материалов, в основе которой лежат методы статистики качеств и многокритериального оценивания. В связи с тем, что тестовый материал характеризуется вероятностным поведением (зависимость успешности выполнения задания от уровня подготовленности обучающихся), возникает необходимость при получении интегрального показателя качества тестовых материалов учитывать влияние степени неопределенности информативности критериев через оценивание их энтропии. Энтропия характеризует меру неопределенности качественной и количественной информации, которая позволяет учитывать как неточность, или неполноту входных данных, так и уровень неопределенности модели в целом. В рамках комплексной экспертизы качества тестовых материалов энтропия является способом оценивания значимости критериев и показателей.

Расчет интегрального показателя качества тестового материала проводится по формуле:

где:

R - интегральное качество i ? го задания,

- качество i ? го задания по j ? му критерию,

- энтропия j ? го критерия.

Таким образом, комплексную экспертизу качества тестовых материалов можно рассматривать как совокупный процесс, состоящий из оценки простых и сложных свойств, и определения интегрального качества педагогического теста.

Последовательность этапов комплексной экспертизы качества тестовых материалов обусловлена логикой оценивания интегрального качества тестового материала: от оценивания единичных, частных свойств к оцениванию интегрального качества тестового материала проявляющееся в синергическом эффекте от интеграции элементов (рис. 1), отражающих его специфику как педагогического оценочного материала.



Рисунок 1 Блок-схема комплексной экспертизы качества тестовых материалов

Третья глава «Апробация технологии комплексной экспертизы качества тестовых материалов» посвящена описанию результатов опытно-экспериментальной работы, проводимой на базе Центра обеспечения качества образования Томского политехнического университета в период с 2003 по 2005гг. В данной главе представлен: количественно-качественный состав банка тестовых заданий, анализ типичных ошибок тестовых материалов, допускаемых при их разработке, выявлены достоинства и недостатки предлагаемой модели экспертизы.

На начальном этапе эксперимента был сформирован предварительный банк тестовых материалов (табл.1), которые прошли процедуры предварительной экспертизы.

Таблица №1

Количественный состав предварительного банка тестовых заданий для тематического тестирования студентов I и II курсов ТПУ по общеобразовательным дисциплинам

	Учебная дисциплина	Кол-во тестовых заданий в предварительном банке
1.	Высшая математика	1331
2.	Общая химия	2250
3.	Физика	3915
Итого	7496

По результатам предварительной экспертизы, было выявлено 831 тестовое задание, требующее доработки, что составляет 11% от общего количества заданий, содержащихся в предварительном банке, из них основные замечания связаны с неясностью формулировок (406 заданий, что составило 48,9% от общего количества отбракованных заданий); наличием сложных синтаксических конструкций (121 задание, что составило 14,6% от общего количества отбракованных заданий); оформлением вариантов правильного ответа и дистракторов (несогласованность по форме дистракторов с основной формулировкой ? 101 задание, что составило 12,2%); отсутствием эталонов правильных ответов (в 93 заданиях отсутствовали правильные ответы, что составило 11,2%); не менее распространены замечания в связи с отсутствием инструкций по выполнению заданий для обучающихся (у 69 «авторских» заданий отсутствовала инструкция по выполнению, что составило 8,3%); несоответствие по оформлению (41 задание на установление соответствия, что составило 4,9% от общего количества отбракованных заданий).

На этапе формально-содержательной экспертизы экспертами было проведено оценивание содержания тестовых материалов методами экспертного оценивания. В результате обработки протоколов экспертных оценок было выявлено, что большую часть отбракованных заданий на данном этапе составляют задания с низкой степенью значимости с точки зрения общих целей дисциплины (31% от общего количества замечаний), некорректное определение авторами трудности задания, ориентировочного времени выполнения и ожидаемого процента выполнения.

С целью получения квалиметрических показателей качества тестовых заданий и тестов было проведено апробационное тестирование, в котором приняли участие студенты I и II курса всех специальностей ТПУ, тем самым было соблюдено требование репрезентативности выборки. Анализ результатов эмпирических данных тестологической экспертизы показал, что к основным замечаниям относятся следующие: низкие показатели валидности отдельных заданий и теста в целом, причиной которых является несбалансированность заданий по трудности (30%), низкая степень параллельности вариантов тестов (24%). В заданиях закрытого типа наиболее распространенным фактором, снижающим их качество, является некорректный подбор дистракторов (41%).

Целью заключительного этапа комплексной экспертизы качества тестовых материалов является получение интегрального показателя качества, на основе значений которого формируется банк стандартизированных педагогических тестов. В процессе реализации опытно-экспериментального этапа диссертационного исследования была установлена шкала значений интегрального показателя качества тестовых материалов, состоящая из пяти интервалов (табл.2). Минимальным значением, при котором тестовый материал попадает в банк стандартизированных педагогических тестов, является R ? 0,4.

Таблица №2

Диапазоны изменения и интерпретации интегрального показателя качества тестовых материалов

Диапазоны изменения интегрального показателя качества ТМ	Интерпретация показателя качества
0 ? 0,2	недопустимо низкий уровень качества ТМ
0,2 ? 0,3	низкий уровень качества
0,4 ? 0,5	удовлетворительный уровень качества
0,6 ? 0,7	хороший уровень качества
0,8 ? 0,1	отличный уровень качества

Для оценки эффективности технологии комплексной экспертизы было проведено сравнение предложенной технологии с традиционной (традиционная экспертиза - это экспертиза, состоящая из двух основных этапов: экспертное оценивание качества содержания теста; статистическое обоснование качества теста). С этой целью необходимо, во-первых, выявить имеются ли различия в значениях количества выявляемых некачественных заданий, во-вторых, в случае наличия изменений, необходимо установить их достоверность. Для доказательства наличия различий (сдвигов) и их достоверности в результатах сравниваемых технологий был выбран G-критерий (критерий знаков). Для чистоты эксперимента были отобраны 15 вариантов тестов, оценка качества которых была проведена по традиционной технологии (Технология №1) и по технологии комплексной экспертизы (Технология №2). В таблице приведено количество выявленных заданий, не удовлетворяющих требованиям качества.

Таблица №3

Сравнительные данные результатов традиционной и комплексной технологий экспертизы качества тестовых материалов

Технология экспертизы	Вариант теста
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Технология №1	5	7	9	1	8	5	3	4	2	1	4	6	2	4	2
Технология №2	8	9	7	5	9	7	6	9	6	7	6	4	6	6	4
Знак разности	+	+	?	+	+	+	+	+	+	+	+	?	+	+	+

Сформулируем нулевую и альтернативную гипотезы:

H₀: между традиционной и комплексной технологиями экспертизы существенных различий нет.

H₁: между традиционной и комплексной технологиями экспертизы существенные различия имеются.

Во всех исследуемых случаях отмечаются различия в количестве выявленных некачественных заданий в вариантах тестов.

Опишем вероятностную модель. Предположим, что статистические данные имеют вид: где x_i ? количество некачественных заданий, выявленных при проведении традиционной экспертизы в i-ых вариантах, а y_i ? количество некачественных заданий, выявленных при проведении комплексной экспертизы в тех же вариантах. В соответствии с условием однородности в связанных выборках справедливо выражение:

Согласно критерию знаков необходимо подсчитать, в скольких случаях и в скольких . В данном примере в 13 случаях из 15 и в 2 случаях из 15. Если рассматриваемая гипотеза однородности верна, то число W осуществлений события имеет биномиальное распределение с параметрами p=1/2 и n=15. Математическое ожидание М(W)=7,5, а среднее квадратическое отклонение Следовательно, интервал , это интервал 5,57<W<9,43. Найденное по данным значение W=13 лежит вне этого интервала. Поэтому рассматриваемую гипотезу необходимо отвергнуть (между традиционной и комплексной технологиями экспертизы существенных различий нет, в частности, на уровне значимости 1%) и принять альтернативную гипотезу (между традиционной и комплексной технологиями экспертизы имеются существенные различия).

Следующим этапом оценки эффективности явилось определение степени значимости выявленных различий по результатам двух технологий. С этой целью в качестве исходных данных были взяты результаты комплексной и традиционной экспертизы, в качестве контрольных данных ? результаты предварительной экспертизы. Оценка значимости различий в двух выборках проводилась с применением коэффициента Кохена, вычисляемого по формуле:

где:

- коэффициент Кохена,

- среднее значение по группам данных,

- среднеквадратическое отклонение по группам данных.

Таблица №4

Описательные статистики для первичных данных

Вид	N	Среднее	Дисперсия
Технология №1	15	6,5	4,9
Технология №2	15	13,1	15,2
Контрольные данные	15	4,9	2,9

Таблица №5

Исходные данные (в агрегированном виде)

Вид	Среднее	Sd	N
Технология №1	6,5	4,9	15
Технология №2	13,1	15,2	15
Контрольные данные	4,9	2,9	15

В соответствии с общепринятой трактовкой величины значения коэффициента Кохена (1992 г.): 0,2 - небольшой эффект, 0,5 - средний эффект, 0,8 - высокая эффективность. В результате обработки данных было получено, что для Технологии №1 d=0,3, для Технологии №2 d=0,79, что подтверждает гипотезу о значимых результатах.

Таким образом, статистический анализ показывает, что традиционная и технология комплексной экспертизы дают, во-первых, существенно различные результаты, во-вторых, по результатам оценки коэффициента Кохена технология комплексной экспертизы обладает достаточно высокой степенью эффективности.

ОСНОВНЫЕ ВЫВОДЫ

В результате данного диссертационного исследования была достигнута поставленная цель: разработать модель оценки качества тестовых материалов и технологию комплексной экспертизы тестовых материалов как фактора обеспечения достоверности оценки учебных достижений обучающихся в учреждениях профессионального образования. На основании полученных результатов можно сделать следующие выводы:

1. Проблемы повышения качества профессионального образования требуют формирования новых подходов к реализации контрольно-оценочной деятельности обучающихся, основанной на использовании объективных, надежных и валидных тестов, которые позволяют технологично и оперативно получить достоверную информацию о качестве учебных достижений.

2. Аналитический обзор и сравнение существующих моделей экспертизы качества тестовых материалов позволил выявить их главные недостатки ? изолированность этапов экспертизы и отсутствие комплексного оценивания качества тестовых материалов.

3. С позиций системного подхода доказано, что тесты обладают рядом специфических свойств: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность, рассмотрение которых обуславливает необходимость применения комплексного подхода в экспертизе качества тестовых материалов как интегрального свойства, оцениваемого через соответствие требованиям к качеству их содержательных, формальных, функциональных и структурно-логических характеристик.

...