Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

На правах рукописи

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата педагогических наук

Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа

Специальность 13.00.01 - «Общая педагогика, история педагогики и образования» (педагогические науки)

ШАМИЛЬЯН Ольга Ивановна

Ростов-на-Дону 2007

Работа выполнена на кафедре педагогики Ростовского областного

института повышения квалификации и переподготовки работников

образования

Научный руководитель -

доктор педагогических наук, профессор

Сафонцев Сергей Александрович

Официальные оппоненты:

доктор педагогических наук, профессор

Михайлычев Евгений Аркадьевич;

кандидат педагогических наук, доцент

Макарова Елена Александровна

Ведущая организация -

Кубанский государственный

университет

Защита состоится 31 марта 2007 года в 15-00 на заседании диссертационного совета Д-212.208.04 по защите диссертаций на соискание ученой степени кандидата педагогических наук в Ростовском государственном университете по адресу: 344038, г. Ростов-на-Дону, пр. М. Нагибина, 13, факультет психологии, ауд. 222.

С диссертацией можно ознакомиться в библиотеке Южного федерального университета по адресу: 344006, г. Ростов-на-Дону, ул. Пушкинская, 148.

Автореферат разослан 26 февраля 2007 года

Ученый секретарь

диссертационного совета

кандидат психологических наук,

доцент Тащёва А.И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. В современных условиях развития отечественного образования заметно возросла роль педагогического диагностирования как важнейшего фактора обеспечения эффективности процесса обучения. Широкое внедрение в образовательную практику диагностических процедур объясняется использованием квалиметрических методов, позволяющих повысить точность педагогического анализа.

Используя педагогические опросы, анкетирования и экспертизы, можно оценить степень доступности качественного образования, выявить отношение членов местного сообщества к данному образовательному учреждению, определить уровень обеспечения безопасности процесса обучения и эффективность использования здоровьесберегающих технологий. Кроме того, процедуры педагогического диагностирования используются при осуществлении экспертной оценки образовательных программ, инновационных проектов, программ развития, а также результатов работы отдельных преподавателей и учреждения в целом. Все эти диагностические процедуры должны быть подвергнуты квалиметрическому анализу, позволяющему обеспечить их объективность и соответствие действующим образовательным стандартам.

Диагностические процедуры способны охватить все составляющие образовательной среды, выявив степень выраженности критериальных показателей с помощью процентных соотношений или рейтинговых баллов. Наиболее совершенные диагностические средства носят экспертный характер и нуждаются в отборе респондентов для организации процедуры оценивания состояния образовательного процесса. Именно эта направленность современной педагогической диагностики определяет востребованность квалиметрических методов, позволяющих обеспечить отбор квалифицированных специалистов и согласовать их индивидуальные суждения по поводу предмета исследования.

Проведение исследований в области совершенствования диагностических процедур потребовало использования широкой методологической базы. Системам управления качеством процесса обучения посвящено множество научных исследований [Бабанский Ю.К., 1977, Бермус А.Г., 2003, Гороховатская Н.В., 1998, Ефремова Н.Ф., 2003, Кошелева Е.А., 1992, Монахов В.М., 1995, Талызина Н.Ф., 1975 и др.]. При этом особое внимание всегда уделялось проблемам педагогической диагностики [Аванесов В.С., 1994, Гершунский Б.С., 1986, Ингенкамп К., 1991, Майоров А.Н., 2005 и др.]. Поскольку вопрос о критериях, индикаторах, показателях и способах измерения в педагогической науке всегда стоял достаточно остро, следует подчеркнуть высокую значимость целого ряда современных квалиметрических теорий [Акинфиева Н.В., 1998, Нейман Ю.М., 2000, Сафонцев С.А., 2002, Субетто А.И., 1999, Татур Ю.Г., 1998, Челышкова М.Б., 1995, Яковлев Е.В., 1998 и др.]. Методы образовательной квалиметрии, позволяющие количественно оценить степень соответствия исследуемого объекта требованиям существующих стандартов, активно проникают в содержательный анализ результатов диагностических процедур, обеспечивая эмпирическую составляющую педагогической науки.

Актуальность исследования проблемы повышения объективности процедур педагогического диагностирования с помощью квалиметрического анализа основывается на существующих противоречиях между:

- уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квалиметрического анализа диагностических процедур, оценивающих состояние образовательной среды;

- содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей;

- оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках.

Прямым следствием перечисленных противоречий является более высокая точность оценивания результатов обучения в сравнении с эмпирически подтвержденной информацией о состоянии образовательной среды, включающей в себя качество воспитания, использование современных педагогических технологий, доступность качественного образования, стиль управленческой деятельности, отношение местного сообщества к образовательному учреждению, сохранение здоровья и обеспечение безопасности учащихся. С одной стороны, перечисленные составляющие образовательной среды являются факторами влияния на результативность процесса обучения, но, с другой стороны, они выполняют самостоятельные функции при формировании гармонично развитой личности. Разработка технологии квалиметрического анкетирования позволит осуществить объективные педагогические измерения латентных переменных образовательной среды и интегрального показателя эффективности образовательного процесса в целом.

Таким образом, мы попытались разрешить противоречие между отработанными методами дидактической тестологии и несовершенством соответствующих методов педагогической диагностики. Основываясь на теории образовательной квалиметрии и используя аналогичные методологические принципы, а также способы осуществления стандартизации диагностические процедур, удалось получить качественные педагогические измерители для исследования состояния образовательной среды. Эффективность применения квалиметрических анкет была доказана в ходе педагогического эксперимента.

Конструктивные истоки анализа процедур педагогического диагностирования заложены в противоречии между содержательной формой представления педагогического диагноза и количественным способом представления квалиметрических показателей. Во-первых, диагностический и квалиметрический подходы взаимно дополняют друг друга, а, во-вторых, различные интерпретации эмпирических данных позволяют повысить точность результатов исследования. Педагогический диагноз требует поэлементного анализа составляющих образовательного пространства, позволяющего сопоставить их содержательную значимость. Именно для этой цели количественные показатели, полученные в результате опроса, анкетирования или экспертизы, превращаются в содержательные оценки. В отличие от методологии педагогической диагностики, квалиметрический подход предполагает определение интегрального показателя, характеризующего эффективность образовательного процесса, обеспечивая этим необходимую точность педагогических измерений, поэтому для квалиметрии характерен перевод содержательных оценок в количественные показатели.

Количественные оценки как отдельных критериальных показателей, так и эффективности образовательного процесса ни в коей мере не отрицают возможность содержательного анализа процесса обучения и состояния образовательной среды. Поэтому образовательная квалиметрия является лишь средством более точного выражения результатов педагогического диагностирования и предоставляет возможность сравнительной оценки деятельности образовательного учреждения или отдельного преподавателя. Именно возможность ранжирования исследуемых объектов позволила нам разработать на основе квалиметрического анкетирования методику конкурсного отбора школ и учителей для национальной программы «Образование».

Опыт использования психологических методик подтверждает правомерность исключения из рассмотрения ситуативных суждений респондентов, что позволяет получить объективный вывод о личностных характеристиках обследуемого. Процедуры педагогического диагностирования, проводимые с целью получения объективной информации о состоянии образовательной среды, также используют суждения респондентов, поэтому применение индикаторных методов выявления ситуативных или некомпетентных суждений позволят существенно повысить объективность диагностических процедур. Но при этом не следует забывать о квалиметрическом характере производимых измерений. Диагностическая процедура должна позволять получить количественный интегральный показатель состояния предмета исследования.

Создание встроенной индикаторной методики для квалиметрической анкеты позволило разрешить противоречие между психологическим и педагогическим диагностированием. Оказалось возможным не только установить степень ситуативности суждений респондентов, но и определить их профессиональную квалификацию. В результате наиболее компетентным из них присваивался статус экспертов, и осуществлялась процедура согласования суждений группы экспертов с помощью нормировки коэффициентов профессиональной квалификации.

Таким образом, актуальность проведенного исследования определяется необходимостью разработки универсальной диагностической процедуры, позволяющей существенно повысить объективность педагогического эксперимента. Для этой цели следует использовать методологическую и технологическую базу теории образовательной квалиметрии, позволяющей осуществить количественную оценку латентных характеристик предмета исследования путем сравнения с существующими эталонами.

Целью исследования является выявление условий существенного увеличения точности и объективности информации, полученной в результате проведения диагностических процедур (опрос, анкетирование, экспертиза) на основе квалиметрического анализа.

Объект исследования - педагогическое оценивание качества образования.

Предмет исследования - квалиметрический анализ процедур педагогического диагностирования.

Гипотеза исследования заключается в том, что объективность процедур педагогического диагностирования существенно повышается в результате квалиметрического анализа, который включает в себя:

- исследование современного состояния педагогической диагностики с целью выявления возможности применения эффективных количественных методов;

- сопоставление принципиальных особенностей педагогических опросов, анкетирований и экспертиз;

- создание квалиметрической модели универсальной диагностической процедуры, позволяющей оценивать состояние образовательного процесса;

- разработку технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Задачи исследования:

1. Освоить источниковедческую базу применения квалиметрических методов в педагогической диагностике.

2. Составить опросник, анкету, экспертный бланк на основе одних и тех же критериальных показателей, а также произвести сравнение данных репрезентации.

3. Выявить ключевые особенности, которыми должна обладать универсальная диагностическая процедура, позволяющая оценить состояние образовательного процесса, используя методологию образовательной квалиметрии.

4. Разработать на основе корреляционного метода квалиметрическую анкету, обеспечивающую формулировку объективного педагогического диагноза и определение интегрального показателя образовательного процесса.

5. Осуществить экспериментальную апробацию технологии квалиметрического анкетирования и сравнить полученные результаты с данными традиционного анкетирования.

Теоретико-методологическую основу исследования составили ведущие идеи современной натуральной философии [М. Борн, А. Пуанкаре, Р. Фейнман и др.); личностно - ориентированного и развивающего образования (Е.В. Бондаревская, В.В. Сериков, В.Т. Фоменко и др.]; структуры и качества образования [А.А. Аветисов, Ю.К. Бабанский, А.И. Субетто, Н.Ф. Талызина и др.]; психологического тестирования [А. Анастази, П. Клайн и др.]; педагогической диагностики [В.С. Аванесов, К. Ингенкамп, Е.А. Михайлычев, Дж. Равен, В.С. Черепанов и др.]; дидактической тестологии [А.Н. Майоров, Е.А. Михайлычев, В.И. Нардюжев, Ю.М. Нейман, М.Б. Челышкова и др.]; образовательной квалиметрии [Л.Б. Ительсон, К. Пирсон, Дж. Раш, С.А. Сафонцев и др.].

Концепция исследования основана на принципах инвариантности и дискретности образовательной квалиметрии, а также модели универсальной диагностической процедуры, включающей в себя две теоремы: 1) в процессе педагогического диагностирования независимым респондентом должен быть обретен статус эксперта на основе индикаторной методики, позволяющей определить его профессиональную квалификацию, а также оценить конкордацию суждений группы экспертов; 2) содержательно значимые структурные элементы образовательной среды должны обладать максимально возможной степенью выраженности.

Основные методы исследования: анализ и синтез основных принципов современной натуральной философии; квалиметрическое моделирование закономерностей образовательного процесса; статистическая обработка результатов диагностических процедур; выявление количественных показателей состояния образовательной среды.

Этапы исследования.

На первом этапе (2004-2005 гг.) осуществлялось изучение методов педагогической диагностики и образовательной квалиметрии параллельно с преподавательской деятельностью на почасовой основе в Северо-Кавказской академии государственной службы.

На втором этапе (2005-2006 гг.) проводился проблемно-ориентированный анализ первоисточников с целью выявления особенностей различных диагностических процедур, а также экспериментальное сопоставление результатов опросов, анкетирований и экспертиз.

На третьем этапе (2006 г.) создана квалиметрическая модель универсальной диагностической процедуры и разработана технология квалиметрического анкетирования, проведена апробация результатов исследования на репрезентативной выборке слушателей курсов повышения квалификации и применение квалиметрического анкетирования для конкурсного отбора образовательных учреждений и учителей.

Объектом эмпирического исследования является выборочная совокупность работников образования в количестве 200 человек, прошедших курсы повышения квалификации; руководители 163 образовательных учреждений, принимавших участие в Перспективном национальном проекте «Образование» - 2006; 8 сотрудников кафедры информационных технологий Ростовского областного института повышения квалификации и переподготовки работников образования (РО ИПК и ПРО).

Научная новизна и теоретическая значимость исследования.

Впервые проведен сравнительный анализ методологических основ педагогической диагностики и образовательной квалиметрии.

Выявлены характерные особенности процедур педагогического диагностирования, с помощью факторного анализа.

Создана квалиметрическая модель универсальной диагностической процедуры.

Доказано, что в качестве универсальной процедуры педагогического диагностирования необходимо рассматривать квалиметрическое анкетирование.

Практическую значимость исследования подтверждают данные экспериментальной апробации технологии квалиметрического анкетирования, в котором приняли участие работники образования в количестве 200 человек, прошедших курсы повышения квалификации; руководители 163 образовательных учреждений, принимавших участие в ПНПО-2006; 8 сотрудников кафедры информационных технологий РО ИПК и ПРО, а также использование материалов диссертации для разработки методики конкурсного отбора образовательных учреждений и учителей в рамках национального проекта «Образование».

В процессе проведения констатирующего этапа педагогического эксперимента по сопоставлению характерных особенностей процедур педагогического диагностирования были использованы результаты стратификации показателей состояния образовательного процесса, проведенной с помощью группы экспертов. На основе теории корреляции была определена степень согласованности результатов обследований, проведенных с использованием различных диагностических материалов. Репрезентации опросника и анкеты для конкурсного отбора образовательных учреждений проводились на представительной выборке работников образования объемом 200 человек.

В основу формирующего этапа педагогического эксперимента по обоснованию квалиметрической модели универсальной диагностической процедуры была положена методология образовательной квалиметрии, позволившая разработать технологию квалиметрического анкетирования. В процессе формирующего и по данным контрольного этапа педагогического эксперимента была доказана высокая точность и статистическая значимость результатов квалиметрического анкетирования, а, следовательно, непротиворечивость теоретической модели и обоснованность выдвижения гипотезы данного исследования.

Достоверность и обоснованность основных положений и выводов диссертации обеспечиваются четкой проработанностью методологических и теоретических основ проведенного исследования; внутренней непротиворечивостью и логической обоснованностью рассматриваемых проблем; комплексным характером используемых принципов и методов научного исследования; опорой на широкий круг первоисточников классиков педагогической диагностики и образовательной квалиметрии; совершенством проведенных эмпирических исследований, позволяющих оценить статистическую значимость полученных результатов.

Положения, выносимые на защиту:

1. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

2. В основу технологии квалиметрического анкетирования положена методология образовательной квалиметрии, которая применительно к процедурам педагогического диагностирования приводит к следующим выводам:

- поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту в процессе диагностирования следует приобрести статус эксперта;

- педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

3. Технология квалиметрического анкетирования качества образовательного процесса включает в себя:

- отбор критериев и показателей на основе выборочного метода;

- начисление респондентами рейтинговых баллов по каждому критериальному показателю;

- определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта;

- формулировку педагогического диагноза на основе экспертных суждений;

- оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

Апробация и внедрение результатов исследования. Опытно-экспериментальной базой исследования является РО ИПК и ПРО с филиалами в городах Волгодонске, Каменске-Шахтинском, Таганроге и Шахтах, а также муниципальные органы управления образованием и методические центры Ростовской области. Результаты исследования используются в работе сотрудников кафедр РО ИПК и ПРО, Филиала Морской государственной академии имени адмирала Ф.Ф.Ушакова в городе Ростове-на-Дону, Ростовского государственного экономического университета «РИНХ».

Обсуждение результатов диссертации было проведено на секционных заседаниях пятой научно-практической конференции «Информационные технологии в образовании» (Ростов-на-Дону, 2005), на шестой научно-практической конференции «Информационные технологи в образовании» (Ростов-на-Дону, 2006), проводившихся в рамках международного конгресса конференций (Москва, 2005, 2006).

Публикации. По теме диссертации опубликовано 6 работ общим объемом 4,84 п.л. В том числе 3 статьи в журналах, рекомендованных ВАК Российской Федерации, и монография.

Структура и объем диссертации. Диссертация включает в себя введение; две главы; заключение, состоящее из основных теоретических и практических выводов; практических рекомендаций и перспектив дальнейшего исследования проблемы; списка использованной литературы из 110 наименований, из них - 10 на английском языке, и 6 приложений. Объем основного текста составляет 142 страницы. Диссертация иллюстрирована 24 таблицами.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении на основе существующих противоречий раскрывается актуальность темы; определены цель, объект, предмет, гипотеза, задачи исследования; характеризуются ее методологическая основа, научная новизна, теоретическая и практическая значимость; формулируются основные положения, выносимые на защиту; приведены основания, подтверждающие достоверность полученных результатов; структура работы.

Первая глава «Теоретические основы применения квалиметрических методов в педагогической диагностике» посвящена теоретическим основам применения квалиметрических методов в педагогической диагностике.

В первом параграфе «Современное состояние педагогической диагностики» указывается на то, что данная область научного знания является практической составляющей педагогической науки, позволяющей осуществить постановку диагноза ситуации, сложившейся в образовательном процессе, и определить необходимые коррекционные меры по устранению негативных последствий. Процесс установления и изучения признаков, характеризующих состояние различных элементов педагогической системы и условий ее функционирования для прогнозирования возможных тенденций развития, отклонений, предотвращения мерами педагогической коррекции нежелательных тенденций и стимулирования позитивных элементов развития (личности, группы, педагогических явлений). Педагогическая диагностика - это относительно самостоятельная отрасль педагогического знания, отражающая теорию и практику педагогического диагностирования и выступающая в структуре педагогики как сервисная, вспомогательная дисциплина (аналогично педагогической прогностике, педагогикой этике).

Особая методологическая функция педагогической диагностики подтверждается согласованностью мониторинга с основными этапами научного исследования. Реализуется она при условии сочетания классических диагностических подходов с квалиметрическими методами, обеспечивающими статистическую значимость количественных оценок инновационной деятельности. На всех этапах развития педагогической диагностики предлагалось использовать не только диагностические процедуры, но и количественные способы представления информации о состоянии образовательной среды и качестве образования. В полном соответствии с традициями педагогической диагностики на современном этапе развития в нее активно внедряются наиболее совершенные количественные методы исследования.

Во втором параграфе «Основные процедуры педагогического диагностирования и возможности повышения их объективности» рассматривается целый ряд специфических методик сбора и обработки информации, специально разработанных или адаптированных для решения определенного типа диагностических задач. Диагностические методики обычно включают в себя описание их возможностей, ограничений в использовании, процедуру сбора и обработки информации, инструкцию испытуемым, бланковый материал или компьютерную программу. Простейшей процедурой педагогического диагностирования является опрос, построенный по образу и подобию классических психологических методик. Он включает в себя: педагогический квалиметрический анкета

1) предъявление респондентам набора утверждений, прямо или косвенно относящихся к исследуемому объекту или явлению;

2) выставление оценок по принципу «согласия» или «несогласия» с предложенным утверждением («да»«нет»);

3) определение степени ситуативности суждений отдельных респондентов с помощью индикаторных утверждений;

4) определение степени выраженности того или иного критерия по количеству позитивных оценок соответствующей группы утверждений (оценка «нет» может рассматриваться как позитивная относительно заведомо негативного суждения);

5) формулировка педагогического диагноза.

Принципиальной особенностью педагогического опроса является быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов. На первом этапе констатирующего эксперимента нами был разработан опросник для конкурсного отбора образовательных учреждений.

Наиболее распространенной процедурой педагогического диагностирования является анкетирование. Анкета включает в себя серию тематически взаимосвязанных вопросов открытого или закрытого (полузакрытого) типа. Профессионально составленные анкеты разрабатываются на основе заранее продуманного конструкта, то есть интегральной характеристики исследуемого объекта или явления. При этом учитываются значимые для процедуры диагностирования признаки и формы поведения респондента. Основными составляющими процедуры педагогического анкетирования являются:

1) предъявление респондентам взаимосвязанных вопросов или критериальных показателей, прямо или косвенно относящихся к исследуемому объекту или явлению;

2) развернутые ответы на вопросы или начисление рейтинговых баллов, характеризующих степень выраженности критериальных показателей;

3) статистическая обработка результатов анкетирования; формулировка педагогического диагноза;

4) вычисление интегрального показателя предмета исследования.

Принципиальная особенность педагогического анкетирования - это логическая обоснованность суждений респондентов, которые подвергаются статистической обработке. На втором этапе констатирующего эксперимента была разработана анкета для конкурсного отбора образовательных учреждений, в процессе обработки результатов которой определялась не только усредненная степень выраженности критериев, но и соответствующий доверительный интервал.

В рамках констатирующего этапа педагогического эксперимента было проведено сравнение данных опроса и анкетирования, позволяющее убедиться в возможности искажения результатов респондентами, подверженными контаминации критерия. Была осуществлена стратификация генеральной совокупности работников образования и сформирована представительная выборка в количестве 200 человек, которой были предложены ранее разработанные опросник и анкета. На основе индивидуальной индикаторной методики было отсеяно 31,5% опросников, а статистическая обработка результатов анкетирования позволила определить конкордацию суждений респондентов и отсеять 24% анкет. В результате данные опроса были признаны объективными, а данные анкетирования - подверженными смещению в сторону более высоких рейтинговых баллов за счет контаминации критерия.

В отличие от опроса и анкетирования, в которых основным препятствием получения объективного результата является ситуативность и некомпетентность суждений респондентов, при организации педагогической экспертизы осуществляется предварительный подбор специалистов и определение коэффициента конкордации экспертной группы. Основными составляющими процедуры педагогической экспертизы являются:

1) подбор специалистов, обладающих высокой профессиональной квалификацией и имеющих опыт экспертной работы;

2) предъявление экспертам критериальных показателей, прямо или косвенно относящихся к исследуемому объекту или явлению;

3) начисление рейтинговых баллов или весовых коэффициентов, характеризующих степень выраженности критериальных показателей;

4) формулировка педагогического диагноза.

Принципиальной особенностью педагогической экспертизы следует считать опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры. На четвертом этапе констатирующего эксперимента был разработан и апробирован на репрезентативной выборке экспертный бланк для конкурсного отбора образовательных учреждений.

Наиболее весомым фактором влияния на результативность процедур педагогического диагностирования является эффективность индикаторных методик. В идеале диагностическая процедура должна предполагать содержательную оценку предложенных критериальных показателей и включать в себя определение степени ситуативности или некомпетентности респондентов. Поскольку полноценный педагогический эксперимент должен позволять количественно оценить доверительный интервал справедливости сформулированного педагогического диагноза при заданной доверительной вероятности, необходимо использовать квалиметрический подход, который гарантирует определенную точность результатов педагогического исследования. Решение основной квалиметрической задачи предполагает включение в процедуру анкетирования, которой следует отдать предпочтение, способа определения профессиональной квалификации респондентов и конкордации суждений экспертной группы.

В третьем параграфе «Квалиметрическая модель универсальной диагностической процедуры» разработаны теоретические основы технологии квалиметрического анкетирования. В качестве предмета исследования рассматривалась универсальная процедура педагогического диагностирования, что позволило подойти к педагогической диагностике с наиболее общих позиций, опираясь на минимальное количество основополагающих постулатов образовательной квалиметрии.

Первым постулатом квалиметрической модели универсальной диагностической процедуры является принцип инвариантности, который может быть сформулирован так: условия реализации образовательного процесса не должны зависеть от точки зрения эксперта. В качестве следствия этого принципа можно рассматривать приобретение респондентом статуса эксперта в процессе диагностирования. Таким образом, универсальная диагностическая процедура должна включать в себя эффективную индикаторную методику, позволяющую установить профессиональную квалификацию специалиста и оценить конкордацию суждений различных экспертов.

Вторым постулатом квалиметрической модели универсальной диагностической процедуры является принцип дискретности, который можно сформулировать следующим образом: педагогическое действие содержит целое число структурных элементов образовательного процесса. Следствием принципа дискретности является максимально возможная степень выраженности структурных элементов образовательной среды.

В процессе констатирующего этапа педагогического эксперимента осуществлена стратификация критериальных показателей с помощью экспертной группы. В качестве стратификационных показателей рассматриваются основные направления исследования образовательного процесса (состояние образовательной среды, эффективность процесса обучения, результативность инновационной деятельности), а также критерии успешности образовательного учреждения, которые использовались нами в констатирующем эксперименте. По данным экспертизы, 15 страт должны быть представлены 20 критериальными показателями, обладающими наибольшей содержательной значимостью.

На основе проведенного анализа современного состояния педагогической диагностики и основных процедур педагогического диагностирования нами была разработана квалиметрическая модель универсальной диагностической процедуры, позволяющая сформулировать основные элементы технологии квалиметрического анкетирования:

1) выявление наиболее содержательно значимых критериев и подбор соответствующих показателей;

2) предъявление респондентам квалиметрической анкеты и начисление ими рейтинговых баллов по каждому критериальному показателю;

3) определение профессиональной квалификации респондентов и присвоение статуса эксперта;

4) формулировка педагогического диагноза на основе экспертных суждений;

5) оценка конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния предмета исследования.

Вторая глава «Технология квалиметрического анкетирования» посвящена разработке универсальной процедуры педагогического диагностирования, обладающей квалиметрическими свойствами. Учитывая быстроту и поверхностность опроса, смещение статистических результатов традиционного анкетирования и предварительный характер отбора экспертов, в качестве универсальной диагностической процедуры предлагается использовать квалиметрическое анкетирование.

В первом параграфе «Разработка квалиметрической анкеты» рассматривается процедура создания диагностического материала, содержащего индикаторную методику выявления экспертного статуса респондента. Понятие «квалиметрическое анкетирование» учитывает ориентированность диагностической процедуры на получение интегрального количественного показателя эффективности образовательного процесса, а значит предполагать возможность использования статистических методов. Поскольку речь идет о квалиметрическом понятии, данная диагностическая процедура должна позволять производить сопоставления эмпирических результатов с эталонными показателями, а при отсутствии такового - предполагать сравнение результатов исследования с нормальным статистическим распределением. Квалиметрическое анкетирование - это универсальная диагностическая процедура, включающая в себя индикаторную методику определения профессиональной квалификации респондентов и оценку конкордации суждений экспертной группы.

Разработка квалиметрической анкеты начинается с обеспечения содержательной и конструктной валидности диагностического материала. Подбор критериев и показателей определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность квалиметрической анкеты. Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты. Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего эксперимента, гарантирует высокую конструктную валидность диагностического материала.

Наиболее важным этапом разработки квалиметрической анкеты является подбор критериальных показателей. Именно на этом этапе в диагностический материал встраивается индикаторная методика, которая приобретает гораздо большие функциональные возможности, нежели в опросниках или традиционных анкетах. Для этой цели необходимо подобрать две параллельные группы показателей, которые отражают одни и те же свойства исследуемого объекта или явления, образуя при этом корреляционные пары. Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, является показателем его профессиональной квалификации.

В начале формирующего этапа педагогического эксперимента нами разработана квалиметрическая анкета для экспертной оценки эффективности процесса обучения. В качестве способа определения степени согласованности суждений респондента по поводу одного и того же свойства предмета исследования нами использовался корреляционный метод, предполагающий вычисление коэффициента Пирсона. Однако, в качестве критерия минимально допустимого значения коэффициента корреляции, соответствующего экспертному уровню профессиональной квалификации респондента, был выбран экстремальный коэффициент конкордации суждений экспертной группы. Подобная аналогия объясняется тем, что для определения профессиональной квалификации респондента использовалась количественная оценка внутренней согласованности суждений участника анкетирования. Именно после определения уровня внутренней конкордации суждений респондента осуществляется присвоение ему статуса эксперта.

По сравнению с результатами традиционного анкетирования универсальная диагностическая процедура, оснащенная квалиметрическими методами, позволила повысить точность педагогических измерений в несколько раз. Следует учесть, что, ужесточая отбор экспертных суждений, можно добиться еще более высокой точности педагогического диагноза и интегрального показателя эффективности образовательного процесса.

В рамках формирующего этапа педагогического эксперимента подготовлена квалиметрическая анкета для проведения конкурсного отбора образовательных учреждений, претендующих на государственную поддержку из федерального бюджета. Обработка ее результатов осуществляется с помощью компьютерной программы, которая работает по заранее разработанному алгоритму. Эксперту остается контролировать действия компьютера по формированию педагогического диагноза, определения интегрального показателя успешности деятельности образовательного учреждения и ранжированию различных учебных заведений по результатам проведенного конкурсного отбора. В этом случае мы добиваемся максимальной точности процедур педагогического диагностирования за счет использования информационных технологий, к которым следует отнести компьютерные и квалиметрические технологии.

Во втором параграфе «Конкордация суждений экспертной группы» описывается технология разработки индикаторной методики для процедуры квалиметрического анкетирования. В процессе педагогического диагностирования необходимо не просто осуществить отсев ситуативных и неквалифицированных суждений респондентов, а разработать специфическую субтехнологию определения профессиональной квалификации, позволяющую присваивать респондентам статус экспертов. Это позволило повысить точность диагностической процедуры за счет сравнения эмпирических данных с нормальным статистическим распределением. Однако существует иной методологический подход, основанный на сопоставлении реального образовательного процесса с эталонным образцом, который можно осуществить с помощью оценки конкордации суждений экспертной группы. Фактически, это еще одна субтехнология, которая предполагает анализ индивидуальных эталонов образовательного процесса и использование их формализованной оценки для обеспечения объективности диагностической процедуры. При этом коэффициенты профессиональной квалификации отдельных экспертов являются показателями степени приближения индивидуального эталона к идеальному, который обладает абсолютной квалиметрической значимостью.

С помощью нормирования коэффициентов профессиональной квалификации экспертов удалось получить численные значения индивидуальных коэффициентов конкордации, которые характеризуют степень приближения идеального эталона специалиста к квалиметрически обоснованному образцу предмета исследования. Этим гарантируется технологическая состоятельность предложенной нами процедуры конкордации суждений экспертной группы.

В третьем параграфе «Влияние состава экспертной группы на объективность результатов квалиметрического анкетирования» отмечается, что в результате контрольного эксперимента установлено, что любое преобразование экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов. Но даже в этих сложных, статистически вариативных условиях технология квалиметрического анкетирования, благодаря эффективным субтехнологиям корреляционного метода и оценки конкордации суждений экспертной группы, подтвердила высокую точность педагогического диагноза и интегрального показателя состояния предмета исследования.

В заключении приводятся основные выводы исследования:

1. Педагогическая диагностика обладает особой методологической функцией, которая подтверждается согласованностью составляющих мониторинга с основными этапами научного исследования. Данная функция способна реализоваться только при условии сочетания классических диагностических подходов с квалиметрическими методами. Универсальная диагностическая процедура должна не только обеспечивать формулировку содержательного педагогического диагноза, но и определение интегрального количественного показателя, характеризующего состояние предмета исследования.

2. Традиционными процедурами педагогической диагностики являются: тестирование, опрос, анкетирование, экспертиза. Соответственно принципиальными особенностями диагностических процедур являются: 1) в случае опроса - быстрый темп подачи и оценивания простых утверждений, позволяющий выявить ситуативные суждения респондентов; 2) в случае анкетирования - логическая обоснованность суждений респондентов, которые подвергаются статистической обработке; 3) в случае экспертизы - опережающий характер отбора специалистов, приводящий к контаминации критерия и снижению объективности диагностической процедуры. В результате сравнительного эксперимента было установлено, что данные традиционного анкетирования были подверженными смещению в результате контаминации критерия.

3. Основным фактором влияния на объективность диагностических процедур является эффективность индикаторных методик, позволяющих отсеять ситуативные и некомпетентные суждения респондентов. В качестве универсальной диагностической процедуры следует рассматривать квалиметрическое анкетирование, которое включает в себя определение профессиональной квалификации респондентов и конкордации суждений экспертной группы.

4. В процессе создания технологии квалиметрического анкетирования использовалась методология теории образовательной квалиметрии, в основу которой положены принципы инвариантности и дискретности. Поскольку условия реализации образовательного процесса не должны зависеть от точки зрения эксперта, респонденту следует приобрести в процессе диагностирования статус эксперта. Педагогическое действие содержит целое число структурных элементов образовательного процесса, обладающих максимально возможной степенью выраженности.

5. Технология квалиметрического анкетирования включает в себя: 1) отбор критериев и показателей на основе выборочного метода; 2) начисление респондентами рейтинговых баллов по каждому критериальному показателю; 3) определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта; 4) формулировку педагогического диагноза на основе экспертных суждений; 5) оценку конкордации суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

6. Подбор критериев определяется факторами влияния на предмет исследования, что позволяет гарантировать высокую содержательную валидность квалиметрической анкеты. Конструктные свойства диагностического материала зависят от особенностей интегральной характеристики, которую предполагается измерять с помощью квалиметрической анкеты. Экспертная оценка относительной весомости критериев, произведенная в ходе констатирующего эксперимента, гарантирует высокую конструктную валидность диагностического материала.

7. В процессе подбора критериальных показателей в квалиметрическую анкету встраивается индикаторная методика, которая представляет собой две параллельные группы показателей, отражающих одни и те же свойства предмета исследования и образующих корреляционные пары. Согласованность суждений респондента по поводу концептуальных и прикладных утверждений, входящих в соответствующие пары критериальных показателей, характеризует его профессиональную квалификацию.

8. Поскольку в основу определения профессиональной квалификации респондента положена внутренняя конкордация его суждений, минимально допустимое значение коэффициента корреляции, соответствующее экспертному уровню профессиональной квалификации респондента, совпадает с экстремальным коэффициентом конкордации суждений экспертной группы.

9. Каждый эксперт обладает индивидуальным эталоном предмета исследования, который характеризуется индивидуальный коэффициент конкордации, полученным в процессе нормирования коэффициентов профессиональной квалификации членов экспертной группы. Трансформация экспертной группы приводит к изменению коэффициентов конкордации, отражающих не столько индивидуальные качества специалиста, сколько их согласованность с соответствующим показателем других экспертов.

10. Повышение объективности процедур педагогического диагностирования обеспечивается базирующейся на методологии образовательной квалиметрии технологии квалиметрического анкетирования, включающей в себя корреляционный метод определения коэффициентов профессиональной квалификации респондентов и их нормирование с целью оценивания конкордации суждений экспертной группы.

Дальнейшая разработка технологии квалиметрического анкетирования предполагает совершенствование процедуры вычисления весовых коэффициентов, характеризующих профессиональную квалификацию респондентов и позволяющих определить средневзвешенный рейтинговый балл. Это упростит подбор критериев и показателей для квалиметрической анкеты, а также позволит добиться большей достоверности результатов обследования.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ ОТРАЖЕНО В СЛЕДУЮЩИХ ПУБЛИКАЦИЯХ АВТОРА

1. Шамильян, О.И. Как организовать педагогический эксперимент // Практические советы учителю. 2006. № 4. - авторский вклад 0,35 п.л. (в соавторстве с С.А. Сафонцевым).

2. Шамильян О.И. Квалиметрический анализ процедур педагогического диагностирования // Гуманитарные и социально-экономические науки. 2006. №4. - авторский вклад 0,57 п.л. (в соавторстве с С.А. Сафонцевым).

3. Шамильян, О.И. Компьютерное квалиметрическое анкетирование // Информационные технологии в образовании - 2006. Сборник научных трудов участников VI научно-практической конференции-выставки 17-19 октября 2006. - Ростов-на-Дону: Ростиздат, 2006. - авторский вклад 0,29 п.л. (в соавторстве с С.А. Сафонцевым).

4. Шамильян О.И. Критерии и показатели конкурсного отбора образовательных учреждений // Стандарты и мониторинг в образовании. 2006. № 2. _ авторский вклад 0,34 п.л. (в соавторстве с С.А. Сафонцевым).

5. Шамильян, О.И. Методика конкурсного отбора образовательных учреждений // Гуманитарные и социально-экономические науки. 2006. №5. - авторский вклад 0,30 п.л. (в соавторстве с С.А. Сафонцевым).

6. Шамильян, О.И. Повышение объективности процедур педагогического диагностирования на основе квалиметрического анализа: Монография Ростов-на-Дону: Изд-во РО ИПК и ПРО, 2006. - авторский вклад 3,0 п.л. (в соавторстве с С.А. Сафонцевым).

Размещено на Allbest.ru

...