Тестирование как процедура оценки качества образования в ВУЗе

Размещено на http://www.allbest.ru/

Тестирование как процедура оценки качества образования в вузе

Ю.А. Баталова

С. С. Быкова

Yu.A. Batalova, S.S. Bykova

TESTING AS A PROCEDURE FOR ASSESSING THE QUALITY OF EDUCATION IN AN UNIVERSITY

The relevance of the article is due to the fact that providing a high level of quality of education for a modern educational organization is the main strategic goal. By the quality of education, Federal state educational standards of higher education imply the students' achievement of competences as the learning results in a university. However, today there is a problem of how to measure these competences. The article reveals the main theoretical and practical approaches to the developing and using tests as diagnostic tools for assessing the quality of training students: the requirements that must be followed when creating tests, the types of assessing that are conducted by testing, the comparative characteristics of regulatory-oriented and criteria-oriented types of testing are presented. The article also presents the possibilities of using tests within the competence approach, describes the features and advantages of the testing methods with the application of information technologies.

Keywords: quality of education, learning results, competences, testing, evaluation tools, information technology.

Актуальность представленной статьи обусловлена тем, что для современной образовательной организации обеспечение высокого уровня качества образования - это главная стратегическая цель. Под качеством образования Федеральные государственные образовательные стандарты высшего образования подразумевает формирование у обучающихся компетенций как результатов обучения в вузе. Однако на сегодняшний день существует проблема измеримости компетенций как предмета оценки качества образования. В статье рассмотрены основные теоретические и практические подходы к разработке и применению тестов как диагностических инструментов по оценке качества подготовки студентов вузов: представлены требования, которые необходимо соблюдать при разработке тестов, виды оценивания, проводимого путем тестирования, даны сравнительные характеристики нормативно-ориентированного и критериально-ориентированного типов тестирования и представлены возможности их использования в рамках компетентностного подхода, описаны особенности и возможности проведения тестирования с применением информационных технологий.

Ключевые слова: качество образования, результаты обучения, компетенции, тестирование, оценочные стредст- ва, информационные технологии.

оценивание тест диагностический

В современном образовательном пространстве уделяется огромное внимание вопросам и проблемам, связанным с оценкой качества образования. Разработка и внедрение процедур и технологий, позволяющих проводить систематическую и целенаправленную работу по оценке качества образования на всех уровнях, - одно из важных направлений модернизации российского образования.

Одной из актуальных задач каждой образовательной организации является формирование фонда оценочных средств для проведения промежуточных и итоговых диагностик качества образовательных достижений обучающихся.

В Федеральных государственных образовательных стандартах высшего образования (ФГОС ВО) предусмотрено формирование у студентов вуза компетентностей специалиста в определенной области. Процесс формирования компетентностей проявляется путем реализации соответствующих знаний, умений, навыков и способностей личности при решении профессиональных задач [1; 6; 16].

Измеримость компетенций как предмета оценки качества результатов обучения составляет на сегодняшний день наибольшую проблему и в теоретическом, и в практическом планах, так как методы измерения компетенций в системе образования на сегодняшний день окончательно не определены. Тем не менее задача оценивания компетенций требует решения в условиях реализации ФГОС ВПО третьего поколения. В статье мы рассмотрим основные теоретические и приактические подходы к разработке и применению тестирования как диагностического инструмента в образовательных организациях высшего образования.

Для проведения процедур по оценке промежуточных и итоговых результатов обучения студентов в образовательных организациях высшего образования формируются фонды оценочных средств, представляющие собой комплекты методических и контрольных измерительных материалов, предназначенных для оценивания компетенций на разных стадиях обучения студентов, а также для аттестационных испытаний выпускников на соответствие (или несоответствие) уровня их подготовки требованиям ФГОС ВПО по завершении освоения основной образовательной программы по определенному направлению или специальности [17; 19]. При этом в качестве современных оценочных средств ученые рекомендуют использовать эталонные квалиметрические процедуры, обеспечивающие количественные и качественные оценки достижения результатов образования, их достоверность и сопоставимость [2; 4; 5]. В последние годы в фондах оценочных средств многих вузов широко применяется технология тестирования.

А.Н. Майоров дает такое определение теста: «это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения знаний, умений и навыков, приобретенных в результате систематического обучения» [8].

В процессе развития методологии тестового контроля сформировались требования, которые необходимо учитывать при разработке теста и организации тестирования как средства оценки качества результатов обучения. Во-первых, содержание теста должно соответствовать содержанию и объему полученной студентами в процессе обучения информации. Это требование получило название содержательная валидность теста. Помимо содержательной валидности, тест должен обладать функциональной валидностью, то есть определять контролируемый уровень усвоения материала. Кроме того, тест должен быть однозначно интерпретируемым, то есть позволять разным экспертам одинаково оценить качество результатов информационное тестируемого. Тест должен обладать надежностью, которая заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или набора тестов растет с увеличением количества заданий, входящих в тот или иной уровень.

Основой для разработки тестовых материалов является кодификатор, представляющий собой содержательное структурирование материала учебной дисциплины, усвоение которого подлежит оценке.

Единицы учебного содержания, подлежащие усвоению обучающимися в процессе освоения образовательной программы ВПО (и присутствующие в кодификаторе), необходимо отразить в составе разрабатываемых контрольных заданий. При этом необходимо учитывать основные показатели выполняемых заданий - назначение, конструктивные формы, уровень трудности и др.

Оценивание, проводимое путем тестирования, по мнению О.И. Окуловского, может быть:

- предварительным - контроль минимума базовых знаний, необходимых для дальнейшего обучения;

- формирующим - контроль за прогрессом обучения (при его проведении оценивается ограниченный сегмент обучения, акцент делается на оценке степени овладения материалом изучаемых задач и обеспечения обратной связи со студентом);

- диагностирующим - определение трудностей обучения, фокусировка на распространенных ошибках;

- суммирующим - оценка широкого диапазона результатов обучения, ожидаемых в конце учебного процесса [10].

В зависимости от подходов к интерпретации результатов тестирования, его можно разделить на два вида - нормативно-ориентированное и критериально-ориентированное. В таблице представлено сравнение характеристик этих типов тестов по Д. Вилфорду [8].

Проанализировав сравнительные характеристики нормативно-ориентированного и критериальноориентированного типов тестирования, можно сделать вывод, что применение нормативноориентированного тестирования служит для определения места испытуемого в общей группе, т. е. рейтинга конкретного студента. Это позволяет сравнивать учебные достижения испытуемых друг с другом. Данное сравнение, а также рейтингование можно использовать для организации адресной работы со студентами. В частности, оно помогает выявить тех обучающихся, которые по тем или иным причинам недостаточно усвоили учебный материал, чтобы оказать им своевременную образовательную поддержку, или, наоборот, тех студентов, которые в усвоении учебного материала преуспевают, для организации обмена знаниями, опытом с их стороны. Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. Как было отмечено выше, имеется возможность определить положение испытуемого относительно нормативной группы. Однако нормативно-ориентированный тест дает недостаточно информации о том, как именно (на каком уровне) усвоены каждым студентом те или иные разделы, элементы области содержания.

Под критериально-ориентированным педагогическим тестом понимают систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должны быть усвоены студентами [3; 15]. При этом указанный объем называется областью содержания этого теста, которая соотносится с кодификатором - перечнем элементов обязательного минимума. Выявленные в процессе такого тестирования учебные достижения отдельных студентов позволяют определить, какую долю учебного материала студенты усвоили, задачи какого уровня сложности могут решать. Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

Выделяют два вида критериально-ориентированных педагогических тестов. Первый вид предназначен для оценки доли от полного объема учебного материала, которую усвоили испытуемые. Она обычно измеряется в процентах. Этот вид теста позволяет также оценить степень овладения той или иной компетенцией. Если испытуемый полностью овладел измеряемым умением и выработал соответствующий навык, то он в отведенное время выполнит 100 % заданий. Если умение еще не сформировано, то не будет выполнено ни одного задания. Если умение находится в стадии формирования или даже сформировано, а навыка еще нет, то будет выполнена соответственно меньшая или большая часть заданий. Процент их правильного выполнения и является оценкой степени овладения компетенцией или ее компонентой. Для теста, включающего в себя три уровня сложности, оценка «удовлетворительно» выставляется при условии получения студентом, например, от 40 % до 59 % от общего количества баллов за тест. Оценка «хорошо» выставляется при условии получения студентом от 60 % до 79 % от общего количества баллов за тест. Оценка «отлично» выставляется при условии получения студентом от 80 % до 100 % от общего количества баллов за тест.

По мнению Т.Н. Сафоновой, определение значимости компоненты компетенции осуществляется путем оценивания степени ее важности (необходимости):

- для дальнейшего изучения и усвоения данной дисциплины;

- для изучения и усвоения последующих дисциплин;

- для формирования личностных качеств обучающегося, в частности профессионально необходимых.

Рассмотрим примерную классификацию компонент компетенций по уровням их значимости:

- первый уровень - компоненты, составляющие минимальный уровень - базис данной учебной дисциплины (эти компоненты именуются как базовый уровень);

- второй уровень - компоненты, развивающие и дополняющие базис учебной дисциплины (именуются как средний уровень);

- третий уровень - компоненты повышенного уровня (они обозначаются как системный уровень) [13; 14].

На основе подобной уровневой классификации компонент компетенций строится второй вид критериально-ориентированных тестов, который используется для разделения испытуемых на две или более групп по результатам тестирования на основании заранее выработанного критерия. Например, при проведении промежуточной аттестации для того, чтобы быть отнесенным к группе «зачет» или «аттестован», испытуемый должен достичь необходимого минимального для этой группы уровня овладения учебным материалом, продемонстрировать сформированность той или иной компетенции или отдельных ее компонент. Этот минимальный уровень устанавливается разработчиками теста и является критерием, на основании которого принимается конкретное решение относительно каждого студента. В тесте, как правило, этот критерий выражается определенным количеством баллов. Если испытуемый набирает данное количество баллов или превосходит его, его аттестуют, в противном случае - нет. Критерии теста позволяют разделить участвующих в тестировании студентов на группы: не усвоивших, слабо усвоивших, хорошо усвоивших и полностью усвоивших содержание учебной дисциплины и показавших соответствующий уровень сформированности профессиональных компетенций. В зависимости от отнесения к той или иной группе разработчики тестов предусматривают возможность оценки усвоения материала дисциплины каждым студентом в соответствии с общепринятой системой оценивания.

Так, к примеру, могут быть определены следующие критерии для теста из 12 заданий, включающего в себя три уровня сложности: оценка «удовлетворительно» выставляется при условии решения студентом не менее 7 заданий, из них не менее 3 заданий первого уровня и не менее 4 заданий двух других более высоких уровней; оценка «хорошо» выставляется при условии решения не менее 9 заданий: всех заданий первого уровня и не менее 3 заданий второго уровня; оценка «отлично» выставляется при условии решения не менее 10 заданий, из них не менее 4 заданий первого уровня, 3 заданий второго уровня и 3 заданий третьего уровня.

Таким образом, опираясь на вышеизложенное, можно сформулировать ключевые характеристики оценочных средств, которые будут подтверждать их соответствие современным требованиям оценки качества подготовки студентов как будущих специалистов:

- возможность многомерных измерений в рамках компетентностного подхода;

- возможность непрерывно отслеживать качество учебных достижений;

- ориентация на профессиональные задачи будущей профессиональной деятельности студентов;

- соблюдение требований теории педагогических измерений.

Следует также отметить, что в эпоху глобальной информатизации общества, в том числе и системы образования, особого внимания заслуживают процедуры контроля результатов обучения с использованием информационных технологий и систем [7; 12]. Применение информационных систем обеспечивает:

- быстрое и оперативное получение объективной информации о фактическом усвоении обучающимися контролируемого материала, в том числе непосредственно в процессе занятий;

- возможность получения персонифицированной и детальной информации для оценки учебных достижений в целях оперативной корректировки процесса обучения;

- возможность формирования и накопления интегральных оценок по всем дисциплинам и модулям ООП;

- стимулирование мотивации к обучению на основе информированности о промежуточных результатах учебной деятельности.

Тестирование с применением информационных технологий рассматривается как одна из наиболее технологичных форм проведения контроля с управляемыми параметрами качества. Важной особенностью компьютерного тестирования является возможность организации массовых процедур оценивания результатов обучения, что становится актуальным в условиях дифференциации и диверсификации образования.

Также с помощью интернет-технологий возможна оперативная обработка больших массивов данных и визуализация результатов исследования [11]. К примеру, на рис. 1 представлен результат итогового тестирования группы студентов, завершивших изучение учебной дисциплины «Педагогика». По итогам проверки можно сделать вывод, что в данной группе из 83 будущих педагогов 15 человек усвоили содержание дисциплины полностью (выполнили верно от 80 до 100 % заданий теста), 63 человека усвоили содержание учебной дисциплины хорошо (выполнили верно от 60 до 80 % заданий теста) и 5 студентов усвоили содержание дисциплины удовлетворительно (выполнили верно от 40 до 60 % заданий теста).

Рис. 1. Результат итогового тестирования студентов по учебной дисциплине «Педагогика»

С помощью интернет-технологий возможно формирование различного рода рейтингов и сопоставления результатов [18]. Так, например, на предприятия рис. 2 представлен рейтинг индивидуальных результатов тестирования студентов, показавших высокий уровень освоения программы по учебной дисциплине «Педагогика». Подобный анализ данных необходим для выстраивания дальнейшей адресной работы по результатам оценочных процедур.

Рис. 2. Рейтинг индивидуальных результатов тестирования

Таким образом, можно сделать вывод, что критериально-ориентированное тестирование относится к оценочным средствам, направленным на комплексную, интегративную проверку компетенций (как общекультурных, так и профессиональных). А применение компьютерных программ для тестирования позволяет существенно упростить процесс контроля и оценки качества знаний, заложить в каждую составную часть учебной программы весовой коэффициент и на этом строить системный подход к оценке знаний и умений.

Кроме того, использование онлайн-тестов при оценке учебных достижений является одним из направлений гуманизации системы образования, потому что дифференцированные тестовые шкалы и использование компьютера позволяют создавать для обучающегося более комфортные психологические условия.

В тестах уровень требований сформулирован более мягко, в рамках достаточно широкого интервала. Поэтому тесты оказываются более универсальным инструментом: они фиксируют тот уровень, который может показать студент в данный момент. Другая сторона тестового метода состоит в том, что он представляет иную модель контроля - соревновательную, что повышает мотивацию к обучению. Поэтому задача создания и развития фонда оценочных средств, и в частности, компьютерного критериально-ориентированного тестирования в тесной связи с балльно-рейтинговой системой оценки весьма актуальна в современном образовательном пространстве, направленном на приобретение компетенций.

Список литературы

1. Ганчеренок И.И. Ключевые компетенции для «образования через всю жизнь». Минск, 2007. [Электронный ресурс]. URL: http://rep.pac.by/jspui/bitstream (дата обращения: 21.05.2019).

2. Груздева М.Л., Козицын А.Л. Тестирование как форма организации самостоятельной работы студентов // Современные наукоемкие технологии. 2016. № 7-1. С. 118-121. URL: http://top-technologies.ru/ru/ article/ view?id=36072 (дата обращения: 04.12.2019)

3. Жаркова Л.И., Картушина Н.В. Тестирование как метод контроля знаний при обучении иностранным языкам // Интернет-журнал «Мир науки». 2017. Т. 5, № 2. URL: http://mir-nauki.com/PDF/14PDMN217.pdf (дата обращения: 18.12.2019).

4. Квалиметрия для всех: Учеб. пособие / Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. М.: ИнформЗнание, 2012. 165 с.

5. Ковальчук О.В. Квалиметрия как теоретическая база оценки качества // Открытая библиотека научных сборников. 2012.

6. Компетенции 21 века в национальных стандартах школьного образования. Аналитический обзор в рамках проекта подготовки международного доклада «Ключевые компетенции и новая грамотность: от деклараций к реальности» Сентябрь 2017 [Электронный ресурс]. URL: https://sch2083.mskobr.ru/files/na_zametku_ uchitelyu_ kompetencii_21_veka_v_nacional_nyh_standartah_shkol_nogo_obrazovaniya.pdf (дата обращения: 21.05.2019).

7. Куваева Е.Н., Багина О.А. Влияние информатизации общества на систему образования // Электронный журнал «SCI-ARTICLE.RU». 2015. № 21 [Электронный ресурс]. URL: http://sci-article.ru/verxx.php?i=12 (дата обращения: 10.12.2019).

8. Майоров А.Н. Теория и практика создания тестов для системы образования. М: Интеллект-центр, 2001. 296 с.

9. Мишин В.М. Управление качеством: Учебник для студентов вузов, обучающихся по специальности «Менеджмент организации». 2-е изд. перераб. и доп. М.: ЮНИТИ-ДАНА, 2005. 463 с.

10. Окуловский О.И. Компетенции и компетентностный подход в обучении // Молодой ученый. 2012. № 12. С. 499-500. URL: https://moluch.ru/archive/47/5841/ (дата обращения: 02.10.2019).

11. Павлов А.В. О возможностях современных форм демонстрации персональных образовательных результатов в сфере дополнительного образования детей // Информационно методический журнал «Про ДОД». 2017. № 4. URL: http://dopedu.ru/articles/747-obshchee-razvitie-/lichnosti-v-kontekste-modernizatsii-soderzhaniya-dopolnitelnogo- obrazovaniya-detej.html/ (дата обращения: 24.10.2019).

12. Роберт И.В. Теория и методика информатизации образования (психолого-педагогический и технологический аспекты). 2-е изд., доп. М.: ИИО РАО, 2008. 274 с.

13. Сафонова Т.Н. Развитие системы тестирования как формы контроля качества обучения в условиях перехода к кредитно-модульной системе // Материалы международной научно-практической конференции «Современные технологии и методики в системе инновационной педагогики». Балашиха: «Де-По», 2012. С. 84-89.

14. Сафонова Т.Н. Экспертно-обучающая система оценки качества знаний в рамках модульной технологии обучения // Труды 6-й международной научно-практической Интернет-конференции «Преподаватель высшей школы в XXI веке», Ростов на Дону: Рост. гос. ун-т путей сообщения, 2008. Сб. 6. Ч. 1. С. 255-258.

15. Сперанская Н.И., Яцевич О.Е. К вопросу об оценивание знаний студентов в ВУЗе: отметка, оценка, рейтинг, мониторинг // Вестник Оренбургского государственного университета. 2016. № 5 (193). С. 15-19.

16. Татур Ю.Г. Компетентность в структуре модели качества подготовки специалиста // Высшее образование сегодня. 2004. № 3. С. 20-26.

17. Тригуб Г.Я. Тестирование как метод обучения и контроля знаний в вузе // Научно-методический электронный журнал «Концепт». 2017. № S3. URL: http://e-koncept.ru/2017/470051.htm (дата обращения: 01.12.2019).

18. Шамсутдинова Т.М. Формирование профессиональных компетенций студентов в контексте информатизации высшего образования // Открытое образование. 2013. № 6 (101). С. 36-44. DOI: https://doi.org/10.21686/ 1818-4243-2013-6-101-36-44 (дата обращения 01.12.2019).

19. Шихова О.Ф. Квалиметрический подход к диагностике компетенций выпускников высшей школы. М.: Образование и наука, 2013. № 4 (103). С. 40-57.

Размещено на Allbest.ru