Технология создания и адаптации тестовых методик

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

При формировании мирового образования (образование перестает быть внутренним делом отдельной страны) необходимо выработать единые стратегии в оценке качества образовательных услуг. Система оценивания знаний и умений, имеющаяся в каждой стране, уже не является статичной, замкнутой в себе самой. Однако реформирование системы образования невозможно без реформирования системы оценивания, контроля качества образования.

Важное значение в настоящее время приобретает культура оценки и оценивания качества обучения. Оценивание - это процесс сбора и обработки действенной и надежной информации, которая позволяет участникам образовательного процесса принимать решения, необходимые для совершенствования работы и достижения лучших учебных результатов. Своеобразной базой данных для оценивания являются государственные стандарты, программы для преподавателя и для студента. Механизмами же контроля и оценки эффективности образовательного процесса становятся тесты.

Всем известно, что в настоящий момент в системе образования России параллельно с традиционной системой оценки и контроля результатов обучения сложилась новая парадигма - тестирование. Это вызвано потребностью общества в получении независимой, объективной информации об учебных достижениях обучаемых.

Возросшие за последние десятилетия масштабы использования тестов во многих странах мира привели к созданию компаний и служб, которые занимаются разработкой тестов, их распространением, организацией массового тестирования, а также регулярным сбором информации в целях мониторинга качества образования. Западные страны в настоящий момент значительно опережают российскую систему тестирования по подготовке научных кадров, по уровню развития теории тестовых методов, по технической и программно-вычислительной оснащенности процессов разработки, применения, обработки и хранения тестовых заданий. Такая ситуация отставания противоречит тенденции достижения высокого качества отечественного образования, хотя в последнее десятилетия наметились и позитивные изменения в этой области. К примеру, почти 10 лет функционирует Российская государственная система тестирования по РКИ.

Цель: проанализировать технологию создания и адаптации тестовых методик.

Задачи:

1. Провести теоретический анализ литературы по проблеме исследования.

1. Рассмотреть новые разработки в области тестовых методик.

2. Охарактеризовать проблемы адаптивного тестирования и адаптации тестов личностным особенностям тестируемых.

3. Сформулировать выводы.

1. Новые разработки в области тестовых методик

Создание новых и адаптация классических тестовых методик отечественными научно-исследовательскими центрами и институтами крайне затруднено. Наукоемкость разработки тестов и сложность процедуры их стандартизации обуславливают значительную себестоимость подобных проектов. Однако такая работа все-таки ведется.

До последнего времени, практически единственным источником пополнения тестовой базы являлись отдельные западные разработки. Мы не можем взять на себя ответственность оценивать научную обоснованность и практическую эффективность работы данных тестов, ведя речь об их использовании в той среде, для которой они были разработаны и где были апробированы. Однако еще раз следует напомнить, что механическое использование самого наиэффективнейшего теста в социальной среде, отличной от среды проведения стандартизации, с большой долей вероятности даст результаты ненадежные и невалидные. Компьютеризированный психологический тест не является обычным программным продуктом, адаптация которого сводится к замене языка интерфейса и незначительным внутренним корректировкам. Перенесение психологических методик на новую почву требует полномасштабной социальной, ментальной и языковой адаптации стимульного материала, а также внесения изменений в нормативы перевода сырых результатов в стандартные баллы.

В связи с вышесказанным, целесообразно дополнительно уточнить содержание таких понятий как надежность и валидность тестовых методик.

В практическом смысле под надежностью, как правило, понимают постоянство (устойчивость) результатов измерений. По аналогии психологический тест как измерительный инструмент можно сравнить с весами. Если последние при каждом последующем взвешивании различных предметов, обладающих одним весом, действительно будут показывать одинаковый вес, их показания будут считаться надежными. Аналогично и с тестами. Если проведение тестирования в различное время и по различным выборкам подтверждает повторяемость результатов, значит можно вести речь о надежности данного теста.

Если надежность основывается на повторяемости полученных результатов, то валидность означает научную обоснованность, подтвержденность фактами. По отношению к тестированию, валидность в психологической литературе часто определяют как «правильность, содержательность и полезность конкретных выводов, сделанных из результатов тестирования». Иными словами, валидной можно считать методику, которая позволяет исследовать определенный объект в соответствии с заранее обозначенными критериями и получить в результате исследования заранее прогнозируемый, исходя из научного обоснования, результат.

Теперь проиллюстрируем различие между надежностью и валидностью при помощи широко известного примера. «Предположим, что преподаватель хочет измерить интеллект своих студентов. Вспомнив древнюю мудрость, согласно которой, чем больше размер головы (а именно головного мозга), тем выше интеллект, преподаватель решил измерить окружность головы каждого студента при помощи сантиметра. Получит ли преподаватель надежные измерения, если поступит таким образом? ДА! Если у преподавателя точный сантиметр и он проведет тщательно замеры, то он получит вполне надежные результаты. Однако будут ли подобные измерения интеллекта валидными? Конечно, НЕТ! Никаких научных доказательств того, что у людей с более высоким уровнем интеллекта головы больше, чем у менее интеллектуальных, не существует. Измерения, в данном случае, будут надежными, но научно не обоснованными и эмпирически не подтвержденными».

Как показывает пример, надежный измерительный инструмент не всегда обладает валидностью. При этом ненадежное измерение вообще не может быть валидным.

Для проведения эффективной оценки качества знаний должны быть разработаны особые формы контроля. Важнейшим и наиболее эффективным способом оценки качества обучения является применение современных компьютерных технологий. Одним из наиболее перспективных и эффективных направлений оценки качества обучения является адаптивное компьютерное тестирование знаний, умений и навыков учащихся.

В настоящее время в практику системы образования активно внедряется компьютерный тестовый контроль знаний. Однако эффективное внедрение этого контроля тормозится отсутствием научно-методических основ разработки и применения компьютерных тестовых заданий, а также отсутствием самого банка аттестационных педагогических измерительных материалов, отвечающих требованиям современной теории и практики тестирования.

Культура проектирования тестовых заданий связана с конструированием и представлением в инструментальной среде тестовых ситуаций, построенных с применением стандартных форм и методологических правил и отражающих смысл и содержание фрагментов учебного материала. Банк тестовых заданий по различным дисциплинам высшего профессионального образования должен соответствовать Государственному образовательному стандарту и требованиям спецификации взаимодействия тестов и тестирования глобального образовательного консорциума Global Learning Consortium, IMS. Этот банк должен содержать значительный объем тестовых заданий, структурированных по форме, содержанию трудности таким образом, что бы тесты, сформированные на их основе, обеспечили бы проверку качества образования. Для решения этой задачи предлагается использовать тестовые задания различного уровня трудности и различной формы, позволяющие проверять различные уровни знаний от простейшего узнавания до практического умения, использовать полученные знания при решении стандартных и нестандартных задач.

Процесс компьютерного адаптивного тестирования разделяется на два этапа в соответствии с уровнем знаний студентов, участвующих в процессе тестирования. На начальном этапе знание о степени обученности объекта у тестирующей системы полностью отсутствует, следовательно, проектирование траектории его заключений необходимо осуществлять с учетом эмпирических результатов, накапливаемых в процессе испытаний. На этой стадии тестовых проверок не следует полагаться на факторы случайности, а необходимо использовать возможности подбора меры трудности тестовых ситуаций и формировать “образ” тестируемого с учетом его поведения. На втором этапе подтверждаются первоначально выявленные причинно-следственные отношения, для чего используются методы систематизации научных наблюдений, регулярно приобретаются новые данные о качестве заключений испытуемого на однородные по мере трудности тестовые задания. На этой стадии можно выявить закономерности, присущие поведению каждого конкретного испытуемого из данного класса обученности. Важным обстоятельством является также то, что на этом этапе более верно оценивается реальная степень обученности испытуемого, что представляет дополнительный материал для правильного построения теоретической модели элементов однородной эмпирической системы компьютерного тестирования.

2. Проблемы адаптивного тестирования и адаптации тестов личностным особенностям тестируемых

Стратегии и тактики совершенствования систем контроля. Увеличение масштабов тестирования в образовании и разработка государственных образовательных стандартов порождают спектр проблем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки обучаемых, оценки самого процесса тестирования, повышения его эффективности путем адаптации в условиях немедленного реагирования на индивидуальные особенности подготовки испытуемых.

Попытки привнести элементы адаптивности в процессы обучения и контроля насчитывают многолетнюю историю. В определенной степени можно считать, что основные установочные идеи адаптивности берут свое начало в учении великого чешского педагога-мыслителя Яна Амоса Коменского. Разрабатывая новые формы и методы обучения, ученый пришел к выводу о приоритете тех учебных заданий, которые отвечают природным возможностям детей, утверждая тем самым необходимость посильных заданий, стимулирующих успехи в обучении. В последующие десятилетия идеи Я.А. Коменского поддерживались в разных формах обучения большим количеством педагогов, в числе которых были и русские: К.Д.Ушинский, Л.Н. Толстой и многие другие, которые видели возможность оптимизации обучения и контроля каждого из учеников во введении различных игровых форм обучения, в активизации самообучения и самоконтроля, в изучении психологических особенностей личности каждого обучаемого. Таким образом, уже в конце XIX - начале XX веков в педагогике прослеживается установка на учет индивидуальных особенностей обучаемых, на развитие их самостоятельного и творческого отношения к учению, предоставление им возможности проявления своих склонностей. Говоря современным языком, можно утверждать, что в указанный период были заложены первые фундаментальные идеи адаптивного обучения и контроля. Правда, получить должную реализацию в то время эти идеи не смогли.

Позднее, в 20-е годы XX века, когда в образовательной системе нашей страны наблюдался период критики формализма и схоластики, оставшихся в наследство от дореволюционной школы России, идеи развития творческой самостоятельности обучаемых, самоконтроля результатов учебной деятельности получили широкое распространение.

К числу первых советских педагогов, видевших перспективу развития образовательного процесса не в отказе от контроля, не в искусственном преобразовании личности обучаемого, а в повышенном внимании к индивидуально-психологическим особенностям учащихся, можно отнести С.Т. Шацкого и П.П. Блонского. Они полагали, что важнее всего создать деловые отношения между учителем и учеником, которые возникают при выполнении заданий трудных, но посильных для обучаемых. Задача педагога, следовательно, состояла в том, чтобы отобрать эти трудные, но посильные задания, которые способствуют установлению атмосферы сотрудничества в процессе обучения и контроля.

В наши дни она оформилась в виде основополагающих идей адаптивного обучения и контроля, где адаптивность достигается путем отбора оптимальных по трудности заданий для обучения и контроля результатов учебной деятельности учеников или студентов.

Ситуация в области адаптивного тестирования. М.Б. Челышкова, известный ученый в области педагогических измерений и оценки знаний учащихся, провела анализ многочисленных работ отечественных и зарубежных исследователей в области тестирования и пришла к выводу о том, что в настоящий момент отсутствуют значимые результаты по установлению связи между уровнем подготовленности обучаемых и характеристиками знаний, выделяемых для эффективной организации адаптивного обучения. В своих исследованиях М.Б. Челышкова пишет о том, что если обратиться к практике, то также можно проследить отрицательную тенденцию, которая заключается в доминирующей общей направленности традиционных процессов обучения и контроля на какого-то «среднего обучаемого», отсутствующего в реальной жизни. Общеизвестно, что все обучаемые разные. Поэтому тенденция на «усредненность» приводит к тому, что у части более сильных учащихся не возникает стимулов для получения новых знаний и их развития. Другая часть обучаемых, у которых более низкий уровень подготовки, оказывается не в состоянии овладеть новыми знаниями даже с помощью преподавателя.

Можно отметить, что в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тестирование, осуществляемое с помощью стандартизированных тестов, постепенно перерастает в современные, более эффективные формы адаптивного тестирования, которые основываются на отличных от традиционного теоретико-методологических основах и иных технологиях конструирования и предъявления тестов.

В нашей стране теоретические исследования по проблемам адаптивного тестирования представлены еще явно недостаточно. Назовем имена некоторых ученых, работающих в этом направлении: Абрамян Г.В., Аванесов B.C., Нардюжев В.И., Челышкова М.Б., Шмелев А.Г. За рубежом с начала 90-х годов адаптивное тестирование получило широкое применение в сфере практики. Однако можно отметить, что в отечественных и зарубежных научных работах по данной проблематике еще слабо представлены вопросы классификации адаптивного тестирования, его функции, теоретические вопросы адаптивного обучения и адаптивного тестового контроля.

Очевидно, что в настоящее время проблема адаптивных тестов чрезвычайно актуальна. У истоков адаптивного тестирования лежало стремление к повышению эффективности тестовых измерений, что, как правило, связывалось с уменьшением числа заданий, времени, стоимости тестирования и с повышением точности оценок, полученных испытуемыми по результатам выполнения теста. Исследователи видели возможность повышения эффективности в адаптации тестов, трудность которых учитывала диапазон подготовленности тестируемых.

Учитывая учебные стили учащихся, преподаватели могут создать собственные адаптивные тесты, дающие гораздо больше информации о способностях и знаниях учащихся, чем тесты стандартизированные.

Так, тесты с открытыми вопросами, утверждает Б. Ливер, дают обучаемым синтетического типа возможность проявить свои творческие способности и способности к синтезу. Тесты на решение определенных задач позволяют учащимся-аналитикам применять свои способности к анализу. Письменные тесты дают достоверные результаты как для учащихся визуального типа, так и для обучаемых кинетического типа, а визуальные тесты, безусловно, лучше применимы для учащихся визуального типа. Импульсивные студенты хорошо справляются с традиционными тестами с ограниченным сроком выполнения; рефлексирующим студентам потребуются тесты, в которых не задан лимит времени. Для учащихся синтетического типа трудны тесты с возможностью множественного выбора вариантов ответа. Студенты-аналитики, считает Б.Ливер, выигрывают от тех видов деятельности, которые позволяют им углубиться в детали, проанализировать, сделать вывод. Таким образом, из сказанного выше следует, что американские ученые активно используют данные психологии в обучении и оценке знаний и умений учащихся.

Назовем факторы, формирующие, на наш взгляд, нынешнюю ситуацию в сфере адаптивного тестирования в России и способствующие актуализации этого направления:

в общем и высшем российском образовании происходит резкое расширение объема содержания образования: информатизация всех
уровней образования, увеличение веса творческого аспекта в обучении на всех этапах образования;

очевиден и рост масштабов тестирования в образовательной системе нашей страны, где за последние пять лет количество школьников и студентов, прошедших через итоговое тестирование, возросло с 35 тысяч до 80 тысяч человек;

разработка нового поколения государственных стандартов, в частности по отдельным дисциплинам (имеем в виду РКИ), которые, в
свою очередь, актуализировали проблему массовых измерений в отношении уровня и качества подготовки учащихся. Создание же государственных образовательных стандартов связывается, как нам кажется, с проблемой конкурентоспособности будущего специалиста, который должен обладать многоплановой, многоуровневой и многоаспектной компетенцией, в том числе в области иностранного языка и русского языка как иностранного.

Тестирование, проводившееся русистами-практиками в течение последних лет в Российском университете дружбы народов (ежегодно при переходе с одной образовательной ступени на другую тестируется свыше 200 человек) показало, что, следуя принципам российской методики преподавания РКИ с ее личностно-ориентированным подходом к обучению и для повышения качества тестового контроля, для придания тестированию динамики необходимо учитывать индивидуальные особенности как самих испытуемых, так и особенности их подготовки.

Адаптивное отношение к тестовому контролю выражается и в учете возрастных особенностей учащихся. Трудно объективно оценить умения в устной речи у учащегося по следующему заданию: «Вас заинтересовала реклама или объявление в газете, рассказывающее о том, как воспитывают детей в московском детском саду, так как вы хотите устроить своего ребенка в определенный детский сад. Позвоните по указанному в объявлении телефону и организуйте свой диалог на заданную тему». Заметим, что, во-первых, не для всех иностранных студентов ясно, что такое российский детский сад, во-вторых, на их родине устройство детей в детский сад предполагает часто совершенно иной набор вопросов, например, обязателен вопрос о стоимости этой услуги. Кроме того, встает вопрос - откуда студенту вообще знать о том, что спрашивают родители в таком случае. Наиболее находчивые испытуемые свое неумение организовать предполагаемый диалог шутливо объясняли так: «Будь я отец, я бы не по телефону узнавал о том, где будет воспитываться мой сын или моя дочь, а поехал бы посмотреть на месте» (подобное «разрешение» вопроса было предложено тестируемыми из Японии и др.).

Подводя итог сказанному, позволим сформировать вывод-определение адаптивного тестирования. Итак, под адаптивным тестированием нами понимается процесс подготовки к контролю в форме тестовых методик через обучающие тесты градуированного (от простого к более сложному и уровневому) характера и собственно контроль, корректно учитывающий индивидуально-личностные, национально и культурно ориентированные особенности иностранных учащихся, овладевающих русским языком в пределах и за пределами своей страны, в частности в среде изучаемого языка.

Заключение

Адаптивное тестирование заключается в том, что предъявляемые испытуемому текущие задания зависят от результатов его ответов на предыдущие задания. Вследствие этого испытуемому может предъявляться значительно меньше заданий с сохранением диагностической способности целого объемного теста. Технической предпосылкой адаптивных тестовых методик служит способность компьютеров за счет быстродействия вести обработку поступающих данных в масштабе реального времени.

Принятие решения об изменении порядка предъявления тестовых заданий осуществляется либо на каждом шаге тестирования (постоянная адаптация), либо после анализа результатов отчетов испытуемого на специальный блок заданий (блочная адаптация). Теоретической основой первого подхода является существование несимметричных статистических связей между ответами испытуемого на задания тестов, которые выявляются по результатам обследования представительных выборок. В зависимости от текущего результата тестирования в последовательность стимулов могут включаться специальные сообщения, оказывающие корректирующее психологическое воздействие на испытуемого, например, «наказание» за фальсифицикацию ответов возвратом к исходному заданию теста.

Список литературы

валидность тестирование адаптивный

1. Вассерман Л.И., Дюк В.А., Иовлев Б.В., Червинская К.Р. Психологическая диагностика и новые информационные технологии. - СПб. - 2007. - 203с.

2. Гурьева А.П. Психологические последствия компьютеризации: функциональный, онтогенетический исторический аспекты // Вопросы психологии. - 2003. - № 3.

3. Наумов Н.Д. Психолого-педагогические проблемы компьютерной диагностики мышления // Вопросы психологии. - 2001. - № 2.

4. Немов Р.С. Психология: в 3-х кн. - М..Владос, 2005. - 559с.

5. Общая психодиагностика методические указания./ Автор-составитель О.В. Белова. - Новосибирск: Научно-учебный центр психологии НГУ, 2006.

6. Общая психология. /Ответственный редактор В.В. Петухов. - М.: Психология. Генезис. 2001.

7. Основы психодиагностики / Под ред. А.Г. Шмелева. - Ростов-на-Дону, 2006.

8. Психологическая диагностика / Под ред. К.М. Гуревича, Е.М. Борисовой. - М., 2007.

9. Трофимова И.Н. Прогнозирование поведения человека как задача экспертной психодиагностической системы // Вопросы психологии. - 2004. - № 3. - С. 115-121.

Размещено на Allbest.ru