Особливості адаптивного тестового контролю знань учнів

Размещено на http://www.allbest.ru/

Особливості адаптивного тестового контролю знань учнів

Атаманчук Олександр Михайлович

Приєднання України до Болонської декларації активізувало впровадження тестів у системі освіти. Ефективність тестування можна підвищити, використовуючи технологію комп'ютерного тестування і адаптивний підхід в навчанні, тобто пропонувати учням завдання відповідні їх підготовленості. Підготовка до тестування передбачає розташування завдань різного рівня трудності і тестованих з різними здібностями на шкалі таким чином, щоб ці два параметри дозволяли в кожному конкретному випадку зробити висновок про ймовірність розв'язання того чи іншого завдання. На цій особливій властивості засновано адаптивне тестування, метою якого є створення об'єктивних індивідуальних вимірників, що дозволяють автоматизувати процес контролю, оптимізувати число завдань не зменшуючи точності вимірювання.

Ключові слова: адаптивний тестовий контроль знань, комп'ютерне тестування, педагогічне дослідження, системи тестування, комп'ютерні технології.

адаптивний тестовий контроль

Постановка проблеми. У розвинутих країнах важливою складовою життєдіяльності сучасного суспільства стали тести. Їх застосування як інструменту вимірювання індивідуальних характеристик та рівня знань особистості обумовлено універсалізмом, широким спектром застосування (у психології, педагогіці, спорті, медицині, у системі професійного відбору), високою ступеню об'єктивності отриманих результатів. Приєднання України до Болонської декларації активізувало впровадження тестів у системі освіти. Однак для того, щоб участь країни у Болонському процесі не була формальною, суспільству необхідно докорінно змінити ставлення до сфери освіти і до процесів, які в ній відбуваються. Інтеграція України у міжнародне співтовариство вимагає співставлення освітніх рівнів, а також узгодження принципів підготовки спеціалістів. Заклади вищої освіти мають підтверджувати високий рівень професійних знань фахівців як одного із основних показників, що визначають добробут населення. Тому першочерговим завданням сьогодні є запровадження сучасних технологій навчання і оцінювання в системі як загальної так і вищої освіти. Гостроту цієї проблеми зумовлено, з одного боку, впровадженням системи ЗНО та необхідністю підготовки та успішного проходження цього виду відбору для вступу до вищих навчальних закладів, можливістю навчання за кордоном, а з іншого - застарілістю наукових основ дидактики контролю, недосконалістю систем оцінювання освітніх досягнень як учнів так і студентів. Саме контроль результатів забезпечує зворотний зв'язок у процесі навчання та об'єктивну інформацію про успішність окремого учня.

Перед педагогами постає проблема вибору засобів педагогічної діагностики, які базуються на відповідних дидактичних принципах вимірювання результатів навчання. Підготовлений відповідним чином комплекс тестових завдань дає змогу з використанням певних діагностичних методів правильно оцінити рівень знань і вмінь суб'єктів навчання. Останнім часом в педагогіці все це зумовило виникнення тенденції до використання кількісних методів педагогічного контролю. Серед засобів об'єктивного контролю найбільш науково обґрунтованим є метод тестування із залученням комп'ютерних засобів для подання, обробки та візуалізації результатів.

Ефективність тестування можна підвищити, використовуючи технологію комп'ютерного тестування і адаптивний підхід в навчанні, тобто пропонувати учням завдання відповідні їх підготовленості. У цьому випадку навчання ведеться в залежності від рівнів здібностей учнів з різних навчальних програм. Такий перехід на адаптивне комп'ютерне тестування при випереджаючій методологічній розробці його технології дозволить забезпечити навчальний процес якісним діагностичним інструментарієм.

Аналіз останніх досліджень та публікацій. Проблемам впровадження комп'ютерного тестування присвятили праці науковці: В. Аванесов, І. Булах, В. Гогунський, А. Кудін,

А. Майоров, М. Мруга, В. Сергієнко і багато ін. Теорію адаптивного тестування розробляли

А. Анастазі, В. Божкова, П. Федорук, Д. Швець, Weiss D., Weiner P., Swets R.

Мета статті. Огляд досліджень у галузі застосування адаптивного комп'ютерного тестування, з'ясування особливостей підготовці та проведенні адаптивного тестування.

Виклад основного матеріалу дослідження. Ефективність тестування можна підвищити, використовуючи технологію комп'ютерного тестування і адаптивний підхід в навчанні, тобто пропонувати учням завдання відповідні їх підготовленості. У цьому випадку навчання ведеться в залежності від рівнів здібностей учнів з різних навчальних програм. Такий перехід на адаптивне комп'ютерне тестування при випереджаючої методологічній розробці його технології дозволить забезпечити навчальний процес якісним діагностичним інструментарієм.

Особливий інтерес в методологічному плані представляють для комп'ютерного тестування дослідження в області психології і математичного моделювання в педагогіці. Методики математичного моделювання знаходять застосування при створенні адаптивних комп'ютерних діагностично-коригувальних програм. У дидактичному комп'ютерному тестуванні адаптивна стратегія представляється оптимальною, як відзначають Анастазі А. [2], Булах І. [3], Федорук П. [4], і вона відповідає вимогам гуманістичної педагогіки про навчання без стресів, але при цьому існує проблема особливості поведінки в роботі з комп'ютерними контролюючими програмами, проблема інтеграції понятійного апарату експериментальної психодіагностики та комп'ютерного тестування (коригування, операціоналізація та ін.).

Відзначимо, що в даний час накопичився значний теоретичний потенціал для розвитку теорії та практики адаптивного тестування учнів, а саме: розвиток математико-статистичного апарату, комп'ютерних технологій і сучасних психолого-педагогічних теорій навчання учнів. Сутність адаптивного тестування обумовлена його положенням на стику різних теорій, а саме це:

психолого-педагогічні теорії, що розкривають принципи і методи діагностики індивідуальних схильностей, здібностей і можливостей учнів (О. Д. Божович, М. А. Холодна,

І. С. Якиманська та ін.);

теорія освітнього моніторингу (О. Боднар, Н. Вербицька, Г. Єльнікова, Є. Заїка,

O. Ляшенко і ін.);

кваліметрична теорія вимірювання педагогічних показників (О. Ануфрієва, Г. Данілова, Г. Дмитренка, Г. Єльникова, О. Касянова та ін);

теорія освітньої тестології і сучасна теорія тестових вимірювань (В. Аванесов, А. Анастазі, А. Майорова І. Булах, В. Божкова, М. Мруга, Д. Швець та ін.);

теорія моделювання комп'ютерних адаптивних систем тестування, здатних реагувати на індивідуальні особливості підготовки учнів (Є. Машбіц, Г. Атанов, Н. Д. Панкратова, П. І. Федорук та ін.).

Технологію проведення сучасного комп'ютерного тестування дослідники І. Булах, P. Гуревич, А. Коломієць, Н. Тверезовська розглядають в кількох напрямках, а саме: заміна бланкової форми завдань пред'явленням на екрані комп'ютера і оперативна обробка результату з ранжируванням учасників масового тестування; автоматизовані навчальні системи з можливостями адаптації до рівня навченості учня, його індивідуального стилю і темпу, що поєднують констатуючу та коригувальну функції діагностики, які закладаються в систему тестової перевірки, тобто адаптивне тестування з пред'явленням завдань з банку завдань, забезпечуючи тим самим оптимальне і об'єктивне тестування кожного учня в обраної моделі вимірювання; комп'ютерні і мультимедійні технології з можливістю моделювання, що дозволяють проводити більш глибокий діагностичний аналіз, індивідуалізують темп і рівень засвоєння і закріплення, що активізують самоорганізацію учня під час навчання; дистанційні технології з поєднанням навчання і тестування. Комп'ютерне тестування уможливлює автоматизувати процес контролю і контролювати знання на всьому протязі навчання, що істотно підвищує об'єктивність оцінки знань учнів.

Питання адаптивного тестування привертали увагу зарубіжних дослідників і з початку 90-х років комп'ютерне адаптивне тестування отримало за кордоном широке визнання в сфері практики освіти. У роботах зарубіжних вчених (R. K. Hambleton [6], W. A. Sands [7], J. Spray [8], R. Swets [9], P. H. Wainer [10], і ін.) представлений досвід тестування на комп'ютерах, при якому регулюється рівень складності завдань в тесті і в результаті виходить більш точне вимірювання індивідуальних можливостей. На думку зарубіжних фахівців виділяються наступні етапи в розвитку комп'ютерного тестування:

Комп'ютерні тести, які об'єднали досягнення в психометрії з технологією адаптивного тестування, по суті аналогічні бланковим, дозволяють автоматизувати процес, ефективні і пропонують різні алгоритми адаптивного тестового контролю.

Якісна зміна природи тестових завдань і відповідей, використовуючи графіку, анімацію, звук, відео, інтернет-технологію, що дозволить вимірювати нові характеристики особистості.

Злиття навчання і тестування в електронних засобах навчання на базі сучасних комп'ютерних технологій, що дозволить впроваджувати в практику навчального процесу адаптивне навчання і адаптивний контроль.

Зарубіжними вченими-практиками робиться висновок, що комп'ютерне тестування є життєздатною, реальною альтернативою традиційному бланковому тестуванню, здатне охопити великі групи учнів, забезпечити оперативний і об'єктивний контроль знань на всьому протязі вивчення матеріалу. При цьому важливим є сукупність вимог до змісту, оформлення тестових завдань і розробка методики проведення адаптивного тестування. До останнього часу ідея автоматизованого адаптивного контролю розвивалася в дослідженнях, що відносяться в основному до двох напрямків: статистична теорія тестів і створення автоматизованих систем навчання.

У роботах першого напряму F. M. Lord, D. J. Weiss [11] велика кількість завдань, з яких може відбуватися вибір, впорядковано уздовж деякої одновимірної шкали, що відображає якийсь один властивість цих завдань, наприклад, складність завдання. Залежно від відповіді учня (правильний/неправильний) вибирається наступне для пред'явлення завдання: в разі правильної відповіді - завдання, що стоїть на шкалі правіше (більш важке), в разі неправильного то, яке розташоване лівіше (менш важке). Однак така процедура не надає відповідь на питання зміни трудності завдань під час виконання тесту. Для цього існує кілька стратегій такого вибору. Спочатку різниця трудності пропонованих завдань велика, і вона поступово зменшується, поки врешті-решт завдання, на які виходять правильні відповіді, які не будуть приблизно однакової складності. В результаті цієї процедури успішність випробуваного оцінюється тим рівнем складності завдань, на якому він правильно виконав половину завдань. Оцінка учня за основною характеристикою (шкалою), по якій впорядковувалися завдання, обчислюється з урахуванням характеристичних кривих розв'язуваних їм завдань тестової теорії IRT.

Інший підхід реалізовано на аналізі змісту навчального матеріалу, який перевіряється у тесті. При цьому підході формалізовано змістовний аналіз під час контролю та мінімізовано вплив перевіряючого на результати перевірки. Таким чином, особливістю адаптивного контролю є важливість для кінцевого результату перевірки крім відповідей учня властивостей навчального матеріалу, форми та змісту тестових завдань як інструменту контролю. Аналіз теорії і практики і сучасні вимоги до контрольно-оцінної системі, здатної оцінити якість навчання, показують, що традиційне тестування за допомогою стандартизованих тестів фіксованою довжини переходить в сучасні форми адаптивного тестування. В останнє десятиліття, як зазначає B. C. Аванесов [1], розвиток тестів характеризується надзвичайно широким використанням моделей вимірювання в таких напрямках сучасної технології освіти як рейтинг, модульний принцип організації навчання, адаптивне навчання і адаптивний тестовий контроль. У зв'язку з вищевикладеним виникає необхідність в розробці теорії та практики адаптивного контролю якості знань учнів.

Згідно положень сучасної тестології, адаптивний тест - система тестових завдань створена відповідно особливостям підготовки учнів з спеціально підібраних завдань за трудністю, диференційною здатністю, змістовною валідністю, оцінюваних кореляційним, факторний і латентно-стратегічним аналізом. При адаптивному тестуванні крім кількості завдань враховується додатково їх якість, необхідна для диференційованої оцінки тестованого. Мета цієї стратегії - точне визначення позиції тестованого за допомогою вимірювання його латентних здібностей. Теоретичним фундаментом для адаптивного тестування служить теорія педагогічних вимірювань, теорія діагностування та освітня тестологія. Дослідження Л. С. Виготського про зони найближчого розвитку дитини підготували ґрунт «для створення методики диференціації завдань в індивідуалізованому режимі, що дозволяє організувати для кожного випробуваного адаптивне навчання і адаптивний тестовий контроль» [4, с. 13]. Для підвищення точності оцінки якості знань учнів різної підготовки необхідно мати банк тестових завдань різної трудності.

Таким чином, необхідний пошук шляхів підвищення якості тестових технологій на основі адаптованих тестових вимірників, розгляд підходів до обґрунтування критеріїв оцінювання якості знань, оцінювання результатів навчально-пізнавальної діяльності учнів, оцінювання статистичних даних для аналізу і виявлення динаміки і прогнозування подальшого розвитку подій.

Уявлення про якість знань асоціюється з внутрішнім станом учня, а результати навчання визначаються за зовнішніми, спостережуваними результатами виконання тесту, що справедливо може свідчити про некоректність інтерпретації результатів тестових вимірювань. Для вирішення цього протиріччя дослідники пропонують використання спеціальних моделей вимірювання, що поєднують латентні параметри випробовуваних з результатами спостережень за учнями в рамках тестової теорії ЖТ, що є теоретичною основою адаптивного тестування. У математичної моделі ЖТ ймовірність правильної відповіді на тестове завдання визначається рівнем підготовленості випробуваного і трудністю завдання. При цьому під вимогу моделі вимірювання з урахуванням мети тестування і специфікації тесту можна планувати результати. Кількість тестових завдань (ТЗ) в таких тестах і їх параметри вибираються так, щоб знання випробовуваних можна було виміряти з заданою точністю. В основі цієї моделі закладена незалежність оцінки рівня знань ^;) і-го тестованого від труднощі (В,) Дтих тестових завдань, що визначає стандартний характер одиниці виміру (логіт), стійкість значень, об'єктивність результатів і можливість проведення автоматизованих розрахунків на комп'ютері. Завдання різного рівня трудності і тестованих з різними здібностями розташовують на шкалі таким чином, щоб ці два параметри дозволяли в кожному конкретному випадку зробити висновок про ймовірність розв'язання того чи іншого завдання. На цій властивості засновано адаптивне тестування, метою якого є створення об'єктивних індивідуальних вимірників, що дозволяють автоматизувати процес контролю, оптимізувати число завдань не зменшуючи точності вимірювання.

Дослідники використовують для створення тестів керуватися матрицею відбору навчального матеріалу, доповнимо її інформацією яка відображає особливості адаптивних тестів.

Таблиця

Параметри змісту для нормативних, критеріально-орієнтованих і адаптивних тестів

Висновки та перспективи подальших досліджень

Основні проблеми при конструюванні і застосуванні завдань адаптованого тесту: модульний принцип структурування змісту навчального курсу, виділення структурних одиниць у вигляді «навчальних одиниць» (дескрипторів), застосування обраної моделі вимірювання, підвищення змістовної валідності тестових завдань, надійності результатів тестування учнів, можливості комп'ютерного тестування.

До недоліків адаптивного тестування, на нашу думку, можна віднести труднощі формування банку тестових завдань з певними параметрами на основі теорії IRT, тому що при цьому потрібно емпіричне апробування на великих вибірках учнів.

Перспектива подальших досліджень орієнтована на розробку тестових завдань та апробацію комп'ютерної програми із застосуванням теоретичних наробок адаптивного тестування з математики учнів шкіл.

Список використаних джерел

Аванесов B. C. Научные проблемы тестового контроля знаний: учебное пособие. Москва: МГТА, 1994. 135 с.

Анастази А., Урбина С. Психологическое тестирование: монография. Санкт Питербург: Издательство Питер, 2003. 688 с.

Булах І. Є. Теорія і методика комп'ютерного тестування успішності навчання (на матеріалах медичних навчальних закладів): дис. ... доктора пед. наук: 13. 00. 01 /Київський національний університет імені Т. Г. Шевченка. Київ, 1995. 430 с.

Выготский Л. С. Проблема обучения и умственного развития в школьном возрасте: Хрестоматия. Москва: Редакционно-издательский центр "Помощь", 1996. 480 с.

Федорук П. І. Методологія організації процесу індивідуалізованого навчання із використанням адаптивної системи дистанційного навчання та контролю знань. Науково-теоретичний журнал. Штучний інтелект. Донецьк, 2006. №23. С. 480-486.

Hambleton R. K. Handbook of Modem Item Response Theory. Editors Win Ivan der Linden. USA, New York: Springer-Verlag, 1997. 510 p.

Sands W. A., Walters B. K., Mc. Bride I. R. Computerized AdaptiveTesting: From Inguiry to Operation. USA, New York 1997.

Spray J. A., Reckase M. D. The Selection of test items for decision making with a computer adaptive test. I Paper presented at the national meeting of the National Council on Measurement in Education. New Orleans, 1994.

Swets R., Zeitlinger K. M. An applied study on computerized adaptive testing. Amsterdam, 1989.

Weiner P. H., Dorans N. J., Flaugher R., Mislevy R. J., Green B. F., Steinberg I., Thissen D. Computerized Adaptive Testing. USA, New York 1990.

Размещено на Allbest.ru