Тестовий контроль у процесі навчання фізики

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Тестовий контроль у процесі навчання фізики

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата педагогічних наук

Загальна характеристика дослідження

Актуальність дослідження. Тестовий метод контролю набув значного розвитку і впроваджений майже в усі сфери діяльності людини в розвинутих країнах світу. Таке його поширення пояснюється тим, що на відміну від інших способів контролю, тестовий метод принципово здатен забезпечити стандартизацію змісту контролю, умов його проведення і процедури оцінювання результатів. Отже, він принципово може забезпечити об'єктивність, валідність і точність контролю результатів навчального процесу. Звичайно, унікальність та цінність тестового методу контролю результатів навчального процесу була і залишається предметом дискусій педагогів і методистів, а забезпечення реальної об'єктивності, валідності та надійності тесту залежить від багатьох чинників і вимагає дотримання кількох спеціальних вимог, які будуть розглянуті в роботі Незважаючи на це, велика практична цінність тестового методу не викликає сумнівів і красномовно підтверджується зарубіжною і вітчизняною практикою його застосування. В системах освіти багатьох країн, наприклад, поширені стандартизовані загальнонаціональні тести, тестування за якими набули характеру обов'язкових. Як метод вимірювання, тестування має також велике теоретичне значення, яке важко переоцінити для педагогічної науки, в якій дослiдження часто ведуться на якісному рiвні.

Серед переваг тестового методу оцінювання необхідно відмітити його оперативність, а також можливість одночасного масового контролю знань усього потрібного контингенту учнів чи студентів При цьому тестовий метод дозволяє звільнити викладача від участі в процедурах контролю і обробки результатів.

Нарешті, певної досконалості тестовий метод набуває у вигляді комп'ютерного тестового контролю результатів навчального процесу. Комп'ютерний тестовий контроль є важливою складовою нових інформаційних технологій навчання, які поступово і невідворотно втілюються в педагогічну практику і зараз є символом прогресу в ній.

Визначнi досягнення педагогічної тестології на Заході пов'язані з працями Р. Ебеля, К. Інгенкампа, П. Лазарсфельда, Ф. Лорда, Дк. Макка, Дж. Реска, Є. Торндайка, X. Уельса, Ж..М. Фабра, Р. Фрике, Р. Хамблета, Дж. Ханта та інших. Проблеми педагогічної тестології досліджували i досліджують українські та росiйські методисти, педагоги і психологи, серед яких: В.C. Аванесов, П.С. Атаманчук, В.П. Беспалько, О.І. Бугайов, Л.А. Булавін, І.Є. Булах, К.В. Корсак, Є.В. Коршак, І.П. Підласий, Н.М. Розенберг, П.І. Самойленко, О.В. Сергєєв та інші. Зусиллями зарубiжних i вiтчизняних учених побудовано математичнi моделi тестування результатів навчального процесу, розроблено методи обчислення i стандартизації оцінок випробовуваних, а також математичні методи визначення характеристик тестiв і тестових завдань (надiйностi, валiдностi, дискримiнативностi, точності). Ці методи грунтуються на статистичному аналiзі результатів експериментальних тестувань на репрезентативних вибірках з досить великим числом випробовуваних.

Високо оцiнюючи наукове i практичне значення виконаних дослiджень, слiд в той же час зазначити, що в них математичній обробці результатів тестування присвячено значно більше уваги, ніж змісту і формулюванню тестових завдань. Проте якість тесту (його валідність, надійність, дискримінативність) закладається на етапі створення тестових завдань. Тест не може бути кращий за свої завдання. На етапі їх створення упорядник тесту вирішує багато досить складних завдань:

вибір змісту для майбутніх тестових завдань;

вибір форми тестових завдань відповідно до змісту;

складання тестового запитання;

складання достатньої кількості невірних варіантів відповіді (дистракторів);

формування однорідного списку варіантів для вибору або конструювання відповіді;

складання еталону вірної відповіді;

перевірка відсутності підказок, безглуздих варіантів чи пасток.

Успішність виконання кожного з цих завдань відчутно впливає на валідність тесту, проте виконуються вони упорядником тесту виключно на основі власного досвіду та інтуіції. В сучасній тестології не існує способів доекспериментальної валідизації тестових завдань. Існують лише загальні рекомендації відносно грубих помилок, яких необхідно уникати на етапі створення тестових завдань. Стосовно валідизації тестових завдань для перевірки результатів навчального процесу з фізики слід зауважити, що ці питання на момент початку даного дослідження широко не розглядались.

Доекспериментальна валідизація тестових завдань дозволила б значно скоротити витрати ресурсів на проведення багаторазових масових експериментiв тестування, які зараз є єдиним шляхом валідизацiї тестових завдань i тестiв. Скорочення витрат часу, зусиль i коштiв на зайву роботу сприяло б доступності i поширенню тестового контролю освіти в Україні.

У педагогічній тестології, на відміну від, наприклад, тестування в психології і соціології, виникає своєрідна проблема, яка полягає в тому, що не бажано один і той самий тест, нехай і з трохи переформульованими тестовими завданнями, повторно використовувати для тестування однієї й тієї самої вибірки випробовуваних. Це пов'язано із специфікою мотивації контролю для студентів або учнів, яка призводить до порушення валідності процедури повторного тестування. Практично успіх створення педагогічного тесту в даному навчальному році для даного контингенту учнів чи студентів визначається якістю первісно складених тестових завдань. Тому розробка способу доекспериментальної валідизації тестових завдань мала б надзвичайне значення для педагогічної тестології.

Викладені вище обставини і зумовили вибір теми дисертаційного дослідження «Тестовий контроль у процесі навчання фізики (на прикладі вивчення теоретичної фізики)».

Об`єктом дослідження є тестовий контроль у процесі навчання фізики, предметом - зміст і форми тестових завдань та способи складання і доекспериментальна валідизація тестів.

Мета дослідження полягає у розробці методики створення тестів для контролю у процесі навчання фізики.

Завдання дослідження:

На основi аналізу i випробувань визначити особливості формулювання тестових завдань, які впливають на їх валiднiсть i трудність.

Вивчити проблему рівнів трудності тестових завдань і визначити, якими мають бути критерії для рівнів трудності тестових завдань з фізики.

Дослідити і обґрунтувати принципову можливість створення способу доекспериментальної валідизації тестових завдань у вигляді алгоритму складання і валідизації тестових завдань з фізики. Для цього створити класифiкацiю фiзичних понять, побудувати класифiкацiю усiх можливих властивостей фiзичних понять, розробити класифiкацiю запитань, які можна поставити до будь-якого з цих проявів.

Створити процедури складання і валідизації тестових завдань для випадків різного типу змісту завдань, для різних форм подання відповіді (вербальної, формульної, чисельної, простої чи складеної) і викласти ці процедури у практично-застосовній формі методики (алгоритму) створення і валідизації тестових завдань з фізики.

В процесі дослідження використовувалась система теоретичних і експериментальних методів дослідження.

Основними теоретичними методами нашого дослідження є:

індуктивний метод аналізу великої кількості фізичних понять, їх властивостей; різних за змістом і формою контрольних запитань з фізики; а також особливостей формулювання різноманітних тестових завдань з метою виявлення основних закономірностей, суттєвих особливостей;

методи класифікації та типізації, які належать до формальної логіки і дали змогу побудувати класифікації фізичних понять, проявів фізичних понять і можливих запитань про них;

алгоритмічний підхід, який дозволив здійснити покроковий аналіз складної діяльності упорядника тесту і представити рекомендації до удосконалення тестових завдань у вигляді алгоритму створення і валідізації тестових завдань.

Дослідження спирається на принципи педагогічної та психологічної наук, методи системного аналізу, міждисциплінарного синтезу, генетичний метод, метод подумкового експерименту тощо.

Серед експериментальних методів:

сукупність традиційних для дидактики методів - спостереження, опитування, бесіда, анкетування, вивчення документації, педагогічні експерименти;

якісний та кількісний (з використанням елементів математичної статистики) аналіз експериментально одержаних даних;

метод експертного оцінювання, який дозволив перевірити валідність, зручність, практичну і теоретичну цінність створеного алгоритму.

Експеримент проводився у Національному педагогічному університеті імені М.П. Драгоманова протягом 1992-1998 років на кафедрі експериментальної і теоретичної фізики та астрономії, а також у науково-природничому ліцеї №145 міста Києва у 1993-1994 роках та у середній школі №242 міста Києва. В експерименті брали участь студенти відділення фізики та астрономії і школярі (усього понад 500 осіб). Досліджувались тестові завдання з квантової механіки, ядерної фізики та фізики елементарних частинок, астрометрії, шкільного курсу фізики, шкільного курсу астрономії. Діапазон тем засвідчує, що отримані висновки мають загальний характер щодо контролю теоретичних знань, умінь і навичок з фізики.

Наукова новизна одержаних результатів полягає в тому, що:

а) обгрунтована оригінальна концепція рівнів трудності тестових завдань, розроблена методика створення і валідизації тестових завдань з фізики;

б) складено систематичний і детальний перелік особливостей форм і формулювань тестових завдань з фізики, які впливають на їх валідність; причому значна частина виявлених особливостей в літературі не зустрічається;

в) створена оригінальна класифікація фізичних понять, а також класифікації властивостей фізичних понять та контрольних запитань з фізики;

г) запропоновані детально розроблені процедури і правила для вибору змісту і форми тестових завдань різних рівнів трудності, підбору достатньої кількості вдалих дистракторів, удосконалення (валідизації) тестових завдань різних типів на етапі їх складання.

Теоретичне значення дослідження полягає в концептуальному обгрунтуванні рівнів трудності тестових завдань і можливості доекспериментальної валідизації тестів з фізики.

Практичне значення одержаних результатів. Використання запропонованого алгоритму при складанні тестових завдань з фізики дозволить значно підвищити їх якість. Алгоритм надає практичну допомогу на усіх етапах створення тестових завдань, - від визначення їх змісту до перевірки наявності підказок чи пасток. Окрім детальних процедур він містить біля ста прикладів тестових завдань і етапів їх складання. Знайомство із запропонованим алгоритмом i користування ним збагатить початківця-упорядника тестiв цінними знаннями, які звичайно набуваються через довгий i важкий досвiд. Ми сподiваємось також, що спеціаліст зі складання тестових завдань теж знайде тут нові i цікавi деталi, новий шлях розв'язання деяких проблем створення тестових завдань. Оскільки бiльшість принципів, закладених у алгоритмі, має загальний характер, він стане на користь упорядникові педагогічних тестiв не лише з фізики, а й з будь-якої точної дисципліни.

Вірогідність одержаних результатів та їх обгрунтованість підтверджується адекватністю методів дослідження меті і завданням дослідження, апробацією основних положень дисертаційної роботи в педагогічному експерименті та в обговоренні результатів дослідження на конференціях і семінарах, впровадженням методичних розробок і рекомендацій у навчальний процес школи і вузу.

Особистий внесок здобувача. Автором виконані дослідження особливостей тестових завдань; сформульовані основні їх властивості, що впливають на валідність завдань; створені класифікації фізичних понять, їх властивостей і можливих запитань про них; запропонована концепція рівнів трудності тестових завдань та створений алгоритм складання і валідизації тестових завдань з фізики.

Апробацiя і впровадження результатів дослiдження здiйснювалась у ходi різних видів тестувань студентів фізико-математичного факультету НПУ імені М.П. Драгоманова у 1994-1998 роках. Результати дослiдження доповідались і обговорювались:

на Міжвузiвській науково-практичнiй конференції «Впровадження рейтингової системи оцiнювання знань студентів вузу» (Київ, 1994);

на ІІ Всеукраїнській конференції викладачів фізики педагогічних інститутiв та університетів «Проблеми удосконалення фундаментальної та професiйної підготовки вчителiв фізики» (Київ, 1996);

на науково-практичних конференціях викладачів НПУ іменi М.П. Драгоманова (Київ, 1992-1997);

на семінарах з проблем методики викладання фізики i пiдготовки вчителiв-фiзиків на кафедрі методики навчання фізики в НПУ імені М.П. Драгоманова.

Запропонована автором методика створення і валідизації тестових завдань з фізики впроваджена в практику роботи шкіл і вузів України.

Публікації. Основний змiст дисертаційного дослiдження розкрито в трьох статтях в журналі «Фізика та астрономія в школi», статтi в збiрнику наукових праць, двох тезах, депонованому методичному посiбнику «Алгоритм створення контрольних тестових завдань з фiзики».

На захист виносяться:

концепція рівнів трудності тестових завдань з фізики;

методика створення і валідизації тестів з фізики;

положення про можливість доекспериментальної валідизації тестових завдань.

Структура і основний зміст дисертації

валідність навчання фізика тестовий

Дисертація складається із вступу, трьох розділів, висновків, списку використаних літературних джерел і додатків А-З. Обсяг дисертації становить 197 сторінок, в тому числі один рисунок, 7 таблиць в основному тексті, список із 196 використаних літературних джерел на 17 сторінках. Вісім додатків мають обсяг 125 сторінок.

У першому розділі дисертації наводиться аналіз літератури з проблематики дослідження. Розкриваються психолого-педагогічні засади контролю результатів навчального процесу як компоненту системи навчального процесу. Обговорюються функції контролю в системі навчального процесу і психолого-педагогічні вимоги до методів контролю результатів навчального процесу.

Розглядається тестовий метод контролю результатів навчального процесу як такий, що принципово здатен забезпечити стандартизованість, обєктивність, валідність, надійність і точність, високу дискримінативність контролю. Наводяться форми тестових завдань, застосовні у педагогічному тестуванні з фізики, обговорюються їх відомі переваги й недоліки. Розглядаються основні характеристики тестів і тестових завдань - валідність, надійність, дискримінативність тощо, - способи їх визначення і забезпечення належного рівня цих характеристик. Підкреслюється, що якості тесту залежать від якостей тестових завдань і закладаються на етапі створення тестових завдань. Висвітлюються питання стандартизації тестів, а також питання організації тестового контролю відносно інших компонентів системи навчального процесу.

Окрема увага приділяється проблемі перевірки характеристик тестових завдань на етапі їх створення. Перевірка валідності створюваних тестових завдань повинна включати забезпечення валідності змісту (в тому числі валідності трудності) завдань, вибір придатної форми для завдання даного змiсту, перевірку простоти, зрозумілості й однозначності формулювання інструкції, запитання i варіантів відповіді, перевiрку списку варiантiв вiдповiдi на відсутність невдалих варіантів. У цій частині першого розділу подається огляд і аналіз відомих концепцій рівнів трудності тестових завдань. Обговорюються результати експерименту з застосування концепції рівнів трудності В.П. Беспалька для тестового контролю з теоретичної фізики. Результати експерименту та бесід із студентами свідчать, що трудність завдань першого і другого рівнів принципово не відрізняється. Більшість завдань на відтворення різних аспектів вивченого матеріалу насправді вимагають майже всіх видів розумової діяльності (від впізнавання і пригадування до пошукових дій), в залежності від особливостей змісту запитання і знань кожного випробовуваного.

На основі аналізу літературних джерел визначаються умови використання різних форм тестових завдань. Наводяться відомі з літератури вказівки щодо простоти, зрозумілості і однозначності фраз, які використовуються у формулюваннях тестових завдань і варіантів відповідей, а також вказівки стосовно вживання деяких слів і словосполучень («іноді», «часто», «все», «кожний», «завжди», «ніколи», «жоден з наведених»), загальні вказівки щодо правдоподібності і ефективності невірних варіантів відповіді тощо.

У першому розділі обгрунтовується необхідність створення методу підвищення валідності тестових завдань на етапі їх створення, і розкривається суть і сучасний стан цієї проблеми.

Другий розділ дисертації присвячений створенню оригінальної методики підвищення валідності тестових завдань з фізики на етапі їх складання, яка опирається на застосування алгоритму створення і валідизації тестових завдань з фізики.

Принципова можливість створення такого алгоритму грунтується на запропонованих класифікаціях понять, які використовуються в фізиці, усіх можливих проявів кожного з типів цих понять, і всіх можливих конкретних запитань про будь-який прояв будь-якого поняття. У першому підрозділі другого розділу висвітлюється і логічно обгрунтовується процес побудови цих класифікацій. Згідно з запропонованою класифікацією фізичних понять виділяються, наприклад, такі класи понять:

об'єкти - поняття, які означають деяку дiлянку реальної або уявної матерії, яка має певнi властивості. Тобто всі обєкти обовязково мають материальні (реальні чи уявні) втiлення. Окрім звичних матеріальних обєктів до цього типу відносяться:

динамiчні утворення, які своїм існуванням i формою вдячнi деякому процесу, що відбувається в деякому середовищi. В ролі таких обєктів часто виступають терміни, які в іншому контексті означають явища («флуктуація», «звукова хвиля» тощо);

уявнi об'єкти, які не існують у природі, але уявляються створеними з уявної матерії, подiбної до реальної;

об'єкти-абстарагованi поняття, дуже узагальненi, не мають певної просторової форми. Наприклад, «речовина», «середовище»;

абстраговані обєкти, що означають уявне втілення ідей. Наприклад, «інформація», «знання»;

властивостi i стани - поняття, які означають ознаку чи сукупність ознак будь-чого i абстрагованi вiд конкретного носiя цієї ознаки. Наприклад, «блиск», «колiр», «гарячий», «швидкий» тощо. За означеннями, властивості можуть визначатися як «здатнiсть», «ознака», «характеристика», «стан», «властивiсть», «якість», «характерна риса», «особливiсть».

Назви деяких явищ у відповiдному контексті також виспупають в ролi властивостей: «анiзотропiя кристалів», «система характеризується астигматизмом», «плазма має аномальний опiр» тощо;

процеси - поняття, які означають змiну деякої ознаки (або сукупностi ознак) деякого об'єкту або класу об'єктiв, а також явищ, процесiв, величин, тверджень, наукових побудов та інших понять. Наприклад: «адiабатичне розширення», «адіабатичне нагрiвання газу».

Назви явищ у вiдповiдному контекстi також означають процеси: «в процесi автофазування», «процес автоелектронної емiсiї» тощо;

явища i ефекти - стiйкі, повторюванi за певних точно визначених умов події. Визначаються як «явище», «ефект» або певна зміна, наприклад, «нагрiвання…», «стрибкоподiбна змiна…». Означення обовязково містить вказiвки щодо умов, причин (якщо вони відомi) i способу розпізнання даного явища.

Назви явищ можуть у відповiдному контекстi означати процеси, властивостi чи об'єкти (динамiчнi утворення). Це можна пояснити тим, що явище, як поняття бiльш складне, включає в себе i процеси, i властивостi, i обєкти. І якщо основна суть явища зводиться до деякого процесу або до виникнення деякого утворення, то назва явища співпадає з назвою цього процесу чи утворення;

величини - кількісно вимiрюванi властивостi об'єктiв, процесів, явищ тощо, які мають одиниці вимiрювання i спосіб вимiрювання або обчислення. Визначаються як «величина», «фiзична величина», «вiдношення», «характеристика», «властивість», «значення», «число», «кількість» тощо. Можуть приймати різнi скалярнi або векторнi значення;

та інші класи понять.

Запропонована класифікація властивостей фізичних понять поділяє усі можливі властивості поняття даного класу на такі групи, як, наприклад:

«виникати», - сюди входять властивості «створюватись», «перероблятися», «оброблятися», «псуватися», «відкидатися» тощо;

«існувати», «мати місце»;

«розвиватися», - сюди входять властивості «еволюціонувати», «перетворюватись» тощо;

«характеризуватися…»: «складом», «змістом», «структурою», «формою», «розташуванням у просторі», «характером чи станом руху», «значеннями величин», «фізичним станом», «принципом дії», «рівнянням», «математичною формою, змістом», «математичними властивостями», «числовим значенням і порядком», «похибкою», «одиницями вимірювання», «межами зміни», «способами вимірювання, обчислення, побудови», «важливістю», «областю застосування», «імовірністю», «умовами», «причиною», «метою», «стійкістю» тощо;

змінювати ці характеристики;

«служити», сюди входять властивості «використовуватись», «призначатися», «грати роль», «мати значення»;

«вивчатися», сюди входять властивості «досліджуватись», «описуватись», «розраховуватись», «вимірюватись», «спостерігатися», «відкриватися», «вводитись», «класифікуватися», «поділятися на типи»;

«залежати», - сюди входять властивості «обумовлюватись», «пов'язуватись з», «походити від», «заборонятись», «ускладнюватись», «полегшуватись», «забезпечуватись» тощо;

та інші групи властивостей.

Відповідно до запропонованої класифікації запитань, усі конкретні запитання про будь-які властивості будь-яких понять поділяються на такі типи:

А - запитання про підмет, наприклад «Яке поняття виконує дану дiю або має дану властивість?»

Б - запитання про присудок, наприклад «Яку саме дiю виконує (що робить? як себе поводить? як проявляеться?) дане поняття у данiй ситуації?»

В-про ознаку присудка - обставину дії, наприклад «Як, (яким чином) дане поняття виконує дану дiю чи проявляється в данiй ситуації?»

Г - про доповнення, наприклад, «Чого, тобто якого поняття стосується якась дія, об'єкт?», «Чому, якому поняттю вiдповiдає, належить, дорiвнює дане поняття?» і т.д.

Д - про умову, обставину, наприклад «За яких умов дане поняття має дану властивiсть, проявляється певним чином?», «Чи за будь-яких умов…?», «Чи завжди…?» тощо.

Е - про причину, наприклад «Чому, з якої причини дана подія має місце?», «Чим пояснюється, обумовлюється, із чого випливає…?» тощо.

Ж - про мету, наприклад «3 якою метою (навiщо, для чого) здiйснюється певна дiя?»

З - про час, рiк подiї, наприклад «Коли, в якому роцi здiйснюється чи здійснювалася дана подiя?»

І - про особу, наприклад «Ким було здiйснено певну дiю за певних обставин?», «Хто здiйснив, здiйснює…?»

Й - про ступiнь загальностi, наприклад «Чи кожне поняття має дану властивість?», «Чи будь-яке поняття…?», «Чи всi поняття даного роду…?» тощо.

К - запитання на означення, наприклад «Що таке ізотопи?», «Що являє собою…?», «Як визначається…?» тощо.

Л - запитання на формулювання, наприклад «Сформулювати певне твердження.», «Навести певну формулу.», «Як формулюється дане твердження?» тощо.

Запропоновані класифікації дозволяють отримати загальну класифікацію контрольних запитань з фізики. Вона визначає структуру алгоритму створення і валідизації тестових завдань з фізики, дозволяючи користувачеві алгоритму знайти ті конкретні вказівки, процедури і приклади, які відповідають потрібному змісту створюваного тестового завдання.

На основі аналізу значної кількості тестових завдань з фізики, власного досвіду їх створення і використання, а також за результатами спеціального експерименту зроблено висновки про вплив форми тестового завдання на його трудність і валідність. Показано, що принципово форма тестового завдання не впливає на його трудність, яка цілком визначається змістом завдання (за умови його валідності), однак форма завдання зумовлює орієнтацію і розподіл уваги випробовуваного і тому впливає на валідність завдання. Сформульовано оптимальні умови і вимоги щодо застосування різних форм тестових завдань - вибір вірного варіанту відповіді, відновлення відповідності між елементами двох списків, конструювання відповіді, вибір вірного варіанту із подовженого списку варіантів відповіді. Запропоновано нові форми тестових завдань, зручні для тестового контролю з фізики.

На основі аналізу тестових завдань і результатів їх виконання студентами і школярами, а також за результатами спеціальних експериментів визначені основні особливості формулювання тестових завдань, що впливають на їх валідність. Такими особливостями є:

змістовий діапазон варіантів,

групи схожих варіантів,

спільні риси у варіантах відповіді,

довжина варіантів,

ступінь повноти і конкретність варіантів;

застосування у варіантах виразів, які характеризують ступінь імовірності або загальності даного факту;

застосування у варіантах слів і виразів, які неточно характеризують кількісні відношення;

повне чи часткове перекриття варіантів відповіді;

синтаксичне узгодження варіантів з запитанням.

Ці особливості важливі тим, що вони здатні утворювати підказки і «пастки» у тестовому завданні, які спонукають випробовуваних до розгадування тактики упорядника тесту, збільшують імовірність вгадування відповіді і навіть дозволяють іноді «обрахувати» вірну відповідь, не заглиблюючись до змісту завдання. Ми наводимо докладний опис таких ситуацій, пояснення причин їх утворення і рекомендації до їх усунення.

Далі пропонується концепція рівнів (точніше, груп) трудності, яка передбачає використання чотирьох груп трудності тестових завдань. Критеріями для однозначного віднесення завдань до однієї з чотирьох запропонованих груп трудності служать докладні процедури для складання або вибору змісту завдання для кожної з груп трудності.

Описуються підкріплені багатьма прикладами процедури створення і валідизації тестових завдань з фізики. Окремі процедури призначені для складання завдань з вербальною, формульною, чисельною, простою і складеною відповіддю. Наведені також процедури для вибору і втілення придатної форми для тестового завдання даного змісту. Вони також підкріплюються прикладами тестових завдань і прикладами формулювання інструкцій для випробовуваних.

Результати описаних вище досліджень поєднані у алгоритмі створення і валідизації тестових завдань з фізики. Алгоритм складається з основної частини i кількох таблиць i процедур, до яких є звернення i посилання із основної частини алгоритму. Основна частина поділена на чотири розділи, які відповідають складанню тестових завдань чотирьох розглядуваних вище груп трудності. Кожна з цих частин містить:

процедуру вибору змісту для завдань відповідного рівня трудності;

звернення до «таблиці запитань» з метою визначити, до якого змістового типу належить те контрольне запитання, яке потрібно подати у вигляді тестового завдання;

звернення до вiдповiдного розділу «таблицi тестових завдань», де наводяться конкретні вказівки до формулювання тестового запитання i список допоміжних фраз для полегшення складання достатньої кількості дистракторiв (невірних варіантів відповіді);

посилання до потрібних у даному випадку процедур складання i валiдизацiї тестових завдань i вибору їх форми й остаточного формулювання.

Алгоритм містить також біля 70 конкретних прикладів тестових завдань різних типів змісту.

Третій розділ роботи присвячений експериментальній перевірці результатів дослідження. Педагогічний експеримент проводився нами протягом 1993-1998 років на базі кафедри експериментальної і теоретичної фізики та астрономії Національного педагогічного університету імені М.П. Драгоманова, а також у науково-природничому ліцеї №145 міста Києва і у середній школі №242 міста Києва. В експерименті брали участь студенти відділення фізики та астрономії і школярі (усього понад 500 осіб).

Перед педагогічним експериментом були поставлені такі пять завдань:

1. Випробування відомої концепції рівнів трудності В.П. Беспалька на придатність для контролю результатів навчального процесу з теоретичної фізики. Для І, II, III рівнів цієї класифікації було підібрано по 12-15 завдань, створених у відповідності до діагностичних критеріїв, розроблених В.П. Беспальком, і протестовано 156 осіб. За результатами тестування визначено трудність кожного завдання. Результати експерименту та бесід із студентами свідчать, що трудність завдань першого і другого рівнів принципово не відрізняється.

2. Перевірка впливу форми тестового завдання на його трудність і валідність. Студентам пропонувалося виконати три блоки тестових завдань одного й того ж змісту, з тими самими варіантами для вибору відповіді, але сформульовані у трьох різних формах (вибору вірної відповіді, відновлення відповідності між елементами двох списків, конструювання відповіді). Між виконаннями цих блоків завдань студенти не спілкувалися і не користувалися допоміжною інформацією. Для виявлення можливого впливу результатів виконання попереднього блоку на обмірковування завдань наступного студенти були поділені на три групи, яким блоки завдань різних форм подавалися у різній послідовності. Після виконання завдань кожного блоку тексти завдань збиралися і видавалися наступні. Тестуванню безпосередньо передувала анкета, у якій пропонувалося письмово відповісти на запитання того ж змісту, що і тестові завдання, але викладені у простій і звичній формі. Для кожного з трьох блоків завдань визначалась середня трудність, тобто середня процентна частка випробовуваних, які вірно виконали завдання. За загальним результатом тестування вибірку випробовуваних було поділено на дві рівні групи «сильних» і «слабких» випробовуваних. І для цих груп окремо визначені середні трудності завдань усіх блоків. Для кожного з блоків тестових завдань обчислювалось також середнє квадратичне відхилення трудності завдань для оцінки значущості розбіжності отриманих значень трудності. Результати експерименту засвідчили, що випробовувані майже однаково справилися з усіма блоками завдань, а завдання на відновлення відповідності і на конструювання відповіді виявилися незначно складнішими від завдань форми вибору і для «сильних» і для «слабких» випробовуваних, причому час, затрачений випробовуваними на виконання завдань на відновлення відповідності коротший за час, затрачений на виконання завдань форми вибору. Отже, форма завдання принципово не впливає на його трудність. Завдання на встановлення відповідності, у порівнянні із завданнями форми вибору, спонукають до одночасного обдумування кількох питань, порушуючи раціональне зосередження уваги. Завдання на конструювання відповіді вимагають підвищеної уваги для уникнення випадкових помилок.

3. Перевірка впливу помічених особливостей формулювання тестових завдань на їх валідність. З цією метою випробовуваним пропонувалися тестові завдання, які містили ті особливості, які потрібно перевірити - групи схожих варіантів відповіді, варіанти різного ступеня повноти і конкретності, певні слова і фрази тощо. За результатами тестувань аналізувалися частоти обирання різних невірних варіантів відповіді (тобто процентна частка випробовуваних, які обрали даний варіант відповіді). Експеримент підтвердив, що певні особливості формулювання тестових завдань дійсно приводять до зменшення ефективності деяких невірних варіантів відповіді (такі варіанти не обиралися майже ніким з випробовуваних), спонукання до пошуку підказок (певні групи варіантів обиралися більшістю випробовуваних), утворення пасток.

4. Перевірка правильності, повноти, дієвості і зручності запропонованих процедур і алгоритму складання і валідизації тестових завдань у ході підготовки й проведення педагогічного тестування з фізики. Цей етап експерименту охопив 289 студентів і 147 школярів. Усі тестові завдання складалися і валідизувалися за запропонованим алгоритмом, за ним також формулювалися інструкції до їх виконання. Після проведення тестувань для кожного завдання аналізувалися частоти обирання різних варіантів відповіді або елементів для конструювання відповіді, тобто процентні частки випробовуваних, які обирали кожний варіант. Підраховувались середні частоти обирання дистракторів (невірних варіантів відповіді), середнє квадратичне відхилення частот обирання дистракторів і коефіцієнт варіації варіаційного ряду частот обирання дистракторів для кожного завдання.

У проаналізованих 43 тестових завданнях не виявилось дистракторів, які б зовсім не обиралися випробовуваними. Крім того, у 41 завданні із 43-х коефіцієнт варіації варіаційного ряду частот обирання дистракторів мав значення менше 40%. Ці результати свідчать про досить високу однорідність списків дистракторів, відсутність підказок і пасток.

Окрім тестувань проводились також анкетування та бесіди із студентами та викладачами з питань змісту та формулювань запропонованих завдань. За загальною думкою, завдання, створені за допомогою алгоритму, на відміну від тих, що пропонувалися раніше, мають більш однорідні і логічні списки варіантів відповіді, в них порівняно відсутні пастки, практично неможливо вгадати відповідь, і вони навіть визнані цікавішими, різноманітнішими за змістом.

Оцінка запропонованого алгоритму експертним методом.

В експертну комісію увійшли 32 експерти. Вони знайомились із запропонованим алгоритмом створення і валідизації тестових завдань з фізики і прийомами роботи з ним, прикладами тестових завдань, а також одержали від автора інформацію, яка їх цікавила. За результатами трьох анкет для оцінки компетентності експерта обчислені коефіцієнти самооцінки, аргументованості і документальних даних кандидатів в експерти і підраховані комплексні оцінки компетентності експертів. Зроблено оцінку мінімальної чисельності групи експертів та оцінку валідності і надійності анкети для оцінювання властивостей алгоритму. Обчислені середні оцінки окремих якостей алгоритму, а також середня експертна оцінка загальної теоретичної і практичної цінності алгоритму. Перевірена узгодженість думок експертів. Аналіз одержаних результатів засвідчив високе середнє значення оцінки алгоритму створення і валідизації тестових завдань з фізики; наявність задовільного ступеня узгодженості думок експертів і задовільну компетентність експертів.

На основі узагальнення результатів дослідження в дисертації сформульовані загальні висновки.

Встановлено, що тестовий контроль у процесі навчання фізики принципово здатен забезпечити стандартизованість, об'єктивність валідність, надійність і точність перевірки результатів навчання.

Показано, що принципово форма тестового завдання не впливає на його трудність, яка цілком визначається змістом завдання. Але форма завдання зумовлює орієнтацію і розподіл уваги випробовуваного і тому впливає на валідність завдання. Сформульовано оптимальні умови і вимоги щодо застосування різних форм тестових завдань. Запропоновано нові форми тестових завдань, зручні для тестового контролю з фізики.

Досліджено основні особливості формулювання тестових завдань, що впливають на їх валідність, а саме: змістовий діапазон варіантів, групи схожих варіантів, ступінь повноти і конкретність варіантів, повне чи часткове перекриття варіантів відповіді тощо. Ці та інші особливості утворюють підказки і «пастки» у тестовому завданні, які спонукають випробовуваних до розгадування тактики упорядника тесту і збільшують імовірність угадування відповіді.

Обґрунтована необхідність і показана принципова можливість створення способів підвищення валідності тестових завдань на етапі їх створення.

Розроблені докладні, підкріплені прикладами процедури створення і валідизації тестових завдань з фізики.

Доведено, що розроблена методика створення і валідизації тестів з фізики є доступною і ефективною, створює нові можливості для контролю результатів навчання, дозволяє підвищити мотивацію навчальної діяльності студентів (учнів) і їх відповідальність за свою роботу.

Рекомендації щодо практичного використання здобутих результатів:

1. Наведений у дисертації перелік особливостей формулювання тестових завдань, які впливають на валідність завдань, по суті, є переліком підказок, помилок упорядників тестів, «трюків», за допомогою яких студенти чи школярі можуть вірно виконувати деякі не дуже вдало складені тестові завдання без застосування потрібних предметних знань. Ці особливості повинні стати добре відомими і студентам і, головне, упорядникам тестів. Упорядники уникатимуть відповідних помилок, а випробовувані не зможуть більше розраховувати на «наївність» упорядників і відчують даремність спроб вгадати відповідь або розгадати тактику упорядника.

2. Запропонований алгоритм зможе піднятись на новий рівень досконалості за умови його втілення у вигляді комп'ютерної програми. В такому разі його можна буде доповнити великою кількістю додаткових прикладів, докладних роз'яснень, додаткових процедур, не втрачаючи зручності користування (що неможливо у варіанті на папері).

Дослідження варто продовжити в таких напрямках:

а) теоретичне осмислення та експериментальне обгрунтування проблем надійності і точності тестової перевірки результатів навчання;

б) розв'язання проблеми критеріїв для визначення загальної оцінки випробовуваного відповідно до концепцій нормативно-орієнтованого і критеріально - орієнтованого тестування;

в) удосконалення методики тестового контролю в процесі навчання фізики.

Список опублікованих автором праць

1. Солуха І.В. Деякі процедури складання тестових завдань для контролю результатів навчального процесу з фізики // Фізика та астрономія в школі. - 1997. - №2. - С. 14 - 17.

2. Солуха І.В. Створення валідних тестових завдань для обєктивного інформативного контролю результатів результатів навчального процесу // Фізика та астрономія в школі. - 1997. - №3. - С. 8 - 11.

3. Солуха І.В. Класифікація фізичних понять і перевірка засвоєння означень засобами тестового контролю // Фізика та астрономія в школі. - 1998. - №1. - С. 30 - 32.

4. Грищенко Г.П., Солуха І.В., Тичина І.І. Обєктивний контроль знань студентів з квантової механіки за допомогою тестів // Матеріали ІІ Всеукраїнської конференції викладачів фізики педагогічних інститутів та університетів «Проблеми удосконалення фундаментальної та професійної підготовки вчителів фізики». - К., 1996. - С. 31 - 33.

5. Алгоритм створення контрольних тестових завдань з фізики (методичний посібник) / Солуха І.В.; Київ. держ. пед. ун-т. - Київ, 1997. - 169 с. - Укр. - Деп. В ДНТБ України..97, УДК 378.853/07/:53/07/, РДАСНТІ 14.35.

6. Солуха І.В. Компютерний контроль в рейтинговій системі оцінки знань з теоретичної фізики // Тези доповідей міжвузівської науково-практичної конференції «Впровадження рейтингової системи оцінювання знань студентів вузу». - Київ. - 1994. - С. 44.

Вернидуб Р.М., Солуха І.В. Різні методи рейтингової оцінки знань на практичних заняттях з теоретичної фізики // Тези доповідей міжвузівської науково-практичної конференції «Впровадження рейтингової системи оцінювання знань студентів вузу». - Київ. - 1994. - С. 46.

Размещено на Allbest.ru

...