Аналіз тестових завдань для оцінювання загально-педагогічної компетентності вчителів в умовах післядипломної педагогічної освіти засобами IRT

Перспективи наукових розвідок, пов’язаних з розробкою тестових міждисциплінарних комплексів для визначення професійної компетентності вчителів різного фаху. Основи педагогічних вимірювань та моніторингу якості освіти. Методи, форми та засоби навчання.

Рубрика Педагогика
Вид статья
Язык украинский
Дата добавления 11.02.2022
Размер файла 914,1 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

АНАЛІЗ ТЕСТОВИХ ЗАВДАНЬ ДЛЯ ОЦІНЮВАННЯ ЗАГАЛЬНО-ПЕДАГОГІЧНОЇ КОМПЕТЕНТНОСТІ ВЧИТЕЛІВ В УМОВАХ ПІСЛЯДИПЛОМНОЇ ПЕДАГОГІЧНОЇ ОСВІТИ ЗАСОБАМИ IRT

ЯРЕМЕНКО Людмила Іванівна - кандидат педагогічних наук, доцент, доцент кафедри прикладної математики, статистики та економіки Центрально-українського державного педагогічного університету імені Володимира Винниченка

КЕНДЮХОВА Антоніна Анатоліївна - кандидат педагогічних наук, доцент, доцент кафедри педагогіки, психології і корекційної освіти Комунального закладу «Кіровоградський обласний інститут післядипломної педагогічної освіти імені Василя Сухомлинського»

ЯРЕМЕНКО Юрій Вікторович - кандидат фізико-математичних наук, доцент, доцент кафедри математики Центральноукраїнського державного педагогічного університету імені Володимира Винниченка

Постановка та обґрунтування актуальності проблеми

Тести є одним із ефективних, об'єктивних та надійних інструментів оцінки рівня загально-педагогічної компетентності та фахової підготовки учителів в умовах післядипломної педагогічної освіти. Розробка ефективного тесту, який би дозволив диференціювати здобувачів освіти за рівнем сформованості компетенцій, давав можливість визначити латентні фактори, що впливають на рівень загально-педагогічної підготовки учителів, був збалансованим за складністю, є складною і актуальною задачею.

Аналіз останніх досліджень та публікацій

Основними методами аналізу якості тестів є методи класичної (Classical Test Theory) та сучасної (Item Response Theory) теорії тестування. Застосування математичних моделей IRT детально описано в роботах Г. Раша [12], А. Бірнбаума [10], В.С. Кіма [3], Л. Крокер та Дж. Алгіни [11], О.В. Авраменко [1], Т.В. Лісової [7], М.Є. Сіницького [8] та ін.

У статті [4] розкриті особливості конструювання педагогічних тестів для оцінювання загально-педагогічної компетентності вчителів в умовах післядипломної педагогічної освіти та перевірки їх основних характеристик ефективності (валідності, трудності, дискримінативності, надійності) за класичною теорією тестів СТТ.

Математично-статистична обробка результатів тестування засобами СТТ дає можливість перевірити якість психометричних характеристик тестових завдань, зазначених у роботах Т.М. Канівець [2], Ю.О. Ковальчука [5], В. П. Сергієнка, Л. О. Кухар [6], Л.Г. Ярощук [9] та ін.

Мета статті - висвітлити аналіз якості розроблених та апробованих тестових завдань для підсумкового оцінювання рівня загально-педагогічної компетентності учителів в умовах післядипломної педагогічної освіти засобами сучасної теорії тестування IRT.

Методи дослідження. Аналіз психолого- педагогічної, методичної літератури та наукових інформаційних джерел з проблеми дослідження, педагогічний експеримент (апробація тестових завдань), математично -статистичні методи обробки результатів тестування за сучасною теорією.

Виклад основного матеріалу

Сучасна теорія тестування IRT призначена для оцінки латентних параметрів випробовуваних і параметрів складності завдань тесту шляхом застосування математично-статистичних моделей вимірювання.

У ході дослідження були розроблені тестові завдання, що відповідають діючим освітнім програмам та типовому навчальному плану курсів підвищення кваліфікації вчителів. Для апробації було розроблено пакет діагностичних матеріалів, який включав: тестові завдання для вхідного та підсумкового оцінювання рівня загально-педагогічної компетентності вчителів в умовах післядипломної педагогічної освіти; бланки відповідей до тестів; інструкції для проведення; бланки відповідей для експертів; специфікацію тестів; матриці оцінювання тестових завдань і форми поточної та підсумкової звітності.

Апробація діагностичних матеріалів проводилася на курсах підвищення кваліфікації керівних та педагогічних кадрів міста Кропивницького та Кіровоградської з січня 2016 року по березень 2020 року. У ній взяли участь біля півтори тисячі осіб.

Тести комплексного діагностування було побудовано з використанням різних форм та типів тестових завдань (табл.1):

Таблиця 1 Типи тестових завдань для вхідного та підсумкового оцінювання

Вхідне тестування

Вихідне тестування

Завдання з вибором однієї правильної відповіді

1-22

1-29

Завдання з множинним вибором

23-26

30-38

Завдання на встановлення відповідності

27-28

39-40

Завдання на встановлення правильної послідовності

29-30

41-43

Завдання з короткою відповіддю

-

44-45

Для оцінювання результатів виконаних робіт були розроблені матриці оцінювання тестових завдань (табл. 2, табл.3).

Таблиця 2 Матриця оцінювання тестових завдань для вхідного тестування

№ з/п

Форма тестового завдання

Кількість завдань

Шкала оцінювання окремого завдання

Максимальна кількість балів

1.

Завдання з вибором однієї

правильної відповіді

22

0 - 1 бал

22 бали

2.

Завдання з множинним вибором

4

0 - 3 бали

12 балів

3.

Завдання на встановлення

відповідності

2

0 - 4 бали

8 балів

4.

Завдання на встановлення

правильної послідовності

2

0- 1- 2 - 3 - 4

8 балів

Всього

30

50

Таблиця 3 Матриця оцінювання тестових завдань для вихідного тестування

№ з/п

Форма тестового завдання

Кількість завдань

Шкала оцінювання окремого завдання

Максимальна кількість балів

1.

Завдання з вибором однієї

правильної відповіді

29

0 - 1 бал

29 балів

2.

Завдання з множинним вибором

9

0 - 3 бали

27 балів

3.

Завдання на встановлення

відповідності

2

0 - 4 бали

8 балів

4.

Завдання на встановлення

правильної послідовності

3

0- 1- 2 - 3 - 4

12 балів

5.

Завдання з короткою відповіддю

2

0 - 1 - 2

4 бали

Всього

45

80

Рівні сформованості компетенцій визначалися за табл.4:

Таблиця 4 Рівні сформованості компетенцій за кількістю набраних балів

Назва рівня

Кількість набраних балів

Вхідне тестування

Вихідне тестування

Перспективний

45 - 50

70 - 80

Оптимальний

35 - 44

55 - 69

Необхідний

26 - 34

41 - 54

Критичний

0 - 25

0 - 40

Для прикладу покажемо обробку результатів тестування вчителів англійської мови засобами IRT. Під час математично-статистичної обробки результатів вихідного тестування здобувачів освіти за сучасною теорією [1] була побудована та впорядкована дихотомічна матриця результатів тестування, вилучені 16, 18 і 22 стовпці, які містили тільки одиниці (ці завдання не диференціюють учасників тестування), визначені початкові й стандартні оцінки рівня педагогічної підготовки випробовуваних та трудності тестових завдань, що залишилися, у логітах (таблиці 5 і 6 відповідно).

Таблиця 5 Початкові й стандартні оцінки рівня педагогічної підготовки здобувачів освіти

і

Індивідуальний бал вчителя, Xi

Частка правильних відповідей і-ого вчителя, рі

Частка неправильних відповідей і-ого вчителя, qi

Початкові оцінки рівня підготовки в логітах, ІІ'

Стандартні оцінки рівня підготовки в логітах, 0t

4

9

0,3462

0,6538

-0,6360

-1,4908

27

12

0,4615

0,5385

-0,1542

-0,8510

19

13

0,5000

0,5000

0,0000

-0,6463

23

13

0,5000

0,5000

0,0000

-0,6463

26

13

0,5000

0,5000

0,0000

-0,6463

7

14

0,5385

0,4615

0,1542

-0,4416

10

14

0,5385

0,4615

0,1542

-0,4416

13

14

0,5385

0,4615

0,1542

-0,4416

22

14

0,5385

0,4615

0,1542

-0,4416

3

15

0,5769

0,4231

0,3102

-0,2345

5

15

0,5769

0,4231

0,3102

-0,2345

11

15

0,5769

0,4231

0,3102

-0,2345

17

15

0,5769

0,4231

0,3102

-0,2345

21

15

0,5769

0,4231

0,3102

-0,2345

2

16

0,6154

0,3846

0,4700

-0,0222

8

16

0,6154

0,3846

0,4700

-0,0222

14

16

0,6154

0,3846

0,4700

-0,0222

18

17

0,6538

0,3462

0,6360

0,1982

24

17

0,6538

0,3462

0,6360

0,1982

6

18

0,6923

0,3077

0,8109

0,4304

12

18

0,6923

0,3077

0,8109

0,4304

1

19

0,7308

0,2692

0,9985

0,6795

16

19

0,7308

0,2692

0,9985

0,6795

15

20

0,7692

0,2308

1,2040

0,9523

25

20

0,7692

0,2308

1,2040

0,9523

20

21

0,8077

0,1923

1,4351

1,2592

9

22

0,8462

0,1538

1,7047

1,6172

Таблиця 6 Початкові й стандартні оцінки рівня трудності тестових завдань

j

Rj

Частка правильних відповідей на j-е завдання, pj

Частка неправильних відповідей на j-е завдання, qj

Початкові оцінки трудності завдань в логітах, /j

Стандартні оцінки трудності завдань в логітах, /

1

4

0,1481

0,8519

1,7492

2,3805

2

6

0,2222

0,7778

1,2528

1,8439

25

6

0,2222

0,7778

1,2528

1,8439

12

7

0,2593

0,7407

1,0498

1,6246

19

8

0,2963

0,7037

0,8650

1,4248

20

10

0,3704

0,6296

0,5306

1,0634

3

11

0,4074

0,5926

0,3747

0,8948

7

11

0,4074

0,5926

0,3747

0,8948

14

12

0,4444

0,5556

0,2231

0,7310

29

13

0,4815

0,5185

0,0741

0,5699

15

14

0,5185

0,4815

-0,0741

0,4097

17

16

0,5926

0,4074

-0,3747

0,0849

21

18

0,6667

0,3333

-0,6931

-0,2593

4

19

0,7037

0,2963

-0,8650

-0,4451

26

19

0,7037

0,2963

-0,8650

-0,4451

8

20

0,7407

0,2593

-1,0498

-0,6449

10

21

0,7778

0,2222

-1,2528

-0,8642

5

22

0,8148

0,1852

-1,4816

-1,1116

13

22

0,8148

0,1852

-1,4816

-1,1116

6

23

0,8519

0,1481

-1,7492

-1,4008

9

23

0,8519

0,1481

-1,7492

-1,4008

28

24

0,8889

0,1111

-2,0794

-1,7577

11

25

0,9259

0,0741

-2,5257

-2,2401

23

25

0,9259

0,0741

-2,5257

-2,2401

24

25

0,9259

0,0741

-2,5257

-2,2401

27

26

0,9630

0,0370

-3,2581

-3,0317

1

4

0,1481

0,8519

1,7492

2,3805

2

6

0,2222

0,7778

1,2528

1,8439

25

6

0,2222

0,7778

1,2528

1,8439

Оцінки параметрів в і вв єдиній інтервальній шкалі знаходяться у вказаному випадку за формулами:

При побудові характеристичних кривих завдання їх трудність - це параметр, а значення незалежної змінної 0 обираються з проміжку [-6; 6].

Ординати характеристичних кривих - значення функції Pj - обчислюються за формулою (2):

Характеристичні криві 26 завдань, що залишилися, для даних таблиці 6 наведені на рис. 1. Як видно з рис. 1 співпали криві 2 і 3, 7 і 8, 14 і 15, 18 і 19, 20 і 21, 23, 24 і 25, тому тест можна вважати добре збалансованим за трудністю, але переглянути відповідні завдання і доопрацювати їх.

Аналіз взаємного розташування побудованих кривих дозволив намітити шляхи подальшого удосконалення вихідного тесту і сформувати систему завдань зростаючої складності (від простих, репродуктивного рівня, до проблемних, що потребують здійснення аналітико-пошукової діяльності, творчого підходу), ефективну для оцінки рівня педагогічної підготовки кожного здобувача освіти.

Індивідуальні криві рівня педагогічної підготовки 27 здобувачів освіти для даних табл. 5 наведені на рис. 2.

Рис. 1. Характеристичні криві 26 завдань тесту

Рис. 2. Характеристичні криві рівня педагогічної підготовки 27учасників тестування

На рис. 2 зображено тільки 12 кривих, так як деякі криві співпали, що говорить про однаковий рівень педагогічної підготовки вчителів.

Для побудови графіків функцій Р(р) вибрано декілька значень незалежної змінної в з проміжку [6; 6], а потім обчислені значення відповідної функції за формулою (3):

Графіки інформаційних функцій для 26 тестовихзавдань та графік інформаційної функції тестузображено на рис. 3.

Рис. 3. Графіки інформаційних функцій 26 тестових завдань та графік інформаційної функції тесту

Як видно з рис. 3, графік інформаційної функції тесту мало відрізняється від нормальної кривої, тому тест можна вважати добре збалансованим за трудністю, можна добавити декілька нескладних тестових завдань.

Висновки

Висновки з дослідження та перспективи подальших розробок. Таким чином, створювати тест треба з урахуванням різноманітності тестових завдань за змістом, формою і складністю, тоді сконструйований тест нестиме більше інформації про здобувачів освіти й буде придатним для виявлення рівня загально-педагогічної компетентності учителів в умовах післядипломної педагогічної освіти.

Запропоновані тестові завдання дають змогу не лише перевірити знання слухачів, а й закріпити та поглибити їх під час аналізу результатів тестування.

За результатами тестування 19,06 % слухачів продемонстрували критичний рівень загально-педагогічної компетентності з питань вхідного та 11,91 % - з питань вихідного тестування. Це означає, що вони практично не орієнтуються в сутності понять: освіта, якість освіти, основні фактори якості освіти, інноваційна діяльність; становлення законодавства України про освіту; Державний стандарт освітньої діяльності; нормативні документи, які регламентують зміст освіти; «інклюзивна освіта» та «інклюзивне навчання». 29,3 % здобувачів освіти допускають принципові помилки під час розкриття сутності понять: методика навчання та дидактика; методи, форми та засоби навчання, їх класифікація; 27,96 % - тестологія, тест та форми тестових завдань; 28,43 % - педагогічне портфоліо, моніторинг та моніторингові дослідження. тестовий педагогічний освіта навчання

Не можуть встановити відповідність між ключовими та похідними поняттями в галузі сучасних технологій уроку, дослідницької діяльності учнів - 42,47 % слухачів.

Не розуміють взаємозв'язку між структурними елементами поурочної діяльності та їх логічною послідовністю - 13,71 %. Лише 5,82 % слухачів розуміють сутність інноваційних процесів; різних видів професійної компетентності; вимог до сучасного уроку; нормативних документів, які регламентують зміст навчально-виховного процесу у закладах освіти. 4,08 % здатні оперувати алгоритмами щодо організації та проведення різних видів навчальної та професійної діяльності.

Перспективи подальших наукових розвідок пов'язані з розробкою тестових міждисциплінарних комплексів для визначення професійної компетентності вчителів різного фаху.

Список джерел

1. Вимірювання в освіті: підручник / за ред. О.В. Авраменко. Кіровоград: «КОД», 2011. 360 с.

2. Канівець Т.М. Основи педагогічного оцінювання: [навчально-методичний посібник] Ніжин: Видавець ПП Лисенко М.М., 2012. 104 с.

3. Ким В.С. Тестирование учебных дострижений. Монография. Уссурийск: Издательство УГПИ, 2007. 214 с.

4. Кендюхова А.А., Яременко Л.І. Конструювання тестових завдань для оцінювання загально-педагогічної компетентності вчителів в умовах післядипломної педагогічної освіти. Наукові записки. Серія: Педагогічні науки. Вип. 173. Ч.2. Кропивницький: РВВ ЦДПУ ім. В. Винниченка, 2018. С.110-116.

5. Ковальчук Ю.О. Теорія освітніх вимірювань. Ніжин: Видавець ПП Лисенко М.М., 2012. 200 с.

6. Конструювання тестів. Курс лекцій: навч. посіб. / Людмила Олександрівна Кухар, Володимир Петрович Сергієнко. - Луцьк, 2010. - 182 с.

7. Лісова Т.В. Моделі та методи сучасної теорії тестів. Ніжин: Видавець ПП Лисенко М.М., 2012. 112 с.

8. Сіницький М. Є. Статистичні інструменти вимірювання якості освіти. Частина 4. Сучасний підхід. Науковий вісник Національної академії статистики, обліку та аудиту: зб. наук. праць. 2016. №1-2. С. 99-112.

9. Ярощук Л.Г. Основи педагогічних вимірювань та моніторингу якості освіти: навч. посіб. К.: Видавничий Дім «Слово», 2010. 304 с.

10. Birnbaum A. Some Latent Trait Modelsand Their UseinInferring and Examinee's Ability. InLord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass, 1968. - P. 397-479.

11. Linda Crocker, James Algina. Introductiont oclassic alandmodern testtheory. Wads worth: Thomson Learning, 1986. 528 p.

12. RuthRavid. Practicalstatisticsfor Educators. Lanham: University Pressof America, 2005. 230 p.

References

1. Avramenko, O.V. Vymiriuvannia v osviti (2011) [Measureme ntsineducation]. Kirovohrad.

2. Kanivets, T.M. (2012) Osnovype dahohichn ohootsini uvannia [Fundamentals ofpedagogica lassessment]. Nizhyn

3. Kim, V.S. (2007) Testirovani yeuche bnykhd ostrizheniy [Testingeduc ationalfacilities]. Ussuriysk

4. Kovalchuk, Yu.O. (2012) Teoriiaos vitnikhvymi riuvan [Theoryof educationalmeasu rements]. Nizhyn

5. Kendyukhova, A.A., Yaremenko, L.I. (2018) Konstruyuv annyatestovyk hzavdan'dly aotsinyuvannyaz ahal'nopedahoh ichnoyikompetentn ostivchyteliv v umovakhpisly adyplomnoyi pedahohichnoy iosvity [Designingtestt asksforevalu ationofprofes sionalcompetenc yofteachersinthecon ditionsofthep ostgradua tepedagogicaleducation]. Kropyvnytskyi

6. Kukhar, L.O., Serhiienko, V.P. (2010) Konstruiu vanniatestiv [Designingtests]. Lutsk

7. Lisova, T.V. Modelitame todysuchasn oiteoriitestiv[Modelsan dmethodsofmodernte sttheory.]. Nizhyn

8. Sinytskyi, M. Ye. (2016) Statystych niinstrume ntyvymiriuva nniayakostiosvity. Chastyna 4. Suchasnyipidkhid. [Statisticalt oolsformeas uringthequality ofeducation. Part 4. Themodernapproach]

9. Iaroshchuk, L.H. (2010) Osnovype dahohichnyk hvymiriuva ntamonitorynhuyak ostiosvity [Fundament als ofpeda gogicalmeasur ementsandmonitor ingofthequality ofeducation]. Kyiv

10. Birnbaum, A. (1968) SomeLatentT raitModelsand Their Usein Inferringand Examinee'sAbility. InLord F.M., Novick M. Statistical Theoriesof Mental Test Scores.

11. Crocker, Linda, Algina, James. (1986) Introductio ntoclassicalandmo derntesttheory.

12. Ravid, Ruth. (2005) PracticalstatisticsforEducators.

Размещено на Allbest.ru

...

Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.