Тестова перевірка рівня сформованої англомовної компетентності у читанні у майбутніх філологів

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Тестова форма контролю розуміння інформації, отриманої під час читання іноземною мовою (ІМ), визнана в усьому світі як найбільш економічна, практична і така, що позбавлена суб'єктивності під час оцінювання. Перевірка рівня сформованості читацької компетентності англійською посідає вагоме місце у таких визнаних комерційних тестових системах, як Кембриджський сертифікат (Cambridge ESOL), IELTS, TOEFL, TOEIC тощо, а також у відомих нам незалежних іспитах з ІМ, що проводяться, зокрема, для випускників середніх шкіл (Греція, Кіпр, Нідерланди, Латвія, Росія, Угорщина, Україна).

Питання тестової оцінки читацької компетентності досліджені у працях учених та дослідницьких колективів світу [1; 3; 5; 7; 12], проте окремо наголосимо на цінності теоретичного доробку британця Ч.Дж. Олдерсона (Ch.J. Alderson), викладеного у його монографії [6]. Не менш важливе значення має стисле та суто практично орієнтоване узагальнення його положень у вигляді керівництва до дії для кожного, хто займається розробленням тестів з англомовного читання. Маємо на увазі рекомендації щодо створення тестів з читання (а також з письма, аудіювання та говоріння), що є результатом проекту Британської Ради в Угорщині, який був очолений Ч. Дж. Олдерсоном; ці рекомендації розташовані на веб-сайті проекту (http:// www.lancs.ac.uk/fass/projects/examreform/).

Незважаючи на доступність інформації про те, як слід готувати тести з читання [1], тести, що розробляються викладачами у своїй навчально-контролюючій діяльності, повинні бути об'єктом колегіального розгляду і дискусії та (можливої) модифікації з метою їх удосконалення. На наш погляд, викладач, який створює тестові завдання, повинен зважати на такі правила: по-перше, успішною підготовка тесту може бути лише під час співпраці з колегами-однодумцями, які, якнайменше, виконають тест і упевняться в тому, що його дійсно можна виконати (інструкція зрозуміла, складність тексту відповідає рівню навченості тестованих, формат завдання знайомий студентам тощо), і, по-друге, вкажуть на наявність у тесту так званої «зовнішньої валідності» (відсутності фактичних або мовних помилок, гарного розташування на папері, охайного вигляду тощо). Неоціненною є допомога колег під час встановлення правильних відповідей для укладання ключів для завдань; варто брати до уваги і враження студентів від якості певного тесту як інструмента отримання об'єктивного уявлення про успішність навчання, отримане через «зворотний зв'язок». Іншими словами, ми вважаємо за необхідне залучати до процесу розробки тестів кілька викладачів, що працюють на одному курсі тощо, сприяти тому, щоб колеги охоче обговорювали проблеми й успіхи практики тестування між собою та, можливо, залучали до обговорення й обміну досвідом експертів іззовні.

Згадані вище правила стосуються процедури розроблення тесту для перевірки рівня сформованості умінь у будь-якому виді мовленнєвої діяльності (МД). Проте необхідно визначити, якою мірою і наскільки успішно викладачі, що працюють у вищій мовній школі, обізнані та використовують ці правила під час контролю успішності формування читацької компетентності своїх майбутніх колег. Метою статті є дати стислий огляд існуючої практики контролю й оцінювання читацької компетентності у вищій мовній школі, розглянути кілька конкретних прикладів (case studies) та надати деякі рекомендації щодо створення тестів з метою контролю рівня розуміння прочитаного.

Вибір саме читацької компетентності обумовлений роллю читання в оволодінні ІМ, розробленістю питання тестування умінь у цьому виді МД, про що йшлося вище, а також місцем, яке навчання читання посідає у нашій країні. Проаналізуємо дані, що отримані нами під час дослідження рівня професійної компетентності викладачів вищої школи щодо контролю та оцінки. Нами було проведено опитування із застосуванням сервісу surveymonkey.com у травні-серпні 2013 року; воно складалося із двох частин запитань, перша з яких мала на меті висвітлити шляхи покращення професійної компетентності з контролю та оцінки, якими користувалися опитувані протягом останніх трьох років, а друга була присвячена безпосередньо встановленню рівня досвідченості викладачів у питаннях розробки нестандартизованих, тобто «викладацьких,» тестів. На першу частину запитань відповіли 53 респонденти, на другу -- 35. Визнаємо, що опитування належить до методів дослідження, які є досить суб'єктивними, а кількість опитаних не є великою, проте вважаємо, що нам вдалося встановити найбільш поширені в Україні тенденції розробки та використання нестандартизованих, «викладацьких», тестів.

Отже, згідно з даними опитування [11], основною формою поточного контролю розвитку іншомовномовленнєвих компетентностей у ВНЗ України є перевірка домашнього завдання в тій чи іншій формі, в той час як використання «викладацьких» лексичних і граматичних тестів посідає лише п'яте місце -- адже такі тести регулярно розробляють лише 64% опитаних. Щодо підсумкового контролю, то для здійснення останнього 73% респондентів розробляють власні тестові контрольні роботи, інші використовують тести, запропоновані авторами підручників за незначної адаптації. До складу підсумкових (модульних) контрольних робіт переважна кількість респондентів (94%) включає тестові завдання з читання -- як розроблені самотужки, так і запозичені з наявних ресурсів за умови їх відповідності рівню навченості студентів, тематиці, зручного і знайомого тестового формату [11, с. 171].

Викладачі, які вказали, що самостійно розробляють модульні контрольні роботи, віддають перевагу тестовим завданням для перевірки рівня сформованості лексичних і граматичних навичок (71%), а завдання на перевірку розуміння прочитаного посідають друге місце (62%). Говорячи про формати тестових завдань, що застосовуються укладачами тестів, то маємо таку картину: усі респонденти активно використовують формат «множинний вибір», тести на заповнення пропусків у тексті частинами речення або повними реченнями розробляють 61% і 52% респондентів відповідно. Також 52% викладачів застосовують формат «зіставлення запитань з частинами тексту/текстами» або «зіставлення заголовків/головних речень з частинами тексту/текстами». Серед інших форматів респонденти використовують такі: «короткі відповіді на запитання», заповнення пропусків у тексті параграфами, заповнення пропусків у тексті словами/словосполученнями, запропонованими у «банку» (banked gap-filling), але значно меншою мірою [11, с.174].

Табл. 1

Прокоментуємо отримані дані. З одного боку, переважне використання лексико-граматичних тестів у модульних тестових контрольних може свідчити про те, що увага у контролі та оцінюванні іншомовної комунікативної компетентності зосереджується на перевірці не власне мовленнєвої компетентності, а на аспектах мови -- лексиці та граматиці. Увагу, яка приділяється перевірці розвитку умінь читання, також можна пояснити традиційно вагомим місцєм читання у вітчизняному навчанні ІМ.

З іншого боку, перелік тестових форматів, що переважно застосовуються укладачами тестових контрольних робіт, є досить обмеженим і таким, що включає, в основному, ті формати, розробка яких є більш знайомою або зручною викладачам. Огляд цих форматів запевняє, що усі ці формати мають на меті або перевірку лексико-граматичних навичок, або умінь читання. Іншими словами, визначаючи структуру модульної тестової контрольної роботи, викладачі, можливо, спираються не стільки на програмні вимоги і визначені ними уміння читання, які слід перевірити на певному етапі навчання, скільки на можливість застосувати той тестовий формат, у розробці якого вони мають досвід. На користь цієї точки зору можна навести такі дані нашого опитування: а) лише 50% укладачів тестів розробляють тестові завдання з писемного мовлення, що ми відносимо на рахунок складності створення дійсно валідного тестового завдання та шкали оцінки писемного продукту; б) лише 41% укладачів тестів самостійно розробляють тестові завдання з аудіювання, про труднощі якого ми наголошували у попередніх публікаціях [4].

Звідси випливає питання: чи означає це, що, всупереч логіці, вибір формату тесту керує вибором об'єкта контролю, тобто конструктом тесту, а не навпаки? Вважаємо, що відповідь на це запитання може бути знайдена шляхом глибокого та більш масштабного дослідження стану компетентності викладачів у тестуванні. Втім, як свідчать результати проведеного нами опитування, українські викладачі, в основному, охоче підвищують згадану компетентність через рефлексію власного досвіду, підкріпленого даними «зворотного зв'язку» зі студентами (85%), через аналіз та вивчення готових тестів, запропонованих авторами автентичних посібників (70%), а також через вивчення доступної україно та англомовної літератури з тестування (60%) [11, с.170]. Сподіваємось, що ця стаття стане у пригоді усім зазначеним категоріям викладачів.

Отже, для того щоб розробити дійсно якісний тест для перевірки компетентності у читанні англійською мовою, слід ураховувати деякі важливі положення, які детальніше розкриємо нижче.

Перш за все, це -- рівень володіння ІМ згідно із Загальноєвропейськими Рекомендаціями з мовної освіти (ЗЄР) та чітке усвідомлення того, що студенти повинні вміти робити з текстом -- розуміти головну думку/основний зміст, деталі, імпліцитно висловлений зміст, знаходити у тексті необхідну інформацію та з якими швидкістю і якістю. Так, наприклад, на рівні В2 читач повинен уміти читати з великим ступенем незалежності (a large degree of independence), швидко розуміти основний зміст (readily grasp the essential meaning), швидко проглядати довгі і складні тексти для визначення значущої інформації (scan quickly through long and complex texts, locating relevant details); швидко визначати зміст і значущість інформації в різних текстах, приймати рішення про необхідність більш глибокого вивчення інформації (quickly identify the content and relevance of news items, articles and reports on a wide range of professional topics, deciding whether closer study is worthwhile) тощо [5, с.68-70].

Будь-який дескриптор виглядає неповним і неконкретним без визначення типу тексту і його характеристик. Під час читання на рівні В2 студенти повинні вміти «впоратися» з текстами різних типів (different texts) та більшого обсягу, що характеризуються багатим і неординарним словником (broad active reading vocabulary, with high frequency Wwms) та належать до досить широкого тематичного кола, включаючи спеціалізовані тексти за їх фахом (highly specialised sources within his/her field). На цьому рівні допускається звернення читачів до словників (using appropriate reference sources selectively), перечитування важких фрагментів тексту (he/she can reread difficult sections).

З метою уточнення дескрипторів ЗЄР Ч.Дж. Олдерсоном та його колегами виділені такі параметри тексту як джерело тексту, ступінь автентичності, тип дискурсу, до якого належить текст, сфери спілкування, тему, характер змісту (абстрактний, конкретний тощо), обсяг тексту (у словах), характер актуалізованого у тексті словника (частотний, ідіоматичний тощо) та складність граматичних структур [7, с.1317]. По-друге, зауважують дослідники, слід визначитися, який саме тип, жанр вид тексту студент повинен уміти читати на кожному з рівнів. Як наслідок, вони формулюють такі вимоги до текстів, що служать матеріалом для розробки тестових завдань, а саме: тексти мають бути лише автентичними, тому що можливі скорочення, що не руйнують задуму автора, виключення деяких занадто специфічних термінів, прізвищ, ідіом, сленгу, які потребують додаткових багатослівних пояснень або не є актуальними для студентів; тексти мають бути відібрані з різноманітних джерел, відображаючи все розмаїття матеріалів для читання; зміст текстів має відображати вікові та професійні інтереси студентів; типи тестових завдань для читання мають відповідати типу дискурсу кожного тексту, типу інформації, що має бути вилученою з тексту (абстрактна, конкретна), і способу, в який вона подається (імпліцитно, експліцитно).

Зауважимо також, що часто вибір тексту «підказує» розробникові тестового завдання, для перевірки яких умінь читання він може бути застосований, що, у свою чергу, підказує, яким тестовим форматом краще скористатися. Так, наприклад, для перевірки умінь швидкого, пошукового виду читання дуже популярним є формат «зіставлення текстів/частин тексту із запитаннями». Вважається, що розробити тестове завдання такого типу не потребує високої компетентності у тестуванні з боку укладача. Наведемо конкретні приклади розробки завдання згаданого типу двома різними викладачами та проаналізуємо їх (case study 1).

Викладачам було запропоновано розробити тестове завдання на основі запропонованого тексту, а саме: розробити інструкцію (рубрику) до завдання, поставити тестові запитання (не менше п'ятьох), надати ключі та, зрештою, визначити рівень ЗЄР, на якому створене завдання може бути використане. Наведемо текст [8, с. 45], до якого розроблялися тестові завдання.

Як бачимо, це не цілісний текст, а шість рекламних оголошень, які повідомляють покупцям інформацію про товари та послуги, які можна отримати у кожному з них. Тексти невеликі за обсягом, містять дуже конкретну інформацію, багато назв, деяку низькочастотну лексику. Наведемо перший приклад оригінальних тестових завдань.

(1.1) Read the descriptions below about six shops in Edinburgh. Then read the sentences that follow and, for each one, write the letter of the shop referred to in the corresponding blank. The first one has been done for you. Each item is worth 1 point.

Key: 1 D; 2 B; 3 -A; 4 F; 5 C.

CEFR level A 2.

Наведемо другий приклад.

(1.2) You are going to read six advertisements for shops in Edinburgh. For questions 1-12, choose from the shops A-F. Some shops may be chosen more than once. Put your answers in the boxes. There is an example at the beginning (0).

CEFR level B 1

Для аналізу двох завдань пропонуємо взяти до уваги такі аспекти:

1. Чи відповідає рівень складності завдання (складність тексту + складність запитань + складність мови інструкції/рубрики) рівню ЗЄР? Якщо так, то якою мірою?

2. На перевірку яких умінь спрямоване тестове завдання (власне з читання або інше)?

3. Наскільки повно відповідає контекст (тематика текстів) меті читання? Наскільки автентичним є тестове завдання (відповідає цілям читання у реальному житті)?

4. Наскільки повно запропоновані запитання перевіряють розуміння усього тексту (чи є достатньою кількість запитань)?

5. Чи наявний приклад виконання завдання? Чи вказано, де позначати відповіді?

6. Наскільки мова, якою сформульована інструкція, відповідає зазначеному рівню ЗЄР? Яка з інструкцій більш чітка і зрозуміла? Чому?

7. Наскільки складні власне запитання (чи застосовані дослівні повторення фрагментів тексту, що полегшує визначення відповіді; чи застосоване перефразування, що призводить до більш глибинного розуміння інформації)?

8. Наскільки зручним для сприйняття тестованим є розташування інструкції, запитань? В якому з випадків -- (1) або (2) -- краще розташувати запитання перед текстом, а в якому -- після нього? Чому саме? Від чого це залежить? іншомовномовленнєвий компетентність навчальний тест

Як бачимо, укладання тестового завдання формату «зіставлення» не є легким. Ще більш складним і таким, що містить безліч «пасток» (pitfalls) для його розробника, є завдання формату «множинний вибір». Про цей тип завдання відома тестолог К. Кум (Ch. Coombe) зазначає, що множинний вибір -- це найскладніший для розробки вчителями тип завдання. Незважаючи на те, що багато людей вважають його спрощеним, насправді цей формат використовується для інтелектуально складних завдань [9, с.17]. Втім, цей найскладніший формат, як було зазначено вище, належить до найбільш популярних серед опитаних українських викладачів та використовується і під час перевірки лексико-граматичних навичок, і детального розуміння текстів, сприйнятих під час читання та аудіювання.

Отже, розглянемо другий приклад, який стосується розроблення тестових завдань «множинний вибір», спрямованих на перевірку імпліцитної інформації у художньому тексті, а саме розуміння невербальних засобів комунікації на рівні локального контексту (рівень В2). Зауважимо, що, згідно з думкою відомих тестологів [6, 12], саме цей формат є найбільш придатним для встановлення ступеня розуміння тестованими ледь відчутних, імпліцитних смислів у такому складному типі тексту, яким є твір сучасної англомовної літератури.

Наведемо перший варіант тестових завдань (2.1.) у лівій колонці, а модифікований після проведеного пілотування (2.2.) -- у правій [2, с.17-19].

A She was impressed by the girl's good looks.

B The narrator mistrusted the girl's angelic beauty.

C The girl's image stirred the emotions the narrator couldn't explain.

D The narrator envied the girl in the photo.

Nicola was struggling with her sad emotions delivering the speech.

Nicola's speech was heart-felt.

The narrator was not convinced of Nicola's sincerity.

The narrator enjoyed Nicola's manner of giving the speech

A It was too theatrical for the occasion.

B It was spontaneous, generous and heart-felt.

C It was thoroughly prepared and captivating.

D It was uneven as Nicola was struggling with emotions.

10). On the back cover there was a small black and white photo. I gazed at it, my mouth in a bitter-sweet twist. Look at her, all delicate and wide-eyed and blondey and tendrilly, like a long-limbed, slender angel. And they say the camera never lies...

I almost felt that I shouldn't have to pay the book not only had the author stolen the man I'd loved the most, but she'd written a book about me.." [Keyes M., “The Other Side of the Story", pp. 27-28].

“I listened, rapt, as Nicola Saffpord's clear, wellmodulated voice, echoed off the stone walls of the 13thcentury church, revealing yet more admirable facets to her father's character. Finally softening her tone, lowering her gaze, and blinking back tears that very nearly convinced me, she spoke of the love she had to her father... Her last words, delivered at a slow pace, the volume swelling, the pitch deeper, resonated like the closing chord of a great symphony. Nor do I think I imagined the slightly awkward moment that followed, in which the impulse to applaud had to be quelled by the mourners" [Berry A. “The Hungry Ghosts", p.14].

How is Nicola Saffpord's speech perceived by the narrator?

a) The narrator was happy to see that the girl in the photo looked stylish.

b) The narrator hoped that the girl in the photo wouldn't have been so impeccable.

c) The narrator compared the girl in the photo to some ugly creature.

d) The narrator envied the girl in the photo.

1. Оптимальна кількість опцій (варіантів відповідей) у тестовому завданні з читання -- чотири.

2. Із чотирьох опцій одна є абсолютно правильною, а три інших є дистракторами. Усі дистрактори мають бути ймовірними з точки зору змісту тексту.

3. Усі опції повинні бути приблизно однієї довжини, оскільки доведено, що студенти вважають правильною найдовшу з опцій.

4. Мова, якою сформульовані запитання та опції, повинна бути недвозначною і чіткою. Лінгвістична форма запитань та опцій не повинна бути складнішою, ніж мова власне тексту, розуміння якого перевіряється.

5. Усі опції повинні мати уніфіковану форму (частина мови, якщо відповідь однослівна; синтаксична структура, якщо опцію складають повні речення).

6. Запитання та опції повинні бути сформульовані так, щоб визначення правильної відповіді залежало не від фонових або загальних знань, а від інформації, що міститься у тексті.

7. Слід запобігати: а) дослівного повторення у дистракторах словосполучень, використаних у тексті, б) дистракторів, які є занадто «прозорими» та підказують правильну відповідь, в) використання у дистракторах таких слів як “mostly”, “completely”, “almost” тощо, які висловлюють особливий ступінь/якість явища і через це роблять опцію нерівноправним дистрактором.

8. Загалом серед чотирьох опцій лише одна є абсолютно правильною, друга є абсолютно неправильною, третя є правильною з точки зору відображення загального смислу, а четверта -- є теж правильною, але у занадто вузькому для даного контексту смислі.

9. Запитання та опції повинні бути сформульовані грамотною англійською, без граматичних та інших помилок.

10. Запитання можуть мати різну форму (питальну, речення, яке слід доповнити варіантами відповідей, речення, що містять пропуски тощо), проте краще, якщо скрізь тестове завдання, форма запитань є однаковими.

11. Правильну відповідь не слід розміщувати завжди під однією й тією самою літерою, наприклад С.

12. Якщо усі дістрактори починаються з одного й того ж слова/словосполучення, його/їх краще винести до запитання.

13. Слід уникати застосування у опціях “all of the above”, “none of the above”, or “a, b, and sometimes c, but never d”. Це додає труднощів тестованим і може стати причиною неправильної оцінки їх читацької компетентності.

Перелік вимог до якісного завдання формату «множинний вибір» свідчить про велику відповідальність викладача, який обирає для себе розроблення та використання тестового завдання цього типу, якщо планує досягти дійсно високої якості тесту. Наведений приклад, як нам видається, дозволив проілюструвати мету використання формату «множинний вибір», а також необхідність пілотування завдання та його наступної модифікації.

На завершення наведемо точку зору українських викладачів, висловлену ними майже одноголосно: підвищення професійної компетентності щодо тестування є вимогою часу і, незважаючи на досить високий її рівень порівняно із зарубіжними колегами, українські викладачі ІМ готові брати участь у заходах, які сприяли б її підвищенню, зокрема за допомогою електронних навчальних платформ. У створенні таких платформ ми і вбачаємо подальшу перспективу подальших досліджень.

Література

1. Гнаповська Л.В., Квасова О.Г. Оцінювання вмінь читання: з досвіду пілотування тестових завдань в межах Проекту незалежного тестування з іноземних мов // Іноземні мови. -- 2007. -- № 2. -- С. 3-10.

2. Дука М.В. How to Read Non-Verbal Signals in Fiction (тексти та завдання для домашнього читання): навчальний посібник для студентів мовних спеціальностей (англійською мовою). -- Суми: Вид-во СумДПУ імені А.С. Макаренка, 2014. 144 с.

3. Квасова О.Г. Основи тестування іншомовних навичок і вмінь/ Навч. посібник для студентів вищих навчальних закладів. -- К.: Ленвіт, 2009. -- 117 с.

4. Квасова О.Г. Розробка тестових завдань для розвитку і контролю умінь англомовного аудіювання у вищому навчальному закладі // Іноземні мови. -- 2013. -- №2 (74). -- С. 19-23.

5. Кожевникова Л.А. Основные параметры тестового задания для измерения уровня сформированности умений (на примере чтения) // Вестник СамГУ, 2007. №3 (53). -- С. 216-222.

6. Alderson Ch. J. Assessing Reading. -- Cambridge: Cambridge University Press, 2005. -- 398 p.

7. Alderson J.C. et al. Analysing Tests of Reading and Listening in Relation to the Common European Framework of Reference: The Experience of the Dutch CEFR Construct Project // Language Assessment Quarterly, 3(1), 2006. -- P. 3-30.

8. Alderson J.C., Cseresznyes, M. Into Europe. Prepare for Modern English Exams. Reading and Use of English. -- Budapest, 2005. -- 289 p.

9. Coombe СЕ, Hubley N. Fundamentals of Language Assessment Електронний ресурс]. Режим доступу:: http://www.christinecoombe.com.

10. Council of Europe. Common European Framework of Reference for Languages: learning, teaching, assessment. -- Cambridge: CUP, 2001. -- 260 p.

11. Basova O., Kavytska T. Language Learning in Higher Education. Volume 4, Issue 1, Pages 159--177, ISSN (Online) 2191-6128, ISSN (Print) 2191-611X, DOI: 10.1515/cercles-2014-0010, May 2014.

12. Urquhart, S. & C. J. Weir. Reading in a Second Language: Process, Product and Practice. Harlow: Longman, 1998. -- 360 p.

Размещено на Allbest.ru