Методичний підхід до групового експертного оцінювання рівня іншомовної комунікативної компетентності

Размещено на http://www.allbest.ru/

МЕТОДИЧНИЙ ПІДХІД ДО ГРУПОВОГО ЕКСПЕРТНОГО ОЦІНЮВАННЯ РІВНЯ ІНШОМОВНОЇ КОМУНІКАТИВНОЇ КОМПЕТЕНТНОСТІ

Застело О.В.

У статті розглядаються питання, пов'язані із застосуванням методичного підходу до групового експертного оцінювання рівня сформованості іншомовної комунікативної компетентності слухача ВНЗ за результатами тестування з іноземної мови. Важливим аспектом є розгляд питання узгодженості думок групи експертів з визначенням компетентності кожного з них та з урахуванням наявності аномальних вимірів (оцінок екзаменатора) під час тестування.

Ключові слова: експертне оцінювання, метод медіани Кемені, узгодженість групи експертів, метод ранжування, аномальні виміри (викиди).

Застело О.В. Методический подход к групповому экспертному оцениванию уровня иноязычной коммуникативной компетентности. В статье рассматривается метод определения интегральной оценки уровня сформированности иноязычной коммуникативной компетентности слушателей группой экспертов в процессе комплексного тестирования по иностранному языку. Важным аспектом является рассмотрение вопроса согласованности мнений экспертов с определением компетентности каждого из них и с учетом аномальных измерений (оценок экзаменатора) в ходе тестирования.

Ключевые слова: экспертное оценивание, метод медианы Кемени, согласованность группы экспертов, метод ранжирования, аномальные измерения (выбросы).

Zastelo O. V. Systematic approach to the evaluation of the level of foreign language communicative competence by the group of experts. In this article the method of determining the integral evaluation of the foreign communicative competence level of students by a group of experts in the process of comprehensive testing in a foreign language. An important aspect is the consideration of the expert opinion consistency in order to define the competence of each of them, taking into account outliers (examiner's assessment) during testing.

Key words: expert evaluation, Kemeny's median method, the consistency of the expert group, ranking method, outliers.

Завдання, пов'язані з удосконаленням системи підготовки та атестації слухачів, є актуальними для ВНЗ в Україні та світі. Якісне оцінювання рівня сформованості іншомовної комунікативної компетентності слухачів (ІКК) є кваліфікаційною характеристикою, що засвідчує готовність фахівця до виконання професійних завдань певного рівня складності. Саме тому впровадження сучасних систем оброблення результатів комплексного тестування слухачів з метою підвищення об'єктивності оцінювання рівня сформованості ІКК є важливим для контролю за перебігом навчального процесу.

У сучасних системах контролю широко використовується метод експертного оцінювання з подальшим ранжуванням результатів тестування слухачів з іноземних мов. Виникає проблема вибору певного методу оброблення думок експертів для оцінювання рівня сформованості ІКК слухача ВНЗ за результатами тестування, а також методу оцінювання об'єктивності експертів.

Проблема інформатизації освіти в Україні разом із впровадженням інформаційно-комунікаційних технологій з метою удосконалення управління освітою розглядається В. Ю. Биковим [2], А. М. Гуржієм, О. М. Спіріним, Ю. В. Триусом та іншими дослідниками. Питання теорії та практики експертного оцінювання, а також використання методу ранжування в експертному оцінюванні дістали висвітлення у працях багатьох дослідників, зокрема В. С. Аванесова [1], О. І. Орлова [5], О. І. Мухіна [4], О. І. Субетто [6], В. С. Черепанова [7], С. П. Хабарова [8] та інших.

Проте інтегроване застосування деяких математично-статистичних методів з їхніми програмними реалізаціями для оброблення групових експертних оцінок рівня сформованості ІКК слухачів за результатами комплексного тестування потребує додаткового дослідження.

Метою цієї статті є обґрунтувати методичний підхід, що передбачає підвищення достовірності групової оцінки на основі застосування методів оброблення експертних оцінок та аномальних вимірів (викидів), що реалізовані у статистичному програмному продукті AtteStat, під час групового експертного оцінювання з ранжуванням рівня сформованості ІКК слухача ВНЗ за результатами комплексного тестування.

Для досягнення цієї мети слід оцінити надійність і переваги запропонованого підходу, що реалізує зазначені методи оброблення за допомогою сучасних статистичних програмних засобів.

Ефективність початкових етапів розробки методики оцінювання результатів тестування слухачів визначається формуванням авторитетної групи експертів та отриманні від них якісних оцінок, що є основою будь- якої методики. Організація проведення експертами інтуїтивно-логічного аналізу проблемної галузі з кількісним оцінюванням сформульованих ними суджень становить зміст процесу виявлення знань від експертів.

Кожен з етапів роботи групи експертів під час тестування (екзамену) з іноземної мови можливо формалізувати лише частково. Істотна частина міркувань проводиться на якісному рівні, як це прийнято в гуманітарних науках. Одна з причин полягає в тому, що прагнення до зайвої формалізації і математизації призводить до штучного внесення визначеності там, де її немає по суті, або до використання громіздкого математичного апарату. Так, міркування на словесному рівні вважаються доказовими в більшості ситуацій.

Під час проведення експертизи у навчальному процесі найчастіше використовуються методи вимірювання, які дозволяють розмістити об'єкти на порядковій (інтервальній) шкалі: ранжування, парне порівняння, безпосереднє оцінювання. Ранжування - це процедура упорядкування об'єктів (слухачів) за ступенем їх впливу на результат, вона виконується експертом під час виявлення його знань (ІКК). У результаті експерт складає упорядковану послідовність:

о1>о2>.„>о„">

груповий експертний оцінювання тестування

Найбільш преференційному об'єкту надають ранг 1, другому - ранг 2 і так далі. Зручність використання зв'язних рангів полягає в тому, що сума рангів п об'єктів дорівнює сумі натуральних чисел від 1 до п, і будь-яка комбінація зв'язних рангів не змінює цю суму, що значно спрощує обробку результатів ранжування при груповому експертному оцінюванні.

Ці методи мають різноманітні якості, але призводять до близьких результатів. Тому вибір методу ранжування або парного порівняння пропонується робити за кількістю об'єктів, які треба оцінити, та за малою різницею між ними. Через те, що мала різниця не є чіткою фізичною величиною, за критерій вибору пропонується обрати кількість об'єктів, які треба оцінити (к). Якщо кількість об'єктів, що ранжуються п < к, варто застосовувати метод ранжування. Якщо п > к, тоді варто застосовувати метод парного порівняння. До того ж к не має бути більше 20, а ця процедура є найбільш надійною, коли к>10.

Результати оцінювання є об'єктивними, якщо вони не залежать від обраної одиниці вимірювання, тобто коли вони є інваріативними відносно припустимого перетворення шкали.

Існують вимоги до аналізу даних, виміряних за шкалою певного типу, коли результати не повинні змінюватися за припустимого перетворення шкали вимірювання цих даних. У процесі оцінювання необхідно обчислити думки експертів, виміряні за порядковою шкалою.

Наприклад, Y], Y2,...,Yn - це сукупність балів, які експерти виставили одному слухачеві за результатами тестування, а Z], Z2,...,Zn - другому слухачеві. Необхідно порівняти ці сукупності. Найпростіший спосіб - це за середніми значеннями.

Французький математик О. Коші запропонував загальне поняття середньої величини: середньою величиною є будь-яка функція f(X], X2,...,Xn), така, що за всіх можливих значень аргументів значення цієї функції не менше, ніж мінімальне серед чисел X], X2,...,Xn, і не більше, ніж максимальне серед цих чисел. Усі вищезазначені види середніх є середніми за Коші. За допустимого перетворення шкали значення середньої величини відповідно змінюється. Але загальні результати, для якого слухача середній бал більше, а для якого - менше, мають залишатися незмінними, відповідно до вимог щодо інваріантності результатів як основної вимоги теорії вимірювання. Необхідно знайти такий вид величин, результат порівняння яких буде стійким відносно допустимих перетворень шкали.

Можна дослідити оброблення думок експертів, відображених на порядковій шкалі. Нині є розповсюдженими експертні оцінювання, коли експерти мають виставити бали слухачам, потім обчислюють середні бали і розглядають їх у якості інтегральних оцінок. Дуже часто у якості інтегральної оцінки застосовують середнє арифметичне. Проте цей метод не є коректним, оскільки бали виміряні за порядковою шкалою. Тому доцільно використовувати метод медіани рангів [3; 4]. За допомогою математичної теорії, розвинутої О.І. Орловим [6], на порядковій шкалі раціонально використовувати лише члени варіаційного ряду (порядкові статистики), зокрема, медіану.

Медіаною Кемені для вибірки, що складається з бінарних відносин, називається емпіричне середнє, побудоване за допомогою відстані Кемені. Бінарні відносини, зокрема впорядкування, часто використовуються для відображення думок експертів. Тоді відстань Кемені вимірює близькість думок експертів, а медіана Кемені дозволяє знаходити підсумкову усереднену думку комісії експертів. Медіана застосовується для даних, виміряних за порядковою шкалою, оскільки вони є членами варіаційного ряду, і належить до нечислових статистик, де недоцільне застосування методів, заснованих на усередненні. Медіана стійка за малої кількості тестів і малої кількості експертів.

На наступному прикладі, типовому для тестування з ІМ, розглядається застосування методу ранжування на основі медіани Кемені, коли чотири експерти розташовують результати виконання декількох тестів окремим слухачем за рангами (оцінками), як наведено у табл. 1. Оцінки виставлено за чотирибальною шкалою, що використовується у ВНЗ, де 5 балів - «відмінно» - 1-й ранг, 4 бали - «добре» - 2-й ранг, 3 бали - «задовільно» - 3-й ранг, 2 бали - «незадовільно» - 4-й ранг відповідно.

Таблиця 1

Бали слухача, виставлені експертами за тестування