Дослідження методів кластеризації відповідей на відкриті питання тестів на прикладі набору результатів

Размещено на http://www.allbest.ru/

ДОСЛІДЖЕННЯ МЕТОДІВ КЛАСТЕРИЗАЦІЇ ВІДПОВІДЕЙ НА ВІДКРИТІ ПИТАННЯ ТЕСТІВ НА ПРИКЛАДІ НАБОРА РЕЗУЛЬТАТІВ

Сердаковський В. С., студент групи ПВШ-15-Г1

В статті розглянуті деякі методи формування кластерів студентських робіт на основі показників подібності відповідей на відкриті питання тестів, наведено їх порівняльну характеристику якості на прикладі реальних даних та сформульовані рекомендації по їх практичному використанню.

The article discusses some methods of forming clusters of student works on the basis of indicators of the similarity of answers to open questions test, their comparative quality characteristic based on the real dataset is given and some recommendations on their practical use are stated.

Ключові слова: кластеризація, відкриті питання теста, контроль знань.

Keywords: clustering, open questions of test, knowledge control.

Постановка проблеми. При навчанні процес контролю є досить трудомісткою і відповідальною операцією. Окрім іншого, викладач витрачає багато зусиль для перевірки протоколів практичних занять, зокрема - відповідей на теоретичні питання, які, як правило, однакові для всіх студентів -- на відміну від практичних завдань, що мають багато варіантів. Передбачається, що студенти надають відповіді на теоретичні питання у вільному стилі - у вигляді невеликого тексту, який і має проаналізувати викладач. Практика показує, що деякі студенти в своїх роботах використовують результати, отримані іншим студентом - зі своєї, або паралельної групи, тобто, має місце плагіат.

В якості універсального інструменту для визначення якості знань студентів в навчальному процесі в світовому освітньому просторі та, зокрема, в нашій країні було вибрано тестування. Звісно, опрацьовуючи паперові протоколи, викладачеві дуже складно ідентифікувати як користувачів плагіата, так і джерело оригінала відповідей, що, звісно, є бажаним/необхідним для об'єктивності оцінювання. Правильна постановка контролю сприяє поліпшенню якості підготовки фахівців, тому дуже важливо усунути такі фактори, які заважають викладачеві об'єктивно оцінити якість своєї педагогічної роботи. кластер студентський питання тест

Як правило, студент надає протокол, роздрукований з електронної версії документа -- тобто, існує можливість автоматизувати виявлення випадків плагіату навіть за умови, якщо в навчальному процесі не використовується спеціалізована інформаційна система для реєстрації протоколів практичних робіт студентів. Викладач може приймати більш обгрунтовані рішення щодо оцінювання результатів виконання практичної роботи студентів, якщо з усього набору студентських робіт буде автоматично відокремлено сукупність кластерів студентських робіт, кожен з яких містить лише оригінальні роботи.

Аналіз основних досліджень та публікацій. В сучасній науковій педагогічній літературі дуже широко висвітлюються проблеми високого педагогічного навантаження на викладача вищої школи та необхідності його зниження за рахунок автоматизації процесів контролю знань студентів -- зокрема, в роботах Самилкіної Н. Н. [6]. При цьому багато авторів приділяють увагу спробам подолання історично існуючих складнощів, пов'язаних з об'єктивністю оцінювання. Значних успіхів при вирішенні цих та пов'язаних з ними задач вдається досягти шляхом втілення рейтингової системи оцінювання та застосування в навчальному процесі автоматизованих систем тестування -- Берещук М. Я., [2]. Проте дослідники вказують на існуючі межі використання таких засобів -- загалом, через їх нездатність адекватно опрацьовувати відповіді на так звані “відкриті" запитання (тобто, викладені студентом у вільній формі на відміну від вибору із запропонованих варіантів) -- Федорова А. І., [10].

В той самий час в науковій літературі можна спостерігати матеріали з черговим звітуванням про досягнення певних успіхів в обробці текстів на природній мові, у встановленні авторства літературного текста, у визначенні випадків плагіату, тощо -- Крутояров Д. В., [5], Г. Зеленков, И.В. Сегалович, [8]. Зокрема, зустрічаються посилання на системи обробки текстів комп'ютерних програм, що надають студенти для проведення контролю -- Веретенников М. В.,[3]. Однак, майже у всіх публікаціях зазначається факт існування обмежень на використання існуючих систем контролю та оцінювання знань в опрацюванні результатів тестових завдань відкритого типу, а в деяких пропонуються шляхи їх подолання -- зокрема, в роботах Бадьоріної Л. М., [1]. В роботі Шинкаренко В. І. та Куроп'ятника О. С. [9] перелічено суттєві вади багатьох розглянутих прикладів програмного забезпечення для контроля знань.

Мета статті. Метою статті є дослідження деяких методів кластеризації відповідей на відкриті питання із використанням різних критеріїв подібності текстів, формування їх порівняльних характеристик з точки зору практичної цінності для формування кластерів студентських робіт на прикладі набору реальних даних.

Виклад основного матеріалу. Тести -- це досить короткі, стандартизовані або не стандартизовані проби, випробування, що дозволяють за порівняно короткі проміжки часу оцінити викладачам результативність діяльності студентів, тобто оцінити ступінь і якість досягнення кожним студентом цілей навчання.

Для формування кластерів студентських робіт пропонується проводити порівняння текстів відповідей на взаємну подібність. Такий аналіз подібності текстів відповідей на відкриті питання за деякими критеріями може бути проведений автоматично в оперативному режимі, та його результати можуть бути використані для формування рекомендацій не лише для викладача, але й для студента (наприклад, поради все ж таки виконати роботу самостійно).

Вихідні дані. Аналізу піддаються протоколи практичних робіт студентів трьох груп в кількості 33 для першої роботи (БД3) та 35 для другої (БД5) з загальною кількістю відповідей на теоретичні питання 675 (по 10 питань на роботу). Вважається, що відповіді носять розгорнутий характер, та подані на природній мові -- українській чи російській. Протоколи отримано від студентів 3го курсу як результати виконання практичних робіт з дисципліни “Організація баз даних". Відповіді було перенесено в базу даних для подальшого аналізу.

Перше, що кидається в очі при перегляді відповідей -- це низький рівень самостійності, який демонструють студенти при відповіді на теоритичні питання -- дуже багато відповідей якщо не співпадають дослівно, то дуже схожі одна на одну.

Згрупуємо відповіді на питання за змістом та підрахуємо, скільки студентів використали однаковий -- до окремого символа -- текст (наведені лише неунікальні відповіді в скороченому вигляді):

Таблиця 1

Приклад неунікальних відповідей