23

Размещено на http://www.allbest.ru/

Державний комітет зв'язку та інформатизації України

Національна академія наук України

Державний науково-дослідний інститут інформаційної інфраструктури

Математичні моделі та алгоритми тестування знань з використанням зворотного зв'язку та інтернет-технологій

Спеціальність: 01.05.02 - математичне моделювання та обчислювальні методи

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Колуд Роберт

Львів - 2004

Дисертацією є рукопис

Робота виконана у Державному науково-дослідному інституті інформаційної інфраструктури Державного комітету зв'язку та інформатизації і Національної академії наук України

Науковий керівник:

Марецький Францішек, доктор технічних наук, старший науковий співробітник, Академія інформатики та управління м. Бєльско-Бяла, ректор

Офіційні опоненти:

Яцимірський Михайло Миколайович, доктор технічних наук, професор, Державний науково-дослідний інститут інформаційної інфраструктури, пров. наук. співр.

Хавалко Віктор Михайлович, кандидат технічних наук, старший науковий співробітник, Львівський коледж Державного університету інформаційно-комунікаційних технологій, зав. відділенням

Провідна установа:

Національний університет “Львівська політехніка" Міністерства освіти і науки України, кафедра інформаційних систем та мереж

Захист відбудеться 04 січня 2005 р. о 16 год. на засіданні спеціалізованої вченої ради Д 35.813.01 Державного науково-дослідного інституту інформаційної інфраструктури (79601, м. Львів, вул. Тролейбусна, 11).

З дисертацією можна ознайомитись у бібліотеці Державного НДІ інформаційної інфраструктури (79601, м. Львів, вул. Тролейбусна, 11).

Автореферат розіслано 03 грудня 2004 р.

Вчений секретар Спеціалізованої вченої ради, докт. техн. наук, проф. Бунь Р.А.

Загальна характеристика роботи

Актуальність роботи. Перевірка і оцінювання знань - це одна з найважливіших і найважчих процедур для дидактичних працівників, особливо в освітніх закладах, в яких існує проблема масової верифікації знань великої кількості студентів. Перевірка знань проводиться багатьма традиційними способами, які крім переваг мають загальні недоліки - великі часові затрати та недостатню об'єктивність. Важливою проблемою є також об'єктивне екзаменування за умов обмеженого часу. Розвиток інформаційних технологій та впровадження комп'ютерних систем тестування і перевірки знань робить можливим отримання об'єктивної і точної оцінки відповідей студентів вже в процесі тестування, а критерії оцінювання не залежать від втоми і психічного стану екзаменатора. Найбільш поширеною формою оцінювання знань сьогодні є тестові екзамени, які можуть проводитись з допомогою комп'ютерних засобів - систем автоматизованого тестування.

Сучасні інформаційні технології вносять до процесу оцінювання нові елементи, які є більш ефективні та надійні в порівнянні з класичними засобами контролю знань. Комп'ютерні технології дають можливість використовувати більш складні в математичному плані методи відбору завдань, нарахування балів та оцінювання. На окремих етапах процесу тестування знань, таких як вибір завдань та їх оцінювання, визначення тривалості та кінцевого результату тесту, а також визначення загальної оцінки, необхідним є застосування ефективних математичних моделей, методів і алгоритмів, які покращуватимуть якість тестування і даватимуть можливість адаптації алгоритмів до поточної ситуації в ході тестування. Однією з основних вимог до сучасних систем тестування є їх гнучкість, яка дозволить симулювати традиційний письмовий чи усний екзамен.

За останні десятиліття зроблено суттєвий крок в напрямку розробки математичних моделей, підходів, методів та алгоритмів реалізації базових задач, які виникають на основних етапах тестування знань за допомогою автоматизованих систем. Значний внесок у розробку та дослідження таких моделей зробили вчені: Деповський В.О., Оксамитна Л.П., Катаєва Є.Ю., Коджа T.I., Федорук П.І., Радельчук Г.І., Мушак А., Проводар О., Веренич О.В., Belton M., Hanson B. A., McAlpine M., Niemierko B. та ін.

Кілька останніх років можна спостерігати тенденцію щодо створення Інтернет-орієнтованих, мережевих інфраструктур, які полегшують доступ до інформації та дидактичних засобів в навчальних закладах. Дидактика активно підтримується мережевими комп'ютерними технологіями, а отже, актуальною науковою задачею є створення таких математичних моделей, методів і алгоритмів, які б враховували специфіку тестування знань з різних предметів, динамічно реагували б на ситуації, які при цьому виникають, та знаходили б ефективне використання в системах автоматизованого тестування знань на основі Інтернет-технологій.

Зв'язок роботи з науковими програмами, планами, темами. Основу дисертаційної роботи складають результати теоретичних та практичних досліджень, проведених автором в рамках планових робіт Академії інформатики та управління в м. Бєльско-Бяла. Зокрема, створення системи тестування для дипломного екзамену (2000 р.), створення комп'ютерної системи тестування з навчальних предметів (2001-2004 рр.). Автор дисертаційної роботи був керівником та основним виконавцем цих науково-дослідних робіт. Базуючись на тестових екзаменах, здійснених з кількох сотень предметів, проведено науково-дослідні роботи, пов'язані з використанням принципу зворотного зв'язку.

Мета та задачі дослідження. Метою дисертаційної роботи є розробка математичних моделей, методів і алгоритмів тестування та оцінювання знань і створення на цій основі автоматизованої системи тестування знань з використанням Інтернет-технологій та концепції зворотного зв'язку.

У відповідності з поставленою метою дисертаційна робота включала розв'язання таких задач:

аналіз існуючих підходів до створення систем тестування знань;

розроблення математичних моделей для опису процесу тестування;

створення математичних моделей і алгоритмів реалізації етапів підбору та оцінки завдань, визначення їх кількості в тестах та обчислення кінцевого результату;

встановлення основних засад функціонування механізмів зворотного зв'язку з використанням бази даних статистичної інформації;

розроблення структурної та функціональної схем системи автоматизованого тестування з використанням Інтернет-технологій та механізмів зворотного зв'язку;

програмна реалізація системи автоматизованого тестування знань;

проведення експериментальних досліджень впливу запропонованих алгоритмів на результати тестування знань.

Об'єктом дослідження є комп'ютерні системи тестування та оцінювання знань.

Предметом дослідження є математичні моделі, методи та алгоритми автоматизованого тестування знань з використанням інтернет-технологій та механізмів зворотного зв'язку.

Методи дослідження. В дисертаційній роботі для вирішення визначених задач використано елементи статистичного аналізу і теорії ймовірності, класичну теорію тесту, теорію результату завдання (Item Response Theory), елементи психометрії і педагогіки. Систему автоматизованого тестування створено на основі методів структурного і об'єктно-орієнтованого програмування. Оцінку її ефективності та функціональності здійснено шляхом впровадження в навчальному закладі.

Наукова новизна одержаних результатів полягає в наступному:

вперше запропоновано і проаналізовано концепцію зворотного зв'язку при комп'ютерному тестуванні знань, яка базується на оцінці статистичних характеристик завдань і дає можливість динамічно впливати на ефективність тестування;

вперше розроблено математичні моделі процесу тестування і оцінювання знань, які базуються на використанні диференціюючої здатності завдань та оригінальних алгоритмів встановлення ймовірності вибору завдань залежно від їх диференціюючої здатності та динамічно встановленої ваги, що дає можливість значно підвищити ефективність тестування;

вперше розроблено математичні моделі та ефективні алгоритми встановлення оцінок, які базуються на статистичних характеристиках наявних в базі даних завдань і дають можливість значно покращити об'єктивність оцінювання без додаткових часових затрат;

досліджено залежність похибки результатів тестування від кількості завдань в тесті та обґрунтовано оригінальні методики тестування з динамічно окресленим часом закінчення;

вперше розроблено архітектуру побудови автоматизованої системи тестування знань, яка базується на використанні інтернет-технологій та елементів зворотного зв'язку і дає можливість адаптовувати процес тестування до поточної ситуації;

розроблено процедури формування завдань з динамічно генерованим змістом та алгоритми підбору різних типів завдань при формуванні тестового екзамену, що надає широкі можливості щодо збільшення бази завдань і реалізації інтелектуальних адаптивних алгоритмів оцінювання.

Практичне значення результатів та їх впровадження. Розроблені підходи, математичні моделі та алгоритми дають можливість підвищити ефективність та об'єктивність комп'ютерного тестування знань, підвищити ефективність використання мережевої інфраструктури навчального закладу та ведуть до економії коштів. Цьому сприяють розроблені механізми зворотного зв'язку, які базуються на оцінці статистичних характеристик завдань і дають можливість динамічно впливати на процес тестування; математичні моделі на основі диференціюючої здатності завдань, які дають можливість встановити ймовірність вибору завдань залежно від їх диференціюючої здатності та динамічно встановленої ваги. Розроблені математичні моделі та методики тестування з динамічно окресленим часом закінчення покращують об'єктивність оцінювання без додаткових часових затрат, а процедури формування завдань з динамічно генерованим змістом надають широкі можливості щодо збільшення бази завдань.

Розроблені математичні моделі, методи та алгоритми використано при створенні автоматизованих систем тестування “E-Tester" та “Дипломний екзамен”, які вже кілька років успішно використовуються в Академії інформатики та управління в м. Бєльско-Бяла (Польща). Система “E-Tester" застосовується при проведенні екзаменів, заліків та контрольних робіт, а також є модулем, пов'язаним з навчальною Web-сторінкою Академії, яка є платформою доступу до дидактичного матеріалу через Інтернет. Ця система успішно використовується на інших рівнях навчання, наприклад, в середніх школах та коледжах, під час стажувань, а також для здійснення анкетувань, статистичних досліджень та наукової роботи.

Особистий внесок здобувача. Всі основні результати, що складають зміст дисертаційної роботи, отримані автором самостійно. У публікаціях, написаних у співавторстві, здобувачеві належить: [9] - розробка моделі комунікації та концепції і проекту комп'ютерної аплікації, [10] - розробка алгоритму та способів комп'ютерної реалізації.

Апробація роботи. Основні наукові результати та положення дисертаційної роботи доповідалися та обговорювалися на ряді міжнародних і національних науково-технічних конференцій та шкіл семінарів, зокрема на: Першій міжнар. конф. з індуктивного моделювання “МКІМ-2002” (Львів, 2002 р.); Другій та Третій Міжнар. наук. - практ. конф. “Мікропроцесорні пристрої та системи в автоматизації виробничих процесів” (Хмельницький, 2003, 2004 рр.); Міжнар. конф. “Internet w spoіeczeсstwie informacyjnym" (Закопане, Польща, 2004 р.); Beskidzki Festiwal Nauki i Sztuki (Бєльско-Бяла, Польща, 2001, 2003 рр.); Міжнар. школах семінарах “Математичне моделювання і штучний інтелект” (Львів, 2001-2003 рр.); наукових семінарах Державного НДІ інформаційної інфраструктури, м. Львів та Академії інформатики та управління м. Бєльско-Бяла, Польща на протязі 1999-2004 рр.

Публікації. За матеріалами дисертаційної роботи опубліковано 22 наукові праці, серед яких один навчальний посібник, 5 статей у фахових наукових виданнях України, 5 статей в інших наукових збірниках, 6 препринтів, 5 статей в працях наукових конференцій.

Структура та обсяг дисертації. Дисертаційна робота складається з вступу, п'ятьох розділів, висновків, списку використаних джерел та додатку. Робота викладена на 191 сторінці і містить 147 сторінок основного тексту та список літератури із 178 найменувань.

Основний зміст роботи

У вступі наведено загальну характеристику роботи, обґрунтовано її актуальність, сформульовано мету та основні задачі досліджень, визначено основні методи вирішення сформульованих задач, визначено наукову новизну роботи і практичну цінність отриманих результатів, а також викладено короткий зміст роботи.

В першому розділі наведено огляд відомих підходів за тематикою дисертаційної роботи та проведено аналіз сучасних методів і засобів інформаційної підтримки систем тестування знань, а також обґрунтовано необхідність та доцільність створення систем автоматизованого тестування з використанням Інтернет-технологій.

Показано, що існуючі підходи, в основному, не забезпечують необхідних параметрів об'єктивності, точності та ефективності процесу екзаменування, а також не дають можливості визначити характеристики завдань на основі результатів тестування і здійснювати вплив на формування банку завдань та ефективний їх підбір для екзаменованого в ході наступних тестувань. Проаналізовано вимоги до архітектур, властивостей і можливостей систем тестування знань на основі Інтернет-технологій, що дозволило обґрунтувати доцільність створення такої системи тестування, яка б технічно створювала екзаменованим настільки вигідні умови, щоб вони могли показати найкращі результати у виділений для цього час.

Досліджено базові методи і підходи, пов'язані з тестуванням знань, та наведено аналіз класичних алгоритмів і методів, які використовуються в системах тестування. Виділено варіанти інтерактивних тестів, прикладами яких є процедури пірамідального та ієрархічного адаптаційного тестування, і на цій основі описано базові методи оцінювання: дихотомічне та багатозначне, а також шкали та методи визначення результату тесту, такі як, наприклад, точні результати в балах, результат для цілої бази завдань, результат для підмножини завдань, відсоткові результати, результати в нормалізованій шкалі, а також у відсотковій рейтинговій шакалі.

На основі аналізу педагогічної та психометричної літератури, наведено ряд варіантів визначення характеристик завдань і результатів тестування на основі кількісного аналізу. До них можна зарахувати: параметри пропусків, легкості та диференціюючої здатності. Параметр диференціюючої здатності завдання (ДЗЗ) трактується як інформація про кореляцію результатів завдання з результатами тесту, в якому міститься це завдання. ДЗЗ може використовуватись для сепарації екзаменованих з вищими та нижчими рівнями компетенції в рамках програмованого тесту. Один з методів визначення ДЗЗ полягає в обчисленні коефіцієнта кореляції Пеарсона.

Проведено огляд характеристик тестів, серед яких можна виділити параметри центральної тенденції і параметри розподілу, а також коефіцієнт надійності, який свідчить про те, яка частина кінцевого результату породжена помилками. Для оцінки надійності можна використовувати формули Кронбаха і Кудера-Річардсона.

Альтернативою до класичної теорії тесту є “теорія результату завдання” (Item Response Theory - IRT), яка визначає математичну модель конфронтації екзаменованої особи з завданням, в сенсі сукупності параметрів, пов'язаних з екзаменованим та елементами тесту. Вона уможливлює більш точний опис завдання і результатів тесту. Математичною основою однієї з моделей IRT (трипараметрової 3-PL) є формула , де - це ймовірність того, що особа з рівнем досягнень дасть вірну відповідь у випадку завдання з рівнем складності , параметром ДЗЗ та параметром “вгадування" .

Другий розділ присвячено питанням формування математичних моделей та алгоритмів процесу тестування і оцінювання знань, які ґрунтуються на використанні ДЗЗ. Проаналізовано проблеми визначення ймовірності вибору завдань залежно від їх ДЗЗ, тестування на основі максимальної ДЗЗ та управління вагою завдання.

Представлено розроблені математичні моделі опису процесу тестування знань і сформульовано методи та алгоритми, які використовуються на його наступних етапах, представлених на рис.1.

Сформульовано концепцію зворотного зв'язку, яка тракту-ється як вплив результатів тес-тів, розв'язаних групою екзаме-нованих, на параметри алгорит-мів і стратегії проведення тестів в майбутньому.

Запропоновано та реалізова-но алгоритм управління ймовір-ністю вибору завдання залежно від його ДЗЗ, який базується на концепції зворотного зв'язку (P_ДЗЗ - представлений на рис.2, де - значення параметра ДЗЗ; та - найменше і най-більше значення ДЗЗ в банку завдань; - коефіцієнт жеребкування для -го завдання; і - максимальне і мінімальне допустиме значення ; - ймовірність вибору -го завдання, - кількість завдань в банку завдань, - кількість завдань в тесті, - завдання в тесті). У відповідності з цим алгоритмом чим більше значення ДЗЗ, тим більшою є ймовірність його вибору.

комп'ютерна система тестування знання

Запропоновано математичну модель і розроблено відповідний їй алгоритм, який використовує ДЗЗ і дозволяє здійснювати управління вагою завдання згідно формули , де - вага -го завдання, , - максимальне і мінімальне допустиме значення ваги завдання. Вага враховується при обчисленні кінцевого результату тесту в балах: , де та - результат і вага для -го завдання в тесті.

Проведено дослідження впливу запропонованих алгоритмів, пов'язаних з використанням ДЗЗ, на результати і характеристики тестів. Дослідженнями охоплено алгоритм Р (завдання відбираються до тесту з однаковою ймовірністю) та алгоритм P_ДЗЗmax (до тесту підбираються лише завдання з найбільшими значеннями ДЗЗ). Симуляції продемонстрували, що при застосуванні алгоритмів P_ДЗЗ, P_ДЗЗmax та P_{ДЗЗваги} на 10-70% збільшувалось стандартне відхилення розподілу результатів екзамену по відношенню до алгоритму Р.

Аналізуючи значення надійності, обчислені методом Кудера-Річардсона, для алгоритмів P_ДЗЗmax та P_ДЗЗ зауважено вищі їх значення ніж для алгоритму Р, наприклад

Тест 1: Р: 0,53; P_ДЗЗ: 0,6; P_ДЗЗmax: 0,75.

Тест 2: Р: 0,81; P_ДЗЗ: 0,84; P_ДЗЗmax: 0,91.

Запропоновано та апробовано алгоритм, який використовує зворотний зв'язок, і знаходить застосування у випадках, коли студент багаторазово розв'язує тест, що базується на підмножинах завдань з більшого банку, з метою повторення матеріалу (АБРТ - алгоритм багаторазового розв'язування тесту). Після чергового розв'язування тесту модифікуються параметри жеребкування окремих завдань, які впливають на ймовірність його вбору в майбутньому: , якщо в -му тесті дано вірну відповідь на питання ; , якщо в -му тесті дано невірну відповідь на питання ; , якщо в -му тесті не вибрано питання ; ; , та - значення параметрів, які керують алгоритмом. Таким чином студент частіше отримуватиме завдання, які викликають у нього труднощі.

Альтернативою по відношенню до класичної теорії тесту є моделі на основі “теорії результату завдання”. Використовуючи ці моделі розроблено програмний продукт IRTProcess, який дає можливість обчислювати результати тестів і оцінювати характеристики завдань, а також порівнювати їх з характеристиками класичної теорії тесту. Проаналізовано використання інформаційної функції для опису та оцінки ефективності завдань. Інформаційні функції завдань і тесту в цілому можуть братись до уваги при підборі завдань до тесту, а також в процедурах селекції, нагромадження і актуалізації тестових завдань в банках завдань.

В третьому розділі запропоновано та досліджено математичні моделі, методи та алгоритми, які використовуються під час оцінювання тестових завдань, а також для визначення кількості завдань в тесті.

Розроблено метод багатобального оцінювання завдань типу вибору на основі зворотного зв'язку (БОЗЗ). При цьому зроблено припущення, що у випадку, коли дано цілком вірну відповідь на завдання, екзаменований отримує 1 бал, натомість у випадку надання невірної відповіді екзаменований отримує різні значення балів, в залежності від зазначеного варіанту відповіді. Оцінювання окремих варіантів залежить від середнього результату тесту, який отримали в минулому інші екзаменовані, які вказали цей же варіант.

Експериментальними дослідженнями встановлено, що застосування алгоритму багаторазового оцінювання завдань типу вибору з використанням зворотного зв'язку спричиняє зменшення похибки вимірювань. Для дихотомічного методу і для тестів, які базуються на 20-30 завданнях, середня похибка вимірювання результату тестування зменшується на 30%. Крім того, застосування методу БОЗЗ спричиняє деяке завищення середнього результату тесту, що необхідно взяти до уваги при встановленні відповідних правил оцінювання.

Іншим не менш важливим запропонованим підходом є стратегія проведення тесту з динамічно визначеним моментом завершення. Блок-схему алгоритму, визначеного як “метод без вибиття з каналу” (МБВК), зображено на рис.3, а ілюстрацію його функціонування - на рис.4. Алгоритм відслідковує зміну значення відсоткового результату тесту після відповідей на наступні завдання. У випадку, коли після визначеної кількості разів підряд цей параметр залишається стабільним в певному околі, тест завершується.

На рис.3 використано позначення: - мінімальна кількість завдань, яка має бути в тесті; - максимальна кількість завдань, яка може бути в тесті; ; - “довжина каналу” або кількість останніх значень (завдань), на основі яких перевіряється чи результат став стабільним, - “ширина каналу” або амплітуда коливань відносного результату після кількох наступних завдань, нижче якої система визнає, що результат став стабільним і можна закінчити тест; - результат тесту. На основі проведених досліджень і симуляцій рекомендується комбінація параметрів: , , , . Адміністратор тесту може встановлювати їх самостійно, залежно від запланованого часу тестування і прийнятної величини похибки вимірювань.

В розділі запропоновано також метод визначення оцінок з врахуванням ДЗЗ. В цьому випадку адміністратор тесту приймає рішення стосовно встановлення необхідних порогів результатів для найвищої та найнижчої оцінок у використовуваній шкалі, натомість межі інших оцінок визначаються автоматично. ДЗЗ використовується також у випадку, коли результат екзамену знаходиться у межах непевності, тобто є близьким до порогового значення результату для двох сусідніх оцінок.

В четвертому розділі на основі аналізу базових модулів системи автоматизованого тестування знань розглянуто ряд інформаційних технологій, які використовуються при побудові таких систем. Розроблено архітектуру бази даних інтернет-системи тестування знань та архітектуру функціонування спроектованої системи, яка використовує концепцію зворотного зв'язку. Детально описано елементи модульної архітектури функціонування системи тестування (рис.5), задачі основних блоків та принципи реалізації. Представлено також засади функціонування найважливіших елементів системи і описано схеми дії основних механізмів розробленої системи тестування знань.

Розроблена автоматизована система складається з трьох основних модулів-підсистем: адміністративна, тестування та симуляції. Модуль симуляції дозволяє прогнозувати стратегію проведення тестових екзаменів в майбутньому за умов використання альтернативних методів та алгоритмів. Цей модуль є програмним засобом для дослідження впливу використаних алгоритмів на результати і характеристики тестів. Впроваджуючи концепцію симулятора, зроблено припущення, що в наступних симульованих тестах екзаменований дасть таку ж відповідь, яку було дано на те саме запитання в минулому. Приймається також, що в симульованих для екзаменованого тестах, він отримає лише такі завдання, для яких вже відомі його попередні відповіді, зібрані в банку даних.

В п'ятому розділі представлено програмні реалізації створених систем автоматизованого тестування знань. Описано три системи:

система тестування “E-Tester" - функціонує як інтернет-платформа, яка дає доступ до тестів перевірки знань;

Комп'ютерна система тестування знань на базі електронної пошти - асинхронна модель комунікації, в якій електронна пошта використовується для автоматичної передачі тестових завдань студенту та результатів тестування викладачу або адміністратору;

Інтернет-система тестування “Дипломний екзамен”, яка дозволяє студенту підготуватись і здати завершальний дипломний екзамен в Академії інформатики та управління.

Система тестування “E-Tester" є найпотужнішою з них. Архітектуру цієї системи та основні функціональні схеми представлено в розд.4. Основні складові частини реалізовано, використовуючи розроблені математичні моделі, методи та алгоритми, з врахуванням зворотного зв'язку. Програмна реалізація систем тестування ґрунтується на використанні мови PHP4 і баз даних MySQL з можливістю впровадження іншої бази даних SQL. Значну увагу приділено типам завдань, особливо завданням з доповненнями, які ґрунтуються на довільній кількості текстових полів та списків вибору, завданням мультимедійного типу (схема обслуговування представлена на рис.6) та завданням динамічно генерованого змісту (ДГ). Завдання типу ДГ використовують код програми, який вводиться адміністратором тесту, а їх форма та зміст можуть бути різними для окремих екзаменованих.

Створений модуль симуляції системи E-Tester використано для проведення досліджень впливу значень параметрів на похибку вимірювань і тривалість тесту для методу МБВК. Зокрема, досліджено вплив значень параметрів методу на середню похибку вимірювань та кількість завдань в тесті. На основі цього аналізу адміністратор тесту може підбирати параметри методу, залежно від прийнятого рівня похибки і очікуваної середньої тривалості тесту.

Обґрунтовано доцільність використання розроблених алгоритмів і методів на кожному етапі тестування в залежності від ситуації, в якій проводиться тестування, та пріоритетів екзаменатора чи адміністратора тесту, а в деяких випадках, навіть студента (див. рис.7).

В табл.1 показано різноманітні можливі класи ситуацій тестування. Для кожної ситуації вказано рекомендований варіант тестування, який може здійснюватися з використанням створених автоматизованих систем.

Таблиця 1. Класи ситуацій тестування та рекомендовані методики тестування

Основні результати та висновки

Thesis for a candidate's degree by specialty 01.05.02 - mathematical modelling and numerical methods, State Institute of Informational Infrastructure, Lviv, 2004.

The dissertation highlights the problem of the mathematical models, methods and algorithms of knowledge testing in computerized assessment. Computer-based assessment systems with the implementation of Internet web technologies and feedback elements were created on the above basis. The mathematical models of computerized testing and grading processes were formed. The models are based on the use of item discrimination indexes and original item selection algorithms. The probability of item selection and item weight are calculated according to the value of item discrimination. Such an approach gives the opportunity for raising the assessment effectiveness. The mathematical model and effective scoring algorithms use past test statistics results were created. They ensure the assessment objectivity without devoting additional period of time. The relationship analysis between the number of items in the test and assessment error was carried out. A testing method with adaptive determination of the test finishing moment was formulated. The architecture and the project of computerized assessment system were created. They are based on the use of Internet technologies and feedback elements. It all enables the testing process adaptation to the particular situation type.

Key words: automatic assessment systems, mathematical modelling, algorithm, Internet technologies, feedback.

Размещено на Allbest.ru