Методи, алгоритми та технології контролю знань в системах навчання

Размещено на http://www.allbest.ru/

Херсонський державний технічний університет

Григорова Анжела Анатоліївна

УДК 681.142.2:371.49

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата технічних наук

МЕТОДИ, АЛГОРИТМИ ТА ТЕХНОЛОГІЇ КОНТРОЛЮ ЗНАНЬ В СИСТЕМАХ НАВЧАННЯ

05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології

Херсон - 2004

Дисертацією є рукопис.

Робота виконана в Херсонському державному технічному університеті Міністерства освіти і науки України.

Науковий керівник: кандидат технічних наук, професор Соколова Надія Андріївна, декан факультету кібернетики, завідувач кафедри економічної кібернетики Херсонського державного технічного університету.

Офіційні опоненти:

доктор технічних наук, професор Шаронова Наталія Валеріївна, професор кафедри педагогіки і психології управління соціальними системами Національного технічного університету “ХПІ”;

кандидат технічних наук, доцент Лєпа Євген Володимирович, завідувач кафедри інформаційних систем Херсонського економічно-правового інституту.

Провідна установа: Харківський національний університет радіоелектроніки, кафедра системотехніки, Міністерство освіти і науки України, м. Харків.

Захист відбудеться “28”січня 2005 р. о 12⁰⁰ годині на засіданні спеціалізованої вченої ради Д 67.052.01 Херсонського державного технічного університету за адресою: 73008, м. Херсон, Бериславське шосе, 24

З дисертацією можна ознайомитись у бібліотеці Херсонського державного технічного університету за адресою: 73008, м. Херсон, Бериславське шосе, 24, корпус 1

Автореферат розісланий “20” грудня 2004 р.

Вчений секретар спеціалізованої вченої ради Костін В.О.

Загальна характеристика роботи

Соціально-економічні зміни, що відбуваються в Україні, перехід до інформаційного суспільства вимагають значних змін у всіх сферах діяльності держави. У першу чергу це стосується системи вищої освіти, реформування якої впливає на якість підготовки фахівців. Національна програма “Освіта. Україна XXI століття”, ідея побудови глобального інформаційного суспільства передбачають розвиток освіти на основі нових прогресивних концепцій, впровадження в навчальний процес нових інформаційних технологій, науково-методичних досягнень, входження України в трансконтинентальну систему комп'ютерної інформації.

Перехід до нової якості освіти можливий насамперед при проведенні оптимізації процесу навчання. З цієї точки зору великого інтересу набуває впровадження комп'ютеризованих систем навчання (КСН), що передбачають гнучке поєднання самостійної пізнавальної діяльності учнів і оперативну, систематичну взаємодію з ведучими викладачами вищого навчального закладу. КСН забезпечують адаптацію процесу навчання до індивідуальних характеристик осіб, що навчаються, спрощують процес представлення навчальної інформації і контролю знань, сприяють розробці і впровадженню нових методів контролю знань. У цьому напрямку працюють більше двадцяти ВНЗ і організацій країни. Слід зазначити, що у всіх системах навчання, при будь-якому підході до освіти значна роль відводиться системі контролю знань.

Серед різноманіття форм контролю знань у системі відкритої освіти особливе місце займає тестування. Дослідники пропонують різноманітні підходи до застосування тестів в освітньому процесі. Кожний з цих підходів має сильні та слабкі сторони, але залишається проблема якості навчання.

У процесі роботи над дисертаційним дослідженням автор спирався на праці таких учених, як Савельєв А.Я., Грищенко В.І., Довгялло А.М., Аванесов В.С., Цибенко Ю.В., Шаронова Н.В., Анастазі А., Клайн П., Millman J., Kuder G.F., Richardson M.W., Cronbach L.J. та ін. Вказані роботи створили необхідні передумови для дисертаційного дослідження.

Актуальність теми. Сучасний рівень управління якістю освіти неможливий без використання прогресивних інформаційних технологій. Однією з найважливіших задач, які вирішуються у ВНЗ, є якісна підготовка фахівців, на яких є попит. Для вирішення даної проблеми потрібні інноваційні технології навчання і контролю знань, що забезпечують необхідний рівень якості підготовки фахівців. Саме тому в систему освіти впроваджуються нові інформаційні технології, розробляються нові підходи до оцінювання знань. Особливе місце в цій проблемі відводиться якісному контролю знань. На сьогоднішній день існує досить велика кількість систем контролю знань, у яких декларується якісний контроль знань. Тестування є основною формою контролю в цих системах, але дотепер не вирішена проблема перевірки якості самих тестів. Крім того, ці системи не надають засобів інтеграції в єдину систему. Отже, тематика досліджень є актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана у відповідності до державних науково-технічних програм, які сформульовані в законах України „Про вищу освіту”, „Про наукову і науково-технічну діяльність”, „Про національну програму інформатизації”, а також планам найважливіших науково-технічних робіт Міністерства освіти і науки України:

6. - інформатика, автоматизація і приладобудування;

6.2.2 - перспективні інформаційні технології і системи.

Робота виконувалася на кафедрах економічної кібернетики та інформаційних технологій і дизайну Херсонського державного технічного університету (ХДТУ). Розроблені моделі та алгоритми були використані при виконанні прикладної державної науково-дослідної роботи (номер державної реєстрації 0198U005488). Автор брала участь у даній роботі як виконавець. У виконанні науково-дослідної роботи роль автора полягає у розробці моделей і алгоритмів здійснення контролю знань у комп'ютеризованих системах навчання, структурної схеми та програмних модулів підсистеми контролю знань.

Мета і задачі дослідження. Метою дослідження є доробка елементів конструктивної теорії і проблемно-орієнтованого інструментарію моделювання складових процесу контролю знань для оптимізації процесу навчання. Елементи теорії та інструментарій орієнтовані на вирішення нових задач, пов'язаних із впровадженням у навчальний процес нових технологій контролю знань, основою яких є прогресивні інформаційні технології, що дозволяє підвищити якість навчання.

Поставлена мета визначила наступні задачі:

· Розробка моделі підсистеми контролю знань комп'ютеризованої системи навчання (ПКЗ КСН).

· Розробка структури підсистеми контролю знань.

· Розробка моделі засобів контролю.

· Моделювання основних складових процесу контролю знань.

· Розробка методів і алгоритмів здійснення процесу контролю знань у комп'ютеризованій системі навчання.

· Практична реалізація розроблених моделей, алгоритмів і програм у комп'ютеризованих системах навчання, а також практична реалізація розроблених підходів, моделей, окремих функцій з визначенням області їхнього можливого використання в інших системах.

Об'єктом дослідження є підсистеми контролю знань комп'ютеризованих систем навчання з використанням прогресивних інформаційних технологій.

Предметом дослідження є моделі, методи і засоби організації процесу контролю знань з використанням підсистеми контролю знань комп'ютеризованої системи навчання, що забезпечують підвищення ефективності і якості навчання.

Методи дослідження. Для вирішення поставлених задач використовувалися методи математичного моделювання, теорії ймовірностей і математичної статистики, теорії нечітких множин. Зокрема, для математичного опису задач застосовано методи теорії множин і математичної статистики. Для моделювання процесу контролю знань у КСН застосовано математичний апарат теорії множин і методи математичного моделювання. Підготовка рішень стосовно визначення якості тесту базується на теорії прийняття рішень і теорії нечітких множин. В експериментальних дослідженнях використовувалися методи теорії ймовірностей, математичної статистики та кореляційного аналізу. При розробці програмних модулів використано технологію клієнт-сервер.

Наукова новизна одержаних результатів полягає в наступному:

одержали подальший розвиток елементи конструктивної теорії і проблемно-орієнтованого інструментарію моделювання автоматизованого управління контролем знань із застосуванням прогресивних технологій контролю знань для оптимізації процесу навчання;

одержала подальший розвиток модель особи, що навчається;

розроблено комплекс математичних моделей основних складових процесу контролю знань з урахуванням моделі особи, що навчається;

розроблено структурну схему підсистеми контролю знань, особливістю якої є наявність підсистеми перевірки ефективності тестів і підсистеми аналізу показників ефективності тестів і корекції тестових завдань;

розроблено алгоритми роботи підсистеми контролю знань і перевірки ефективності тестів.

Практичне значення одержаних результатів полягає в підвищенні ефективності процесу навчання за рахунок удосконалення методів і засобів контролю знань осіб, що навчаються.

Результати роботи використовуються в навчальному процесі на кафедрах економічної кібернетики та інформаційних технологій і дизайну Херсонського державного технічного університету.

Особистий внесок здобувача полягає в розробці структурної схеми підсистеми контролю знань комп'ютеризованої системи навчання та модулю перевірки якості тестів, алгоритмів роботи ПКЗ КСН та перевірки валідності тестів; аналізі сучасного рівня робіт у галузі створення підсистем контролю знань; детальному досліджені факторів, що впливають на якість навчання.

Автор брала участь у розробці математичних моделей, методів і алгоритмів вирішення задач та їхньої програмної реалізації.

Усі положення, що виносяться на захист, належать авторові та не містять результатів, що належать співавторам, разом з якими опубліковані наукові праці.

Апробація результатів дисертації. Результати досліджень, що включені в дисертацію, доповідалися та обговорювалися на семінарах кафедр економічної кібернетики та інформаційних технологій і дизайну ХДТУ, наукових конференціях ХДТУ, III, V і VI науково-практичних міжнародних конференціях “Інформаційні технології в освіті і управлінні” (м. Нова Каховка, 2001-2004 рр.), V міжнародній науково - практичній конференції студентів, аспірантів та молодих вчених “Системний аналіз та інформаційні технології”(НТУУ ”КПІ”, м. Київ, 2003), VIII і ІХ всеукраїнських науково-практичних конференціях „Проблеми економічної кібернетики” (м. Алушта, 2003, м. Запоріжжя, 2004), 8-й міжнародній конференції Української асоціації дистанційної освіти “Освіта і віртуальність - 2004” (м. Ялта, 2004), міжнародній науково-практичній конференції „Перспективи вищої освіти: роль міжуніверситетських консорціумів (НЕР'04) ” (м. Миколаїв, 2004).

Публікації. За темою дисертації автором опубліковано 8 друкованих праць, серед яких 6 статей у наукових фахових виданнях, що входять у перелік ВАК України, 2 тез у збірниках матеріалів конференцій.

Структура роботи. Дисертаційна робота складається з вступу, 5 розділів, висновку, списку літератури зі 135 найменувань, 180 сторінок основного тексту, 23 рисунків, 6 таблиць і додатків.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтована актуальність роботи, розкрито сутність і стан наукової проблеми, сформульовані мета та завдання досліджень, наведені одержані результати, характеризується наукова новизна та практична цінність. Наводиться зв'язок роботи з науковими програмами.

У першому розділі здійснено аналіз стану робіт у галузі створення підсистем контролю знань у комп'ютеризованих системах навчання. Обґрунтована актуальність досліджень, визначено місце та роль підсистеми контролю знань комп'ютеризованої системи навчання в навчальному процесі, здійснено класифікацію способів організації навчання та основних напрямків впровадження навчання на основі нових інформаційних технологій. Показано, що фактори суспільного розвитку, які змінюються, висувають високі вимоги до рівня підготовки фахівців і диктують необхідність змін в освітніх технологіях. Встановлено, що поява комп'ютеризованого навчання є наслідком об'єктивного процесу інформатизації суспільства.

Проведений аналіз існуючих підходів до моделювання процесу контролю знань та існуючих систем контролю знань показав їх недостатній рівень, довів перспективність використання тестових форм контролю.

Показано, що процес контролю знань є складовою процесу навчання, яка великою мірою відповідає за якість навчання. Предметом даного дослідження є питання оптимізації процесу навчання за рахунок упровадження нових інформаційних технологій, тобто моделі, методи та засоби організації процесу контролю знань з використанням підсистеми контролю знань комп'ютеризованої системи навчання, які забезпечують підвищення ефективності та якості навчання. Запропоновано етапи впровадження комп'ютеризованих систем навчання в навчальний процес, сформульовано вимоги до систем навчання.

У результаті проведеного аналізу сформульовано предмет, мету, задачі та межі дослідження. Розв'язання поставлених задач дозволяє поліпшити якість навчання.

Другий розділ присвячений моделюванню процесу контролю знань в комп'ютеризованих системах навчання. Розглянуто і проаналізовано особливості моделювання елементів процесу контролю знань. Передбачається, що процес навчання являє собою послідовну сукупність вивчення окремих блоків курсу і дисциплін у цілому. На кожному етапі навчання потрібен контроль, у якості якого запропоновано використовувати тестування за допомогою комп'ютерних засобів. Підкреслюється, що тестування є складовою всього процесу контролю знань. Проаналізовано моделі системи оцінювання знань і моделі тестів. Запропоновано модель тесту для ПКЗ КСН, у якій враховуються характеристики тесту, і модель системи оцінювання знань з урахуванням мети контролю. Запропоновано моделі шкалювання результатів тестування.

Першим кроком до побудови моделі підсистеми контролю знань є визначення моделі навчання, до побудови якої пропонуються різні підходи. В роботі використано теоретико-інформаційну модель навчання (МН) з застосуванням систем комп'ютеризованого навчання (СКН), яка формально може бути описана у вигляді:

де В - множина викладачів: ;

О - множина осіб, що навчаються: .

Розглянемо множину осіб, що навчаються та множини операцій і відношень, заданих на ній. Обмежуючи розмірність задачі, розглянемо особу, що навчається як множину атрибутів наступного виду:

,

де - початковий рівень підготовленості до навчання i-ої особи, що навчається; - здатність до навчання i-ої особи, що навчається; - психологічні властивості особистості i-ої особи, що навчається; - рівень підготовки i-ої особи, що навчається, для роботи із системою; - фактори ставлення i-ої особи, що навчається, до системи; - знання i-ої особи, що навчається, про прикладні галузі задач; - рівень підготовленості i-ої особи, що навчається, після завершення навчання.

Усі ці атрибути є складними. З точки зору контролю знань, найбільшу увагу треба приділити атрибуту .

У можна виділити:

де підсумкова оцінка за курсом; множина оцінок по темах курсу:

,

де k-кількість тем курсу; оцінка за k-у тему; множина оцінок, отриманих за вивчення підтем:

,

де номер теми; номер підтеми.

множина оцінок, отриманих за вивчення параграфів:

,

де номер теми; номер підтеми; номер параграфа. комп'ютеризований навчання програма алгоритм

множина оцінок, отриманих за вивчення мінімальних блоків інформації:

,

де номер теми; номер підтеми; номер параграфа; номер мінімального блоку інформації.

Дана модель особи, що навчається, може розглядатися з погляду як системи навчання в цілому, так і підсистеми контролю знань.

СКН - система комп'ютеризованого навчання. При комп'ютеризованій технології навчання значна частина контролю знань повинна виконуватися системою комп'ютеризованого навчання.

,

де ТЗН - технічні засоби навчання; НЗНТ - навчальні засоби на основі нових інформаційних технологій; ОП - освітні послуги.

Однією зі складових частин СКН є навчальні засоби на основі нових інформаційних технологій (НЗНТ ).

У свою чергу:

,

де КК - комп'ютерні комунікації, НС - середовище, що навчає, де:

,

де ЗВ - засоби викладання, ЗК - засоби контролю знань, ЗС - засоби сертифікації.

За контроль знань відповідає підсистема контролю знань.

Відповідно до психологічних досліджень в області вимірювання темпу засвоєння знань особами, що навчаються, процес засвоєння знань являє собою три послідовних етапи, такі, як: засвоєння знань на рівні уявлення, на рівні впізнавання й на рівні відтворення. Кожний з цих етапів є окремою фазою навчання і характеризується певними вимогами до системи елементів навчання й організації навчального процесу. Одна з таких вимог - створення спеціального інструменту оцінки знань. Дослідження показали, що на кожній фазі навчання необхідно здійснювати моніторинг якості засвоєння знань студентом і, відповідно, кожний етап засвоєння знань буде мати специфічну структуру тесту, що відповідає його задачам. Крім того, для початку вивчення курсу необхідно знати рівень готовності особи, що навчається, до навчання з даного курсу і її психологічні характеристики.

Основним засобом контролю знань в ПКЗ КСН є тести. Опишемо модель тесту:

МТ=В, Н, Д, О,

де В - експертні оцінки валідності тесту:

;

Н - фактори, що впливають на надійність результатів тестування, включаючи надійність, приписувану даному тесту на підставі проведених досліджень: ;

Д - дискримітативність, параметр одержуваний у результаті досліджень із указівкою верхньої і нижньої границь: ;

О - шкали переведення балів в оцінки: .

У третьому розділі розглянуті питання розробки підсистеми контролю знань.

З урахуванням функціонального призначення ПКЗ виділено наступні підсистеми:

1. Тестову підсистему, до складу якої входять: база тестів і тестових завдань; блок перевірки ефективності тестів; блок аналізу показників ефективності тестів і корекції тестових завдань; редактор тестів.

2. Підсистему організації контролю знань, до складу якої входять: блок організації тестування; база результатів тестування.

У розробленій ПКЗ КСН процес тестування може бути ініційований:

викладачем при підсумковій чи поточній перевірці знань зі збереженням результатів у базі даних. Після збереження в базі даних результати тестування за вимогою викладача передаються йому у вигляді звіту, який використовується для аналізу успішності студентів чи виставляння підсумкової оцінки;

студентом, що бажає перевірити свої знання з предмету в цілому чи з обраної теми без збереження результатів тестування. Студент проходить тестування для самоконтролю та одержує інформацію про прогалини у своїх знаннях при вивченні тієї чи іншої теми або предмета в цілому. При цьому тестування є частиною процесу самонавчання.

Відзначається, що у КСН усі види контролю важливі і пов'язані між собою цілями навчання. При цьому кожен вид контролю має свої особливості та вирішує свої задачі.

Схематично роботу підсистеми контролю знань можна представити в наступному вигляді:

1. Розробка тестових завдань - формування тесту - перевірка тесту на ефективність - поповнення бази активних тестів чи видача рекомендацій з модифікації тесту.

Як тільки тест поповнив базу активних тестів, він може бути використаний для контролю знань.

2. Ініціалізація тестування - динамічне формування тесту - тестування - аналіз показників ефективності тестів - видача результатів тестування.

При ініціалізації тестування виконуються наступні дії:

вибирається область тестування;

вибирається тест із бази активних тестів або динамічно формується;

установлюються параметри тестування.

У тому випадку, якщо кількість питань, закріплених за тестом, перевищує кількість питань, що будуть задані студенту під час проходження даного тесту, виникає неоднозначність формування складу тесту, що вирішується шляхом випадкової вибірки питань з числа доступних. Ситуація ускладнюється, якщо питання мають різні ваги. Значення максимальної оцінки такого тесту і його зміст не очевидні. Для вирішення даних питань запропоновано використати наступні правила (враховуючи, що M - шукана максимальна оцінка тесту; X і Y - шукані вектори, що визначають зміст тесту; Q - кількість питань тесту; N - кількість питань, закріплених за даним тестом; P_i - вага i-го питання):

1. При N=Q зміст тесту і його максимальна оцінка очевидні (максимальна оцінка дорівнює сумі ваг).

2. При P_a=P_b і N>Q для будь-яких a і b зміст визначається рівномірною псевдовипадковою вибіркою.

3. При N>Q і P_aP_b для будь-яких a і b множина питань, закріплених за даним тестом, утворює K підмножин за ознакою P_i.

Максимальна оцінка тесту визначається за формулою:

,

де X_j (j [1..K]) - вага питань j-ої підмножини; Y_j - кількість завдань з вагою X_j, , що включені у шуканий зміст тесту, причому:

.

Для визначення Y_j у якості коефіцієнту використано S_j (кількість питань j-ої підмножини):

.

Оскільки формула дає неціле рішення, запропоновано відсортувати Y_j по зменшенню їхніх дробових частин та округлити перші R елементів у більший бік, інші - у менший (якщо таке округлення не дає 0).

R - деяке число, при якому після завершення даної обробки виконається рівність:

.

Інтерфейс підсистеми реалізує дані правила у вигляді алгоритму на сервері.

Так само для формування тесту може бути застосований метод динамічного програмування (алгоритм задачі про завантаження).

Програмна реалізація ПКЗ КСН здійснена за технологією клієнт-сервер.

Результати досліджень довели необхідність автоматизованої перевірки якості тестів.

У четвертому розділі розглянуті питання побудови модуля перевірки якості тестів.

Відзначено, що тест може бути охарактеризований як ефективний за умови, що він задовольняє визначені вимоги. Основні вимоги:

1) валідність;

2) надійність;

3) дискримітативність;

4) використання шкали інтервалів;

5) наявність нормативних даних або можливість опису з високою точністю якою-небудь моделлю, а у випадку індивідуально-орієнтованих тестів - наявність критеріїв, встановлених експериментами.

Валідність тестів запропоновано визначати за результатами експертної оцінки. У залежності від курсу і наявності експертів з даного питання вирішується одна з задач:

оцінка валідності тесту в задачі з одним експертом;

оцінка валідності тесту в задачі з групою експертів, що характеризуються ваговими коефіцієнтами;

оцінка валідності тесту в задачі з групою експертів, що характеризуються нечіткими відношеннями.

Відзначається, що визначення валідності тестів це лише перший крок до створення ефективного тесту.

Надійність тестових результатів можна виразити мірою кореляції між двома рівнобіжними варіантами тесту. Якщо тестові бали одного варіанта позначити символом X, а другого варіанта - символом X', то надійність тесту визначається коефіцієнтом кореляції між Х і X'.

Зміни значення дисперсій завдань і загальної дисперсії тесту приводять до зміни надійності тесту.

,

де r - коефіцієнт надійності тесту; k - число завдань у тесті; p_jq_j, - сума дисперсій завдань тесту; S_х² - загальна дисперсія балів випробуваних по всьому тесту.

Також обчислення надійності реалізовано по формулі Спірмена-Брауна:

r_kk=2r_xy/(1+ r_xy) ,

де r_kk - надійність тесту, r_xy - кореляція між двома половинами тесту.

В залежності від результату тест приймається або відправляється на доопрацювання.

Відзначається, що на надійність результатів впливає вгадування правильної відповіді, розмір тесту, завдання тесту, погані інструкції та інші джерела помилок.

Для перевірки ретестової надійності запропоновано обчислити кореляцію між показниками тесту початкового і повторного тестування, а також порівняти результати тестування з результатами іспиту.

Випробування показали, що коефіцієнт надійності збільшується при повторному тестуванні. Чим більше спроб проходження тесту, тим вищі результати (у середньому). Показано, що тестування є частиною процесу навчання.

Дискримітативність тесту визначається за показником Фергюсона:

==,

де N - кількість студентів; n - кількість завдань; f - частота кожного показника.

Відзначається, що при конструюванні тесту необхідно визначитися з метою - одержання максимальної надійності або максимальної дискрімітативності (наприклад, при дискримітативності 0,86 занадто мало простих і важких завдань). Усе залежить від призначення тесту.

Після підтвердження ефективності тесту необхідно вибрати шкалу переводу балів в оцінки. Вибір шкали залежить від мети контролю.

При детальному вивченні проблеми було вирішено проводити перевірку якості тестів в окремому модулі. Програмний модуль складається з двох частин: серверної та клієнтської.

Опис зв'язків:

1. Прийом запиту експерта (викладача) на вибір обслуговуючого модуля.

2. Вибір заданих тестових завдань з бази даних тестів.

3. Передача результатів підготовчому модулю.

4. Буферизація вихідних даних на сервер.

5. Надання даних клієнту.

6. Прийом результатів від клієнта (експерта).

7. Виведення даних і рекомендацій.

Апробація системи довела необхідність модулю перевірки якості тестів. Лише ефективні тести можуть гарантувати адекватність отриманих результатів.

У п'ятому розділі представлено практичне використання теоретичних результатів.

Створено основні блоки підсистеми контролю знань.

Розроблений програмний комплекс складається з:

1. Серверної частини, що містить базу даних (БД), сервер (WebTest Server), конфігуратор (WebTest Server Configurator), утиліту створення бази даних (createDB) й інсталяційний пакет (Setup). Серверна частина дозволяє проводити тестування студентів, інтегрувати і узгоджувати модулі: базу даних, модуль тестування, модуль управління базою даних, модуль добування й обробки даних. Серверна частина системи виконує три функції:

робота з базою даних;

надання інтерфейсу для модулів, взаємодіючих з особами, що навчаються;

надання інтерфейсу для модулів, що взаємодіють з викладачами.

2. Центру керування WebTest Server (WebTest Control Centre), що дозволяє керувати обліковими записами користувачів системи, вести базу даних тестових завдань, з яких складаються тести. Основні функції центру керування: аутентифікація користувача, керування обліковими записами користувачів, керування базою даних питань, створення тесту з певної дисципліни, модифікація існуючого тесту і редагування його параметрів, видача допомоги по кожному з перерахованих вище пунктів.

Центр керування є засобом взаємодії викладача і студента в КСН.

3. Клієнтської частини, що являє собою набір шаблонів, на основі яких формується інтерфейс користувача і забезпечується діалог користувача з підсистемою тестування.

4. Вбудованого модуля перевірки якості тестів.

Для установки системи необхідно:

Операційна система: повинні бути відкриті 80 порт для HTTP з'єднання, 8222 порт для TCP/IP з'єднання.

Після інсталяції WebTest Server запустити start_appache.bat і HTTP-сервер почне свою роботу як NT-сервіс з опцією Auto-Startup.

SQL-сервер повинен бути встановлений і настроєний. Утиліта createDB створить необхідний DSN і розгорне базу даних по зазначених параметрах командного рядка (усі параметри опціональні):

/dsn:[name] - ім'я DSN (за замовчуванням WebTestDB);

/dbn:[name] - ім'я бази даних (за замовчуванням WebTest);

/srv:[name] - ім'я SQL-сервера (за замовчуванням local);

/sql:[name] - ім'я файлу SQL-скрипта (за замовчуванням db.sql - поставляється із сервером).

У загальному випадку потрібно виконання команди createDB /srv:ім'я_сервера.

WebTest Server настроюється за допомогою WebTest Server Configurator. Конфігуратор вимагає задати шлях до HTML-шаблонів, рисункам до питань, рядок з'єднання з базою даних, порт сокета для підтримки вхідних з'єднань й імена файлів протоколів.

Автоматизація перевірки ефективності тестів і аналізу показників ефективності активних тестів дозволяє спростити процес створення якісних тестів і оптимізувати процес навчання, особливо - контроль знань. Особливо відзначається, що комп'ютеризоване тестування є лише частиною процесу контролю знань.

Результати випробувань підсистеми контролю знань довели, що вона може використовуватися не лише як складова КСН. ПКЗ може бути впроваджена як окрема підсистема будь-якої системи навчання, при цьому підвищується ефективність процесу навчання. У будь-який момент дана система може бути дороблена і розширена за рахунок підключення додаткових модулів.

В додатках наведено: опис інтерфейсу Webtest, основні екранні форми, принцип роботи модулю перевірки якості тестів, опис внутрішньої структури сервісних додатків, приклади вирішення задач визначення валідності тестових наборів, результати тестування.

ВИСНОВКИ

Дисертаційне дослідження присвячене побудові методів, моделей і алгоритмів вирішення задач впровадження інноваційних технологій у навчальний процес з метою його оптимізації в сучасних умовах розвитку суспільства. Елементи теорії й інструментарій орієнтовані на вирішення нових задач, пов'язаних із впровадженням у навчальний процес нових технологій контролю знань, основою яких є прогресивні інформаційні технології, що дозволяє підвищити якість навчання.

Отримано наступні результати:

Розроблено методи й алгоритми здійснення процесу контролю знань у комп'ютеризованій системі навчання.

В результаті аналізу сучасного стану впровадження інноваційних технологій навчання та створення підсистем контролю знань встановлено, що технологічне підвищення ефективності навчання можливе тільки за умови використання комп'ютеризованих систем навчання.

Запропоновано математичну модель підсистеми контролю знань комп'ютеризованої системи навчання, модель навчання при застосуванні комп'ютеризованих систем навчання, модель тесту та модель оцінювання знань з урахуванням мети контролю.

Розроблено структурні схеми підсистеми контролю знань та модулю перевірки якості тестів.

Представлено практичне використання теоретичних результатів.

Створено комплекс програмних модулів підсистеми контролю знань.

Застосування підсистеми контролю знань у навчальному процесі показало:

тестування є складовою всього процесу контролю знань;

використання єдиної шкали для переведення результатів тестування в оцінки неефективно, хоча і привабливо. Вибір шкали залежить від мети контролю знань і характеристик тесту;

на вірогідність результатів при використанні якісних тестів впливає часовий режим і, у відповідності з цим, кількість питань у тесті;

для підсумкового і поточного тестування вибираються різні тести, що відрізняються кількістю питань і складністю;

повторне тестування в тих самих групах показує поліпшення результатів тестування, що доводить: контроль знань є складовою навчання.

Розроблена підсистема контролю знань може бути застосована в усіх системах навчання. Вона органічно вписується в роботу будь-якого навчального закладу.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

Ходаков В.Е., Шерстюк В.Г., Дидык А.А., Радин В.К., Степанский К.Г., Григорова А.А. Использование технологии извлечения знаний в слабоструктурированных информационных хранилищах // Вестник Херсонского государственного технического университета. - 1998. - №2(4). -С. 102-104.

Внесок співавторів:

Ходаков В.Є., Шерстюк В.Г. - виконано постановку проблеми та проаналізовано шляхи її вирішення;

Дідик О.О., Радін В.К. - виконано математичну постановку задачі, запропоновано асоціативне правило;

Степанський К.Г. - практичне використання;

Григорова А.А. - запропоновано використати технологію видобутку інформації у системах прийняття рішень.

Соколова Н.А., Григорова А.А. Система контроля знаний как составляющая электронного учебника // Вестник Херсонского государственного технического университета. - 2001. - №1(10). -С. 431-433.

Здобувачем запропоновано виділити систему контролю знань як одну з складових навчального процесу.

Радванская Л.Н., Соколова Н.А., Григорова А.А., Бугаев А.Д. Концептуальные аспекты построения компьютеризированных систем обучения // Вестник Херсонского государственного технического университета. - 2003. - №2(18). - С. 411-414.

Внесок співавторів:

Радванська Л.М., Соколова Н.А. - постановка проблеми, аналіз аспектів побудови систем навчання;

Григорова А.А. - запропоновані етапи впровадження комп'ютеризованих систем навчання;

Бугаєв А.Д. - проаналізовано моделі систем навчання.

Григорова А.А., Черный С.Г. Формирование современной информационно-аналитической системы для поддержки принятия решений // Автоматика. Автоматизация. Электротехнические комплексы и системы. - 2003. -№ 2(12). - С. 74-77.

Здобувачем запропоновані підходи до формування інформаційно-аналітичної системи та обґрунтовано вибір технології побудови інформаційних систем.

Григорова А.А., Бугаев А.Д., Каширских О.В. Модуль оценки качества теста // Вестник Херсонского государственного технического университета. - 2004.- №1(19). - С. 472-477.

Здобувачем розроблено програмний модуль перевірки якості тестів.

Радванская Л.Н., Соколова Н.А., Григорова А.А. Схема работы подсистемы контроля знаний в компьютеризированной системе обучения // Вестник Херсонского государственного технического университета. - 2004.- №1(19). - С. 442-448.

Здобувачем розроблено структурну схему підсистеми контролю знань, запропоновано алгоритм роботи підсистеми контролю знань.

Григорова А.А. Тестовый контроль знаний в компьютеризированных системах обучения // Праці Всеукр. конф. „Проблеми економічної кібернетики”. - Донецьк: ТОВ „Юго-Восток”. - 2003. - С. 204-205.

Соколова Н.А., Григорова А.А. Концепции и принципы анализа качества тестов в подсистемах контроля знаний // Праці Міжнарод. конф. „Системний аналіз та інформаційні технології”. - К.: КПІ. - 2003. - С.201-202.

Здобувачем запропоновано використати перевірку ефективності тестів, розроблено алгоритм створення ефективних тестів, представлена концептуальна схема підсистеми контролю знань.

АНОТАЦІЯ

Григорова А.А. Методи, алгоритми та технології контролю знань в системах навчання. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології. - Херсонський державний технічний університет, Херсон, 2004.

Дисертаційна робота присвячена питанням створення методів і моделей вирішення задач впровадження інноваційних технологій в процес контролю знань для його оптимізації в сучасних умовах розвитку суспільства, а також доопрацюванню елементів конструктивної теорії й об'єктно-орієнтованого інструментарію моделювання як підсистеми контролю знань в цілому, так і всіх складових процесу контролю знань. Розглянуто особливості комп'ютеризованого навчання. Запропоновано математичну модель підсистеми контролю знань комп'ютеризованої системи навчання у вигляді алгебраїчної системи. Одержала подальший розвиток модель особи, що навчається. Розроблено структуру підсистеми контролю знань комп'ютеризованої системи навчання. Запропоновано математичну модель процесу контролю знань, модель тесту та модель оцінювання знань з урахуванням мети контролю.

Розроблено структуру тестової підсистеми та підсистеми організації контролю знань. Створено алгоритми і програмні модулі реалізації підсистеми контролю знань, особливістю якої є наявність підсистеми перевірки ефективності тестів та аналізу показників ефективності тестів і корекції тестових завдань. Створено підсистему контролю знань, яка може використовуватися в усіх системах навчання. Відзначається, що тестування є необхідною складовою процесу контролю знань.

Ключові слова: модель, моделювання, структура, контроль знань, комп'ютеризована система навчання, підсистема, алгоритм, програмний модуль.

АННОТАЦИЯ

Григорова А.А. Методы, алгоритмы и технологии контроля знаний в системах обучения. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управления и прогрессивные информационные технологии. - Херсонский государственный технический университет, Херсон, 2003.

Диссертационная работа посвящена вопросам построения методов и моделей решения задач внедрения инновационных технологий в процесс контроля знаний для его оптимизации в современных условиях развития общества, а также доработке элементов конструктивной теории и объектно-ориентированного инструментария моделирования как подсистемы контроля знаний в целом, так и всех составляющих процесса контроля знаний.

Проведен анализ состояния работ в области создания подсистем контроля знаний в компьютеризированных системах обучения. Определены предмет и границы исследования. Отмечается, что переход к новому качеству образования возможен только при оптимизации процесса обучения. Основной задачей высших учебных заведений является качественная подготовка специалистов. Один из подходов к решению данной задачи - внедрение компьютеризированных систем обучения.

Рассмотрены особенности компьютеризированного обучения. Проведен анализ существующих подходов к моделированию процесса контроля знаний. Доказана перспективность применения тестовых форм контроля. Тестирование рассматривается как составляющая процессов обучения и контроля знаний. Предложена математическая модель подсистемы контроля знаний компьютеризированной системы обучения в виде алгебраической системы. Получила дальнейшее развитие модель обучаемого, в которой особое внимание уделено компоненте, соответствующей уровню подготовленности обучаемого после завершения обучения. Предложена математическая модель процесса контроля знаний, модель теста и модель оценивания знаний с учетом цели контроля.

Разработана структура подсистемы контроля знаний компьютеризированной системы обучения, в которой выделены тестовая подсистема и подсистема организации контроля знаний. Предложены правила формирования теста. Разработана структура тестовой подсистемы и подсистемы организации контроля знаний. Созданы алгоритмы и программные модули реализации подсистемы контроля знаний, особенностью которой является наличие подсистемы проверки эффективности тестов и анализа показателей эффективности тестов и коррекции тестовых задач. Предложено определять один из показателей эффективности тестов - валидность тестов по результатам экспертных оценок. В зависимости от курса и наличия экспертов решается одна из трех задач принятия решений на базе нечеткой логики. Отмечается, что для применения тестов в учебном процессе, кроме подтверждения их эффективности, необходимо наличие шкал перевода баллов в оценки. Предложено использовать различные шкалы в зависимости от цели контроля знаний. Разработанные прикладные программы отвечают современным требованиям к программным продуктам такого назначения. Созданная подсистема контроля знаний легко интегрируется в другие системы и может применяться во всех системах обучения.

Теоретические результаты работы проверены и подтверждены практическим внедрением разработанной подсистемы контроля знаний в учебный процесс в Херсонском государственном техническом университете.

Отмечается, что тестирование является необходимой составляющей процессов обучения и контроля знаний.

Ключевые слова: модель, моделирование, структура, контроль знаний, компьютеризированная система обучения, подсистема, алгоритм, программный модуль.

SUMMARY

Grigorova A.A. Methods, algorithms and technologies of the control of knowledge in systems of training - manuscript.

The dissertation on reception of a scientific degree of Cand.Tech.Sci. behind a speciality 05.13.06 - automated control systems and progressive information technologies. - Kherson state technical university, Kherson, 2004.

The dissertation is devoted to introduction of methods and models of innovation technologies into process of the control of knowledge with the purpose of its optimization in accordance with the modern state of society, as well as development of constructive theory elements and object oriented instruments of modeling of a subsystem of the control of knowledge and all constituents of process of control of knowledge. Features of computerized of training are considered. Mathematical model of subsystem of control of knowledge of the computerized systems of training is offered as the algebraic system. Model of student got its further development. Structure of subsystem of control of knowledge of the computerized systems of training is elaborated. Mathematical model of process of control of knowledge, model of test and model of evaluation of knowledge, taking into account the purpose of control are offered. Structure of test subsystem and subsystem of organization of control of knowledge is developed. Algorithms and programming modules of subsystem of control of knowledge are created, the feature of which there is the presence of subsystem of check of efficiency of tests and analysis of indexes of efficiency of tests and correction of test problems. The subsystem of control of knowledge, which can be used in all systems of training, is created. It is marked that testing is the necessary constituent of process of control of knowledge.

Keywords: model, of models, structure, control of knowledge, computerized systems of training, subsystem, algorithm, programming module.

Размещено на Allbest.ru

...