Методи та програмні засоби оцінки знань в медичній освіті

Размещено на http://www.allbest.ru/

КИЇВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ

ІМЕНІ ТАРАСА ШЕВЧЕНКА

МЕТОДИ ТА ПРОГРАМНІ ЗАСОБИ ОЦІНКИ ЗНАНЬ В МЕДИЧНІЙ ОСВІТІ

01.05.03 _ математичне та програмне забезпечення обчислювальних машин і систем

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата технічних наук

Семенець Андрій Володимирович

Київ - 2011

Дисертацією є рукопис

Робота виконана на кафедрі медичної інформатики Тернопільського державного медичного університету імені І.Я.Горбачевського, Міністерство охорони здоров'я України.

Науковий керівник: доктор технічних наук, професор Марценюк Василь Петрович, Тернопільський державний медичний університет імені І.Я. Горбачевського, проректор з наукової роботи, завідувач кафедри медичної інформатики.

Офіційні опоненти: доктор технічних наук, доцент Лупенко Сергій Анатолійович, Тернопільський національний технічний університет імені І. Пулюя, завідувач кафедри комп'ютерної інженерії;

кандидат технічних наук, доцент Олецький Олексій Віталійович Національний університет "Києво-Могилянська академія", доцент кафедри мультимедійних систем.

Захист відбудеться 21 квітня 2011 року о 14 год. на засіданні спеціалізованої вченої ради Д 26.001.09 у Київському національному університеті імені Тараса Шевченка за адресою: 03680, м. Київ, просп. академіка Глушкова, 4 Д, факультет кібернетики, ауд. 40.

З дисертацією можна ознайомитись у науковій бібліотеці Київського національного університету імені Тараса Шевченка (м. Київ, вул. Володимирська, 58).

Автореферат розіслано "15" березня 2011 р.

Вчений секретар спеціалізованої вченої ради В.П. Шевченко.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Задача підвищення якості освіти є важливою для кожної країни світу, але для України це особливо актуальна і пріоритетна проблема. Затверджена указом Президента України "Національна доктрина розвитку освіти України у XXI столітті" ставить перед державою і суспільством завдання забезпечити пріоритетність розвитку науки і техніки, зокрема, шляхом запровадження освітніх інновацій та сучасних інформаційних технологій. Особлива увага надається необхідності забезпечення особистісно-орієнтованого навчання, моніторингу освітнього процесу і підвищення якості та ефективності освітніх послуг. Велика увага питанням розвитку медичної освіти приділено в міжгалузевій комплексній програмі "Здоров'я нації" (на 2002-2011 роки) та в указі Президента України від 06.12.2005 №1694/2005 "Про невідкладні заходи щодо реформування системи охорони здоров'я населення".

Україна має власну історію розвитку базових засад інформаційного суспільства. Це і всесвітньовідома школа кібернетики, і сформовані концепції та програми інформатизації, і створені інформаційно-комунікаційні технології. Важливий внесок в розвиток теорії та методів системного аналізу, математичного моделювання та оптимізації, загальної теорії керування в Україні зробили Б.М.Бублик, Ф.Г.Гаращенко, Ю.М.Єрмольев, М.Ф.Кириченко, В.М.Кунцевич, І.І.Ляшко, О.Г.Наконечний, І.В.Сергієнко та інші. Методи розробки програмних комплексів складних інформаційних систем досліджували Анісімов А.В., Андон Ф.І., Волкович В.Л., Михалевич В.С.

Розвиток медичної науки та індустрії постійно коригує процес медичного навчання: опрацьовуються стандарти медичних дій; формалізуються процедури, що, як вважали раніше, можна було сприймати лише за допомогою чуттєвої сфери фахівця і засвоювати завдяки накопиченню досвіду. Подібні тенденції, у поєднанні з розвитком нових інформаційних технологій, зробили реальністю застосування обчислювальних засобів для автоматизованого збору, збереження, обробки і передачі формалізованої інформації. Це зумовило потужний поштовх для подальшого розвитку методик тестового оцінювання знань в медичній освіті. З метою перевірки медичних знань почали впроваджувати різні типи тестових завдань, з'явились автоматизовані процедури проведення атестації тощо (Доскін В.А., Кобзар О.Б., Корольов М.П., Міхалічев Е.А., Miller R.A.).

Багаторічний досвід закордонних медичних шкіл свідчить про велике значення впровадження тестових програм на різних рівнях підготовки лікарів. Практикою доведено, що саме тести дозволяють досягти високого ступеня об'єктивності при оцінюванні знань. Тому перевірка знань за допомогою тестів стала вагомим елементом практично будь-якого виду освіти.

Теоретичні основи тестування і розробки тестів досліджено в наукових працях В.С. Аванесова, В.П. Беспалька, Е.А. Міхалічева, проблеми автоматизації навчання, програмованого навчання досліджували В.П. Беспалько, В.Г. Булигін, Л.П. Одерій, А.Й. Ягодзінський, методичні аспекти автоматизованого оцінювання знань відображено в роботах І.Є. Булах, В.А. Доскіна, М.П. Корольова, Л.П. Одерія, Н.Н. Самилкіної.

Розробкою інструментальних засобів комп'ютерних систем тестування і впровадження в практику нових методик комп'ютерного оцінювання знань займалися Н.В. Білоус, М.П. Боцула, Т.І. Коджа, Р. Колуд, Н.В.Колеснікова.

Актуальність даної роботи визначається тим, що подолати окремі проблеми застосування тестового контролю знань в медичній освіті можна за умови комплексного дослідження ефективності тестових методів, з особливим акцентуванням уваги на питаннях автоматизації процедури підготовки тестових завдань з урахуванням специфіки предметної галузі, і підвищенням валідності як самих тестів, так і всієї методики контролю знань. Цей підхід також дозволяє реалізовувати індивідуально-орієнтовані підходи до контролю знань, що позитивно впливає на якість атестації.

Зв'язок роботи з науковими програмами, планами, темами. Один із основних напрямків реалізації прийнятої в 2008 році урядової "Концепції розвитку медичної освіти" передбачає удосконалення системи оцінювання рівня компетентності студентів та лікарів-інтернів шляхом проведення незалежних, від вищих навчальних закладів та закладів післядипломної освіти, ліцензійних інтегрованих іспитів. Саме на виконання цих завдань націлена дана робота.

Базовою для даної роботи стала комплексна науково-дослідна робота (НДР) навчально-наукового інституту математичного моделювання патологічних процесів Тернопільського державного медичного університету ім. І.Я. Горбачевського, "Медико-інформаційне дослідження експериментальної патології внутрішніх органів при різних функціональних станах та її корекція", № державної реєстрації 0107U114462.

Мета і завдання дослідження. Метою роботи є розробка методів побудови програмного забезпечення інформаційних систем перевірки знань в медичній освіті. Вказані методи включають архітектуру, інструментальні засоби і технології створення програмного забезпечення відповідних комп'ютерних систем.

Досягнення мети пов'язане з вирішенням таких задач дослідження:

1. Аналіз моделей, методів та програмного забезпечення інформаційних систем тестового оцінювання знань, їх використання при керуванні навчальним процесом, зокрема, в медичній освіті.

2. Розробка концептуальної моделі типової структури інформаційної системи перевірки знань в медичній освіті (ІСПЗМО) для реалізації різних методик тестування, в тому числі і з використанням паперових бланків відповідей та їх наступною автоматизованою перевіркою.

3. Розробка внутрішньої структури бази даних ІСПЗМО, її програмна реалізація. Розробка алгоритмів автоматизованого проектування тест-білетів для ІСПЗМО. Реалізація даних алгоритмів програмними засобами.

4. Аналіз експлуатаційних характеристик бази завдань ІСПЗМО. Дослідження та оцінка перспектив застосування даної інформаційно-аналітичної системи вцілому.

Об'єкт дослідження - процеси тестового оцінювання знань в медичній освіті.

Предмет дослідження - моделі структур інформаційно-аналітичних систем, що лежать в основі розробки інформаційної системи перевірки знань в медичній освіті.

Методи дослідження. Загальну методологію дослідження становлять: теорія інформаційних систем; принципи побудови інформаційно-аналітичних систем; основи об'єктно-орієнтованого підходу; принципи модульного навчання; теорія тестування.

Для практичної реалізації поставлених задач використано евристичні методи для аналізу і розробки математичного забезпечення процедур комп'ютерного тестування, методи оптимізації при розробці програмних алгоритмів формування тестів, математичну статистику та кореляційний аналіз для верифікації процедур оцінювання результатів тестування, теорію проектування реляційних баз даних, а також методи об'єктно-орієнтованого програмування для програмної реалізації розробленого математичного забезпечення.

Дидактичні основи дослідження становлять наукові праці, які ґрунтуються на ідеях удосконалення організації контролю знань і вмінь студентів у вищих навчальних закладах (І.Є. Булах, С.У. Гончаренко, Н.Н. Нохріна), зокрема, медичних (Л.М. Артемчук, Г.І. Лернер, Є.В. Мілерян, М.М. Шупутенько), з використанням тестів досягнень (В.С. Аванесов А.І. Майоров, Є.А. Міхайлічов, О.С. Масалітіна, І.П. Підласий, Л.Ф. Фірсенков, М.Б. Челишкова); методах побудови систем, зокрема освітніх (І.В. Блауберг, В.І. Садовський, О.Г. Юдін); сучасних підходів до розробки дидактичних матеріалів для контролю, зокрема за модульною технологією (А.М. Алексюк, В. Гольдшміт, Г. Овенс, А.В. Фурман, П.А. Юцявічене).

Наукова новизна одержаних результатів. У дисертаційній роботі наведено нові теоретичні дані щодо шляхів вирішення задачі створення інформаційно-аналітичної системи тестового оцінювання знань в медичній освіті. При цьому були одержані такі наукові результати:

· вперше запропоновано підхід до розробки інформаційно-аналітичних систем (ІАС) тестового оцінювання знань в медичній освіті, в основі якого лежать методи інтеграції різних типів інформації в рамках єдиного контейнеру даних бінарного типу;

· на основі виокремлення п'яти основних інформаційних проекцій та аналізу зв'язків між ними, отримано удосконалені моделі інформаційних потоків у інформаційній системі перевірки знань у медичній освіті, що дало змогу розробити функціонально-модульну структуру програмного забезпечення вказаної ІАС;

· з метою підвищення достовірності та забезпечення об'єктивності оцінювання результатів навчання в медичній освіті удосконалено підхід до проектування тестів, який полягає в поєднанні використання критеріїв якості тестових завдань в рамках класичної теорії тестування та теорії відгуків; експериментально визначено оптимальні значення критеріїв якості в рамках класичної теорії тестування;

· на основі методу аналізу ієрархій вперше розроблено підхід до розв'язання задачі оптимізації співвідношень між різними видами контролю знань в рамках кредитно-модульної системи організації навчального процесу; отримані відповідні розподіли значень коефіцієнтів з врахуванням специфіки предметної області;

· вперше проведено аналіз експлуатаційних характеристик реляційної БД, призначеної для зберігання виключно мультимедійної інформації, який показав достатню швидкість обміну даними в розробленій інформаційно-аналітичній системі, незважаючи на високий ступінь фрагментації сторінок даних БД;

· застосовуючи методики багатовимірного регресійного аналізу та побудови багатошарових нейронних мереж до вирішення задач прогнозування, експериментально досліджено можливість прогнозування оцінок студентів за медичний ліцензійний іспит "Крок".

Практичне значення одержаних результатів. Розроблено інформаційну модель бази даних ІСПЗМО з використанням полів даних типу BLOB (Binary Large OBject) для зберігання тексту в форматі RTF (Rich Text Format) з різноманітним розширеним форматуванням, включаючи об'єкти OLE (Object Linking and Embedding). Також розроблено загальну методику проведення тестового іспиту з використанням паперових бланків відповідей та їх наступною автоматизованою перевіркою з використанням програмного забезпечення оптичного розпізнання тексту та спеціально розроблених правил обробки бланку відповідей.

Результати роботи впроваджені і використовуються в навчальному процесі Національної медичної академії післядипломної освіти ім. П.Л.Шупика, а, також, Тернопільського державного медичного університету ім. І.Я.Горбачевського (ТДМУ) для проведення семестрового тестового іспиту як форми модульного контролю у рамках кредитно-модульної системи навчання, що підтверджено відповідними актами впровадження та свідоцтвом про реєстрацію авторського права на твір № 32268 від 01.03.2010р. на комп'ютерну програму "Інформаційна система перевірки знань в медичній освіті", виданий Державним департаментом інтелектуальної власності Міністерства освіти і науки України.

Особистий внесок здобувача. Основні наукові та практичні результати дисертаційної роботи отримані автором особисто і опубліковані в наукових та фахових виданнях. В [1, 2] автором розроблено концептуальну модель багатокористувацького опитування та структуру інформаційної моделі системи перевірки знань у медичній освіті; в [3] - розроблено внутрішню структуру бази даних; в [4, 7] - розроблено алгоритм автоматичної генерації тест-білетів; в [5, 6] - проаналізовано можливості застосування ІАС в медицині, і, зокрема, в медичній освіті; в [8, 9, 10, 11,12] - проаналізовано складність алгоритмів, експлуатаційні характеристики БД, необхідне програмне забезпечення, можливості застосування розробленої ІАС.

Роботи [1, 2, 3, 4] написані у співавторстві з керівником - д.т.н., проф. Марценюком В.П., якому належить формулювання постановки задачі дослідження та концепція підходу до розробки інформаційно-аналітичної системи оцінювання знань в медичній освіті. В роботі [1] ідея створення та впровадження ІСПЗМО належить ректору ТДМУ, проф. Ковальчуку Л.Я. Проф. Марценюк В.П. запропонував вибір інформаційних моделей, автор здійснив їх програмну реалізацію.

Апробація результатів дисертації. Результати досліджень, включених до дисертації, оприлюднені на таких конференціях: V Міжнародна науково-практична конференція "Системний аналіз та інформаційні технології" (Київ, 2003 р.), Міжнародна науково-практична конференція "Комп'ютери. Програми. Інтернет. 2003" (Київ, 2003 р.), International conference „PROBLEMS OF DECISION MAKING UNDER UNCERTAINTIES”, (Тернопіль, 2004 р.), Всеукраїнська науково-практична конференція „Медична інформатика 2005” (Тернопіль, 2005 р.), International workshop „Problems Of Decision Making Under Uncertainties”, (Кам'янець-Подільський, 2009 р.), International workshop „Problems Of Decision Making Under Uncertainties”, (Львів, 2010 р.), Перший Всеукраїнський з'їзд "Медична та біологічна інформатика і кібернетика" (Київ, 2010 р.).

Публікації. Результати дисертації опубліковані в 4 статтях у фахових виданнях, рекомендованих ВАК України, у 8 матеріалах і тезах конференцій. Загальний обсяг публікацій складає 4,45 друк. арк., з яких особисто автору належить 4,14 друк. арк.

Структура дисертації. Дисертаційна робота складається із переліку умовних позначень, вступу (8 сторінок), чотирьох основних розділів, висновків, восьми додатків (38 сторінок) та переліку використаних джерел (161 найменування на 17 сторінках). Повний обсяг дисертаційної роботи становить 216 сторінок; основний текст займає 148 сторінок. Робота містить 41 рисунок та 26 таблиць.

ОСНОВНИЙ ЗМІСТ РОБОТИ

інформаційний тестування оцінювання бінарний

У вступі обгрунтовано актуальність теми роботи, її зв'язок з науковими програмами, сформульовані мета і завдання дослідження, наведено наукову новизну, практичне значення, та апробацію результатів досліджень, охарактеризовано структуру дисертаційної роботи.

В першому розділі здійснено огляд літератури, який показав, що навчальний процес підлягає загальним принципам теорії оптимального керування. Розглянуто методику автоматизованого керування навчальним процесом, наведена інформаційна модель знань. Показано суть рейтингової системи оцінювання знань.

Виконано огляд основних підходів до проведення тестових опитувань, зокрема, в рамках класичної теорії тестування. Також проаналізовано основні математичні методи теорії відгуків як реалізації сучасного підходу до проведення тестування.

Проаналізовано закордонний досвід, зокрема на прикладі Медичного ліцензійного іспиту Сполучених Штатів Америки (USMLE), застосування тестування в медичній освіті. Розглянуто і відповідний вітчизняний досвід, зокрема застосування Медичного ліцензійного іспиту (МЛІ) "Крок". Показана методика проведення даного іспиту та його актуальність при отриманні кваліфікації.

Проведено огляд основних інструментальних засобів автоматизації процесу навчання. В рамках цього питання здійснено порівняльний аналіз наявних інструментальних засобів що застосовуються для підготовки та проведення тестування, в тому числі і в медичній освіті. Розглянуто можливості спеціалізованих авторських систем для розробки цифрових освітніх ресурсів. Окремо вивчалися сучасні веб-орієнтовані середовища дистанційного навчання.

Вивчено сучасний стан галузі інструментальних засобів розробки програмного забезпечення. Визначено основні тенденції ринку, що включають скорочення його комерційної складової (платформізацію) та поляризацію засобів розробки навколо найбільш поширених платформ та поступове злиття настільних (в тому числі і клієнт-серверних) додатків та веб-сервісів.

Практично всі наявні програмні засоби тестового оцінювання знань орієнтовані на проведення комп'ютерного тестування: на окремому персональному комп'ютері (ПК), в локальній мережі ПК, через Інтернет. Однак, проведення тестування з використанням паперових бланків залишається ефективним за необхідності перевірки великого обсягу фактологічних знань, зокрема в медичній освіті. Тому актуальною задачею є розробка інформаційної системи перевірки знань, що забезпечить автоматизоване проектування паперових тест-білетів, сканування та розпізнання бланків відповідей студентів та автоматизовану обробку результатів.

В другому розділі розроблено концептуальну модель типової структури інформаційно-аналітичної системи перевірки знань в медичній освіті.

В підрозділі 2.1 розглянуто моделі і алгоритми проектування тестів в рамках класичної теорії тестування та теорії відгуків. Вивчено проблему автоматизованого проектування тест-білетів, розглянуто обчислювальні аспекти даної задачі.

В роботах Булигіна, Авнвесова запропоновано підхід до вирішення проблеми автоматизованого проектування тест-білетів, що полягає в наступному.

Позначимо через - N-вимірний простір векторів з цілочисельними координатами . Тоді з кожним тест-білетом пов'язуватимемо відповідний вектор x, координати якого визначатимуть, включено чи ні завдання з відповідним номером в тест-білет.

При цьому якість тест-білету х визначатиметься скалярною функцією (наприклад, сумарна частота використання завдань, включених в тест-білет). Далі, задаючи обмеження , наприклад, на множину використовуваних завдань, приходимо до наступної задачі цілочисельного програмування:

. (1)

У більш реальних постановках задача вибору тест-білетів є багатокритеріальною, тобто якість спроектованого тест-білету х у кожній точці оцінюється вектор-функцією:

(2)

де Р - кількість локальних критеріїв, - функції оцінювання локальних критеріїв тест-білету.

Отже, для загальної постановки задачі автоматизованого проектування тест-білету переходимо від скалярної функції оцінювання критерію до вектор-функції , інтерпретуючи оптимізацію в термінах деяких бінарних відношень R між елементами та . У такій постановці задача може бути сформульована як задача узагальненого математичного програмування: потрібно знайти вектор такий, що

(3)

Тоді тест-білет є кращим щодо значень вектор-функції на множині всіх об'єктів , що задовольняють обмеження:

. (4)

В підрозділі 2.2 розглянуто методику обробки та аналізу результатів тестового іспиту з метою калібрування бази завдань ІСПЗМО. Вивчено можливості застосування для калібрування бази завдань експертних методів, таких, як метод Делфі, а також методів, що застосовуються як в рамках класичної теорії тестування, так і більш сучасної теорії відгуків. Обгрунтовано застосування методу найбільшої правдоподібності як ефективного для завдань закритого типу. Для завдань відкритого типу більш ефективним є метод найменших квадратів.

В підрозділі 2.3 проаналізовано основні моделі оцінювання знань в медичній освіті. Визначено можливості застосування найбільш поширених моделей оцінювання знань на рівнях "знає", "знає як" та "покаже як" піраміди Міллера. Зокрема, показано, що на рівнях "знаю", "знаю як" доцільним є застосування запитань з багатьма варіантами відповідей (ЗБВ) та запитань на побудову відповідності (ЗПВ), які є типовими формами тестових завдань в медичній освіті.

В підрозділі 2.4 показано застосування головних принципів побудови автоматизованих інформаційних систем, до вирішення задачі розробки типової структури ІСПЗМО. Вказані принципи, зокрема, нових завдань, комплексного підходу, безперервного розвитку системи і інші, вперше були запропоновані в роботах В.М. Глушкова.

В підрозділі 2.5 розроблено концептуальну модель типової структури інформаційно-аналітичної системи перевірки знань в медичній освіті.

Дотримуючись концепцій побудови інтегрованого середовища складної інформаційно-аналітичної системи, інформаційну систему перевірки знань в медичній освіті пропонується розглядати як багатовимірний інформаційний простір, де вводиться п'ять основних інформаційних проекцій, щодо яких потрібно побудувати опис ІАС, а саме:

· Проекція "Топологія оцінювання медичних знань" (рис. 1), якої дотримується ІАС, MKET-проекція (Medical Knowledge Evaluation Topology).

· Проекція "Структура програмного забезпечення й ресурсів даних" (рис. 2), які використовуються в системі, SDS-проекція (Software and Data Structures).

· Проекція "Інформаційні профілі користувачів" (рис. 3), які взаємодіють із ІАС як безпосередньо в її структурі, так і за її межами (віддалені користувачі), UIP-проекція (User Information Profiles).

· Проекція "Опис нових тестів і методик" (рис. 4), NTM-проекція (New Tests and Methods).

· Проекція "Шлях впровадження нових тестів і методик" (рис. 5) для вдосконалення ІАС, NTMU - проекція (New Tests and Methods Upgrade).

Рис. 1. Проекція "Топологія оцінювання медичних знань" ІСПЗМО



Рис. 2. Проекція "Структура програмного забезпечення й ресурсів даних" ІСПЗМО

Рис. 3. Проекція "Інформаційні профілі користувачів" ІСПЗМО



Рис. 4. Проекція "Опис нових тестів і методик" ІСПЗМО

Рис. 5. Проекція "Шлях впровадження нових тестів і методик" ІСПЗМО

Отже, формалізований опис пропонованої ІСПЗМО (позначимо його як IMKTE (Integrated Medical Knowledge Test Environment)) - можна задати як об'єднання п'яти запропонованих проекцій, а саме:

. (5)

ІСПЗМО відноситься до інформаційно-аналітичних систем. На підставі отриманої інформації про результати перевірки знань студентів-медиків система робить висновки про валідність й надійність оцінювання, тим самим показує шляхи його вдосконалення. Отримані результати студентів допомагають скоординувати навчальну роботу медичного університету, вказують на розділи навчальних програм, які вимагають більш глибокого вивчення, і т.д. Тобто, дана система відноситься до класу таких, які допомагають керувати установою (у цьому випадку медичним університетом) на основі отриманої системою інформації (у цьому випадку результати оцінювання студентів-медиків).

Виходячи із вищевказаного, необхідне програмне забезпечення ІСПЗМО повинно включати такі функціональні модулі (рис. 6):

· модуль формування банку тестових питань - містить програмні компоненти для створення та редагування тестових питань різних типів;

· модуль формування тестів - призначений для формування структури тестового опитування;

· модуль підготовки тест-білетів - містить програмні компоненти автоматизованого проектування тест-білетів заданої структури;

· модуль проведення on-line тестування - призначений для проведення комп'ютерного тестування студентів на основі попередньо згенерованих наборів питань (тест-білетів) визначеної структури;

· модуль проведення off-line тестування - призначений для формування та друку паперових бланків тест-білетів;

· модуль вводу результатів off-line тестування - містить програмні компоненти для проведення оптичного розпізнання бланків відповідей студентів на питання тест-білету та вводу отриманих результатів в базу даних (БД) ІСПЗМО;

· модуль аналізу якості питань та тестів - містить програмні компоненти для проведення калібрування бази завдань ІСПЗМО;

· модуль обміну даними з іншими БД - забезпечує обмін даними з зовнішніми БД. Зокрема, імпорт даних про студентів та навчальні плани та експорт даних про їх успішність - в БД АСУ "Контингент". Також обмін тестовими питаннями з БД системи дистанційного навчання (СДН) "Moodle".



Рис. 6. Функціонально-модульна структура програмного забезпечення ІСПЗМО

В підрозділі 2.6 запропонована загальна методика проведення семестрового тестового іспиту у вищому медичному навчальному закладі. Вказане нововведення значно спрощує та об'єктивізує проведення контролю знань в умовах кредитно-модульної системи організації навчального процесу (КМСОНП). КМСОНП передбачає оцінювання студента з кожного модуля навчальної дисципліни. Загальна оцінка за модуль включає 60 % з рейтингової оцінки за поточну успішність (РОПУ) та 40 % з тестової оцінки за модульний контроль (ТОМК).

З використанням методу аналізу ієрархій встановлено більш точне співвідношення між РОПУ та ТОМК в рамках КМСОНП. Маючи на меті забезпечення якісної підготовки студентів з кожної навчальної дисципліни, можна визначити наступний перелік об'єктів:

· Спільна мета. Забезпечення якісної підготовки студентів з навчальної дисципліни (ЯПД).

· Сили. Навчальний процес у будь-якому ВНЗ включає лекційні заняття (ЛЗ), практичні заняття (ПЗ) та самостійну позааудиторну роботу студентів (СПРС).

· Актори. Навчальний процес у ВНЗ здійснюється за участі викладачів (В) і студентів (С) з використанням матеріально-технічного забезпечення (МТЗ).

· Цілі. Кожен викладач ВНЗ прагне до якісного проведення занять (ЯПЗ), та професійного зростання (ПРЗ). В той же час студенти повинні бути зацікавлені в отриманні якісних знань (ЯЗ), що мають гарантувати в майбутньому вигідне працевлаштування (ВП).

· Сценарії. Підведення підсумків роботи професорсько-викладацького складу та студентів ВНЗ здійснюється шляхом оцінювання останніх на практичних заняттях (ОПЗ) та на тестовому іспиті (ОТІ).

Схема побудованої ієрархії показана на рис. 7. В результаті було отримано співвідношення між РОПУ та ТОМК, що становить 0,7813 до 0,2187.

Рис. 7. Ієрархія для забезпечення якісної підготовки студентів з навчальної дисципліни

Підрозділ 2.7 присвячений аспектам реалізації загальної схеми проектування тестів в ІСПЗМО. Показано особливості автоматизованого проектування тестів в медичній освіті. Розроблено шаблони для вводу в бази даних бінарної мультимедійної інформації та наведено формалізоване представлення елементів багатокористувацького (тестового) опитування на основі синтаксичних діаграм (рис. 8 _ рис. 10).

Рис. 8. Багатокористувацьке опитування

Рис. 9. Елемент багатокористувацького опитування

Рис. 10. Питання багатокористувацького опитування

В третьому розділі представлено програмну реалізацію інформаційної системи перевірки знань в медичній освіті.

В підрозділі 3.1 розроблено загальну методику проведення тестового іспиту з використанням паперових бланків (тест-білетів) та автоматизованою перевіркою результатів, що її зараз впроваджено в ТДМУ (рис. 11).

Бланки відповідей скануються та обробляються безпосередньо в екзаменаційній аудиторії на окремій мобільній робочій станції за допомогою програми Abby FormReader, використовуючи можливості якого, для перевірки відповідей студентів на питання тест-білетів розроблено спеціальні правила контролю, що будуються на основі електронного файлу-ключа у форматі БД Microsoft Access, який генерується на сервері ІСПЗМО.

В підрозділі 3.2 проведено вибір програмної архітектури ІСПЗМО, що визначена як поєднання елементів однорівневого та трирівневого клієнт-серверних додатків (рис. 12).

На робочих станціях 1 (див. рис. 12) в межах локальної мережі "Інтранет" ТДМУ виконується прикладна програма, що забезпечує як інтерфейс роботи з даними, так і логіку проектування тест-білетів. Інтранет-модуль ІСПЗМО є "товстим" клієнтом для доступу до сервера БД, що відповідає одноранговій архітектурі "клієнт-сервер". Віддалені користувачі 3 можуть працювати з даними ІСПЗМО використовуючи веб-браузер. Для забезпечення їх роботи на сервері тестування функціонує сервер додатків Java Application Server, під управлінням якого виконується спеціально розроблений сервлет. Веб-модуль ІСПЗМО являє собою "тонкий" клієнт в трирівневій клієнт-серверній архітектурі.



Рис. 11. Загальна схема проведення тестового іспиту з використанням ІСПЗМО: 1 - підготовка питань викладачам кафедр; 2 - сервер ІСПЗМО, 3 - робоча станція обробки результатів тестування; 4 - робочі станції операторів центру тестування; 5 - міні-друкарня; 6 - буклети варіантів тест-білетів; 7 - розсилання результатів тестування студентам; 8 - сервер АСУ "Контингент"; 9 - передача ключів варіантів тест-білетів для перевірки робіт; 10 - студенти; 11 - закодовані бланки відповідей; 12 - робоча станція сканування, верифікації та перевірки результатів тестового іспиту



Рис. 12. Структура програмного забезпечення ІСПЗМО: 1 - робочі станції в межах локальної мережі "Інтранет" ТДМУ; 2 - сервер тестування; 3- віддалені користувачі в глобальній мережі "Інтернет"

В підрозділі 3.3 розроблено концептуальне представлення інформаційної моделі БД ІСПЗМО. В процесі розробки проекту ІСПЗМО були визначені наступні зовнішні представлення: викладача (лаборанта) кафедри; адміністратора кафедри; інспектора (оператора) центру тестування; адміністратора центру тестування; студента (тестованого). Для розробки концептуального представлення інформаційної моделі бази даних перелічені вище зовнішні представлення були узагальнені, при цьому були визначені основні об'єкти інформаційної моделі бази даних ІСПЗМО: навчальна дисципліна; тестове питання; тест по навчальній дисципліні; тест-білет; персональні дані студента; результати виконання тестів студентом (оцінка); персонал центру тестування (адміністратор, викладач, оператор). Розроблена в результаті концептуальна модель бази даних ІСПЗМО представлена на рис. 13.



Рис. 13. Концептуальна модель бази даних ІСПЗМО

Основою для створення тест-білетів служить база завдань. В експериментальному проекті ІСПЗМО структура бази завдань реалізована у вигляді трьох таблиць реляційної бази даних, які мають вигляд, представлений на рис. 14. Наявність окремої таблиці ASKS_QUALITY дозволяє реалізувати підтримку довільного числа параметрів якості тестового завдання не лише в рамках класичної теорії тестування, а й теорії відгуків. Наприклад, якщо при проектуванні тест-білету використовуються процедури класичної теорії тестування, то як основні (статистичні) параметри застосовуються коефіцієнт вирішуваності ki і коефіцієнт селективності Di.

Рис. 14. Стуктура бази завдань в експериментальному проекті ІСПЗМО

Здійснено реалізацію БД з використанням засобів СУРБД Firebird. Розроблено внутрішню структуру БД ІСПЗМО. При цьому виконано: визначення інформаційних атрибутів основних об'єктів бази даних й їхніх типів даних; нормалізацію для оптимізації структури бази даних; визначення додаткових об'єктів інформаційної моделі за результатами нормалізації, їхніх атрибутів і типів даних; уточнення зв'язків між основними й додатковими об'єктами.

Загальний вигляд отриманого в результаті зазначених операцій внутрішнього представлення бази даних ІСПЗМО показаний на рис. 15. Всі зв'язки між таблицями бази даних мають тип "один-до-багатьох".

Рис. 15. Внутрішнє представлення бази даних ІСПЗМО

В підрозділі 3.5 показано функціональні можливості розробленого програмного забезпечення ІСПЗМО. Вказано методику використання програмних компонентів ІСПЗМО та процедуру обміну даними з АСУ "Контингент" та СДН "Moodle" з використанням файлів у форматі XML. Наведено параметри апаратних компонентів ІСПЗМО, маючи на меті підкреслити невеликі системні вимоги розробленої ІАС:

· сервер Prime PC Pro 80 (Dual Core 2500 / 2 Gb / 250 Gb);

· робочі станції PrimePC Tini (Atom 230 / 512 Mb).

Размещено на http://www.allbest.ru/

Рис. 16. Інтерфейс користувача ІПЗМО

В підрозділі 3.6 розроблено базовий алгоритм автоматизованого проектування тест-білетів в ІСПЗМО. Показано приклад практичної реалізації алгоритму автоматичного проектування тест-білетів реалізований мовою Object Pascal з використанням інструментального середовища Delphi. Також здійснено аналіз складності алгоритму автоматизованого проектування тест-білетів. Встановлено, що головний цикл програмного додатку ІСПЗМО, який здійснює перебір всіх змістовних модулів, що повинні бути включені в тест-білет, описується оціночною функцією шостого степеня:

. (8)

В четвертому розділі проаналізовано перспективи використання інформаційної системи перевірки знань в медичній освіті.

В підрозділі 4.1 здійснено аналіз експлуатаційних характеристик БД ІСПЗМО, що проходить дослідну експлуатацію від початку 2007/2008 навчального року. Оцінено вплив застосування BLOB-полів даних та RTF-тексту в якості їх вмісту на фрагментованість таблиць БД. Даний параметр має значний вплив на швидкодію виконання запитів до БД, а, отже, і ІАС вцілому. Для аналізу використано окремі резервні копії БД ІСПЗМО, які були зроблені в різні періоди дослідної експлуатації. Для оцінювання фрагментованості таблиць БД застосовано утиліту IBAnalyst (автори Кузьменко Д.В. Ковязін А. Н.), що аналізує статистику сервера БД і формує загальний звіт по файлу БД в цілому та детальний звіт по таблицях та індексах. Найбільш фрагментованими виявилися таблиці, в яких зберігається вміст тестових питань та відповіді на них (рис. 17):

Рис. 17. Фрагментація таблиць ASKS та ASK_ANSW БД ІСПЗМО

Оцінка впливу фрагментації сторінок даних на швидкодію БД проводиться шляхом визначення часу виконання певного запиту. Для моніторингу за виконанням запитів застосовано програму IBExpert.

На даному етапі експлуатації БД ІСПЗМО між кількістю змістовних модулів в БД та часом виконання запиту, що підраховує кількість тестових питань по кожному з цих модулів, спостерігається залежність, близька до лінійної, що підтверджується коефіцієнтом апроксимації лінійного тренду (рис. 18). Ознаки появи нелінійних ефектів відсутні. Практично даний запит застосовується при формуванні структури тесту та при формуванні управлінської звітності.



Рис. 18. Швидкодія виконання запиту до файлів резервних копій БД ІСПЗМО

В підрозділі 4.2 вивчено можливість використання результатів комплексного семестрового тестового іспиту студентів-медиків для прогнозування оцінок за МЛІ "Крок 1". На першому етапі було вивчено можливості багатовимірного регресійного аналізу при прогнозуванні загального результату (вираженого у відсотках кількості правильних відповідей) МЛІ "Крок 1", який складався студентами у 2008/09 н.р. На другому етапі було вивчено можливості застосування багатошарових нейронних мереж.

Отримані результати показали, що нейромережевий підхід дозволяє точніше передбачити середні результати складання МЛІ "Крок 1" в порівнянні з багатомірним регресійним аналізом. Найбільші розбіжності спостерігаються для граничних результатів іспиту, тобто для оцінок найкращих та найгірших студентів. Попереднє проведення нейромережевої кластеризації оцінок за комплексний семестровий тестовий іспит дозволяє зменшити такі розбіжності в прогнозуванні.

ВИСНОВКИ

Прийнята в 2008 році урядова "Концепція розвитку вищої медичної освіти" передбачає удосконалення системи оцінювання рівня компетентності студентів та лікарів-інтернів шляхом проведення незалежних, від вищих навчальних закладів та закладів післядипломної освіти, ліцензійних інтегрованих іспитів. На виконання цих завдань в дисертаційній роботі запропоновано розв'язання наукової задачі розробки методів побудови програмного забезпечення інформаційних систем перевірки знань в медичній освіті. Вказані методи включають архітектуру, інструментальні засоби і технології створення програмного забезпечення відповідних комп'ютерних систем.

· Запропоновано підхід до розробки інформаційно-аналітичних систем (ІАС) тестового оцінювання знань в медичній освіті, в основі якого лежать методи інтеграції різних типів інформації в рамках єдиного контейнеру даних бінарного типу.

· На основі виокремлення п'яти основних інформаційних проекцій та аналізу зв'язків між ними, отримано моделі інформаційних потоків у інформаційній системі перевірки знань у медичній освіті (ІСПЗМО), що дало змогу отримати функціонально-модульну структуру програмного забезпечення вказаної ІАС.

· З метою підвищення достовірності та забезпечення об'єктивності оцінювання результатів навчання в медичній освіті реалізовано підхід, який полягає в поєднанні використання критеріїв якості тестових завдань в рамках класичної теорії тестування та теорії відгуків; експериментально визначено оптимальні значення критеріїв якості в рамках класичної теорії тестування.

· На основі методу аналізу ієрархій вперше розроблено підхід до розв'язання задачі оптимізації співвідношень між різними видами контролю знань в рамках кредитно-модульної системи організації навчального процесу; отримані відповідні розподіли з врахуванням специфіки предметної області.

· Розроблено концептуальну модель типової структури ІАС перевірки знань в медичній освіті, що забезпечує реалізацію різних методів тестування, зокрема, з використанням паперових бланків відповідей та наступною їх автоматизованою перевіркою.

· Для практичної реалізації ІСПЗМО спроектовано внутрішнє представлення інформаційної моделі реляційної бази даних (БД), призначеної для зберігання виключно мультимедійної інформації з використанням бінарних типів даних. Здійснено програмну реалізацію вказаної реляційної БД. Проведено аналіз експлуатаційних характеристик вказаної БД. Розроблено та програмно реалізовано алгоритм автоматизованого проектування тест-білетів.

· Застосовуючи методики багатомірного регресійного аналізу та побудови багатошарових нейронних мереж до вирішення задач прогнозування, експериментально досліджено можливість прогнозування оцінки студентів за медичний ліцензійний іспит "Крок".

Практичним результатом роботи є створення ІАС перевірки знань в медичній освіті, що підтримує застосування різних методик тестування, в тому числі і з використанням паперових бланків відповідей та їх наступною автоматизованою перевіркою. Забезпечено інтеграцію вказаної ІАС з автоматизованою системою управління для вищих медичних навчальних закладів "Контингент" та системою дистанційного навчання "Moodle".

Результати роботи впроваджені і використовуються в навчальному процесі Національної медичної академії післядипломної освіти ім. П.Л.Шупика, а, також, Тернопільського державного медичного університету ім. І.Я.Горбачевського для проведення семестрового тестового іспиту як форми модульного контролю у рамках кредитно-модульної системи навчання.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Ковальчук Л.Я. Концептуальні підходи до інтегрованого середовища оцінки знань у медичний освіті / Л.Я.Ковальчук, В.П.Марценюк, А.В.Семенець // Клиническая информатика и телемедицина. - 2008. - Т. 4, Вып. 5. - C. 71-77.

2. Марценюк В.П. Концептуальные подходы к структуре информационной системы проверки знаний в медицинском образовании / В.П.Марценюк, А.В.Семенець // Кибернетика и вычислительая техника. - 2009. - Вып. 156. - C. 18-27.

3. Марценюк В.П. О структуре базы данных информационной системы проверки знаний в медицинском образовании. / В.П.Марценюк, А.В.Семенець // Искуственный интеллект. - 2009. - № 1. - C. 267-278.

4. Марценюк В.П. Підсистема підготовки завдань інформаційної системи перевірки знань у медичній освіті / В.П.Марценюк, А.В.Семенець // Искуственный интеллект. - 2009. - № 2. - C. 33-39.

5. Системи підтримки рішень в медико-біологічних дослідженнях / В.П.Марценюк, Н.О.Кравець, А.В.Семенець та ін.]. - В зб. наукових праць Здобутки клінічної та експериментальної медицини”. - Тернопіль: „Укрмедкнига”, 2002р. - Вип. 7. - С. 134.

6. Семенець А.В. Про апаратно-технічне забезпечення кафедри медичної інформатики / А.В.Семенець // „Медична інформатика 2005” всеукр. наук.-практ. конф., 16-17 травня 2005 р. : тези доп. - Тернопіль : „Укрмедкнига”, 2005. - С. 19-21.

7. Семенець А.В. Аспекти реалізації інтегрованого середовища перевірки знань в медичній освіті / А.В.Семенець // Медична інформатика та інженерія. 2008. - № 2. - C. 78-82.

8. Марценюк В.П. Метод аналізу ієрархій в проблемі оцінювання знань в медичній освіті / В.П.Марценюк, А.В.Семенець // International Workshop "Problems of Decision Making under Uncertainties (PDMU-2009)", October 5_9, 2009, Abstracts. _ Kamyanets-Podilsky, 2009. _ P.80-81.

9. Марценюк В.П. Аналіз складності алгоритму автоматизованого проектування тест-білетів в інформаційній системі перевірки знань в медичній освіті / В.П.Марценюк, А.В.Семенець // International Workshop "Problems of Decision Making under Uncertainties (PDMU-2010)", Мау 17_21, 2010, Abstracts. - Lviv, 2010. - Р. 64-65.

10. Марценюк В.П. Аналіз експлуатаційних характеристик бази даних інформаційної системи перевірки знань в медичній освіті / В.П.Марценюк, А.В.Семенець // Перший Всеукраїнський з'їзд „Медична та біологічна інформатика і кібернетика”, 23-26 червня 2010 р. : зб. праць. - К. : , 2010. - С. 113.

11. Марценюк В.П. Нейромережеве прогнозування складання студентами-медиками ліцензійного інтегрованого іспиту "Крок 1" на основі результатів поточної успішності та семестрового комплексного тестового іспиту / В.П.Марценюк, А.В.Семенець, О.О.Стаханська // Медична інформатика та інженерія. - 2010. - № 2. - C. 57-62.

12. Семенець А.В. Аналіз експлуатаційних характеристик бази даних інформаційної системи перевірки знань в медичній освіті / А.В.Семенець // Медична інформатика та інженерія. - 2010. - № 4. - C. 93-98.

АНОТАЦІЯ

Семенець А.В. Методи та програмні засоби оцінки знань в медичній освіті. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.03 - математичне та програмне забезпечення обчислювальних машин і систем - Київський національний університет імені Тараса Шевченка, Київ, 2011.

У дисертації вирішено науково-практичну задачу створення інформаційно-аналітичної системи тестового оцінювання знань в медичній освіті. Розроблено концептуальну модель типової структури інформаційно-аналітичної системи перевірки знань в медичній освіті, що забезпечує реалізацію різних методів тестування, зокрема, з використанням паперових бланків та наступною автоматизованою обробкою результатів. Запропоновано внутрішнє представлення інформаційної моделі бази даних, призначеної для зберігання мультимедійної інформації з використанням бінарних типів даних. На основі синтаксичних діаграм розроблено та програмно реалізовано шаблони для вводу в БД бінарної мультимедійної інформації. Проведено аналіз експлуатаційних характеристик такої БД. Запропоновано методику автоматизованого проектування тест-білетів на основі розроблених процедур і прикладних програмних засобів для підвищення достовірності та забезпечення об'єктивності оцінювання результатів навчання в медичній освіті. Розроблено методику прогнозування оцінки за медичний ліцензійний іспит "Крок".

Ключові слова: тестове оцінювання знань, медична освіта, інформаційно-аналітична система, інформаційна модель, база даних, автоматизоване проектування тест-білетів.

АННОТАЦИЯ

Семенец А.В. Методы и программные средства оценки знаний в медицинском образовании. -Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 01.05.03 - математическое и программное обеспечение вычислительных машин и систем - Киевский национальный университет имени Тараса Шевченка, Киев, 2011.

В диссертации решена научно-практическая задача создания информационно-аналитической системы тестового оценивания знаний в медицинском образовании. Разработана общая методика проведения тестового экзамена в формате бланкового тестирования с автоматизированной проверкой результатов с использованием программного обеспечения для оптического распознавания бумажных форм и специально разработанных правил обработки бланков ответов.

Результаты исследования дали возможность получить для задач тестового оценивания знаний в медицинском образовании методы построения информационных моделей, рассматривая их в многомерном информационном пространстве, где введено пять основных информационных проекций, относительно которых строится описание программного среды соответствующей информационно-аналитической системы (ИАС). В работе разработана концептуальная модель информационно-аналитической системы многопользовательского опроса, которая практически реализирована в виде информационной системы проверки знаний в медицинском образовании.

Разработан и программно реализован алгоритм автоматизированного проектирования тест-билетов, ориентированный на повышение достоверности и обеспечение объективности оценивания результатов обучения в медицинском обучении путем реализации подхода, который состоит в объединении использования критериев качества тестовых задач в рамках классической теории тестирования и теории откликов.

В отличие от существующих модельных и программных решений предложенный в диссертации подход позволяет реализовывать массовые опросы по проверке значительных объемов фактологических знаний в медицинском образовании, включая мультимедийную информацию.

Спроектировано внутреннее представление информационной модели реляционной базы данных, предназначенной для хранения исключительно мультимедийной информации с использованием бинарных типов данных, осуществлено ее программную реализацию. В отличие от предложенных прежде моделей такой подход учитывает отклики клиентов на мультимедийную информацию, что является важным при проведении многопользовательских опрашиваний в медицинском образовании.

Впервые проведен анализ эксплуатационных характеристик указанной базы данных, который показал достаточный уровень быстродействия информационной системы проверки знаний в медицинском образовании, несмотря на высокую степень фрагментации таблиц базы данных.

На основе синтаксических диаграммы впервые разработаны и программно реализованы шаблоны для ввода в базу данных бинарной мультимедийной информации, что позволило значительно упростить и ускорить подготовку тестовых заданий и ввод их в базу данных.

В диссертационной работе также разработана методика прогнозирования сдачи медицинского лицензионного экзамена "Крок" используя накопленную в базе данных информацию о результатах семестровых тестовых экзаменов с использованием методов многомерной регрессии и нейросетевого моделирования.

Результаты работы внедрены и используются в учебном процессе Национальной медицинской академии последипломного образования им. П.Л.Шупика (г. Киев) и Тернопольского государственного медицинского университета им. И.Я.Горбачевского для проведения семестрового тестового экзамена как формы модульного контроля в рамках кредитно-модульной системы обучения согласно принципам Болонской декларации.

Ключевые слова: тестовое оценивание знаний, медицинское образование, информационно-аналитическая система, информационная модель, база данных, автоматизированное проектирование тест-билетов.

ABSTRACT

A.V. Semenets, Methods and software tools for knowledge assessment in medical education. -Manuscript.

Thesis to obtain a candidate degree in technical science on speciality 01.05.03 - mathematical and software tools of computer machines and systems. National Taras Shevchenko University of Kyiv, Kyiv, 2011.

In this thesis there is solved scientific and practical problem of development of information analytical system for testing assessment in medical education. Information model of database aimed for multimedia information using binary data types is offered. Based on syntaxes diagrams the templates for inserting into database binary multimedia information are developed and implemented. Analysis of performance characteristics of such database was done. Methodology of automatically developed test quizzes based on procedures and applied software tools for increase of validity and objectivity of assessment in medical education was offered.

...