Моделі та методи лінгвістичного аналізу тексту інтелектуальної системи оцінювання знань

Дисертаційну працю присвячено проблемі розроблення моделей, методів і засобів інтелектуального опрацювання природної мови в системах автоматизованого контролю та оцінювання набутих знань студентами вищих навчальних закладів України.

Інтелектуальні лінгвістичні системи в наш час набувають все більшого поширення, що зумовлено контекстом еволюції світової інформаційно-комунікаційної системи. Особливо це стосується засобів інтелектуального автоматизованого опрацювання природної мови. Накопичення значних текстових масивів у глобальних мережах, прогрес у галузі створення технологій опрацювання інформації спричинили зростання актуальності досліджень, спрямованих на автоматичне опрацювання текстових даних, у тому числі автоматичний семантичний аналіз тексту [6; 19; 29; 38; 75; 88; 89; 98; 101; 104; 184]. Такий аналіз дозволяє експлікувати змістові характеристики тексту і подавати вихідний текстовий матеріал у вигляді семантичного структурованого опису [36; 39; 41; 103; 106; 113; 149; 160; 164; 207]. Семантика тексту, однак, на сьогодні має недостаній рівень формалізації, що стимулює необхідність розроблення спеціальних моделей, методів і лінгвістичних алгоритмів, які дозволяють виокремлювати з тексту певні смислові елементи [22; 28; 79; 94; 96; 105; 121; 133].

Викладене має пряму дотичність до проблематики інформатизації освітніх процесів у різних їхніх аспектах, серед яких значне місце посідають питання оцінювання якості навчання [2; 3; 14; 16; 18; 26; 32; 99; 159; 174]. Адже процеси оцінювання знань за своєю природою нерозривно пов'язані з інтелектуальним семантичним аналізом та встановленням ступеня релевантності текстових даних відповідей студентів до еталонних текстів навчальних дисциплін, які надають змістову фактологічну базу оцінювання знань.

Зауважимо, що за останні роки у вищих навчальних закладах усе ширше використовуються автоматизовані засоби оцінювання знань, зокрема автоматизовані системи тестування [11; 12; 24; 77; 116; 119; 126; 153; 204; 206]. Їхніми перевагами вважаються: можливість достатньо повного охоплення змісту навчальної дисципліни шляхом уведення до системи великої кількості запитань; зручність створення та модифікації тестових матеріалів; невелика тривалість процесів тестування; можливість автоматизації процесів контролю й оцінювання результатів; інтеграція систем контролю знань з базами даних.

Проте сучасним системам тестування притаманні певні недоліки: тести орієнтовані на короткі відповіді, не передбачено самостійної відповіді на запитання; утруднена підготовка тестів, які спрямовані на перевірку творчих здібностей і логічного мислення; тестування не передбачає перевірки розгорнутих природномовних робіт тощо. До цього варто додати таку ваду, як досить високу вірогідність необ'єктивної оцінки, пов'язану зі стереотипним ставленням викладачів до студентів. Не варто виключати і корупційну складову в процесі оцінювання знань.

Отже, у ході автоматизованого оцінювання знань студентів виникають протиріччя:

1) між ефективністю процедури тестового контролю знань та об'єктивністю оцінки знань;

2) між необхідністю здійснення інтелектуального лінгвістичного аналізу відповідей у ході оцінювання знань і відсутністю (недосконалістю) відповідних технологічних інструментів, які базуються на адекватних лінгвістично-інформаційних моделях.

Таким чином, можна констатувати, що новітній вектор модернізації системи вищої освіти вимагає не лише інтелектуалізації змісту освіти, але й інноватизації та інформатизації процесів діагностування навчальних досягнень студентів [5; 40; 41; 82; 115; 120; 122; 124; 142; 156; 205]. Необхідним елементом забезпечення цих процесів є розробка та впровадження сучасних систем автоматизованого контролю знань, здатних обробляти та оцінювати відповіді, подані природною мовою в довільній формі. Для цього, власне, і потрібні засоби, спроможні забезпечувати здійснення семантичного аналізу тексту [74; 100?102; 140; 189].

До кола завдань, що вирішуються засобами семантичного аналізу тексту, належать: семантичний пошук, багатоцільове опрацювання тексту, оцінювання природномовних відповідей студентів у системах контролю знань. Останнє завдання, як правило, зводиться до порівняння двох і більше текстів з деяким “еталонним текстом”, який вважається репрезентантом правильної відповіді.

Проте найпоширеніші програмні засоби, які використовуються для тестування, мають занадто вузьку функціональність. Переважно в їхньому репертуарі є лише одна можливість: вибір одного або декількох із заздалегідь підготовлених, фіксованих варіантів. Сучасні автоматизовані системи контролю знань інколи, правда, містять завдання відкритого типу, однак у більшості з них відповідь зараховується як правильна, коли вона повністю збігається з одним із еталонних варіантів тексту, не допускаючи при цьому жодних варіацій форми відповіді без зміни її змісту.

Наведені чинники значно знижують спроможність автоматизованих систем щодо об'єктивної оцінки рівня знань студентів, збільшуючи обсяги “ручного” опрацювання студентських відповідей викладачами та змушуючи їх концентруватися на технічних деталях, далеких від предмета оцінювання.

Очевидно, що прогрес у цій ділянці пов'язується з інтелектуалізацією відповідних систем оцінювання знань, насамперед, у напрямі підвищення рівня їхнього лінгвістичного інтелекту. З викладеного випливає необхідність побудови комплексних лінгвістичних моделей, адаптованих до формального представлення в системах оцінювання знань, вільних від перелічених вище вад.

В основу перспективних систем оцінювання знань мають бути покладені такі лінгвістичні засоби, що сприймають не лише наперед задані текстові форми, але й спроможні опрацьовувати довільні природномовні тексти, виконуючи при цьому цілу низку доволі складних лінгвістично осмислених операцій морфологічного, синтаксичного, семантичного, прагматичного та інших різновидів аналізу тексту й орієнтовані переважно на виявлення його змістових характеристик [15; 177; 190; 191; 192].

Усе викладене визначає актуальність напряму наукових досліджень у галузі прикладної лінгвістики, спрямованих на розроблення моделей, методів та засобів семантичного опрацювання текстів природної мови з орієнтацією на процеси оцінювання відповідей в інтелектуальних автоматизованих системах контролю знань студентів вищої школи.

Зв'язок роботи з науковими програмами, планами, темами. Розв'язанню зазначеного завдання було присвячено проект “Створення та впровадження програмних засобів пілотної системи поточного і підсумкового контролю знань студентів у вищих навчальних закладах”, що виконувався за Державною програмою “Інформаційні та комунікаційні технології в освіті і науці” на 2006-2013 роки, у рамках якого було проведено низку науково-дослідних робіт, де брали участь декілька десятків навчальних і наукових закладів України. Виконання проекту передбачало розв'язання не лише лінгвістичних, але й цілої низки доволі складних системотехнічних, інформаційних, програмних, організаційних та інших завдань. Проте основне інтелектуальне ядро проблеми було зосереджено в розробленні лінгвістичних моделей, методів та алгоритмів, які було реалізовано в лінгвістичній підсистемі інтелектуальної системи оцінювання знань студентів, що складає зміст дисертаційної роботи. Результати дисертаційного дослідження увійшли до науково-дослідних робіт: “Інтелектуальна система автоматизованого оцінювання знань у вищих навчальних закладах” (Звіт про НДР/НАДПСУ, ХДЦНТіЕІ. - Хмельницький, 2011. Номер державної реєстрації 0109V005890); “Побудова систем тестування з використанням методів штучного інтелекту” (Звіт про НДР, ШИФР 210-1019 I / НАДПСУ. - Хмельницький, 2011).

Метою роботи є удосконалення моделей і методів лінгвістичного аналізу природномовного тексту та створення на цій основі автоматизованих лінгвістично-програмних засобів, придатних для застосування в системах оцінювання знань студентів з природничих, військово-спеціальних та гуманітарних дисциплін.

Досягнення поставленої мети передбачає реалізацію таких завдань:

1) проаналізувати результати наукових досліджень у галузі розробки автоматизованих систем оцінювання знань та застосування в них моделей і методів лінгвістичного аналізу природномовного тексту, визначити шляхи їх удосконалення;

2) розробити методику дослідження комп'ютерного моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань;

3) побудувати концептуальну модель лінгвістичної підсистеми інтелектуальної системи оцінювання знань (ІСОЗ) та її функціональну структуру;

4) розробити метод семантичного порівняння нечіткої текстової інформації, придатний для застосування в українськомовних системах оцінювання знань;

5) удосконалити алгоритм методу латентно-семантичного аналізу (ЛСА) з урахуванням структури української мови;

6) забезпечити інтеграцію моделей і методів аналізу українських текстів у загальній структурі системи оцінювання знань;

7) експериментально дослідити розроблені моделі й оцінити ефективність використання результатів дослідження.

Об'єктом дослідження є природномовні тексти, що функціонують у системах тестового контролю знань студентів.

Предмет дослідження становлять лінгвістично-інформаційні моделі та методи аналізу текстової інформації у системах тестового контролю знань студентів.

Матеріалом дослідження стали тексти відповідей студентів на запитання системи, а саме 663 варіанти відповідей, а також текстові дані еталонної бази знань для визначення релевантності відповідей, яку було сформовано з навчально-методичних матеріалів, підручників, конспектів лекцій, посібників таких навчальних дисциплін, як “Маркетинг інтелектуальної власності” (81,912 тис. слів), “Зв'язок у ДПСУ” (79,357 тис. слів), “Інформаційно-телекомунікаційні системи ДПСУ” (112,481 тис. слів), “Основи інформатики і програмування” (241,782 тис. слів), “Обчислювальна техніка” (133,171 тис. слів), “Комп'ютерна графіка” (55,468 тис. слів), “Економіка підприємства” (177,683 тис. слів), “Економічна інформатика” (106,354 тис. слів).

Методи дослідження. Для вирішення поставлених завдань було використано комплекс взаємопов'язаних методів дослідження: загальнонаукові - методи аналізу, синтезу, порівняння, узагальнення, описовий метод, дедуктивно-індуктивний метод для аналізу та визначення проблем, пов'язаних із розробкою моделей лінгвістичного аналізу тексту в системі оцінювання знань та розробки відповідної концепції побудови таких моделей; лінгвістичні - структурний метод, зокрема методика дистрибутивного аналізу для встановлення характеристик і функціональних властивостей мовної одиниці на підставі її оточення, конструктивний метод для інтерпретації значення за допомогою визначення елементарних складників і зв'язків між ними, представлення інформації в автоматизованих системах аналізу й розпізнавання природної мови; лінгвоаналітичні (методи графематичного, морфологічного, передсинтаксичного, синтаксичного, семантичного аналізу), статистичні (латентно-семантичний аналіз), математичні методи (теорії нечітких множин, формалізації, математичного моделювання) та методи штучного інтелекту - для розроблення алгоритмів аналізу та порівняння текстів.

Наукова новизна одержаних результатів визначається таким:

1) уперше розроблено алгоритм семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою в довільній формі, із варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Застосування розробленого алгоритму дозволяє усувати помилки, що можуть бути у вихідному тексті (неправильні закінчення, нестандартні скорочення тощо), визначати належність вихідного тексту до певної предметної сфери, виявляти ступінь семантичної подібності відповіді й еталонного варіанту, формувати загальну оцінку відповіді на питання за комплексним показником;

2) розроблено підсистему лінгвістичного аналізу тексту на основі моделей штучного інтелекту як складову функціональної структури ІСОЗ;

3) удосконалено алгоритм методу латентно-семантичного аналізу в таких аспектах: а) на етапі формування частотної матриці індексованих слів застосовано алгоритм семантичного порівняння нечіткої текстової інформації, унаслідок чого індексовані слова (терми) замінюються лексичними одиницями із баз даних: “Словник”, “Абревіатура”, “Скорочення”, “Власні назви”, “Фрейми”, “Ключ” тощо; б) процедуру стемінгу замінено на лематизацію на основі результатів автоматичного морфологічного аналізу текстів задля забезпечення більш високої якості роботи алгоритму; в) застосовано алгоритми нечіткого пошуку, а саме вдосконаленого варіанта метрики Левенштейна для виправлення некоректно поданих слів.

Теоретичне значення полягає у введенні до лінгвістичних моделей та алгоритмів інтелектуальної автоматизованої обробки інформації, що подається природною мовою, елементів нечіткості даних, що дозволяє адекватно врахувати семантичні та прагматичні властивості текстів, які функціонують у системах тестового контролю знань, умінь і навичок студентів.

Практичне значення одержаних результатів полягає у можливості застосування розроблених методів та алгоритмів в інструментальних засобах та системах для проведення тестування з основних видів контролю - поточного, модульного, рейтингового, підсумкового. В розробленій системі передбачаються такі види тестових завдань: а) відкриті завдання із короткою відповіддю (число або одне слово/словосполучення); б) завдання що передбачають точну відповідь у вигляді правила, визначення, теореми тощо; в) логічну відповідь (вибір із множини, впорядкування за ознакою, доведення тощо); г) завдання, відповіді на які повинні бути подані природною мовою у довільній формі - математичних викладень або тексту.

На відміну від традиційних підходів до автоматизованого контролю знань, застосування запропонованих нових та удосконалених методів, моделей та алгоритмів надає можливість: виявляти латентні асоціативно-семантичні залежності у множині документів; частково усувати омонімію, полісемію та синонімію; виправляти слова, що написані студентом із орфографічними та технічними помилками; враховувати синтаксичні відношення; логіку побудови терм у контексті предметної сфери тощо.

За результатами випробовувань дослідного зразка Інтелектуальної системи оцінювання знань Державним комітетом України з питань науки, інновацій рекомендовано здійснити використання одержаних результатів шляхом передання програмного комплексу та технічної документації до нього провідним навчальним закладам МОН України. Про достовірність отриманих у дисертації результатів свідчать коректна постановка задачі дослідження, урахування найбільш істотних чинників і параметрів, що визначають умови проведення тестування, позитивна оцінка коректності наукових результатів шляхом їх практичного застосування у навчальному процесі Інституту інтелектуальної власності Національного університету “Одеська юридична академія”, Національної академії Державної прикордонної служби України імені Богдана Хмельницького, Хмельницькому кооперативному торговельно-економічному інституті.

Особистий внесок здобувача. Основні наукові та практичні положення і результати одержані особисто авторкою дисертаційного дослідження. У наукових працях, що написані у співавторстві, дисертантці належить таке: [60], [70] - функціональна структура лінгвістичної підсистеми ІСОЗ; [66] - методи діагностики сформованості знань курсантів-прикордонників; [50], [54], [65] - алгоритм латентно-семантичного аналізу текстової інформації, метод семантичного порівняння нечіткої текстової інформації.

Апробація результатів дослідження. Основні положення дисертаційного дослідження обговорено та схвалено на чотирьох міжнародних науково-практичних конференціях: “Військова освіта та наука: сьогодення та майбутнє” (Київ, 2011), “Актуальні проблеми викладання іноземної мови професійного спілкування у вищих навчальних закладах на сучасному етапі” (Харків, 2011), “Прикордонна безпека: теорія і практика” (Мінськ, Республіка Білорусь, 2013), “Військова освіта і наука: сьогодення та майбутнє” (Київ, 2014); на шести всеукраїнських науково-практичних конференціях: “Освітньо-наукове забезпечення діяльності правоохоронних органів і військових формувань України” (Хмельницький, 2010, 2011), “Сучасні технології вищої освіти” (Одеса, 2012), “Актуальні проблеми підвищення якості підготовки фахівців у галузі економічного розвитку України” (Хмельницький, 2011, 2012, 2013).

Публікації. Основні положення дисертаційної роботи опубліковано в 21 друкованій праці, серед яких 10 публікацій у фахових наукових виданнях (1 з яких - міжнародна стаття, ще 1 індексується міжнародною наукометричною базою Index Copernicus), 10 тез доповідей - у збірниках матеріалів конференцій (п'ять із них - міжнародні) та 1 свідоцтво про реєстрацію авторського права на твір.

1.1 Системи оцінювання знань у сучасній вищій освіті

Удосконолення системи вищої освіти в умовах сьогодення є найважливішою рушійною силою якісного розвитку суспільства і запорукою соціально-економічного, культурного, політичного, наукового розквіту держави. Здійснення ефективної освітньої діяльності у вишах, у свою чергу, вимагає постійного діагностування знань студентів.

Найбільш поширеними формами організації навчального процесу та контролю знань студентів у світовій практиці вищої освіти є кредитно-модульні системи: Європейська кредитна система (ECTS - European Credit Transfer and Accumulating System); Система кредитів Сполученних Штатів (USCS - US Credit System); Британська система Накопичення и передачі кредитів (САТS - Credit Acccumulation and Transfer Scheme / System); Азіатсько-Тихоокеанська система передачі університетських кредитів (UMAP - University Mobility in Asia and Pacific) [21].

Основною метою запровадження Європейської кредитної системи (ECTS) було створення механізму оцінки якості освіти, необхідної для академічної мобільності студентів. Накопичувальна система кредитів (USCS), яка використовується у США, конвертує час, відведений на вивчення окремої навчальної дисципліни, у кредит-години, від кількості яких залежить рівень освіти студентів. У Великобританії було запроваджено систему (САТS), відповідно до якої рівень знань, умінь та навичок студентів за час опанування окремої навчальної дисципліни визначає кількість кредитів. В Азіатсько-тихоокеанській системі (UCTS) кредити, які студент отримав за час навчання в одному вищому навчальному закладі, який належить до азіатсько-тихоокеанського регіону, можна перевести в кредити іншого університету такого ж регіону, а також в кредити інших освітніх систем.

Залежно від систем підготовки фахівців у сучасній світовій та вітчизняній освітній діяльності використовується велика кількість форм, способів та методів контролю знань, вмінь та навичок студентів. Від правильної організації контролю знань залежить ефективність як системи навчально-виховного процесу, так і якість підготовки фахівця.

У процесі організації та здійснення контролю якості підготовки студента виникає низка проблем, необхідних для розв'язання, а саме:

обрання шкали оцінок, яка має адекватно відображати рівень знань і вмінь, передбачених освітньо-кваліфікаційною програмою;

формування контрольних завдань різної складності, за якими можна було б оцінити динаміку підготовленості студента;

розроблення інструментарію, що забезпечує об'єктивність та повноту оцінки;

забезпечення зворотнього зв'язку між процесами оцінювання та навчання з метою покращення як підготовки окремого студента, так і удосконалення освітньої діяльності загалом.

Розв'язання зазначених проблем забезпечить досягнення головної мети контролю знань - через оцінку рівня підготовленості студентів виробити управлінські механізми удосконалення системи освітньої діяльності.

За результатами аналізу праць науковців та фахівців у галузі організації освітньої діяльності [27; 83; 84; 173 та інших] визначимо основні функції, принципи, форми, види, та вимоги до контролю знань (рис. 1.1).

Реалізація зазначених принципів оцінювання знань повинна сприяти підвищенню мотивації студентів до систематичного навчання, відкритості та об'єктивності оцінювання знань; забезпеченню повноти урахування вмінь та навичок, що передбачені освітньо-кваліфікаційними характеристиками; виробленню ефективних управлінських впливів при організації освітньої діяльності загалом.

Размещено на http://www.allbest.ru/

Рисунок 1.1 - Основні функції, принципи, форми та види контролю знань

Існують такі види контролю знань студентів: діагностичний, або попередній контроль, поточний контроль, повторний, тематичний, періодичний та підсумковий контроль.

На рис. 1.2 наведено шкали, що використовуються у декількох десятках країн світу для оцінювання знань студентів [43; 80; 85; 151; 152; 173; 181].

Размещено на http://www.allbest.ru/

Рисунок 1.2 - Найпоширеніші шкали вимірювання знань студентів

Крім зазначених (рис. 1.2) широко використовується бінарна система оцінювання: залік/незалік; правильно/неправильно.

В Україні використовуються такі шкали оцінювання знань: бінарна, п'ятибальна, дванадцятибальна, стобальна та рейтингова. Відповідність різних шкал за рівнем знань наведено у табл. 1.1.

Система оцінювання покликана забезпечити такі цілі контролю: діагностика та корегування знань та вмінь студентів; облік результативності знань та вмінь; визначення результатів навчання. Стан і якість системи оцінювання знань студентів ВНЗ повинні відповідати стандартам оцінювання і є однією зі складових підвищення якості української освіти до європейського і світового рівнів.

Таблиця 1.1 - Характеристика шкали оцінок знань студентів (приклад)

У той же час, як свідчать розрахунки [20], що опираються на закони математичної статистики, механізм неякісного оцінювання знань студентів може міститися в суб'єктивних якостях викладача.

Забезпечення якості освіти студентів відповідно до вимог державних стандартів вищої освіти України [117] здійснюється як традиційними контрольними заходами, так і за допомогою автоматизованого тестового контролю. Якісна система оцінювання знань студентів повинна відповідати критеріям надійності, валідності, ефективності, точності, репрезентативності, об'єктивності тощо. Проведений аналіз показав, що традиційним неавтоматизованим формам контролю знань притаманні ряд недоліків, серед яких варто підкреслити такі:

значні затрати часу викладача на підготовку завдань певного виду контролю та на обробку та оцінювання відповідей студентів;

високий рівень ймовірності суб'єктивної оцінки викладача відповідей студентів;

досить низька швидкість обробки результатів контролю;

неможливість охоплення великого обсягу навчального матеріалу дисципліни під час перевірки;

складність організації та проведення частішого контролю знань студентів.

неможливість статистичної та порівняльної характеристики результатів перевірки у межах навчальної групи або окремого студента.

Усуненню зазначених недоліків сприятиме процес автоматизації системи контролю знань студентів. Розвиток інформаційних і комунікаційних технологій надає можливість створення сучасних інтелектуальних автоматизованих систем оцінювання знань із застосуванням лінгвістичних технологій, моделей теорії штучного інтелекту, алгоритмів нечіткої логіки, статистичних методів тощо. Сформулюємо основні принципи побудови ІСОЗ нового покоління, які ми вважаємо адекватними сучасним вимогам організації процесу оцінювання знань.