Моделі та методи лінгвістичного аналізу тексту інтелектуальної системи оцінювання знань

розробка пакету прикладних програм (оболонки автоматизованої системи оцінювання знань; системи керування базами даних; системи тестування; системи оцінювання (алгоритм оцінювання відповіді студента та переведення оцінки в існуючі у вищій школі системи оцінювання знань); системи навчання, яка передбачає послідовність дій щодо наповнення бази знань системи штучного інтелекту;

випробовування дослідного зразка програмного комплексу;

проведення аналізу сумісності обраних технічних параметрів та характеристик програмного комплексу з відповідними параметрами та характеристиками програмних продуктів, які використовуються ВНЗ;

апробація інтелектуальної автоматизованої системи контролю знань у вищих навчальних закладах ІІІ-ІV рівнів акредитації;

розробка технічної документації.

До складу зазначеної документації включаються: вимоги до сервера; інсталяція програмного комплексу (для Windows XP); опис компонент програмного комплексу; структура та резервування баз даних. Документація до програмного комплексу містить опис процедури резервного копіювання та відновлення інформації баз даних.

Терміни, що вживаються у цих загальних вимогах, мають таке значення:

програмний комплекс - програмний засіб, програмне забезпечення, які призначені для постачання користувачеві (замовникові);

програмний засіб - комп'ютерна програма, взаємопов'язана сукупність комп'ютерних програм, процедур, правил, документації та даних;

програмне забезпечення - програмний засіб або їх взаємопов'язана сукупність;

технічна підтримка - це комплекс організаційних і технічних заходів, спрямованих на забезпечення функціонування програмного продукту, включаючи його встановлення, налаштування, оновлення та відновлення.

Програмний комплекс відповідає таким вимогам:

для формування даних, які подаються до Держінформанауки, повинен забезпечувати експорт інформації у формат, який визначає Держінформнауки та імпорт інформації з цього формату;

має можливість інтеграції з іншим базовим та прикладним програмним забезпеченням;

має змогу додавати нові функціональні модулі до програмного комплексу без зміни структури програмного забезпечення;

має вбудовані механізми захисту інформації від несанкціонованого доступу для забезпечення ідентифікації та автентифікації користувачів, цілісності електронних документів, реєстрації дій користувачів, управління доступом користувачів до інформації та окремих функцій, що надаються комплексом;

інтерфейс користувача програмного комплексу максимально простий та зручний для використання;

обслуговує запити користувачів та забезпечує надання необхідної інформації у зручному для сприйняття вигляді;

забезпечує оперативний пошук інформації в архіві, який створюється програмним комплексом;

передбачає можливість роздруковувати паперові форми зразка, установленого нормативними документами МОН та Держкомінформнауки, здійснює контроль формату документів, контроль і перевірку відповідності та цілісності інформації електронного документа та дозволяє при друкуванні форм у нижньому колонтитулі кожного аркуша паперової форми встановлювати дату друкування та іншої інформації;

має механізм обробки незавершених трансакцій та забезпечує ведення журналів усіх виконаних операцій контролю знань студентів з програмного продукту та документами (інформацією). Помилки у роботі програмного продукту або аварійне завершення програмного продукту не викликають втрату, часткове або повне порушення бази даних програмного комплексу;

має змогу створення резервних копій інформації та механізм відновлення інформації з резервних копій незалежно від того, у якій з попередніх версій програмного комплексу ця резервна копія була створена.

Програмний комплекс створений на ліцензійному програмному забезпеченні з використанням ліцензійних засобів розробника. Механізми захисту інформації, які містить програмний продукт, реалізуються відповідно до національних нормативно-правових актів захисту інформації та міжнародних стандартів. Усі права розробника захищенні.

4.4 Програма та методика випробувань ІСОЗ. Апробація результатів дослідження

Загальні вимоги до програмного комплексу інтелектуальної системи оцінювання знань. Тестові випробування програмного комплексу являють собою процес, спрямований на те, щоб гарантувати її нормальну роботу в усіх передбачуваних практичних ситуаціях. При цьому повинні здійснюватися два види випробувань:

1) на відповідність створеного програмного комплексу поставленому завданню;

2) на правильність його функціонування.

Постановка задачі. Для розроблення математичного та програмного забезпечення прикладних процедур комплексного оцінювання знань студентів вищих навчальних закладів з метою забезпечення достовірності оцінки відповідей, у тому числі таких, що подані як розгорнута відповідь на природній мові, необхідно розробити та застосувати програмне забезпечення моделей штучного інтелекту та нечітких множин.

Завдання комплексу: оцінка знань студентів проводиться за усіма, прийнятими у вищій школі, системами оцінювання.

Програмний комплекс має бути сумісним з усіма версіями Windows, мати зручний інтерфейс користувача (студента), викладача та адміністратора. У базі знань “Студенти” міститься список навчальних груп, номери їх залікових книжок (індивідуальних планів роботи) та їх вигляд на фото.

Умови роботи: програмний комплекс працює у локальній мережі вищого навчального закладу, мережі Інтернет, маючи доступ до баз даних, які знаходяться на віддаленому сервері.

Функції комплексу:

реєстрація адміністратора, викладача;

реєстрація користувачів (студентів);

внесення користувачів до БД;

створення БД предметів;

створення БД тестів;

оцінювання знань студента та переведення оцінки в існуючі системи оцінки;

виставлення оцінки;

резервне зберігання БД на сервері.

Технічні вимоги до тестування програмного комплексу. Можна виділити такі вимоги до програмного комплексу [143]:

1. Правильність. Програмний комплекс повинен видавати правильні результати для будь-яких даних із заздалегідь визначеного допустимого діапазону.

2. Ефективність. Програмний комплекс має видавати результати за прийнятний час та не бути надто ресурсоємким.

3. Надійність. При введенні неправильних даних програмний комплекс має повідомити про це. Будь-які умови використання комплексу не повинні призводити до фатальних, невиправних або важко виправних наслідків.

4. Універсальність. Програма має бути розрахована на широкий діапазон вхідних даних і на широкий спектр задач.

5. Функціональність. Програма повинна забезпечувати всі основні потреби користувача.

6. Зручність у використанні. Програма має бути зручною в засвоєнні і використанні, а програмний інтерфейс простим і зрозумілим.

7. Стандартизованість. Програмний комплекс повинен мати однотипні з відомим програмами тестування засоби керування і однотипний інтерфейс, тому студент, який має досвід роботи на ПЕОМ не повинен мати незручностей при переході до роботи у комплексі.

8. Переносимість. Забезпечувати можливість перенесення програм з одного комп'ютера на інший без змін.

9. Читабельність. Тексти програм комплексу повинні бути максимально простими для сприйняття і розуміння людиною.

10. Модифікованість. Програмний комплекс повинен передбачувати можливість для змін і доповнень у подальшому.

11. Документованість. Програмний комплекс має супроводжуватися технічною документацією і інструкціями щодо її використання. В самій програмі мають бути коментарі, що пояснюють суть самої програми та основних її елементів.

Апробація результатів дослідження. Апробація інтелектуальної системи оцінювання знань проводилась у вищих навчальних закладах ІІІ-ІV рівнів акредитації. Акти апробації, попередніх випробувань та оцінки системи наведені у додатках В, Г, Д, Е.

Основні результати дисертаційного дослідження впроваджено у навчальному процесі навчальних закладів:

- Інституту інтелектуальної власності Національного університету “Одеська юридична академія” при оцінюванні знань студентів з навчальної дисципліни “Маркетинг інтелектуальної власності”, яка вивчається при підготовці фахівців ОКР “Спеціаліст” за спеціальністю 7.000002 “Інтелектуальна власність”;

- Національної академії Державної прикордонної служби України імені Богдана Хмельницького при підготовці офіцерів-прикордонників за напрямами підготовки:

а) 1401 - “Військові науки”, спеціальність 8.140105 (освітньо-кваліфікаційний рівень магістр) з дисциплін “Охорона та захист державного кордону”, “Зв'язок у ДПСУ”, “Інформаційно-телекомунікаційні системи ДПСУ”;

б) 1603 - “Охорона та захист державного кордону”, спеціальність 7.090258 - “Автомобілі та автомобільне господарство” (освітньо-кваліфікаційний рівень спеціаліст) з дисциплін “Обчислювальна техніка” та “Комп'ютерна графіка”;

- Економічного факультету Хмельницького кооперативного торговельно-економічного інституту при підготовці студентів за напрямами: 6.030507 - “Маркетинг”, 6.030508 - “Фінанси і кредит”, 6.030509 - “Облік і аудит”(освітньо-кваліфікаційний рівень бакалавр) з дисципліни “Інформатика”.

Акти впровадження наведені у додатках Ж, И, К. Зведені відомості щодо апробації інтелектуальної системи оцінювання знань наведено у табл. 4.2.

З навчально-методичних матеріалів вищезазначених дисциплін, а саме, підручників, конспектів лекцій, посібників тощо, було сформовано еталонну базу знань, яка застосовувалась для визначення рівня релевантності відповідей студентів шляхом використання розроблених моделей, алгоритмів та методів інтелектуальної системи оцінювання знань, зокрема лінгвістичного аналізу тексту для оцінки природномовних відповідей студентів.

Апробація ІСОЗ проводилася за різними напрямами (спеціальностями) та освітньо-кваліфікаційними рівнями. До оцінювання залучалося 347 студентів (слухачів, курсантів) з 16 навчальних груп. Було оцінено 663 варіантів відповідей. З метою перевірки достовірності оцінювання ІСОЗ вибірково з кожного предмету викладачами проводилася контрольна перевірка відповідей студентів. При цьому середнє значення коефіцієнта кореляції Пірсона 0,811 свідчить про високий ступінь збігу оцінок, що виставлені інтелектуальною системою оцінювання знань та оцінкою контрольних (тестових) робіт викладачами.

Приклади результатів перевірки та оцінювання відповідей студентів, наведені в таблиці 4.3 і на рисунку 4.15 показують, що існує несуттєва розбіжність в оцінках, продукованих машиною та людиною, однак не менша розбіжність властива також і оцінкам, виставленим різними викладачами.

Таблиця 4.2 - Зведені відомості щодо апробації інтелектуальної системи оцінювання знань

Размещено на http://www.allbest.ru/

Використання програмного комплексу дозволяє збільшити ефективність роботи викладача за рахунок значного скорочення часу, необхідного для підготовки контрольних тестів та перевірки відповідей на тестові завдання, в тому числі відкритого типу, що передбачають природно мовну відповідь, подану в довільній формі. Обсяг “ручної роботи” скорочено на 90 %.

Таблиця 4.3 - Результати оцінювання знань з використанням ІСОЗ та викладачем

Рисунок 4.13 - Результати оцінювання знань з використанням ІСОЗ та викладачем

Результати попередніх випробувань, оцінка роботи, напрями застосування розробленої системи контролю знань представлені в таких документах:

- Акт попередніх випробовувань програмного комплексу дослідного зразка автоматизованої системи контролю знань;

- Довідка про оцінку науково-технічного рівня результатів науково-технічної роботи;

- Свідоцтво про реєстрацію авторського права на твір;

- Акти приймання науково-технічної роботи;

- Довідка про реалізацію науково-технічної роботи;

- Акт реалізації результатів науково-технічної роботи у навчально-виховному процесі Інституту інтелектуальної власності Національного університету “Одеська юридична академія”;

- Акт реалізації результатів науково-технічної роботи у навчальний процес Хмельницького кооперативного торговельно-економічного інституту.

Аналіз результатів дослідження проводився в процесі оцінювання науково-технічного рівня результатів науково-технічної роботи “Розробка інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів” (державний реєстраційний номер 0109V005890), до якої увійшли найсуттєвіші результати дисертаційного дослідження, за результатами якого зроблено висновки:

1. Програмний комплекс може використовуватись для поточного, модульного, рейтингового та підсумкового контролю студентів ВНЗ. Крім традиційних тестів даний комплекс дозволяє оцінювати:

завдання, що передбачають коротку довільну відповідь у вигляді числа або одного слова;

завдання, що передбачають точну відповідь у вигляді правила, визначення, теореми тощо;

завдання, що передбачають логічну відповідь (вибір із множини, впорядкування за ознакою, доведення тощо);

завдання, відповідь на які повинні бути подані у вигляді довільної розгорнутої природномовної відповіді.

2. Програмний комплекс є сумісним з усіма версіями Windows, має зручний інтерфейс користувача (студента), викладача та адміністратора.

3. Програмний комплекс працює у локальній мережі ВНЗ та мережі Інтернет.

4. Програмний комплекс видає правильні результати для введених даних предметної області. У процесі випробувань несподіваних повідомлень на екрані, зависання і т.п. не виявлено.

Програмний комплекс видає результати за 0,1 сек.

При введенні неправильних даних програмний комплекс повідомляє про це.

Інтерфейс програмного комплексу простий і зрозумілий.

Програмний комплекс забезпечує можливість перенесення програм з однієї машини на іншу без змін.

9. Тексти програм комплексу прості для сприйняття і розуміння людиною.

11. Програмний комплекс супроводжується технічною документацією інструкціями щодо її використання.

12. Програмний комплекс сумісний з усіма браузерами.

13. Мова інтерфейсу програмного комплексу - українська.

14. Можливість одночасної роботи в системі користувачів комплексу не обмежена.

15. Можливість одночасної обробки запитів комплексу не обмежена.

Комісією зроблено такий висновок:

1. Програмний комплекс “Інтелектуальна автоматизована система контролю знань студентів вищих навчальних закладів” відповідає вимогам технічного завдання.

2. Науково-технічна продукція, а саме: програмний комплекс та пакет прикладних програм; технічна документація можуть бути передані замовнику - Міністерству освіти і науки України.

За результатами проведеної роботи щодо розробки програмного комплексу інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів оформлена і подана до Державного департаменту інтелектуальної власності заява про реєстрацію авторського права на комп'ютерну програму і отримання свідоцтва про право інтелектуальної власності (додаток Г).

Робота виконана на високому технічному, науковому та сучасному інформаційному рівнях (див. додаток В). Розроблений програмний комплекс інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів відповідає вимогам Постанови КМУ від 12.08.2009 № 869, які висуваються до програмних продуктів, що закуповуються та створюються на замовлення державних органів. Для вирішення поставленого завдання при відпрацюванні програмного комплексу було запропоновано ряд інноваційних ідей і підходів. Наукова новизна отриманих результатів полягає у тому, що на відміну від існуючих систем оцінювання з використанням тестів, розроблений програмний комплекс надає можливість оцінювати письмові відповіді студентів. Письмова відповідь студента представляє собою нечітку лінгвістичну змінну, яка за розробленим алгоритмом підлягає перевірці граматики та орфографії, на основі чого формується образ відповіді та його порівняння з еталонними лінгвістичними змінними бази знань. База знань представляє собою розгалужену структуру інформації предметної області.

Результати роботи та висновки державної комісії щодо приймання науково-технічної роботи “Розробка інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів” (державний реєстраційний номер 0109V005890), до якої увійшли найсуттєвіші результати дисертаційного дослідження, зроблено такі висновки (див. додаток Ж).

Комісії було представлено:

програмний комплекс “Інтелектуальна автоматизована система контролю знань студентів вищих навчальних закладів”;

технічна документація інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів;

результати експериментальних досліджень програмно-алгоритмічного забезпечення дослідного зразка.

Комісія розглянула звіти про виконання етапів, заключний науково-технічний звіт, витяг з протоколу засідання науково-технічної ради про відповідність результатів роботи вимогам технічного завдання, звіт про патентні дослідження і встановила, що в результаті проведення досліджень і розробок розроблено:

концепцію побудови інтелектуальної системи оцінювання знань;

структуру системи штучного інтелекту, яка включає такі підсистеми: інтегральний банк даних (база даних, база знань); підсистему лінгвістичного аналізу (аналізатори граматики, орфографії, семантики та прагматики); систему навчання;

математичні моделі та алгоритми основних підсистем, а саме: інформаційної алгебри обчислення нечітких множин; алгоритми перевірки граматики, орфографії, семантики та прагматики;

архітектуру системи керування базами даних навчального закладу;

структуру бази знань (предмети, модулі, теми) і процедуру формування висновку;

алгоритми оцінювання та переведення оцінки в існуючі у вищій школі системи оцінювання знань;

математичну модель спілкування в системі штучного інтелекту і інтерфейс користувача;

програмний комплекс “Інтелектуальна автоматизована система контролю знань студентів вищих навчальних закладів”;

технічну документацію інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів.

Комісія постановила: вважати роботу за договором від 20 липня 2009 року № ІТ/533-2009 виконаною відповідно до технічного завдання в повному обсязі і прийнятою.

Комісія пропонує: використання результатів виконання науково-технічної роботи здійснювати шляхом передачі пакету технічної документації та програмного забезпечення провідним навчальним закладам МОН України.

Висновки до розділу 4

1. Розроблено функціональні структури модулів лінгвістичної підсистеми. Функціональні структури модулів морфологічного, синтаксичного, семантичного та прагматичного аналізу побудовані таким чином, що вихідна інформація (дані) попереднього модуля є вхідною для наступного. Основну роль при аналізі речення відіграє інтегрована база даних, що містить інформацію про морфологію, синтаксис, семантику і прагматику слів. Алгоритмічна реалізація функціональних структур модулів інтелектуальної автоматизованої системи оцінювання знань, які вирішують завдання перевірки граматики, семантики та прагматики, побудована із застосуванням моделей штучного інтелекту. Такі алгоритми, в частині побудови семантичних мереж, дозволяють суттєво підвищити ефективность та достовірность роботи системи тестування.

2. Головною технологією, що реалізує принцип централізованого зберігання інформації, є технологія баз даних, доступ до яких забезпечується засобами систем керування базами даних (СКБД). Усі центральні компоненти керування розміщуються на сервері. Для зберігання тестової і допоміжної інформації розроблено дві бази даних. Перша база даних використовується для зберігання основної інформації необхідної для проведення тестування (списки користувачів, назви тестів, перелік питань, варіантів відповідей тощо). Друга база даних виконує додаткові функції, корисні для навчального закладу. У цій базі зберігатиметься інформація про предмети, їх тематику, навчальні заняття, викладачів та їх закріплення за навчальними групами тощо. Додаткові бази даних з документацією з дисциплін.

3. Інтерфейс з користувачем ІСОЗ включає наступні компоненти: діалоговий компонент; модуль обробки питань; редактор знань; модуль пояснення. Діалоговий компонент системи забезпечує виконання таких завдань: розподілу ролі користувача в ІСОЗ та організовує їх взаємодію в процесі рішення задачі; перетворює специфікацію завдання, складену користувачем, у внутрішнє представлення даних; видає повідомлення, підказки, питання; протоколює процес рішення задачі.

4. В якості основних засобів представлення знань в ІОСЗ запропоновано системи продукцій, фреймів та семантичних мереж. Кожна із зазначених систем орієнтована на опис різних типів знань і володіє різними можливостями. У системах представлення знань реалізовано такі групи основних функцій: а) представлення і обробки даних; б) міркування; в) спілкування з користувачем на природній мові.

5. Для розробки програмного забезпечення ІСОЗ використовувалися мови програмування Сі Sharp, SQL, PHP, стандарт WEB 2.0 і платформа Net Framework. Програмне забезпечення ІСОЗ реалізує процеси аналізу і оцінки варіантів відповідей у такій послідовності: запит варіанту відповіді на природній мові; переведення варіанту відповіді до внутрішньосистемного представлення даних; морфологічний аналіз; синтаксичний аналіз; семантичний аналіз; прагматичний аналіз; оцінювання знань; формування результату.

6. Для забезпечення функціонування системи тестування на сервері мають бути встановлені такі сторонні додатки: програмна платформа Net Framework 3.5 (виробник - Microsoft; по замовченню присутня в Windows 7, Windows Server 2008 R2); WEB сервер зі складу IIS (виробник - Microsoft; присутній у складі дистрибутивів > Home); сервер управління базами даних MS SQL (виробник - Microsoft).

7. Інтерфейс системи тестування включає такі елементи: функції системи; меню та навігація для адміністратора і (або) викладача; меню та навігація для студента. Модулі системи забезпечують таке: Веб-браузер користувача - виведення XHTML CSS, інтерфейс на основі JavaScript, зв'язок з сервером; Облік користувачів - реєстрацію користувачів, вхід до системи та вихід із неї, внесення інформації до бази даних; Сторінки користувачів - вибір функцій, реалізацію функцій, контроль дій; Робота з системою штучного інтелекту - формування баз даних, формування баз знань, навчання системи.

8. Програма та методика випробувань дослідного зразка автоматизованої системи контролю знань студентів включає загальні вимоги до програмного комплексу інтелектуальної системи оцінювання знань, алгоритми здійснення випробовувань, технічні вимоги до тестування програмного комплексу, функціональні та не функціональні вимоги. Програмний комплекс створений на ліцензійному програмному забезпеченні з використанням ліцензійних засобів розробника. Механізми захисту інформації, які містить програмний продукт, реалізуються відповідно до національних нормативно-правових актів захисту інформації та міжнародних стандартів. Усі права розробника захищенні.

9. Експериментальні дослідження програмно-алгоритмічного забезпечення “Інтелектуальної системи контролю знань студентів” (номер державної реєстрації 0109V005890) проводились у Хмельницькому державному центрі науки, інновацій та інформатизації за програмою попередніх випробувань. Цією програмою передбачалось встановити відповідність програмного комплексу умовам технічного завдання. Апробація інтелектуальної автоматизованої системи контролю знань проводилась у вищих навчальних закладах ІІІ-ІV рівнів акредитації. Основні результати науково-технічної роботи реалізовані в таких наукових та навчальних закладах: Хмельницькому державному центрі науки, інновацій та інформатизації (Акт реалізації від 18.12.2010); Інституті інтелектуальної власності Національного університету “Одеська юридична академія” (Акт реалізації № 023-01 від 25.01.2011); Хмельницькому кооперативному, торговельно-економічному інституті (Акт реалізації № 424 від 30.12.2010); Національній академії Державної прикордонної служби України імені Богдана Хмельницького (Акт реалізації № 424 від 30.12.2010).

10. За результатами випробовувань 13.01.2011 Державним комітетом України з питань науки, інновацій та інформатизації складено акт приймання науково-технічної роботи “Розробка інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів”, що виконувалася за договором від 20.07.2009 № ІТ/553-2009, в якому запропоновано здійснити використання результатів зазначеної науково-технічної роботи шляхом передачі програмного комплексу та технічної документації до нього провідним навчальним закладам МОН України.

Основні результати опубліковано у [56; 58; 68; 70; 72; 187].

ВИСНОВКИ

У дисертації наведене теоретичне узагальнення і нове вирішення наукової задачі, що виявляється в розробленні комплексної лінгвістичної системи в межах загальної автоматизованої інтелектуальної системи оцінювання знань студентів. Значення отриманих у дисертації результатів для прикладної лінгвістики полягає у створенні інструментальних засобів інтелектуальної автоматизованої обробки інформації, що подається природною мовою, на основі застосування лінгвістичних моделей та алгоритмів, які враховують ефекти нечіткості мовних даних, а також семантику та прагматику лексичних одиниць текстів предметної сфери. Значення отриманих у дисертації результатів для практики полягає в можливості автоматизованої оцінки знань студентів у реальному часі, що складаються із різних типів завдань, у тому числі таких, відповіді на які повинні бути подані природною мовою у довільній формі.

Загальні результати роботи дають підстави зробити такі висновки:

1. Проаналізовано результати наукових досліджень у галузі розробки автоматизованих систем оцінювання знань та застосування в них моделей та методів лінгвістичного аналізу природномовного тексту. Здійснено огляд та порівняльний аналіз різних систем оцінювання (кредитно-модульні системи: Європейська кредитна система (ECTS - European Credit Transfer and Accumulating System); Система кредитів Сполученних Штатів (USCS - US Credit System); Британська система накопичення и передачі кредитів (САТS - Credit Acccumulation and Transfer Scheme / System); Азіатсько-Тихоокеанська система передачі університетських кредитів (UMAP - University Mobility in Asia and Pacific).

З'ясовано, що лінгвістична обробка природномовних текстів є однією з центральних проблем інтелектуалізації інформаційних технологій, зокрема в галузі освіти. Сьогодні у вищих навчальних закладах усе ширше використовуються автоматизовані засоби оцінювання знань, зокрема автоматизовані системи тестування. Їхніми перевагами вважаються: можливість достатньо повного охоплення змісту навчальної дисципліни шляхом уведення до системи великої кількості запитань; зручність створення та модифікації тестових матеріалів; невелика тривалість процесів тестування; можливість автоматизації процесів контролю й оцінювання результатів; інтеграція систем контролю знань з базами даних тощо. Проте, сучасним системам тестування притаманні певні недоліки: тести орієнтовані на короткі відповіді, не передбачено самостійної відповіді на запитання; утруднена підготовка тестів, які спрямовані на перевірку творчих здібностей і логічного мислення; тестування не передбачає перевірки розгорнутих природномовних робіт тощо.

Проведений аналіз функціональних можливостей різних засобів автоматизації оцінювального процесу свідчить про недостатні інтелектуальні властивості цих систем за рахунок обмеженого, нерелевантного цілям зазначених систем представлення в них саме лінгвістичних функцій. Зазначене спонукало до розроблення та комплексного поєднання в системах оцінювання знань різних аспектів та рівнів лінгвістичного аналізу (графематичного, морфологічного, синтаксичного, семантичного прагматичного), зосереджених та реалізованих в єдиній структурно-функціональній системі, а саме - лінгвістичній підсистемі інтегрованої інтелектуальної системи оцінювання знань.

2. Для розв'язання наукової задачі в дисертації розроблено методику комп'ютерного моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань. Запропонована у роботі методика дослідження (комплексне застосування методів аналізу, синтезу, порівняння, узагальнення, структурного методу, методики компонентного аналізу, конструктивного методу та ін.) дала змогу проаналізувати та виявити недосконалість сучасних автоматизованих систем тестування, зокрема в сфері обробки та оцінювання природномовних текстових відповідей і розробити власну методику аналізу тексту в інтелектуальній системі оцінювання знань, яка ґрунтується на поєднанні лінгвоаналітичних методів, статистичних методів, методів теорії нечітких множин, математичного моделювання, технологій штучного інтелекту, а також сучасних засобів програмування. Оскільки дослідження лінгвістичного аналізу тексту здійснено в рамках системи оцінювання знань, де опрацьовуються природномовні відповіді на запитання відкритого типу, то на перший план висунуто семантичну складову лінгвістичного аналізу та екстракцію знань із текстової відповіді. Для автоматизації перевірки відповіді, поданої у текстовому форматі природною мовою, було розроблено методику порівняння такої відповіді зі зразком (зразками) правильної відповіді, яку було використано при формулюванні концептуальної моделі відповідної системи, що передбачає створення теоретичних засад, розбудову загальної схеми системи та структури її окремих складників, а також зв'язків між ними, розроблення необхідних різновидів забезпечення системи (загальносистемного, лінгвістичного, алгоритмічного, математично-програмного, інформаційного, організаційного та ін.).

Розробка та застосування запропонованих методів і моделей в інтелектуальній системі оцінювання знань дали змогу частково позбавитися вад, притаманних сучасним системам тестування і опрацьовувати довільні текстові відповіді студентів на завдання відкритої форми.

3. На основі застосування розробленої методології побудовано концептуальну модель лінгвістичної підсистеми інтелектуальної системи оцінювання знань та її функціональну структуру. Виходячи з визначених архітектурою ANSI/X3/SPARK властивостей концептуальної моделі, а саме: семіотичності, семантичності, однозначності, несуперечливості, інтегрованості, типізованості та алгоритмізованості, у дисертації розроблено Функціональну структуру Інтелектуальної системи оцінювання знань, в якій лінгвістична підсистема займає центральне місце.

На відміну від традиційних підходів до автоматизованого контролю знань, застосування нових та удосконалених методів, моделей та алгоритмів лінгвістичного аналізу в системі оцінювання надає можливість: виявлення латентних асоціативно-семантичних залежностей у множині документів; часткового зняття омонімії, полісемії та синонімії; виправлення слів, що написані студентом із орфографічними та технічними помилками; врахування синтаксичних відношень, логіки побудови терм у контексті предметної сфери тощо.

4. Уперше розроблено алгоритм семантичного порівняння нечіткої текстової інформації (відповідей на запитання, що подані студентом природною мовою в довільній формі, із варіантами правильних відповідей), в якому формалізовано опис лінгвістичної структури навчального контенту та відповіді. Розроблений алгоритм передбачає автоматичну конвертацію відповіді студента природною мовою до внутрішньосистемного вигляду, екстракцію лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу.

Застосування розробленого алгоритму дозволяє усувати помилки, що можуть бути у вихідному тексті (неправильні закінчення, нестандартні скорочення тощо), визначати належність вихідного тексту до певної предметної сфери, формувати загальну оцінку відповіді на питання за комплексним показником, у якому враховується наявність у відповіді слів, присутніх у зразку (у тому числі за умови нечіткості), відповідність структур зразка і відповіді (порядку слів).

Розроблено підсистему лінгвістичного аналізу тексту на основі моделей штучного інтелекту (нейронна мережа) як складову функціональної структури інтелектуальної системи оцінювання знань студентів вищих навчальних закладів.

5. Удосконалено алгоритм методу латентно-семантичного аналізу (ЛСА) в таких аспектах:

а) на етапі формування частотної матриці індексованих слів застосовано алгоритм нечіткого семантичного порівняння текстової інформації, внаслідок чого індексовані слова (терми) замінюються лексичними одиницями із баз даних: “Словник” ; “Абревіатура” (перелік скорочень та значень абревіатур); “Фрейми” (перелік словосполучень, які часто вживаються у певній предметній сфері); “Ключ” (перелік ключових слів предметної сфери);

б) процедуру стемінгу замінено на лематизацію на основі результатів автоматичного морфологічного аналізу текстів задля забезпечення більш високої якості роботи алгоритму;

в) запроваджено алгоритми нечіткого пошуку, а саме застосування удосконаленого варіанту метрики Левенштейна для виправлення некоректно поданих слів.

6. З'ясовано, що найефективнішими методами обробки природномовних текстових відповідей з метою екстракції та репрезентації семантики є системи, що ґрунтуються на поєднанні лінгвістичних технологій аналізу тексту (графематичного, морфологічного, синтаксичного, семантичного), у тому числі із застосуванням онтологій, та різних варіантів методу латентно-семантичного аналізу, що дозволяє виявляти приховані асоціативні залежності всередині природномовних текстів. Таке поєднання дає можливість урахувати та частково елімінувати недоліки, притаманні обом методам, та удосконалити процес обробки природномовної відповіді шляхом комбінування переваг розглянутих лінгвістичних та статистичних методів.

У розробленій інтелектуальній системі оцінювання знань студентів реалізовано варіант інтеграції технологій експліцитного семантичного аналізу, латентно-семантичного аналізу, методів теорії нечіткої логіки, штучного інтелекту та ін.

Розроблена система пройшла практичну апробацію шляхом застосування у навчальному процесі Інституту інтелектуальної власності Національного університету “Одеська юридична академія”, Національної академії Державної прикордонної служби України імені Б. Хмельницького, Хмельницькому кооперативному торговельно-економічному інституті.

Апробація ІСОЗ проводилася за різними напрямами (спеціальностями) та освітньо-кваліфікаційними рівнями. З метою перевірки достовірності оцінювання ІСОЗ вибірково з кожного предмету викладачами проводилася контрольна перевірка відповідей студентів. При цьому середнє значення коефіцієнта кореляції Пірсона 0,811 свідчить про високий ступінь збігу оцінок, що виставлені інтелектуальною системою оцінювання знань та оцінкою контрольних (тестових) робіт викладачами.

Використання програмного комплексу дозволило збільшити ефективність роботи викладача за рахунок значного скорочення часу, необхідного для підготовки контрольних тестів та перевірки відповідей на тестові завдання, в тому числі відкритого типу, що передбачають природномовну відповідь, подану у довільній формі.

За результатами випробовувань дослідного зразка Інтелектуальної системи оцінювання знань Державним комітетом України з питань науки, інновацій та інформатизації рекомендовано здійснити використання одержаних результатів шляхом передачі програмного комплексу та технічної документації до нього провідним навчальним закладам МОН України.

Перспективним напрямом подальших досліджень моделей та методів лінгвістичного аналізу тексту у якості інструментальних засобів у системах оцінювання знань може бути, на наш погляд, робота у напрямку подальшої інтелектуалізації системи, а саме:

підсилення концептологічної та концептографічної складової у лінгвістичної підсистеми;

побудова лінгвістичних онтологій для предметних галузей, за якими передбачено діагностування знань;

удосконалення модуля синтаксичного та семантичного аналізу тексту;

узагальнення функцій системи у напрямі виконання логіко-лінгвістичних експертиз, діагностики семантичних девіацій, автоматичної екстракції смислів.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ