По-перше, тести орієнтовані на короткі відповіді: число, рік, правило, перелік тощо. Це не передбачає перевірки природномовних текстових відповідей, поданих в довільній формі;

По-друге, студенти здійснюють вибір лише із запропонованих відповідей, а не самостійно формулюють відповідь.

По-третє, варіанти відповідей подібні між собою, що утруднює вибір і може призвести до необ'єктивної оцінки. Наприклад на запитання “Назвати основні пристрої комп'ютера” правильною відповіддю буде “Системний блок, монітор, клавіатура, маніпулятор “миша”. Як один із варіантів може бути запропоновано: “Системний блок, монітор, клавіатура”. У такому разі, при виборі студентом останнього варіанту, його відповідь буде зарахованою як неправильна. У той же час, він назвав три з чотирьох пристроїв, і його коефіцієнт правильності має бути 3/4.

По-четверте, утрудненою є підготовка тестів, які спрямовані на перевірку творчих здібностей та логічного мислення. Відповіді на такі тести зведені до вибору, а не до творчості.

По-п'яте, тестування не передбачає перевірки розгорнутих письмових робіт.

По-шосте, відповідь можна вгадати. Якщо, наприклад, на запитання пропонується чотири варіанти відповіді, то імовірність “вгадування” складає 1/4. У такому разі, якщо межа для оцінки задовільно встановлена 30 %, то студенту необхідно знати лише 5 % правильних відповідей. Якщо із 100 балів необхідно набрати 24, то їх можна вгадати, про що доповідають фахівці центрів незалежного тестування;

По-сьоме, вірогідною є необ'єктивність оцінки, пов'язана із стереотипним та/або суб'єктивним ставленням викладача до студента [47].

Отже, у ході автоматизованого оцінювання знань студентів виникають суперечності:

1) між ефективністю процедури тестового контролю знань та об'єктивністю оцінки знань;

2) між великими обсягами інформації, що потребує лінгвістичного аналізу в ході оцінювання знань, та відсутністю (недосконалістю) ефективних технологій його здійснення.

Таким чином бачимо, що питання лінгвістичного забезпечення набувають все більшого значення при створенні автоматизованих систем оцінювання знань, а побудова відповідних моделей стає все актуальнішою. З викладеного випливає необхідність побудови комплексних лінгвістичних моделей, адаптованих до формального представлення в системах, вільних від перелічених вище вад. Отже, метою дослідження є розроблення моделей та методів комплексного лінгвістичного аналізу природномовного тексту в системах оцінювання знань студентів, курсантів та слухачів, де враховуються морфологічні, семантичні, синтаксичні та прагматичні його властивості.

1.3 Проблеми автоматичного лінгвістичного аналізу тексту в контексті систем оцінювання знань

Дослідження з питань обробки природної мови розпочались ще в кінці 40-х років 20 ст., і з того часу пройшли чотири стадії свого розвитку, які характеризуються, відповідно, акцентуванням уваги на створенні систем машинного перекладу, домінуванням теорій штучного інтелекту, запровадженням логіко-граматичного стилю і застосуванням статистичного підходу [184, с. 53]. Після понад 60-ти років розвідок у галузі автоматичного опрацювання природномовної інформації, це питання залишається актуальним і в наш час, коли спостерігається бум у розвитку інформаційних технологій, що у свою чергу стимулює необхідність створення високоефективних лінгвістичних технологій комп'ютерного аналізу тексту.

В основу перспективних інтелектуальних систем аналізу й оцінювання знань студентів мають бути покладені моделі та методи лінгвістичного (морфологічного, граматичного, семантичного, прагматичного) аналізу тексту, що використовують методологію штучного інтелекту. Адже за твердженням В. А. Широкова “штучний інтелект є формою індивідуалізації технічних систем, якій притаманний мовний статус” [148, с. 20].

В Україні перші розробки в галузі автоматичного опрацювання природної мови беруть початок в 60-і рр. та продовжують успішно розвиватися на базі таких лінгвістичних центрів як Український мовно-інформаційний Фонд НАН України, Інститут мовознавства ім. О. О. Потебні НАН України, Інститут української мови НАН України, Київський національний університет ім. Т. Шевченка, Інститут кібернетики ім. В.М.Глушкова НАН України, Національний університет “Львівська політехніка”, Національний авіаційний університет, Київський національний лінгвістичний університет та інші наукові та освітні центри.

Як відзначалося, стрімкий розвиток науки і техніки, впровадження інформаційних та високих технологій ведуть до зростання обсягів неструктурованої науково-технічної інформації, що подається переважно природномовними текстами. Зазначений, дуже слабко контрольований процес створює багато складних проблем, які подекуди зводять нанівець переваги, що надають інформаційно-комп'ютерні технології, адже проаналізувати за невеликий період часу “вручну” надвеликі масиви інформації людина не здатна, а забезпечити належну формалізацію змісту природномовних документів й у такий спосіб адаптувати його до автоматичного опрацювання надзвичайно важко.

Дослідники цієї проблеми, зокрема, Добров Б. В., Лукашевич Н. В., Лесько О. М., Рогушина Ю. В., Палагін О. В., Дерев'янченко О. В. [31; 94; 101; 118] та ін., зауважують, що для цього необхідно навчити комп'ютери використовувати знання про предметну сферу, зокрема - уміти в автоматичному режимі пов'язувати текстові фрагменти з концептами відповідних предметних галузей. Одним із способів концептуалізації текстових документів є семантична розмітка тексту, або семантичне анотування (маркування). Прикладом системи, в якій використовується семантичне маркування, зокрема, є SemanticWiki [188; 167]; розв'язанню цього завдання покликані також і лінгвістичні технології, що широко застосовуються в корпусній лінгвістиці та дозволяють досліджувати мовні явища в їх репрезентативних об'ємах [79, с. 4].

Взагалі, важко не погодитися із думкою академіка НАН України, Широкова В. А., який зазначає, що “нове покоління філологів все вільніше володіє комп'ютерними методологіями дослідження. Тому в недалекому майбутньому комп'ютерна, та її підрозділ - корпусна - лінгвістика стане переважаючою галуззю, поза якою, мабуть, мало що залишиться” [79, с. 30].

Сказане цілком стосується й проблематики інформатизації освітньої сфери. Окремою її ділянкою є інтелектуалізація засобів контролю освітнього процесу, одним із аспектів якого є впровадження мовно-інформаційних методів діагностування навчальних досягнень студентів. До них відносяться методи і засоби автоматизованого контролю знань, здатних обробляти і оцінювати відповіді, подані природною мовою в довільній формі.

Вважається, що перевагами таких систем є можливість повнішого охоплення змісту навчальної дисципліни, мінімізація витрат часу на проведення процедури тестування, можливість автоматизації контролю і оцінювання результатів, інтеграція систем тестування з авторитетними інформаційними масивами з предметних галузей та ін.

Проте слід визнати, що існуючі комп'ютерні системи тестування мають чимало недоліків: більшість з них містять запитання, що передбачають короткі відповіді з дуже обмеженим лінгвістичним репертуаром. Часто в системі передбачено лише вибір із запропонованих варіантів; трудомісткою є підготовка тестів, спрямованих на перевірку творчих здібностей і логічного мислення та ін. Деякі із сучасних автоматизованих систем контролю знань містять також і завдання відкритого типу, однак у більшості з них відповідь зараховується як правильна, коли вона цілком збігається з одним із еталонних варіантів тексту.

Останнім часом для автоматизації проведення як поточного, так і підсумкового контролю рівня засвоєння знань використовуються системи тестового контролю. Однак, за своєю функціональністю існуючі системи суттєво обмежують можливості неформалізованої побудови тестових завдань. Сучасні програмні засоби, що використовуються для тестування, дозволяють будувати питання лише певних типів. Переважно це питання закритої форми. Досить проблематичним є завдання формалізації відповіді на питання в довільній текстовій формі. Жорстка, шаблонна організація сучасних систем тестування, звичайно, визначається не стільки вимогами об'єктивного оцінювання знань, скільки зручністю та здійсненністю програмної реалізації [47, с. 163].

Викладене зумовлює необхідність застосування методів комп'ютерної лінгвістики до завдань створення автоматизованих систем контролю та оцінювання знань. Взагалі, головним завданням комп'ютерної лінгвістики є створення таких моделей, методів і технологій автоматичного опрацювання тексту, які дозволяють формалізувати його структуру та зміст (аналіз тексту), а також відтворити певний текст за цими формальними репрезентаціями (синтез тексту).

Дослідження й опис природних мов у контексті автоматизованих інформаційних систем вимагає застосування дещо незвичних для традиційного мовознавства методів та підходів, серед яких відзначимо: методи математичної статистики, булевої алгебри, комбінаторні методи, теорію графів,теорію нечітких множин; імовірнісно-інформаційні методи, методи штучного інтелекту (зокрема, нейромережі), а також сучасні засоби програмування.

Безперечно, побудова моделей автоматичного опрацювання природної мови ґрунтується на знаннях з теоретичної лінгвістики, яка досліджує, відкриває і встановлює закономірності мовних явищ. Прикладна лінгвістика вирішує більш практичні завдання, серед яких основними є формалізація об'єктів природної мови (мовних одиниць та відношень) та побудова алгоритмів їхнього опрацювання на основі досягнень теоретичної лінгвістики і вищезазначених точних методів. Саме в межах прикладної лінгвістики беруть початок теорії формальних граматик та лексикографічних систем, глибинної структури тексту, трансформаційного аналізу, конструктивного моделювання когнітивної та комунікативної функцій мови тощо [147, с. 526].

Як зазначає автор [146] лінгвістична обробка природномовних текстів є однією з центральних проблем інтелектуалізації інформаційних технологій, якій приділяється значна увага в розвинутих країнах Європи, США та Японії, свідченням чого є великі капіталовкладення у розроблення лінгвістичного програмного забезпечення та цілісних лінгвістичних технологій. Велику кількість науково-дослідних програм спрямовано на розвиток лінгвістичних інформаційних систем. У зв'язку з бурхливим розвитком Інтернету, інших комп'ютерно-комунікаційних технологій ця проблема набуває ще більшої значущості.

Слід, однак, визнати, що на сьогодні не існує моделей та засобів, які б достатньою мірою враховували особливості природної мови при інтелектуальному опрацюванні текстової інформації. Це пояснюється труднощами, що виникають при формальному описі системи природної мови, обумовленими її сутністю, оскільки особливістю природної мови є її принципова нечіткість [108; 35; 129; 169], про яку згадувалося вище. Свідомість людини здатна сприймати нечіткі судження та з контексту робити цілком певні висновки про змісти, актуалізовані в природномовних конструкціях. Але машина здатна сприймати лише те, що чітко задано в описах відповідних моделей. Багатозначність та непрогнозованість контекстної семантики мовних конструкцій не просто знижує якість роботи систем автоматичного опрацювання текстів, але й часто робить їх функціонування неможливим.

У зв'язку зі сказаним підвищення якості систем опрацювання природномовної інформації можливе, з одного боку, за допомогою обмеження оброблюваної в системі інформації до мови конкретної предметної сфери [25; 97], що надаватиме можливості за рахунок звуження контексту максимально скоротити число можливих актуалізацій значень у конкретних висловлюваннях. З іншого боку, наявність максимально повного і деталізованого представлення знань предметної сфери за допомогою ефективних формальних моделей надає можливість прийняття правильних рішень навіть у випадках невизначеності [104]. Безумовно актуальним для цього дослідження є необхідність вдосконалення автоматизованих засобів відбору релевантної інформації з великих масивів текстів природною мовою, зокрема, навчально-методичного забезпечення навчального процесу [2; 3; 23; 51; 63; 71; 90].

Окреслимо певні завдання, які природно виникають у процесі побудови формального представлення природномовного тексту. Зауважимо, що в цій роботі ми обмежуємося лише писемним варіантом мови, тому все викладене далі стосуватиметься саме цієї форми.

На формальному рівні текст подається у вигляді скінченної послідовності символів з певного (також скінченного) набору, який називається узагальненим алфавітом. До цього алфавіту включено не лише літери певної мови, але й інші символи, що можуть трапитися на письмі (знаки пунктуації, цифри, спеціальні символи тощо). Отже, найзагальніше формальне представлення тексту виглядає так:

Т = х_1*х_2*…*х_k, х_i А, А = {a₁, a₂, …, a_N},

де * - операція конкатенації.

Отже, формалізація текстової структури передбачає розроблення методів і лінгвістичних алгоритмів (процедур), які дозволяють виокремити з такої послідовності лінгвістично значущі об'єкти - морфемного, лексичного, синтаксичного, семантичного та інших мовних рівнів, які імпліцитно містяться у формальній послідовності символів зі скінченного алфавіту А. Зазвичай, вказані лінгвістичні процедури розподіляють на процедури графематичного, морфологічного, передсинтаксичного, синтаксичного та інших різновидів аналізу, в процесі застосування яких вдається деталізувати лінгвістичну структуру об'єкта, що піддається формалізації.

Так, процедура передсинтаксичного аналізу потрібна для виокремлення одиниць тексту, подальшого морфологічного аналізу цих елементів, підготовки даних для синтаксичного аналізу [4, с. 130]. Здійснюється це в такий спосіб. На вхід системи надходить текст. У першу чергу потрібно виокремити одиниці цього тексту: абзаци, речення, окремі слова та розділові знаки. Для вирішення цієї задачі застосовується графематичний аналіз. Ураховуючи той факт, що в сучасних редакторах існує розмітка на абзаци, цей етап практично не викликає труднощів. Дещо інакшою є ситуація із завданням виокремлення речень. Зазвичай в кінці речення стоїть крапка, знак питання, знак оклику, три крапки. Однак деякі з цих знаків застосовують ще й з іншою метою, наприклад, крапку часто застосовують у скороченнях, знак питання та знак оклику - для позначення виразності у тексті. Отже, як бачимо, розділові знаки не завжди є ознакою кінця речення. Окрему проблему складають також тире і дефіс, ідентифікація яких частково вирішується на рівні синтаксичного аналізу. Таким чином, спершу графематичний аналіз за визначеними критеріями виділяє абзаци. Далі відбувається процедура виділення рядка до першого розділового знаку (пробілу, переведення рядка тощо). Якщо рядок складається лише із цифр, то її позначають частиною мови “числівник” і відправляють у проміжний масив. На цьому етапі також відбувається виділення складних слів та за допомогою морфологічного словника розбиття його на прості. Для ідентифікації значення крапки в реченні потрібно ввести правила аналізу скорочень. Після елімінації неоднозначності крапок і встановлення маркерів про можливий кінець речення, можна вважати, що всі крапки, знаки питання, знаки оклику або маркери, після яких стоїть слово з великої літери, означають закінчення речення [4, с. 132-134].

Аналіз одиниць лексичного рівня, тобто слів є одним з найважливіших. До складу цього різновиду аналізу можуть входити різні словники, які містять лексичний репертуар та морфемну структуру лексичних одиниць, словозмінні парадигми тощо. Застосовують і так звані безсловникові методи, які передбачають здійснювати розбиття слова на морфеми за заданими алгоритмами, забезпечувати віднесення слів до словозмінних парадигматичних класів, виконувати процедури лематизації (редукції текстових словоформ до початкових, вихідних форм тощо). На цьому ж етапі частково здійснюється і граматичний аналіз, тобто ідентифікація лексико-граматичних класів та значень граматичних категорій текстових слів. Зрозуміло, що для української мови надзвичайно важливою є наявність словозмінної парадигми та відповідної словозмінної класифікації. Остання найбільш повна була побудована в працях І. В. Шевченка [155], а повна словозмінна парадигма на достатньо репрезентативному реєстрі (понад 256 тис. одиниць) досяжна у вільному доступі на сайті Українського лінгвістичного порталу https://ulif.org.ua.

Невід'ємною складовою процесу виокремлення одиниць мови є здійснення процедури розкладу тексту на мінімальні синтагми - пари слів, пов'язані певним типом синтаксичного зв'язку: координації між членами предикативної пари, узгодження, керування або прилягання. Для цього, як правило, застосовують процедури методу безпосередніх складників, або аналізу контактних слів у реченні, розроблені представниками американської дескриптивної лінгвістики та процедури граматики залежностей, розроблені представниками генеративної лінгвістики [49, с. 139].

Виділяють три види словосполучень: нерозривні незмінювані, нерозривні змінювані і розривні. Нерозривні незмінювані словосполучення складаються із декількох послідовних словоформ, наприклад, (“таким чином”, “не дивлячись на”, “так би мовити”. У складі таких словосполучень можуть бути розділові знаки (“для того щоб” - на початку речення і “для того, щоб” - всередині). Ці словосполучення доцільно обробляти як одну словоформу; деякі дослідники виділяють такі конструкції в окремий клас мовних одиниць - так звані еквіваленти слова [96]. Нерозривні змінювані словосполучення складаються із словоформ, утворених від фіксованих нормальних форм, але в залежності від контексту, наділені різними параметрами, наприклад, “штучний інтелект”, “Чорний квадрат”. Як правило, слова в нерозривних змінюваних словосполученнях узгоджуються. Розривними словосполученнями є слова, між якими можна вставити інші слова, де крім підрядного слова, яке утворює словосполучення, до головного слова можуть приєднуватись й інші залежні слова. Наприклад, “відправлення потягу”, “прибуття потягу” - “відправка та прибуття потягу” [4, с. 135-136].

Прикладом здійснення процедур виокремлення та обробки словосполучень тексту є робота системи автоматичного граматичного аналізу текстів АГАТ, створеної співробітниками відділу структурно-математичної лінгвістики Інституту мовознавства ім. О. О. Потебні НАН України. Алгоритмічні правила роботи даного модуля зорієнтовано на частини речення, що розташовані між певними опорними точками (розділовими знаками, крім тире та сполучниками). За допомогою набору правил між членами речення виділяють такі типи зв'язків: пари “підмет+присудок”, пари з граматичним зв'язком узгодження, пари з дієслівним керуванням, пари з іменним керуванням. Способом представлення результатів роботи модуля є орієнтований граф - дерево залежностей між словами речень з визначеними для кожного слова синтаксичними ролями в реченні й типами синтаксичних зв'язків у ньому з іншими словами [49, с. 141].

Наведені методи і засоби повинні застосовуватися і для такої ділянки як створення комп'ютерних технологій контролю та оцінювання знань, поданих текстами природної мови. Власне, для автоматизації перевірки відповіді, поданої у текстовому форматі, необхідно розробити методику її порівняння зі зразком (зразками) правильної відповіді. Порівняння текстів ускладнюється явищами нечіткості, полісемії, омонімії тощо, які спричиняють неоднозначність інтерпретації і формалізації лінгвістично-семантичної структури тексту.

Висновки до розділу 1

Метою цього розділу є аналіз методологічних засад та розроблення концептуальної моделі функціональної структури інтелектуальної автоматизованої системи для проведення контролю знань, вмінь та навичок студентів вищих навчальних закладів.

2.1 Моделі та методи семантичного аналізу тексту та їх застосування в інтелектуальній системі оцінювання знань

Одним з найголовніших завдань прикладної лінгвістики є розв'язання проблеми якісної автоматизованої обробки природної мови. Це вимагає залучення цілої низки наукових дисциплін та їхніх методів, зокрема, методів комп'ютерної, когнітивної, математичної лінгвістики, теорії штучного інтелекту, семантичних мереж, нейрокібернетики, логіки тощо. Комплексне застосування засобів, моделей і методів цих наукових галузей у принципі дозволяє створити ефективний інструментарій опрацювання природномовної текстової відповіді студентів. Але оскільки в роботі йдеться про систему оцінювання знань, де опрацьовуються природномовні відповіді на запитання відкритого типу, то на перший план висувається семантична складова лінгвістичного аналізу та екстракція знань із текстової відповіді. Отже, розглянемо сучасний рівень розвитку моделей та методів семантичного аналізу природномовних текстів, щоби запропонувати власну методологію побудови таких моделей.

На сучасному етапі розвитку науки і техніки в напрямку комп'ютерної обробки природномовних текстів виділяють два основні підходи: лінгвоаналітичний і статистичний. Найбільш перспективними та ефективними з них визнано, відповідно, експліцитні методи семантичного аналізу текстової інформації (алгоритми онтологічного семантичного аналізу) та методи латентно-семантичного аналізу. Саме ці методи дозволяють визначити та побудувати смислову структуру природномовного тексту у формалізованому вигляді (наприклад, у вигляді фрейму, семантичної мережі, онтологічного запису представлення запису тексту тощо) [103, с.169].

На думку Н. М. Леонтьєвої [93], автоматичне розуміння тексту, як необхідна складова різноманітних прикладних завдань, передбачає побудову таких типів семантичної структури:

- лінгвістичні структури речень тексту;

- семантичні мережі цілого тексту;

- інформаційні структури цілого тексту;

- структури баз даних та баз знань [93, с. 22].

Лінгвістичні структури речень тексту ґрунтуються на семантико-синтаксичному представленні у вигляді синтаксичних дерев речення із семантичними вузлами, прикладом такої роботи є багаторівнева динамічна модель “Смисл?Текст”, розроблена І. О. Мельчуком, О. К. Жолковським та Ю. Д. Апресяном [105]. Основою роботи автомату на основі цієї моделі є побудова правильної синтаксичної структури, вузли якої замінюються на відповідні тлумачення зі словника, в результаті чого отримуємо семантичну структуру. Головними недоліками таких систем є обмеженість виходу за рамки речення, вибіркового сприйняття найважливішої інформації, недостатня кореляція із системами подання знань [4, с. 50-51].

Побудова семантичних мереж цілого тексту передбачає механізм розуміння тексту шляхом встановлення референтних зв'язків між реченнями та зв'язків “тема-рема” у межах самого речення.

Інформаційні структури цілого тексту реалізуються, переважним чином, в інформаційно-пошукових системах і ґрунтуються на опрацюванні різноманітних текстів за допомогою рубрикаторів, тезаурусів, класифікаторів, результатом роботи яких є отримання узагальненого розуміння тексту.

Структури баз даних та баз знань, як правило, застосовуються в системах штучного інтелекту і враховують екстралінгвістичні моделі, що ілюструють залежність розуміння тексту від попередніх знань про предмет [93, с. 26]. Такі структури відображують розуміння цілого тексту і передбачають розпізнавання певного сюжету в тексті на основі денотативного підходу [4, с. 52].

Саме на побудові бази знань предметної галузі ґрунтуються експліцитні методи аналізу природномовної інформації, зокрема на побудові основної її частини - онтології, що є чітко структурованою моделлю предметної галузі із систематизованим набором термінів, які описують можливі відношення між об'єктами предметної сфери [28, с. 571; 179].

Побудова онтолого-керованих систем передбачає розробку теоретичних основ і методології проектування, що містять узагальнену архітектуру і структуру системи, формальну модель і методологію проектування онтології предметної області, формальну модель представлення знань, узагальнені алгоритми процедур обробки знань та ін. Кожна з перелічених складових загальної методології проектування являє собою складну інформаційно-алгоритмічну структуру [74, с. 64].

Такі онтолого-орієнтовані методи аналізу природномовних текстів передбачають, на думку О. В. Палагіна і М.Г. Петренка [42; 74; 112; 113] побудову бази знань лексики природної мови, що включає лексикографічну базу даних та мовно-онтологічну картину світу; базу знань предметної галузі; конструювання модуля граматичного аналізу, що виконує процедури графемного, морфологічного та синтаксичного аналізу та модуля семантичного аналізу, на вхід до якого надходять результати модуля граматичного аналізу у вигляді морфологічної таблиці тексту і синтаксичних дерев. Семантичний аналізатор здійснює процедури представлення семантики тексту, вирішення проблеми лексичної та граматичної неоднозначності та побудови формально-логічного представлення речень тексту [112, с. 19, 20].

Особливої уваги потребує також знання-орієнтований підхід до аналізу природномовної текстовою інформації, запропонований Замаруєвою І. В. [37-39], який ґрунтується на побудові процедур автоматизацїї процесів екстракції, формалізації і логіко-семантичної обробки знань, що містяться у природно мовних текстах. З метою виділення з тексту основних компонентів знань і встановлення логіко-семантичних відношень між ними розроблено логіко-семантичну структуру змісту природномовного тексту, особливістю якої є гібридне представлення, яке об'єднує властивості семантичних мереж і предикатних моделей. Природномовний текст розглядається як сукупність трьох взаємопов'язаних систем: як знакова система, як граматична система та як система знань про світ і відповідно передбачає здійснення графемного (виділення фрагментів тексту, речень, синтагм, лексем) і лінгвістичного (морфологічного, синтаксичного, семантичного) аналізу [39].

На думку вчених Анісімова А. В., Литвиненка О. Є., Бурко Д. А., Марченка О. О. [7?10; 19; 102] та ін., вищезгадані етапи лінгвістичного аналізу природномовних текстів людиною не є ізольованими один від одного, вони є паралельними процедурами сприйняття змісту тексту. Отже й комп'ютерні моделі семантичного, синтаксичного і морфологічного аналізу природномовних текстів доцільно розробляти як систему паралельних розподілених процесів з заданим відношенням підпорядкування. Тому в основу ефективних методів семантичного аналізу природномовної інформації покладено моделі аналізу семантично близьких концептів в онтологічних семантичних базах знань із застосуванням алгоритмів пошуку найкоротших шляхів в графі. Причому під час проведення лінгвістичних процедур аналізу тексту “не лише синтаксичний аналіз підтримує процес семантичного аналізу та забезпечує його вхідними даними у вигляді синтаксичних дерев вхідного речення, але семантичний аналіз може і має брати участь у процесі синтаксичного аналізу для розв'язання синтаксичних неоднозначностей структури речення. Саме так можна уявити взаємодію різнорівневих процесів лінгвістичного аналізу, де обмін даними відбувається не лише у напрямку “знизу-вверх”, але і у напрямку “зверху-вниз”, де більш високорівневі процеси корегують процеси нижнього рівня та керують ними” [9, с. 382].

Підсумовуючи сказане, доходимо висновку, що алгоритми онтологічного семантичного аналізу широко застосовують лінгвістичні бази знань у поєднанні із процедурами токенізації, лексико-морфологічного (бази знань морфології природної мови, словникові таблиці лексем частин мови), синтаксичного(бази знань синтаксису, таблиці граматик, “банки дерев”) та семантичного аналізу (онтологічні бази знань предметної галузі). Результатом роботи таких систем є отримання семантичної структури тексту, що складається із семантичних графів окремих текстів.

Іншим ефективним і актуальним засобом екстракцію семантики із тексту та її представлення є метод латентно-семантичного аналізу [91; 176; 168; 172; 202; 203; 208].

Д. В. Ланде розглянув метод ЛСА в рамках технологій глибинного аналізу текстової інформації Text Mining, що розроблені на основі статистичного та лінгвістичного аналізу, а також методів ШІ і дозволяють не лише здійснювати відбір релевантних документів, а й виділяти і аналізувати їх семантику, яка досить часто буває прихованою [89, с. 160].

Метод латентно-семантичного аналізу (Latent Semantic Analysis - LSA) або латентно-семантичного індексування (Latent Semantic Indexing - LSI) є теорією і методом екстракції і представлення контекстно-залежного змісту слів шляхом статистичної обробки великого корпусу текстів. Головною ідеєю методу є те, що сукупність усіх контекстів, в яких певне слово вживається або, навпаки, не вживається, обумовлює набір обмежень, які визначають подібність значень слів або множини слів [189, с. 259]. Отже, простежується думка, що між словами і контекстом, в якому вони вживаються існують приховані (латентні) зв'язки. Метод ЛСА дозволяє визначити асоціативну і семантичну близькість та вирахувати кореляції між двома термами, двома документами, або між термом і документом [131; 141; 170; 183].

Ефективність застосування методу ЛСА в сфері знань людини підтверджена різноманітними прикладами його роботи. Зокрема, вперше зазначений метод був застосований з метою автоматичного індексування текстів та виявлення їх асоціативно-семантичної структури [170]. Використання методу ЛСА знайшло своє відображення у системах вилучення, представлення семантичної інформації із тексту, побудови баз знань [183; 190; 191], у когнітивних моделях розуміння змісту та формування знань [186; 171; 194; 141]. А також широкого застосування метод ЛСА набув у системах навчання та оцінювання знань і дозволив ефективно оцінювати відповіді студентів, подані природною мовою у вигляді, есе, переказу, розгорнутої відповіді на запитання тощо [189; 190; 178; 185; 204].

ЛСА тісно пов'язаний із моделями нейронних мереж, але ґрунтується на дуже близькому до факторного аналізу методі сингулярного розкладання матриці (Singular Value Decomposition) [189; 180; 201; 168] терми-на-документи (TF-iDF) для відображення терм-векторів і документ-векторів у структурі асоціативних зв'язків меншої розмірності, шляхом її апроксимації до матриці меншого рангу з метою позбавлення від так званих “шумів”, що є присутніми при обробці великих корпусів документів.

Латентно-семантичний аналіз застосовує техніку частотного та імовірнісного аналізу для обробки текстів або текстових корпусів з метою побудови матриць сумісного вживання слів, що можуть інтерпретуватися як певні семантичні мережі у матричному вигляді [103, с. 170], але , на відміну від звичайних частотних методів, дозволяє виявляти глибині, приховані зв'язки і, таким чином, краще моделювати механізм сприйняття інформації людиною. Вважається, що два терми семантично схожі, якщо їх потрапляння у різні документи корелюються. І, відповідно, два документи семантично схожі або, якщо їх терми корелюються. Метод ЛСА демонструє значно кращі результати ніж за стандартна косинусна міра між вектор-документами, яка не враховує випадковість розподілу і семантичну схожість термів у документах [103, с. 172].

Основним підтвердженням цих положень стало використання методу ЛСА для отримання засобів вимірювання подібності значень слів з тексту. Результати показали, що: подібні значення отримані таким чином збігаються з вибором людини, рівень екстракції таких знань з тексту за допомогою методу ЛСА наближається до рівня людини, і ці досягнення значною мірою залежать від розмірності представлення. У цьому та інших випадках, ЛСA є потужним, у порівнянні з людськими стандартами, засобом коректної індукції знань [189, с. 266].

Метод ЛСА пройшов випробування та підтвердив свою ефективність у таких напрямках обробки природної мови (Natural Language Processing) як моделювання концептуальних знань людини; інформаційний пошук, при реалізації якого ЛСА показує набагато кращі результати порівняно із звичайними векторними методами [172]; процес підбору синонімів, якість якого була перевірена і підтверджена шляхом обробки тестів TOEFL (Test of English as a Foreign Language) і результат роботи методу ЛСА виявився ідентичним середнім показникам відбору синонімів людьми із неангломовних країн [189, с. 281]; моделювання семантичного інструктування із подоланням полісемії та омонімії [190]; визначення холістичної оцінки якості розгорнутих письмових відповідей (у вигляді есе), що показує високу кореляцію із оцінками експертів [178; 191; 177; 204]; моделювання розуміння тексту, що фактично залежить від його когерентності [175; 176; 198] тощо.

За результатами аналізу роботи методу латентно-семантичного аналізу для вирішення вищезгаданих та інших завдань, можемо зробити висновок, що розглянутий метод є найкращим засобом для виявлення та представлення прихованих семантичних характеристик окремих слів та текстів загалом. Однак, недоліком латентно-семантичного аналізу є відсутність когнітивних вмінь людини, зокрема лінгвістичної складової, а саме, врахування синтаксису та морфології природно мовної текстової інформації, необхідної для автоматизованої обробки.

Отже, доходимо висновку, що найпопулярнішими методами обробки природномовних текстових відповідей з метою екстракції та репрезентації семантики мають бути системи, що ґрунтуються на ефективному поєднанні лінгвістичних технологій аналізу (графематичного, морфологічного, синтаксичного, семантичного), зокрема із застосуванням онтологій, та методу латентно-семантичного аналізу, що дозволить виявляти приховані асоціативні залежності всередині природномовних текстів. Таке поєднання дає можливість врахувати та частково елімінувати недоліки, що притаманні обом методам, та удосконалити процес обробки природномовної відповіді шляхом комбінування переваг розглянутих лінгвістичних та статистичних методів. У розробленій інтелектуальній системі оцінювання знань студентів ми спробували втілити в життя інтеграцію технологій експліцитного семантичного аналізу, латентно-семантичного аналізу, методів теорії нечіткої логіки, штучного інтелекту та ін. у спосіб, детальніше розглянутий і описаний у наступних розділах дисертаційного дослідження.

2.2 Концептуальне моделювання лінгвістичної підсистеми інтелектуальної системи оцінювання знань та її функціональна структура

Існуючі системи тестового контролю за своєю функціональністю суттєво обмежують можливості неформалізованої побудови тестових завдань. Сучасні програмні засоби, які використовуються для тестування, дозволяють будувати питання лише певних типів. Переважно це питання типу “одне питання - декілька варіантів відповідей, серед яких один вірний”, “одне питання - декілька варіантів відповідей, серед яких декілька вірних”, “зіставлення варіантів відповідей”. Їх об'єднує те, що в них надаються варіанти відповідей, серед яких є одна або декілька вірних відповідей. У багатьох випадках, коли студент не має належних знань, але має добре розвинену інтуїцію, він може “вгадати” чимало вірних відповідей. З іншого боку, наявність декількох близьких варіантів відповідей може розгубити студента і він може помилитись. Отже, психологічні особливості студента в окремих випадках можуть суттєво вплинути на результат тестування. Також недостатньо формалізованим є подання відповіді на питання в довільній текстовій формі, про що вже було зауважено вище.

Підсумовуючи сказане, доходимо висновку, що для автоматизації перевірки відповіді, поданої у текстовому форматі природною мовою, необхідно розробити ефективну методику порівняння такої відповіді зі зразком (зразками) правильної відповіді. Зазначену методику необхідно використати при формулюванні концептуальної моделі відповідної системи, що передбачає створення теоретичних засад, розбудову загальної схеми системи та структури її окремих складників, а також зв'язків між ними, розроблення необхідних різновидів забезпечення системи (загальносис-темного, лінгвістичного, алгоритмічного, математично-програмного, інфор-маційного, організаційного та ін.). Безперечно, розроблення лінгвістичного забезпечення системи посідає одне з центральних місць у цій роботі, оскільки основні об'єкти системи мають природномовне походження. Зазначені завдання було розв'язано в рамках Державної програми “Інформаційні та комунікаційні технології в освіті і науці” на 2006-2013 роки. На її реалізацію було спрямовано виконання проекту: “Створення та впровадження програмних засобів пілотної системи поточного і підсумкового контролю знань студентів у вищих навчальних закладах”, де було виконано науково-технічну роботу “Розробка інтелектуальної автоматизованої системи контролю знань студентів вищих навчальних закладів”. У процесі виконання цієї НТР розроблено концепцію побудови інтелектуальної автоматизованої системи для проведення контролю знань студентів у вищих навчальних закладах, яка включає: математичний апарат інформаційної алгебри обчислення нечітких множин; математичний апарат лінгвістичних моделей; систему штучного інтелекту; базу знань системи штучного інтелекту; моделі спілкування в системі штучного інтелекту; систему навчання системи штучного інтелекту. Функціональну структуру зазначеної інтелектуальної системи оцінювання знань наведено на рисунку 2.1. Перелічені аспекти складають методичну базу побудови інтелектуальної автоматизованої системи контролю знань.

Архітектура інтелектуальної системи оцінювання знань включає три рівні представлення: концептуальний, внутрішній і зовнішній, які інтерпретуються у відповідних моделях. Тут під концептуальною моделлю розуміємо семіотичну, семантичну модель, в якій в однозначному, скінченному та несуперечливому вигляді інтегруються уявлення різних фахівців про предметну галузь. Концептуальна модель має властивості семіотичності, семантичності, однозначності, несуперечливості, інтегрованості, типізованості та алгоритмізованості. Внутрішня модель, у свою чергу, відображує типи, структури та формати представлення, зберігання та маніпулювання даними, алгоритмічну базу та операційно-програмне середовище, які застосовує концептуальна модель при її реалізації. У зовнішній моделі реалізуються засоби маніпулювання даними, представленими у внутрішньому рівні користувачами, а саме: інтерфейс системи, сценарії, функції, процеси, прикладні програми тощо. Визначення концептуальної, внутрішньої та зовнішньої моделей як елементів архітектури системи ми подаємо, слідуючи за монографією [158, с. 116-119].

Рисунок 2.1 - Функціональна структура ІСОЗ та методика досліджень

Моделювання інтелектуальної діяльності людини з оброблення текстової інформації є дуже складним завданням. У нашому випадку об'єктом моделювання виступає письмова відповідь студента, яка має багато ознак нечіткості. Ми вважаємо, що адекватною моделлю формалізації таких об'єктів є запропонована Л. Заде модель нечіткої лінгвістичної змінної [35] та її узагальнення - модель нечіткої лінгвістичної системи В.А.Широкова [148, с. 267-273]. Отже, об'єкти системи ми моделюватимемо у формалізмі нечітких лінгвістичних змінних, до яких необхідно ввести необхідне алгоритмічно-програмне забезпечення, спроможне здійснювати цілий ряд процедур лінгвістичної ідентифікації та верифікації (перевірку граматики та орфографії, елементи синтаксичного та семантичного аналізу тощо), на основі чого буде сформовано образ відповіді та його порівняння з еталонними лінгвістичними змінними бази знань. База знань представляє собою розгалужену структуру інформації предметної сфери.

Виконаний аналіз систем забезпечення якості надання освітніх послуг відповідно до сучасних вимог показав, що як і традиційним формам, так і тестовому методу контролю оцінювання знань студентів ВНЗ притаманні певні недоліки. Існуючі принципи і система оцінювання знань не забезпечують якості української освіти і не відповідають стандартам оцінювання.

Все це дозволило визначити основні недоліки системи, яка виявилась асиметричною в бік завищення оцінок. Зазначене спонукало до постановки і вирішення актуального наукового завдання,що має важливе для адекватного оцінювання навчальної діяльності студентів значення - розроблення функціональної структури інтелектуальної системи контролю знань, умінь і навичок із застосуванням моделей штучного інтелекту лінгвістичної підсистеми для здійснення морфологічного, синтаксичного, семантичного й прагматичного аналізу розгорнутої текстової відповіді.

Перейдемо до викладу концептуальних основ окремих елементів системи оцінювання знань студентів, яка містить підсистеми забезпечення (моделювання, алгоритмічну, програмну, інформаційну та технічну) та функціональні підсистеми (представлення знань та лінгвістичну).

Функціональна структура інтелектуальної системи оцінювання знань, умінь та навичок студентів вищих навчальних закладів включає такі модулі (рисунок 2.2): базу даних (предмети, модулі, теми, навчальні групи); базу знань (предмети, модулі, теми, словники, морфологічні таблиці, синтаксичні бази даних, семантичні онтології); лінгвістичну підсистему - аналізатори граматики, орфографії, семантики та прагматики; систему навчання; систему оцінювання.

Важливе значення в дослідженні мала розробка функціональної структури модулів лінгвістичної підсистеми. Завдання лінгвістичної підсистеми на етапах морфологічного, синтаксичного, семантичного та прагматичного аналізу полягає у зменшенні різноманіття можливих значень слів та їхніх взаємозв'язків у контексті однозначного трактування вхідної інформації, що належить до конкретної предметної сфери. Основну роль при аналізі речення відіграє інтегрована база даних, що містить інформацію про морфологію, синтаксис, семантику і прагматику слів.

При підготовці відповіді студент може зробити помилку у словах, неправильно побудувати речення, вживати нестандартні скорочення і абревіатуру тощо. Оскільки наша задача оцінити знання, а не граматику, то процес аналізу вихідної інформації має включати декілька етапів, у ході яких усуватимуться зазначені помилки [47; 60-62]. Структурна схема процесу переведення запиту з природної мови (варіанту відповіді) у внутрісистемне представлення даних наведена на рисунку 2.2.

Результатом здійснення морфологічного аналізу текстової відповіді є набір словоформ, для кожної з яких визначено її частиномовну належність і такі граматичні характеристики, за допомогою яких встановлюються синтагматичні відношення між словами, необхідні для здійснення наступного етапу синтаксичного аналізу. У результаті роботи лематизатора в кожного слова у вхідній інформації виділяються основи (леми), які в подальшому підлягають обробці за допомогою латентно-семантичного аналізу. У роботі модуля морфологічного аналізу застосовано удосконалений варіант метрики Левенштейна для розпізнавання та виправлення слів, написаних з помилками (вставка, заміна, пропуск, транспозиція). Перевагою методу також є й те, що він дозволяє встановлювати обмеження на кількість можливих у відповіді помилок, що сприяє адекватному оцінюванню знань того, хто навчається.

Результати роботи блоку морфологічного аналізу у вигляді набору лексико-граматичних характеристик словоформ надходять на вхід роботи синтаксичного аналізатора, метою якого є побудова синтаксичної структури речень тексту відповіді, що передбачає встановлення функціональної ролі кожної лексеми в реченні, встановлення й аналіз зв'язків між ними. Найбільш складною та проблематичною є процедура семантичного аналізу вхідної текстової інформації, основним завданням якої є екстракція семантики із природномовної відповіді студента і вираження її внутрішньою мовою системи. Семантична характеризація тексту неможлива без інтерпретації предметної сфери, що у свою чергу сприяє зменшенню багатозначності природної мови. Під час прагматичного аналізу визначається належність відповіді до визначеної предметної сфери.

Для виділення семантики із природномовної текстової відповіді та її порівняння із еталонним варіантом у розробленій ІСОЗ ми застосовуємо метод латентного семантичного аналізу, який дозволяє на підставі оцінки кореляції між словами та текстами зробити висновок про ступінь близькості змісту цих слів чи групи слів. Правда, для традицій ного методу латентного семантичного аналізу існують певні обмеження: у ньому не враховується порядок слів і, як наслідок, метод не враховує синтаксичні відношення, логіку та морфологію.

З огляду на це у рамках дисертаційного дослідження розроблено метод нечіткого семантичного порівняння текстових відповідей студентів, поданих в електронному вигляді, з варіантами правильних відповідей в XML-форматі. Розроблений алгоритм застосовується під час здійснення латентно-семантичного аналізу на етапі формування частотної матриці індексованих слів (терм) і передбачає автоматизоване визначення лексичних одиниць тексту з подальшим здійсненням морфологічного, синтаксичного, семантичного та прагматичного аналізу. Процедуру стемінгу було замінено на лематизацію текстових одиниць, тобто процедуру зведення формальних варіантів слова у тексті до його певного усталеного інваріанта - леми, або канонічної (вихідної, словникової) форми слова. Вихідним для дії автоматичного лематизатора є текст, всім словам якого присвоєно коди граматичних класів та підкласів. Для порівняння нечітких лексичних одиниць запропоновано використовувати удосконалену метрику Левенштейна, що дозволяє встановлювати ступінь відповідності тексту відповіді еталонному тексту з бази даних предметної сфери. Для формування загальної оцінки відповіді на тестові завдання використовується комплексний показник, у якому враховано наявність у відповіді слів, присутніх у зразку (в тому числі й за умови нечіткості), відповідність структур зразка і відповіді (порядку слів).

У концептуальній моделі порівняння текстової інформації за змістом на етапах семантичного та прагматичного аналізу запропоновано також застосовувати моделі штучного інтелекту, зокрема нейромережі. Перший шар нейромережі містить дві групи нейронів. До цього шару вноситься вхідна інформація - відповідь і зразок. Основна обробка інформації реалізується в наступних шарах нейронів, в яких здійснюється семантичний аналіз відповіді. Для отримання результату перевірки використовується останній шар, який відображує ступінь ідентичності двох текстів за змістом. Перевагами використання нейромережі є універсальність. Незмінну за структурою нейромережу можна пристосувати для порівняння текстів у різних предметних сферах.

Отже, концептуальна модель системи лінгвістичного аналізу текстової відповіді передбачає застосування вищезазначених алгоритмів, моделей та методів обробки природномовної інформації, що дозволяють розв'язувати низку актуальних лінгвістичних проблем, зокрема: виявляти латентні асоціативно-семантичні залежності у множині документів; частково усувати омонімію, полісемію та синонімію; виправляти слова, написані студентом із орфографічними та технічними помилками; враховувати синтаксичні відношення; визначати належність вихідного тексту до певної предметної сфери, формувати загальну оцінку відповіді на питання тестових завдань на основі комплексного показника, який враховує результати роботи описаних елементів функціональної структури інтелектуальної системи оцінювання знань.

2.3 Специфіка методики дослідження моделювання процедур лінгвістичного аналізу тексту в системі оцінювання знань

Особливого значення в сучасній лінгвістиці набуває новий напрям ? лінгвометодологія, покликаний, на думку О.О. Селіванової, встановлювати природу мови у її співвідношенні із соціумом, культурою, комунікацією, процесами пізнання світу, а також створення інструментарію дослідження природної мови, теоретичних засад і способів практичної реалізації аналізу і синтезу мови як семіотичної системи та її продуктів [133, с. 2].