Моделі, методи та програмні засоби інформаційно-аналітичного ядра інтелектуальної системи підтримки прийняття рішень

Размещено на http://www.allbest.ru/

Національний Технічний Університет України

“Київський Політехнічний Інститут”

УДК 681.3.06

МОДЕЛІ, МЕТОДИ ТА ПРОГРАМНІ ЗАСОБИ ІНФОРМАЦІЙНО-АНАЛІТИЧНОГО ЯДРА ІНТЕЛЕКТУАЛЬНОЇ СИСТЕМИ ДЛЯ ПІДТРИМКИ ПРИЙНЯТТЯ РІШЕНЬ

Спеціальність 01.05.03 - математичне та програмне забезпечення

обчислювальних машин і систем

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Брагинський Олег Леонідович

Київ 2001

Дисертацією є рукопис.

Роботу виконано в Національному технічному університеті України "Київський політехнічний інститут" на кафедрі обчислювальної техніки.

Науковий керівник: Кандидат технічних наук, доцент Пустоваров Володимир Ілліч, Національний технічний університет України "Київський політехнічний інститут", доцент кафедри обчислювальної техніки

Офіційні опоненти: Доктор технічних наук, професор, Додонов Олександр Георгійович завідуючий відділом Інституту проблем реєстрації інформації НАН України, м. Київ.

Кандидат технічних наук, докторант, Яловець Андрій Леонідович, Інститут проблем моделювання в енергетиці імені Г.Є. Пухова НАН України, м. Київ, відділ спеціалізованих засобів моделювання.

Провідна установа: Інститут проблем математичних машин і систем НАН України, м. Київ, відділ інтелектуальних систем математичного моделювання складних об'єктів та процесів

Захист відбудеться 14 січня 2002 р. о 14:30 годині на засіданні спеціалізованої ради Д26.002.02 у Національному Технічному Університеті України “ Київський Політехнічний Інститут” (м. Київ, пр. Перемоги, 37, корп. 18, ауд. 306).

Відгуки на автореферат у двох примірниках, завірені печаткою установи, просимо надсилати за адресою: 03056, м. Київ, пр. Перемоги, 37, Вченому секретарю НТУУ “КПІ”.

З дисертацією можна ознайомиться в бібліотеці Національного Технічного Університету України “ КПІ”.

Автореферат розісланий 12 січня 2001 р.

Вчений секретар спеціалізованої ради,

кандидат технічних наук, доцент М.М. Орлова

Загальна характеристика роботи

Актуальність теми дисертації обумовлена постійним зростанням обсягів інформації, необхідної для прийняття рішень, а також недостатніми швидкістю і релевантністю роботи існуючих програм підготовки даних для підтримки прийняття рішень. Особливим попитом починають користуватися інтелектуальні системи, здатні обробляти дані різноманітних інформативних типів, різного рівня структурованості, форматів та форм, перетворюючи їх на знання, до яких може звернутися користувач, послуговуючись природною, нехай навіть обмеженою, мовою.

Розв'язання науково-технічної задачі побудови семантичних моделей, розробки інтелектуальних методів, створення ефективних програмних засобів інформаційно-аналітичного ядра інтелектуальної системи, що працює в рамках розподіленого сервера знань корпоративної інформаційної мережі, для виконання задач підтримки прийняття рішень є актуальним.

Зв'язок роботи з науковими програмами, планами та темами. Дисертаційна робота виконувалась у розвиток державних науково-технічних програм “Сучасні інформаційні технології у створенні інтегрованих виробничих комплексів”, тема “Розробка, дослідження та застосування засобів інтелектуалізації у процесі проектування баз даних та прикладних програм в автоматизованих системах на базі ПЕОМ” (№ держреєстрації 0195u008180, 1994-96 рр.), та "Концепції, концептуальні підходи та інформаційно-правова база захисту інформації в комп'ютерних системах" (№ держреєстрації 0195u038973, 1994-96 рр.), що виконувалась на замовлення ДСТЗІ України, та в рамках робіт напрямку “Перспективні інформаційні технології, прилади, системи зв'язку”, що виконувались на кафедрі обчислювальної техніки НТУУ “КПІ” в 1997-1999 рр.

Мета і задачі дослідження. Метою дисертаційної роботи є побудова семантичних моделей, розробка інтелектуальних методів, створення ефективних програмних засобів інформаційно-аналітичного ядра інтелектуальної системи (ІС) для підтримки прийняття рішень (ППР) із питань аналізу ситуацій на нових засадах побудови багатомірних семантичних векторних моделей (СВМ) представлення понять із використанням правил семантичної обробки даних (СОД), сформульованих експертами предметних галузей знань, для використання в складі розподіленого сервера знань корпоративної інформаційної мережі.

Об'єктом дослідження є системне програмне забезпечення (СПЗ) ядра аналітичних інформаційних систем. Предметом дослідження є вивчення можливості ефективного використання семантичних ознак (СО) та правил для поліпшення швидкісних та селективних характеристик СПЗ. У відповідності до визначеної мети поставлено та розв'язано такі основні завдання:

аналіз існуючих програмних засобів інформаційного пошуку, фільтрації, корекції та здобування знань в агрегатах даних різного рівня структурованості та різноманітних типів;

розробка нових методів ефективного кодування та відтворення знань на основі морфологічного та семантичного аналізу текстових даних і аналізу складних інформаційних об'єктів (СІО) за елементарними взірцями для забезпечення високопродуктивної СОД;

розробка та дослідження нових інтелектуальних методів асоціативного пошуку інформації на основі побудови й використання багатомірного абстрактного координатного простору семантичних ознак (БАКПСО);

розробка нових багатомірних семантичних векторних моделей, порівняльний аналіз їх сумісності та універсальності для представлення простих і складних понять в межах комплексу обраних предметних галузей знань;

дослідження та порівняльний аналіз семантично орієнтованих методів генерації альтернативних синтезованих відповідей на запит, оцінка повноти відповідей, релевантності та визначення критеріїв вибору кращої альтернативи;

дослідження статистик для характеристик релевантності та швидкості алгоритмів обробки інформації, що дозволяють визначити порівняльну ефективність різних методів здобування знань.

Основними практичними задачами дисертаційної роботи є розробка моделей та методів для побудови комплексу програмних засобів підтримки прийняття рішень в інформаційно-аналітичній інтелектуальній системі, зручної в експлуатації при обробці великих обсягів інформації.

Методи дослідження дисертації базуються на використанні спеціальних методів штучного інтелекту, семантичного аналізу, математичної логіки, статистичного аналізу, програмування, основних положень теорій множин, графів, кінцевих автоматів та теорії прийняття рішень.

Наукова новизна одержаних результатів:

розроблено семантичні векторні моделі елементарних і композиційних взірців та понять для довідників і мов зображувальних засобів на основі побудови багатомірного простору семантичних ознак, що дозволило значно підвищити точність представлення та формалізувати автоматизоване представлення СІО в БЗ системи;

запропоновано інтелектуальні методи підтримки актуальності семантичних моделей ПГЗ шляхом формування баз ОП та ОУ, що дозволило підвищити точність аналізу текстів, запитів користувача, релевантність синтезу відповідей на основі аналізу поточних структурних одиниць змісту (СОЗ) розподілених і частково суперечних даних з урахуванням коефіцієнтів довіри та обмежень діапазонів багатозначних умов;

удосконалено інтелектуальні методи аналізу СІО і даних різного рівня структурованості за елементарними взірцями, та текстових даних на основі морфологічного аналізу, що дозволило значно підвищити швидкість та вдосконалити якість обробки даних;

на основі розроблених та застосованих семантичних моделей та інтелектуальних методів сформульовано методики та розроблені програмні засоби ЯІСППР для розв'язання задач інформаційного пошуку за синтаксичними правилами, семантичними взірцями та ознаками.

Практична цінність дисертаційної роботи визначається побудовою на основі теоретичних результатів конкретних практичних моделей, методів та програмної реалізації інформаційно-аналітичного ядра ІС для систем підтримки прийняття рішень (СППР) із метою автоматизації процесу здобування знань із даних різного рівня структурованості; розробкою методик використання створеного спектра програмних засобів, орієнтованих на збір, фільтрацію, корекцію та семантичну обробку інформації.

Запропоновані засоби автоматизації обробки знань дозволяють значно знизити трудомісткість інформаційного пошуку. Розроблене інформаційно-аналітичне ядро ІС здобування знань для ППР значно скорочує зусилля розробників та користувачів інформаційних ресурсів по опрацюванню блоків неструктурованих даних.

Впровадження результатів наукової роботи було здійснено для компаній ЗАО “Альфа Капітал Україна” при побудові систем прозорого пошуку й знищення комп'ютерних вірусів на основі аналізу СІО за елементарними взірцями (1998р.), автоматизованої класифікації текстів на основі морфологічного аналізу текстових даних (1999р.) та системі підтримки прийняття рішень у фінансовій сфері на основі побудови семантично орієнтованих векторних моделей бізнес-процесів, документів та корпоративних ресурсів (2000р.), АКБ “Київінвестбанк” - системи моніторингу безпеки інформаційних потоків даних, що становлять комерційну таємницю на основі багатомірних семантичних векторних моделей інформаційних потоків, ресурсів та користувачів (2000р.), і ЗАО “Альфа Банк” - розподіленого серверу знань корпоративної мережі з використанням правил семантичної обробки знань, сформульованих експертами предметних галузей (2001р.), що підтверджено п'ятьма актами впровадження.

Результати досліджень і розробок можуть бути застосовані в організаціях, що займаються високошвидкісним інформаційним пошуком, аналітичною обробкою гранично великих обсягів даних, проблемами ефективного керування численними та різнорідними ресурсами, моделюванням та прогнозуванням державної економіки.

Особистий внесок здобувача. Основні результати роботи одержано автором самостійно. Автору належить наступне:

Метод швидкісного морфологічного розбору нетекстових конструкцій та текстових даних із наступним ефективним кодуванням семантичних та синтаксичних ознак для підвищення компактності представлення знань.

Метод комплексного кодування та обробки знань із метою поліпшення характеристик швидкості глибинного семантичного аналізу і релевантності синтезу текстів відповідей на запити користувача.

Методи корекції нетекстових даних та текстів електронних документів при внесенні їх у базу даних (БД) на основі статистичних характеристик типових інформаційних об'єктів та природних мов.

Метод визначення тотожності та ступеню близькості фрагментів даних різного рівня структурованості на основі аналізу СІО за елементарними взірцями.

Багатомірні СВМ представлення понять, об'єктів пошуку (ОП), об'єктів уваги (ОУ) і предметних галузей знань (ПГЗ) для виявлення тенденцій поведінки об'єктів, аналізу складних взаємних зв'язків і виявлення неявних закономірностей.

Результати досліджень експериментально перевірені у промислових умовах, доповідалися й обговорювалися на наукових конференціях.

Апробація результатів дисертації. Основні положення проведених досліджень та результати їх упровадження доповідались і обговорювались на наукових семінарах та науково-технічних конференціях, в тому числі на другій міжнародній конференції “Теорія і техніка передачі, прийому та обробки інформації” (Харків - Туапсе, 1996), третій міжнародній конференції "Стратегії та методики навчання мовам для спеціальних цілей" (Київ, 1997), першій міжнародній конференції-виставці із систем керування документами, знаннями та діловими процесами "Електронний офіс '99" (Ялта, 1999г.), другій міжнародній науково-практичній конференції “Сучасні інформаційні та електроні технології” (Одеса, 2001) та на наукових семінарах кафедри обчислювальної техніки НТУУ “КПІ”.

Публікації. За темою дисертації опубліковано 10 робіт, із них 7 - в фахових виданнях, затверджених ВАК України; особистих - 5.

Структура та обсяг дисертації. Дисертаційна робота складається з вступу, чотирьох розділів, заключної частини та додатків, що складає 186 сторінок друкованого тексту, включає 28 малюнків, 37 таблиць, список використаної літератури на 285 назв.

Основний зміст роботи

алгоритм інформація релевантність обробка

У вступі сформульовано мету та завдання досліджень, окреслені основні положення дисертаційної роботи, викладена її загальна характеристика. Дослідження останніх років показали, що багатомовні інформаційні системи, побудовані для пошуку й накопичення знань через обробку синтаксичних ознак текстової та табличної інформації, не дають бажаного ефекту точності пошуку через неоднозначність представлення змістовної інформації (ЗІ). Показано, що для підтримання високої швидкості й точності аналізу при переході від систем інформаційного пошуку до ІС здобування знань важливо мати єдиний формат представлення семантики для даних, що аналізуються і для бази знань (БЗ) системи.

У першому розділі проведено аналіз існуючих програмних засобів інформаційного пошуку та здобування, способів організації, обробки та представлення знань. Для цього переглянутий розвиток систем інтелектуального аналізу даних (ІАД) із позицій орієнтації на пошук та подальшу обробку ЗІ в інформаційних системах, вказано на причини, що визначають перспективи використання СПЗ для пошуку ЗІ. Наведено приклади та визначено умови вдалого використання методів та систем ІАД при розв'язанні прикладних задач. Відзначено головні недоліки існуючих рішень за швидкістю й точністю обробки, обґрунтовано гіпотези про можливість усунення недоліків за допомогою інтелектуальних засобів.

За допомогою класифікації інформаційних джерел, методів, технологій та систем ІАД визначено спрямованість запропонованих у роботі моделей і методів на покращення швидкості та точності СППР. Обґрунтовано необхідність проведення досліджень із структуризації текстових та компаундних файлів, які є основними носіями даних в інформаційних системах, визначення їх семантичних характеристик та ефективного представлення для СОД при побудові інформаційно-аналітичного ядра інтелектуальної системи для підтримки прийняття рішень (ЯІСППР).

Сформульовано вимоги та запропоновано узагальнену структуру програмних засобів реалізації моделей та методів ЯІСППР, БЗ системи, запитів користувачів, реакцій системи, першоджерел даних.

Сформульовано загальну постановку задачі побудови моделей, методів та програмних засобів для ЯІСППР:

Дано: первинні джерела І₁(F_T, F_m) інформації у вигляді текстових F_T і компаундних файлів F_m із використанням різних мов представлення L; довідники синтаксичного контролю (ДСК) D_sl для l-ої мови L_l(V, V_o, R_s, V₀), що визначається граматиками складових, де V - множина позначень мови, V_o - множина термінальних позначень, R_s - синтаксичні правила, V₀ V_o - початковий символ; перелік ПГЗ g_p, що плануються до обробки; перелік задач G, що визначаються метою функціонування багатомовної ІС G(g_p, O_ss(U_u), Q_u(U_u, L_l)) G, що конкретизується у ОП O_ss, ОУ O_a та запитах Q_u користувача U_u сформульованих природною мовою L_l.

Треба визначити: моделі ПГЗ M_pg на основі словників V спеціальних термінів та баз знань B_k сталих відношень між термінами та характеристиками, моделі ОП M_Oss, ОУ M_Oa та запитів M_Q, необхідні для реалізації задач G, коди C для представлення синтаксичних O_s та семантичних O_c ознак, що сприяють ефективному розв'язанню задач G; структуру D_cS та елементи D_cE довідників семантичної відповідності (ДСВ) D_c; моделі M і методи M_t розв'язання основних задач семантичного аналізу; правила генерації висновків R_gr, формування R_ga та визначення релевантності R_r рішень з відбору інформації I₂ для створення синтезованих відповідей a.

З позицій поставленої задачі G розглянуто традиційні підходи до синтезу відповідей a на запити Q у природній мові L_l, формування та налагодження БЗ B_k. Проведено аналіз та класифікацію структурних елементів основних компаундних файлів F_m, що використовуються в сучасних інформаційних системах. Для отримання ефективних форм представлення СВМ M у межах мовних образотворчих засобів запропоновано використовувати узагальнені ієрархічні словники парної відповідності V(O, C(O)) ознак O та їх кодів C(O), що скорочують витрати часу при статистичному, граматичному та семантичному аналізі, реконфігурації та реконструкції вихідних даних. На основі словників V та правил їх обробки R будуються довідники D = (V(O, C(O)), R). Для ефективної синтаксичної обробки у внутрішньому представленні пропонується використовувати синтаксичні O_s та семантичні O_c ознаки.

У другому розділі детально розроблено моделі для організації інформаційно-аналітичного ЯІСППР, мовно-незалежної та аналітичної частин БЗ системи; створення та верифікації багатомірних СВМ ПГЗ; методи побудови функцій поведінки та визначення діапазонів зміни параметрів ОП та ОУ; алгоритми обробки запитів та синтезу відповідей.

Для створення підсистем пояснень та інших видів семантичної інтерпретації у СППР необхідно розшарувати БЗ B_k, що визначає синтаксичну та семантичну основу ПГЗ g_p. Виділимо фундаментальну частину, що представляє мовні ресурси, та частину конкретизації картин (сцен), яка представляє комплекси екземплярів об'єктів ПГЗ. Два первинних шари БЗ B_k = (B_kl, M_pg) мають скласти БЗ моделей B_kl образотворчих засобів l-ої мови та мово-незалежні моделі M_pg ПГЗ.

Кожен шар БЗ включає набір кодованих ознак, правила їх застосування та обмежуючі правила. Основу БЗ будь-якого набору довільних образотворчих засобів B_kl (починаючи із символьних та впритул до будь-яких комбінацій засобів Multimedia), визначає у загальному випадку комплекс мов L = (L_s, L_p, L_R, L_Q, L_l, L_M), де L_s - мови формальних математичних специфікацій, L_p - мови програмування, L_R - мови представлення правил, L_Q - мови запитів, L_l - обмежені або повні природні мови, L_M - мови відображень або описів об'єктів Multimedia та гіпертекстових об'єктів. Мови L_l, L_M представляють вхідні й внутрішні або кодовані дані зручні для СОД, а мови L_s, L_p, L_R, L_Q відтворюють формалізовані представлення дій, зв'язків, правил.

Основу узагальненої реалізації мови L_l = (D_sl, D_cl) у межах інформаційно-аналітичного ЯІСППР складають ДСК D_sl = (V_sl(O_sl, C(O_sl)), R_sl) і ДСВ D_cl = (V_cl(O_cl, C(O_cl)), R_co) елементів мови. ДСК включають множини синтаксичних ознак O_sl = _iO_sli та правил R_sl = _jR_slj. Основні синтаксичні правила представляють собою у найпростішому випадку булеві функції припустимості R_slj = _blj(_iO_sli), а у більш складних випадках - функції для корегування помилкових конструкцій у формат найближчих подібних коректних конструкцій R_slj = _olj(_iO_sli). ДСВ включають множину відповідностей
O_cl = _likk(O_cli), впорядкованих за синтаксичними ознаками O_sli та мово-незалежні правила семантичних обмежень R_co.

На відміну від традиційних систем із використанням природної мови звернемо основну увагу на внутрішнє представлення кодів C(O). Найменшою одиницею природної мови L_l, що зберігає СО є морфема O_ml, тому за основу синтаксичного D_cl та семантичного D_sl довідників було використано морфологічний словник V_ml. Морфологічний (у більш загальному випадку структурний) словник V_ml = (O_ml, C(O_ml)) складається з повного набору морфем O_m = _iO_mli l-ї мови та відповідних їм семантичних кодів C(O_mlk) = _likk(O_mli) і є основою для орфографічного словника V_ol, що розширюється до орфографічного довідника D_ol. На основі граматичного словника V_gl нетермінальних позначень будується тлумачний V_pl, та перекладний V_tl словники. Від ефективності реалізації морфологічного словника V_ml залежить ефективність досягнення цілей G всієї ІС.

Узагальнена формула коду слова C_Tw, реконструйованого як комбінація морфем морфологічного словника V_ml для l-ї мови, що визначає структуру коду та правила кодування, виглядає як ланцюжок кодів:

C_Tw = C_r(O_ri)C_co(O_coj)C_p(O_pk)C_f, (1)

де C_r, C_co, C_p - функції кодування префіксів, коренів і суфіксів; i - використані індекси множини префіксних ознак O_rl = _iO_ri (для природної мови - префіксів); j - використані індекси множини семантичної основи O_col = _iO_coi (коренів); k - використані індекси множини постфіксних ознак O_pl = _iO_pi (суфіксів); С_f = f_Os (R_Ll(T_w)) - закінчення слова або флексія, а f_Os - функція побудови узгоджуючих флексій за правилом лематизації R_Ll, що визначається типом слова, суфіксом або коренем за відсутності суфікса в слові T_w. Множина морфем l-ї мови O_ml = O_rlO_colO_pl використовується для визначення алфавіту A_lC і правил кодування R_gC внутрішнього представлення.

Універсальність формули (1) робить її придатною для внутрішнього кодування та подальшої обробки сполучень слів і кодів незалежно від їх складності та формування імен для семантичних характеристик об'єктів БЗ. Орфографічний довідник D_oLl l-ї мови має такий вигляд:

D_oLl = (V_ol(O_ml, C(O_ml)), R_cl, R_cm, R_tl, R_tm), (2)

де V_ol - орфографічний (лексичний) словник парних відповідностей морфологічних ознак O_ml та їх кодів C(O_ml), R_cl, R_cm - правила статистичної корекції на основі сполучення окремих літер та морфем відповідно; R_tl, R_tm - табличні правила коректних сполучень і обмежень на сполучення літер та морфем.

Для граматичного довідника D_gl задаються: V_gl - граматичний словник, правила підлеглості та взаємного управління R_pp, правила синтаксичної несуперечності R_Hus, та правила синтаксичної та статистичної пунктуації R_Ps, R_Pt відповідно:

D_gl = (V_gl (O_ol, C(O_ol)), R_pp, R_Hus, R_Ps, R_Pt). (3)

Тлумачний довідник D_psl = (V_pl(O_pl, C(O_pl)), R_pl(V_Il(O_Il, C(O_Il)))) містить у собі тлумачний словник V_pl, слова з якого інваріантні для різних ПГЗ, правила створення пояснень (тлумачень) R_pl на базі групи інформаційних словників V_Il для ПГЗ g_p, що плануються до обробки в багатомовній ІС.

Ієрархія довідників h_D = (D_ps(D_g(D_o(D_m))), M_pg(d_M)) зберігає описи ПГЗ d_M = (d_Mh, d_Ms, d_Mc), де d_Mh, d_Ms, d_Mc - описи структурної, синтаксичної та семантичної моделей ПГЗ g_p. Маємо взаємо-зворотній опис, оскільки рівні ієрархії довідників h_D визначаються рівнем предметно-понятійної абстракції. Модель ПГЗ M_pg = (K_pg, Z_Tw(T_w)) містить достатній (із точки зору експертів) перелік координат K_pg для того, щоб за їх допомогою описати всі слова T_w в усіх своїх значеннях Z_Tw, притаманних g_p.

БАКПСО K_pg(g_pi) формується, як перелік усіх необхідних та достатніх СО для однозначної інтерпретації понять (загальних та вузькоспеціалізованих), в термінах яких можливе семантичне пояснення та математичне відтворення (позиціювання в БАКПСО) елементів (P, O_ss) даної g_pi.

Докладний опис координат d_K = (V_gp(O_tp, C(O_tp)), R_Kb(K_pg)) містить спеціалізований словник V_gp опису термінів O_tp конкретної ПГЗ g_p та правила R_Kb побудови БАКПСО K_pg. Словник опису ПГЗ V_gpi = (O_c(T_w, g_p), C(O_c)) включає координатні терміни у вигляді семантичних ознак O_c, що описуються як множина посилань m_w на значення змістовних (семантичних) характеристик слова Z_Tw за координатами M_pg. Масив значень m_w = (Z_Tw(T_w, M_pg)) розміром n = card(K_pgИd_K) однозначно описує всі відомі ЯІСППР значення слова Z_Tw, що належать g_p, в БАКПСО ПГЗ.

В БАКПСО K_pg (K_gx(X), K_gy(Y), K_gq(Z), K_gz(Q)) ПГЗ g_p виділяємо 4 групи координат: загальна K_gx - характеризує параметри понять загального змісту, що нечутливі або слабокочутливі до контексту використання; уточнююча K_gy - визначає параметри, що вживаються для підвищення якості тлумачення понять у рамках обмеженого кола ПГЗ g_p; узгоджуюча K_gq - використовується для узгодження понять у системах різного масштабу; синтетична K_gz - штучні параметри понять, введені виключно для внутрішнього використання в рамках БЗ B_k, або ПГЗ g_p.

Пояснити слова й поняття в запропонованій словниковій системі можна кількома способами відповідно до типу поняття або слова.

Представлення об'єкта точковою локалізацією