Когнітивний процесор діалогу на основі об'єктних моделей сприйняття і уваги

Размещено на http://www.allbest.ru/

іНСТИТУТ ПРОБЛЕМ Моделювання В ЕНЕРГЕТИЦі НАН УКРАїНи імені г.е.пухова

УДК 007.159.955

АВТОРЕФЕРАТ

дисертації на здобуття вченого ступеня кандидата технічних наук

КОГНІТИВНИЙ ПРОЦЕСОР ДІАЛОГУ НА ОСНОВІ ОБ'ЄКТНИХ МОДЕЛЕЙ СПРИЙНЯТТЯ І УВАГИ

Спеціальність 05.13.06 “Автоматизовані системи управління і прогресивні інформаційні технології”

РАІД М. О. АЛЬКАВАСМІ

Київ -- 2005

Дисертація є рукописом.

Робота виконана на кафедрі “Інформаційні технології” Одеського державного екологічного університету міністерства освіти і науки України.

Науковий керівник кандидат технічних наук, доцент кафедри “Інформаційні технології” Одеського державного екологічного університету Чмир Ігор Олексійович

Офіційні опоненти:

доктор технічних наук, професор Широчин Валерій Павлович, Національний технічний університет "Київський політехнічний інститут".

кандидат фізико-математичних наук, старший науковий співробітник Горошко Іван Олегович, Інститут проблем моделювання в енергетиці НАН України.

Провідна організація: Інститут кібернетики ім. В.М. Глушкова НАН України.

Захист відбудеться 19 квітня 2005 року о 14 годині на засіданні спеціалізованої вченої ради К 26.185.02 Інституту проблем моделювання в енергетиці НАН України за адресою: 03164, м. Київ, вулиця Генерала Наумова, 15.

З дисертацією можна познайомитися в бібліотеці Інституту проблем моделювання в енергетиці НАН України за адресою: 03164, м. Київ, вулиця Генерала Наумова, 15.

Автореферат розісланий 18 березня 2005 року.

Вчений секретар спеціалізованої вченої ради к.т.н.Семагіна Е. П.

діалоговий агент програмовий сприйняття

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Протягом останніх десятиріч штучний інтелект перетворився з суто академічної дисципліни в напрям, що має багато успішних прикладів практичного впровадження. Найбільш успішне впровадження методів штучного інтелекту спостерігається в системах високоточної зброї, робототехніки (автономні роботи); в системах автоматизованого навчання (інтелектуальні тюторські системи, навчальні середовища з інтелектуальною підтримкою, інтелектуальні репетитори); в комп'ютерних іграх та ін. В публікаціях, присвячених прикладному аспекту штучного інтелекту, зустрічаються терміни “думаючі речі”, “системи вбудованого інтелекту” і їм подібні, підкреслюючи той факт, що йдеться про практично орієнтовані методи і системи. Якщо проаналізувати публікації, присвячені системам вбудованого інтелекту, то легко помітити, що побудова кожної системи, як правило, є приватним рішенням конкретної проблеми, і не спирається на загальний методологічний і теоретичний базис.

Підхід до когнітивних процесів з позицій інформаційної переробки, що припускає існування символьної системи ментального представлення інформації і процесів її модифікації, початок якому поклала робота Герберта Саймона "Гіпотеза фізичної символьної системи", змінив характер досліджень когнітивних процесів, і наблизив роботи в цій області до досліджень в області штучного інтелекту. Прикладом може служити проблематика розпізнавання образів і категоризації, активно досліджувана як в області когнітивних наук, так і фахівцями в області штучного інтелекту.

Дисертаційна робота належить напряму, що розглядає інтелектуальні системи з позицій симуляторів ментальних процесів, і присвячена дослідженню застосування формалізованих моделей феноменів сприйняття і уваги як теоретичної бази для проектування одного класу систем вбудованого інтелекту - систем, що базуються на еротематичному діалоговому процесі.

Зв'язок роботи з науковими програмами, планами, темами. Тема дисертаційної роботи відповідає науковому напрямку і планам кафедри інформаційних технологій Одеського державного екологічного університету. Робота виконувалася в рамках ряду проектів, в яких знайшли віддзеркалення результати, отримані в дисертаційній роботі:

§ Проект "Об'єктне моделювання когнітивних систем" (дослідження застосування методів об'єктно-орієнтованого моделювання і уніфікованої мови моделювання UML (Unified Modeling Language) для формалізованого уявлення і уніфікованого опису когнітивних процесів і систем);

§ Проект "Когнітивний процесор діалогу" (розробки інструментального середовища для генерації, зберігання і використання прикладних діалогових систем силами кінцевого користувача);

Мета і задачі досліджень. Вивчення результатів досліджень, опублікованих за темою когнітивного моделювання і моделювання діалогової взаємодії, дозволяє відзначити, що в області теорії і практики діалогових систем залишаються невирішеними наступні питання:

Яким чином при моделюванні діалогових процесів враховуються не тільки зовнішні вияви діалогу, але і когнітивні процеси, що беруть участь в діалозі: сприйняття, увага, категоризація та ін.? За допомогою якої ідеї можна об'єднати результати, отримані в когнітивних науках з моделями діалогової взаємодії, отриманими в області систем вбудованого інтелекту?

Наскільки принципи об'єктно-орієнтованого підходу до моделювання систем можуть бути застосовані до області когнітивного моделювання таких феноменів як сприйняття, увага, категоризації та ін.?

Не розроблені об'єктно-орієнтовані моделі як базових психологічних феноменів: сприйняття, увага, категоризація та ін., так і інтегрованих моделей типу сприйняття-увага і увага-категоризація.

Відсутня когнітивна модель діалогового процесу двох агентів.

Відсутня когнітивна модель штучного діалогового агента.

Не вивчені можливості комп'ютерної системи, спроектованої на основі когнітивної моделі штучного діалогового агента і симулюючі її основні структурні відносини.

Метою дисертаційної роботи є розробка об'єктно-орієнтованих моделей когнітивних процесів сприйняття і уваги, їх інтеграція в єдину модель типу сприйняття-увага, та застосування одержаних результатів для проектування штучного діалогового агента.

Досягнення мети дисертаційної роботи здійснювалося шляхом рішення наступних задач:

§ Вивчення існуючих когнітивних моделей сприйняття і уваги, які беруть участь в діалоговому процесі, і їх класифікація.

§ Вивчення існуючих формалізованих моделей діалогової взаємодії двох агентів.

§ Розробка об'єктно-орієнтованих моделей сприйняття, що відображають базові гіпотези сприйняття.

§ Розробка об'єктно-орієнтованих моделей уваги, що відображають базові гіпотези уваги.

§ Розробка інтегрованих об'єктно-орієнтованих моделей типу сприйняття-увага.

§ Розробка когнітивної моделі діалогового процесу, що базується на отриманій раніше інтегрованій моделі типу сприйняття-увага.

§ Розробка когнітивної моделі штучного агента діалогу, що базується на отриманій раніше когнітивній моделі діалогового процесу.

§ Розробка і дослідження програмового прототипу когнітивної моделі діалогового агента.

Наукова новизна отриманих результатів. В дисертаційній роботі отриманий ряд нових наукових результатів:

Запропонований підхід до трансформації моделей когнітивних процесів, отриманих в когнітивних науках в об'єктно-орієнтовані формалізовані специфікації в нотації уніфікованої мови моделювання UML.

Розроблена об'єктно-орієнтована модель сприйняття згідно гіпотезі циклу перцепції Найсера.

Запропонована теорія сприйняття і детектування підозрілих сенсорних подій.

Розроблена об'єктно-орієнтована модель сфокусованої уваги, що базується на перемиканні сенсорних подій згідно гіпотезі Бродбента.

Розроблена об'єктно-орієнтована модель сфокусованої уваги, що базується на ослаблені сенсорних подій згідно гіпотезі Трейсман.

За допомогою розроблених моделей сфокусованої уваги пояснені результати експериментів по дихотичному слуханню, проведених Черрі і Бродбентом.

Розроблена об'єктно-орієнтована модель уваги згідно гіпотезі Канемана. Запропонована концепція, що трактує феномен уваги у вигляді тернарного відношення між класами: ментальних задач, релевантних схем довготривалої пам'яті і сенсорних подій.

Розроблена циклічна модель сприйняття-увага на базі моделей сфокусованої уваги.

Розроблена циклічна модель сприйняття-увага на базі ресурсної моделі уваги.

Досліджена сенсорна подія в контексті еротематичного діалогового процесу і запропонована структура полімодальної сенсорної події.

Запропонована когнітивна модель еротематичного діалогового процесу двох агентів.

Розроблена когнітивна модель штучного агента діалогу.

Практичне значення отриманих результатів. В дисертаційній роботі отриманий ряд результатів, що мають практичне значення:

Когнітивна модель штучного агента діалогу лягла в основу програмної системи Когнітивний процесор діалогу.

Клас-структурований опис Когнітивного процесора діалогу (у вигляді діаграм класів) дозволив розробити специфікації програми, яка має ряд практично значущих властивостей, головне з яких полягає в тому, що діалогові додатки генеруються, редагуються і інтерпретуються безпосередньо кінцевим користувачем.

Розроблений прототип Когнітивного процесора діалогу, який підтвердив правильність запропонованих моделей, використаних при його проектуванні.

Спосіб формалізації когнітивних процесів, запропонований в даній дисертаційній роботі може служити основою для розробки учбових матеріалів по когнітивному моделюванню, орієнтованих на студентів, що навчаються за напрямками комп'ютерні науки і комп'ютерна інженерія.

Особистий внесок здобувача полягає в аналітичному огляді публікацій за темою дисертації, розробці об'єктно-орієнтованих моделей сприйняття і уваги, синтезі, на їх основі когнітивної моделі еротематичного діалогового процесу двох агентів і когнітивної моделі штучного діалогового агента. Здобувачем розроблена також архітектура Когнітивного процесора діалогу, на основі якої розроблена програма прототипу і проведено експериментальне підтвердження правильності запропонованих теорій і моделей. Співавторам, спільно з якими були опубліковані основні результати роботи, належить, головним чином, постановка задачі дослідження.

Апробація результатів дисертації. Матеріали дисертаційної роботи доповідались на:

§ Четвертому міжнародному науково-методичному семінарі “Інформаційні технології в учбовому процесі” 25-28 червня 2003, Південно-український державний педагогічний університет ім. К.Д. Ушинського, Одеса

§ Міжнародної науково-технічної конференції ІМС'2003 “Інтелектуальні і багатопроцесорні системи” 22-27 вересня 2003, Дивноморське , Росія.

§ XXII Науково-технічної конференції “Моделювання” 9-10 січня 2003, Інститут проблем моделювання в енергетиці, Київ.

§ Міжнародної наукової конференції “Управління активними системами в бізнесі, освіті, техніці”, 2003, Черкаська академія менеджменту. Черкаси.

Публікації. Основний зміст роботи опублікований в 4 статтях в науково-технічних журналах і в 4 статтях в матеріалах конференції.

Обсяг роботи. Дисертаційна робота висловлена на 160 сторінках машинописного тексту, містить 31 малюнок і 13 таблиць, складається з вступу, чотирьох глав, висновків і списку літератури, що включає 101 найменування і 3 додатки.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі висловлена загальна характеристика роботи, актуальність проблеми, ціль і задачі дослідження і основні положення, які виносяться на захист.

В першому розділі проведений огляд публікацій, присвячених теоріям і моделям сприйняття і уваги, а також формальним моделям проблемно-залежного діалогу. Істотною частиною функціонування діалогової програми є перманентне спілкування з користувачем. Тому при розробці архітектури проблемно-незалежного діалогового агента важливим є її адекватність процесам сприйняття і переробки інформації людиною. В тому випадку, коли в основу формальної моделі діалогу покладені “вдалі” когнітивні моделі, можна чекати, що “штучні” діалогові агенти найбільш природним чином успадковують гнучкість і універсальність системи сприйняття і переробки інформації людиною.

Теорії сприйняття (перцепції) згруповані в теорії прямої перцепції і теорії непрямої перцепції.

Теорії прямої перцепції припускають, що сенсорна система продуктує інформацію, достатню для формування відповідних образів. Тому теорії прямої перцепції розглядають процес сприйняття як процес керований даними або висхідний процес. В розділі розглянута теорія прямої візуальної перцепції Гібсона, часто звана екологічним підходом до теорії сприйняття. Теорії непрямої перцепції (конструктивність теорії) припускають, що сенсорна система виробляє лише первинну інформацію, яка необхідна, але не достатня для формування образів. Необхідні додаткова інформація і додаткові процеси для остаточного формування образів. Ці теорії розглядають процес сприйняття як процес, керований концептами або низхідний процес. В розділі розглянута основоположна теорія непрямої перцепції Гельмгольца. Описані експерименти Палмера, що досліджують зв'язок між сприйняттям і контекстом. Розглянута теорія Іттельсона, присвячена помилкам сприйняття, а також дослідження Грегорі, присвячені візуальним ілюзіям. Особлива увага надана теорії сприйняття Найссера, яка інтегрує висхідні і низхідні процеси в уніфікований цикл перцепції. Сприйняття переміщення є важливим елементом загальної теорії сприйняття. В розділі проведений огляд робіт Вертеймейера, присвячених дослідженням і теорії сприйняття переміщення.

В розділі приведена існуюча класифікація теорій і моделей уваги. Проте огляд публікацій в цій області присвячений, головним чином, моделям фільтрації уваги і ресурсним теоріям уваги.

Огляду моделей фільтрації уваги передує опис експериментів по дихотичному слуханню, результати яких послужили основою для розробки цих моделей. Описані експерименти Черрі і Бродбента. Приведений опис моделей сфокусованої слухової уваги Бродбента і Трейсман, а також модель сфокусованої візуальної уваги Трейсман.

Ресурсні моделі уваги представлені моделлю Канемана і результатами досліджень, пов'язаних з цією моделлю. Зокрема описаний закон Йеркса-Додсона, що зв'язує ступінь збудження з продуктивністю рішення ментальних задач.

Проблемно-залежні моделі діалогу представлені, головним чином, публікаціями радянських і українських дослідників.

В розділі зроблений огляд автоматних моделей діалогу, заснований на роботах: Кузіна С.Г., Сергієвського А.В., Амеліної Є.Г., Затуливітер Ю.С., Демідова Н.Н., Злочевської А.А., Форсюк Н.Г., Павлюка О.В., Россікова У.В. і ін. Окрім алгебраїчних версій автоматних моделей розглянуті також їх графічні версії представлені, головним чином, в публікаціях Кокоревої Л.В., Перевозчикової О.В., Ющенко Е.Л.

В розділі зроблений також огляд мережних моделей проблемно-залежного діалогу, в основі яких лежить концептуальний базис сітей Петрі. Ця частина огляду базується на публікаціях Павлова Ю.Б., Ракаліна А.В., Чмиря І.А.

Другий розділ присвячений об'єктному моделюванню процесів сприйняття і уваги, що є фундаментальними когнітивними процесами, що лежать в основі діалогу. Метою моделювання є отримання уніфікованого і формалізованого опису структур систем сприйняття і уваги, необхідної для синтезу Когнітивного процесора діалогу. В якості базового засобу моделювання вибрана формальна система UML (Unified Modeling Language).

На мал. 1 приведена запропонована модель структури системи сприйняття, отримана на основі теорії сприйняття Найссера і представлена у вигляді UML -діаграм класів.



Размещено на http://www.allbest.ru/

Мал. 1. Модель системи сприйняття

Головними класами, що формують структуру системи сприйняття, є класи:

§ Когнітивний сценарій (CognitiveScript), що моделює довготривалу пам'ять, і є базовим для класів: природжений сценарій (NativeScrip) і благоздобутий сценарій (AcquiredScrip);

§ Чекаючий набір схем (RelevantSchemata), що є “молекулою” класу CognitiveScript, моделюючий сприйняття, очікувані на деякому кроці перцепції і є базовим для класів природжені схеми (NativeSchemata) і благоздобуті схеми (AcquiredSchemata);

§ Сенсорна подія (SensoryEvent), моделююча інформаційний образ сприйманого фрагмента середовища, що однозначно категоризується в одну з схем довготривалої пам'яті, і є базовим для класів візуальна подія (Visual) і звукова подія (Sound).

Два направлених відношення типу асоціація з іменами identification (ідентифікація) і renovation (оновлення) моделюють структурну можливість циклічного характеру перцепції. Атрибути і операції, що описують класи на мал. 1, відображають, головним чином, опубліковані характеристики циклу перцепції Найссера.

В розділі запропоновано також дві моделі сфокусованої уваги: модель, що базується на перемиканні сенсорних подій і модель, що базується на ослаблені сенсорних подій. Як когнітивні прототипи цих моделей вибрані теорії сфокусованої уваги Бродбента і Трейсмана, відповідно. Клас моделей, що базуються на послаблені сенсорних подій розглядається як розширення класу моделей, що базуються на перемиканні сенсорних подій. Головна особливість відзначених моделей полягає в тому, що навколишній світ розглядається як клас черг сенсорних подій (або сенсорних сегментів), а структура уваги будується по відношенню до двох класів сенсорних сегментів: рутинні сенсорні сегменти (RoutineSS) і підозрілі сенсорні сегменти (SuspiciousSS). Сприйняття рутинних сенсорних подій уривається при появі підозрілої події. Ознакою підозрілості є вхідний стимул “підозріло” високої або “підозріло” низької інтенсивності. Наприклад, гучний звук або звук підвищеної частоти для звукового стимулу; висока швидкість переміщення об'єкту в полі зору для зорового стимулу, і т.п. Введення відзначених класів сенсорних сегментів в структуру системи уваги привело до необхідності введення класу детекторів підозрілих сенсорних подій. На мал.2 приведена запропонована модель структури сфокусованої уваги, що базується на перемиканні сенсорних подій.

Діаграма класів, приведена на мал. 2, моделює випадок слухової уваги, тому класи, що моделюють сенсорну систему, представлені парами для лівого і правого слухових аналізаторів:

§ Клас правих черг сенсорних сегментів (RightQueueOfSS) і клас правих детекторів підозрілих подій (RightDetector), що моделює правий слуховий аналізатор;

§ Клас лівих черг сенсорних сегментів (LeftQueueOfSS) і клас лівих детекторів підозрілих подій (LeftDetector), що моделює лівий слуховий аналізатор;

Таким чином, структура, приведена на мал.2, моделює випадок, коли увага може фокусуватися на одному з двох потоків сенсорних сегментів, відповідних лівому або правому вуху. Клас управління фокусом уваги (AttentionFocusControl) управляє вибором одній із двох черг. Як видно на мал.2, цей клас асоційований з обома детекторами підозрілих подій. Клас релевантний сенсорний сегмент (RelevantSS) моделює поточний сенсорний сегмент з вибраної черги сенсорних подій, що піддається категоризації. Функції категоризації реалізуються класом Розпізнавач (Recognizer), що є зовнішнім, по відношенню до класу RelevantSS.

Размещено на http://www.allbest.ru/

Мал 2. Модель системи уваги, що базується на перемиканні сенсорних подій

В розділі обґрунтовані темпоральні характеристики сенсорних сегментів, які визначають умову надійного розпізнання. За допомогою запропонованих моделей сфокусованої уваги пояснені результати ключових експериментів по дослідженню сфокусованої слухової уваги: експеримент Черрі по слуханню двох різних текстових повідомлень, експеримент Черрі по розпізнаванню повідомлень в нерелевантному потоці і експеримент Бродбента з бінауральними списками цифр.

Окрім класу фильтр-ориєнтованих моделей уваги, в розділі запропонована, також, ресурсна модель уваги. Когнітивною основою ресурсної моделі уваги є теорія уваги Канемана. На першому етапі синтезу ресурсної моделі уваги здійснювалася трансформація концептуального базису теорії Канемана в концептуальний базис об'єктно-орієнтованого моделювання. Потім було прийнято декілька обмежень відносно самої моделі і навколишнього середовища: (1) навколишнє середовище розглядалося як постійно працюючий генератор ментальних задач; (2) увага розглядалася як тернарна асоціація між класами ментальних задач, сенсорних подій і схем довготривалої пам'яті.

В третьому розділі представлені результати інтеграції моделей, отриманих в другому розділі, і синтез на їх основі проблемно-незалежної діалогової системи, названої Когнітивний процесор діалогу.

Процес перцептивного дослідження середовища з метою пошуку сенсорної події, релевантної одній з схем в наборі чекаючих схем, є одним з етапів функціонування циклічної моделі сприйняття і припускає, що схеми з набору чекаючих схем послідовно порівнюються з сенсорними сегментами, які продуктуються сенсорною системою. Цей процес використовує механізм сфокусованої уваги для послідовної селекції сенсорних подій з навколишнього середовища. Відповідно до фильтр-ориєнтованих моделей, увага послідовно фокусується на чергах сенсорних сегментів, що моделюють потоки сенсорних подій. Для отримання структури інтегрованої циклічної моделі сприйняття з вбудованим фільтром уваги необхідно вирішити задачу об'єднання моделей, структури яких приведені на мал. 1 і мал. 2. Для цього, у свою чергу, необхідно: (1) узагальнити спеціалізовані фильтр-ориєнтовні моделі уваги на загальний випадок сприйняття; (2) визначити класи, що є загальними для фильтр-ориєнтовних моделей уваги і циклічної моделі сприйняття. В результаті рішення відзначеної задачі була синтезована циклічна модель сприйняття, інтегрована з моделлю фільтрації уваги, структура якої приведена на мал.

Модель сприйняття, приведена на мал., припускає, що навколишній світ представлений n чергами сенсорних сегментів (QueueOfSS_1, QueueOfSS_2 .., QueueOfSS_n). Клас сенсорних сегментів (SensorySegment) ділиться на: клас Рутинних сегментів (RoutineSS), і клас Підозрілих сегментів (SuspiciousSS).

Фокусування уваги на сенсорному сегменті означає, що він може бути розпізнаний і, потім, ідентифікований з однією з схем з чекаючого набору схем. Відзначена ідентифікація здійснюється в процесі перцептивного дослідження навколишнього середовища, при якому увага, перемикаючись між чергами сенсорних сегментів, забезпечує їх послідовне порівняння з схемами з поточного чекаючого набору схем. Виявлення одного із очікуваних сенсорних подій приводить до заміни поточного набору чекаючих схем на новий набір схем.

Поява, в одній із зовнішніх сенсорних подій, ознаки підозрілої сенсорної події детектує одним з детекторів. В моделі передбачено тільки два детектори: AuditoryDetector і VisualDetector, для слухового і зорового аналізаторів відповідно. “Спрацьовування” одного з детекторів приводить до переривання сприйняття поточного потоку рутинних сенсорних подій і фокусування уваги на підозрілій сенсорній події (сенсорному сегменті).

Як показано в третьому розділі, ресурсна модель уваги може розглядатися як наступний крок в розвитку фильтр-ориєнтовних моделей уваги. Узагальнення полягає, головним чином, в тому, що механізм уваги розглядається не стільки як засіб, що забезпечує безперервну перцепцію навколишнього світу, а, швидше, як засіб рішення ментальних задач. В цьому значенні навколишній світ повинен розглядатися не як множина потоків сенсорних подій, а як множина потоків ментальних задач. Кожна ментальна задача є: (1) релевантна сенсорна подія або декілька сенсорних подій, що генеруються сенсорною системою, і (2) релевантна схема, що генерується когнітивним сценарієм.

Размещено на http://www.allbest.ru/

Мал. 4. Циклічна модель сприйняття-увага на базі фильтр-ориєнтовної моделі уваги

В роботі вказано припущення про зв'язок акомодації схеми з усвідомленим або неусвідомленим (автоматичним) процесом рішення задачі. Для вирішення ментальної задачі необхідно “поєднання” релевантної сенсорної події з релевантною схемою, проте при автоматичному рішенні задачі схема не піддається акомодації. При усвідомленому рішенні ментальної задачі також необхідне “поєднання” релевантної сенсорної події і релевантної схеми. Проте, при усвідомленому рішенні ментальних задач схема змінюється, або піддається акомодації. Для того, щоб схема могла бути піддана акомодації, або змінена, вона повинна бути переведена в особливий стан, який для визначеності назвемо станом активності. Перевести схему в активний стан може тільки механізм уваги. Таким чином, усвідомлено розв'язуються ті задачі, на яких сфокусований механізм уваги.

Оскільки ми розглядаємо ресурсну модель уваги як подальший розвиток фильтр-ориєнтованої моделі, то структура циклічної моделі сприйняття-увага на базі ресурсної моделі уваги може розглядатися як розвиток структури моделі сприйняття-увага, на базі фильтр-ориєнтованої моделі уваги.

На першому етапі синтезу когнітивного процесора діалогу була розроблена теорія сенсорної події в діалоговому процесі.

У разі штучного діалогу полімодальні сенсорні події генеруються віртуальним середовищем, представленим комплектом стандартного периферійного устаткування комп'ютера і відповідним програмним забезпеченням. Тому, у разі штучного діалогового процесу, діалоговий агент сприймає один потік сенсорних подій, на якому, тривалий час, сфокусована його увага. Ясно, що увага агента-людини може бути перемкнута із сприйняття віртуального середовища на сприйняття реального середовища, наприклад, у тому випадку, коли реальне середовище генерує підозрілу сенсорну подію. Будемо полімодальну сенсорну подію штучного діалогового процесу називати сценою. Сцена є впорядкованою послідовністю об'єктів, що послідовно інтерпретуються відео- і аудіо підсистемами комп'ютера. Діаграма класів на мал. 6 моделює пропоновану структуру сцени.

В загальному випадку, об'єкт сцени (екземпляр класу SceneObj) є довільною, плоскою фігурою, обмеженою замкнутою лінією.



Размещено на http://www.allbest.ru/

Цього достатньо для формування як двомірного, так і тривимірного зображення. Проте, оскільки сцени більшості прототипів прикладних діалогових систем можуть бути представлені набором прямокутників, що перекриваються, будемо вважати, що об'єкт сцени є прямокутником довільного розміру, що генерується в довільній точці екрану монітора.

Об'єкти сцени генеруються послідовно, і протягом деякого відрізка часу, формують сенсорну подію. Наступній об'єкт може розташовуватися в довільній точці екрану монітора, у тому числі перекривати попередній об'єкт.

Об'єкт сцени складається з двох класів, що моделюють структурно різнорідні групи описувачів: атрибутивні описувачі об'єкту сцени (клас Attributed) і неатрибутивні описувачі об'єкту сцени (клас NonAttr).

Будь-який об'єкт сцени будемо описувати сукупністю атрибутів, що характеризують його відео- і аудіо- специфіку, поведінку на сцені і час існування. Відзначені атрибути розподілені між класами: Frame, Content, Effects, Movement і LifeCycle. Проте представлення об'єкту сцени виключно у вигляді набору атрибутів можливо лише для найпростіших об'єктів. Для випадку складних об'єктів атрибутивний опис необхідно доповнювати даними, які неможливо або нераціонально розкладати на атрибути. Будемо такий опис називати неатрибутивним.

В розділі показано, що неатрибутивний опис відповідає інформації, що поступає безпосередньо від прототипу. Під прототипом будемо розуміти якусь сенсорну подію навколишнього середовища, на основі якої будується опис об'єкту сцени. Наприклад, фотографічне зображення або музична мелодія.

Атрибутивний опис формується в результаті інтелектуальної діяльності людини. Або в результаті аналізу існуючого прототипу, або в процесі "придумування" неіснуючого об'єкту. В розділі приведений докладний перелік атрибутів об'єкту сцени, використаний при програмуванні прототипу.

Діалоговий процес, по відношенню до агентів діалогу, аналогічний процесу рутинної перцепції навколишнього середовища. Відмінність полягає в том, що в процесі діалогу головні компоненти сенсорної системи людини (зоровий і слуховий аналізатори) “підключені” не до природного навколишнього середовища, а до середовища, сформованого потоками сенсорних подій, що генеруються протилежним агентом. Таким чином, в діалоговому процесі реальне навколишнє середовище підміняється штучним середовищем, представленим сценарієм перцепції агента діалогу. Проте сприйняття і подальша переробка сенсорних подій, що генеруються агентом, або породжуються природним навколишнім середовищем, здійснюється за одними і тими ж когнітивними “правилами і законами”. Таким чином, структура діалогової системи може бути представлена двома взаємодіючими агентами діалогу, кожний з яких моделюється моделлю сприйняття-увага на базі ресурсної моделі уваги, приведеної на мал. 5. Об'єкти класу RelevantSS репрезентують навколишнє середовище і по черзі генеруються агентами діалогу. Очевидно, що для деякого моменту еротематичного діалогу можливий різний статус агентів по відношенню до об'єкту класу RelevantSS. Активний агент генерує об'єкти класу RelevantSS, що мають логічну структуру питання, а реактивний агент генерує об'єкти того ж класу, що мають логічну структуру відповіді.

В процесі діалогової взаємодії активний агент впливає на реактивного агента так, щоб в подальший момент сприйняти очікувану (бажану) порцію сенсорної інформації. Ясно, що відзначена дія активного агента на реактивного може здійснюватися тільки шляхом генерації відповідної сенсорної події.

Отриману структуру діалогової системи використовуємо для синтезу програмної системи, названої когнітивний процесор діалогу. Когнітивний процесор діалогу - це програмна система, спроектована на основі когнітивної моделі сприйняття-увага, і дозволяюча кінцевому користувачу генерувати, редагувати і використовувати проблемно-залежні діалогові додатки.

Структура синтезована виходячи з наступних припущень. По-перше, прийнято, що в штучному діалоговому процесі, когнітивний процесор грає роль активного агента діалогу. Оскільки когнітивний процесор симулює тільки одного з агентів, то замінимо структуру другого з них на систему з ім'ям DialogueAgent. Змінимо, введені раніше, найменування класів, використовуючи терміни, прийняті в публікаціях, присвячених проблемно-незалежним діалоговим системам, і які більш точно відображають семантику еротематичної діалогової системи. Оскільки когнітивний процесор діалогу грає роль активного агента, то семантика класу RelevantScemata дещо міняється. В початковій моделі цей клас моделював множину чекаючих схем для даного циклу перцепції. У разі еротематичного діалогу активний агент на кожному циклі діалогу чекає одну з відповідей реактивного агента. Таким чином, для активного агента еротематичного діалогу множина чекаючих схем є не чим іншим як множиною чекаючих відповідей реактивного агента.

В четвертому розділі завершений синтез архітектури когнітивного процесора діалогу і здійснено занурення отриманої архітектури в середовище мови програмування Java з урахуванням можливості запозичення наявних класів і інтерфейсів.

Завершення синтезу архітектури когнітивного процесора діалогу полягало в розробці структури сценарію діалогу, виходячи з того, що крок діалогу є поведінковою і структурною “молекулою” сценарію.

UML є формальною системою, що дозволяє специфікувати програму в об'єктно-орієнтованому концептуальному базисі. Специфікації системи, представлені в UML, істотно скорочують семантичний розрив між постановкою задачі і процесом виготовлення програмного продукту. Проте, UML не ліквідовує повністю відзначений семантичний розрив.

Конкретне об'єктно-орієнтоване середовище програмування, окрім загального, для всіх об'єктних систем програмування, концептуального базису включає своє специфічне розширення. Тому, теоретично синтезована структура когнітивного процесора діалогу, повинна бути піддана деякій трансформації, після вибору конкретного середовища програмування. Ми назвали цей процес зануренням архітектури когнітивного процесора діалогу в середовище програмування. Головні задачі, які доводиться вирішувати в процесі занурення архітектури системи в середовище програмування, зв'язані: (1) з рівномірним розподілом складності між класами (бажано, щоб складність класів була приблизно однакова); (2) виключенням дублювання функцій декількома класами; (3) запозиченням готових інтерфейсів, класів і компонентів, пропонованих системою програмування.

Для програмної реалізації прототипу вибрано середовище програмування мови Java, головним чином із наступних причин: мова програмування Java найбільш близька до об'єктної концепції, представленою UML, мова програмування Java (пакет JDK 1.5.0) є мовою програмування додатків Internet, мова програмування Java є платформо-незалежною.

Сцена є однією з ключових елементів архітектури когнітивного процесора діалогу. Особливості реалізації сцени визначають побудову всього сценарію. Тому занурення архітектури процесора діалогу в середовище програмування Java доцільно почати з сцени.

Аналіз структури сцени дозволяє зробити висновок, що атрибутивні описувачі об'єкту сцени можуть мати статус обов'язкових і необов'язкових. Так, наприклад, необов'язково, щоб кожний об'єкт, після появи на сцені, брав участь в переміщенні, проте кожний об'єкт обов'язково має висоту і ширину. Доцільно включити обов'язкові атрибути і, супутні ним операції, безпосередньо в клас SceneObj. Віднесемо до обов'язкових атрибутів, атрибути, задаючі просторово-часові рамки об'єкту. В нашому випадку - це координата базової координати, висота, ширина і тимчасові характеристики об'єкту. По суті, йдеться про об'єднання двох класів: Frame і LifeCycle в один клас. Назвемо цей клас SceneObjFrame. Клас SceneObjFrame є рамковим обмеженням об'єкту сцени в чотиривимірному просторі-часу. Ухвалене рішення добре узгоджується з ідеєю просторово-часових рамок мультимедійних об'єктів, відображеною в стандарті MPEG4. Це рішення дозволяє також скористатися стандартними компонентами на базі стандартної графічної бібліотеки javax.swing*. Бібліотека javax.swing* вибрана унаслідок функціональності підмножини цієї бібліотеки, що забезпечує наступні можливості: (1) позиціонування, (2) маніпулювання, (3) оформлення за допомогою графічного компоненту JPanel, (4) генерацію подій, починаючи із заданого інтервалу і із заданою частотою (клас javax.swing.timer), (5) завантаження і маніпулювання вмісту об'єкту сцени (текстового, графічного і т.п.) за допомогою компонентів JEditorPane, JtextArea, Image, ImageIcon і т.п.

Оскільки клас SceneObjFrame підтримує обов'язкові атрибути об'єкту сцени, то доцільно розглядати його як внутрішній, для класу SceneObj.

Аналіз структури сцени знаходить деякий алогізм і надмірність відносно підтримки звукової складової об'єкту сцени. В структурі є два класи, відповідальні за підтримку звуку: клас SoundAttr, що є субкласом класу Attributed, і клас SoundEffects, що є субкласам класу Effects. Доцільно зібрати всі функції по підтримці звуку в один клас. Відзначимо, що в приведеному прототипі не реалізована підтримка звуку. Це рішення було ухвалено з метою спрощення програми, покликаної продемонструвати можливість практичної реалізації, отриманих теоретичних рішень, і не є комерційним продуктом.

Як випливає із запропонованої теорії представлення сенсорної події в діалоговому процесі, вмістом об'єкту сцени може бути текст або графічне зображення. Конкретний вид вмісту об'єкту сцени специфікувався класом Content. Для підтримки інтерпретації і редагування вмісту об'єкту сцени доцільно скористатися компонентами, що є в бібліотеці javax.swing*, які забезпечують роботу з буфером введення-виведення. В цьому випадку в структуру системи вводиться клас Buffer, замість класу Content, що розглядається як внутрішній по відношенню до класу SceneObj. Клас Buffer є базовим по відношенню до класів Text, Image, і VectorGraph, відповідальним за роботу з текстом, растровою і векторною графікою відповідно.

Об'єкт сцени повинен легко редагуватися, в процесі генерації сцени і експлуатації діалогової системи. Будемо вважати, що методи, які здійснюють редагування, як атрибутів, так і змісту об'єкту розподілені між класами, що забезпечують підтримку відповідних атрибутів або змісту. Наприклад, клас SceneObjFrame повинен містити методи, що забезпечують редагування місцеположення і розміри об'єкту, а клас Text включає набір методів, що забезпечують редагування тексту. Для забезпечення редагування силами кінцевого користувача кожний з відзначених методів працює через загальновживаний інтерфейс, що викликається правою кнопкою маніпулятора типу миша.

На мал. приведена діаграма класів, що моделює структуру об'єкту сцени, занурену в середовище програмування Java. Як видно на мал. 9, в результаті занурення архітектури об'єкту сцени в середовище програмування Java, центральним класом діаграми став клас SceneObj. Цей клас вже не має так багато явних спадкоємців, проте об'єднує класи діаграми за допомогою спеціалізованих асоціативних відносин: з класом SceneObjFrame; з класом Buffer.

У розділі описаний прототип когнітивного процесора діалогу. Початкові тексти програм приведені в додатку.

ВИСНОВКИ

Запропонований метод трансформації моделей когнітивних процесів, одержаних в когнітивних науках в об'єктно-орієнтовані і формалізовані специфікації. Метод базується на трансформації концептуального базису початкової моделі в концептуальний базіс об'єктної теорії та представленні структури системи у вигляді діаграми класів уніфікованої мови моделювання UML.

Вперше розроблена об'єктно-орієнтована модель сприйняття згідно з гіпотезою цикла сприйняття Найссера у вигляді типових UML відношень між класами сенсорних подій, релевантних схем і когнітивних сценаріїв. Модель ураховує залежність сценарію від контекста, а також існування природжених та благоздобутніх схем і сценаріїв.

Запропонована теорія сприйняття і детектування підозрілих сенсорних подій на основі якої розроблена об'єктно-орієнтована модель сфокусованої уваги, що базується на перемиканні сенсорних подій згідно з гіпотезою Бродбента.

Вперше розроблена об'єктно-орієнтована модель сфокусованої уваги, яка базується на послабленні сенсорних подій згідно з гіпотезою Трейсман і яка є розширенням моделі сфокусованої уваги що базується на перемиканні сенсорних подій.

За допомогою розроблених моделей сфокусованої уваги дані пояснення результатам експериментів Черрі та Бродбента по дихотичному слуханню.

Вперше розроблена об'єктно-орієнтована модель уваги згідно з гіпотезою Канемана. Запропонована концепція яка трактує феномен уваги у вигляді тернарного відношення між класами ментальних задач, сенсорних подій і схем довготривалої пам'яті.

Вперше запропонована інтегрована циклічна модель типу сприйняття-увага, яка сінтезована на базі моделі сфокусованої уваги, і яка відрізняється тим, що релевантний сенсорний сегмент одержується внаслідок селекції сенсрного сегменту з черги сенсорних сегментів на якій сфокусована увага.

Вперше запропонована інтегрована циклічна модель типу сприйняття-увага, яка сінтезована на базі ресурсної моделі уваги, і яка відрізняється тим, що селекції підлягає не тільки релевантний сенсорний сегмент, а також і схема.

Одержало подальший розвиток дослідження сенсорної події в контексті еротематичного діалогового процесу і запропонована структура полімодальної сенсорної події у вигляді ієрархії класів, які моделюють різні фізичні характеристики сенсорної події.

Вперше запропонована когнітивна модель еротематичного діалогового процесу двух агентів у вигляді об'єднання двух інтегрованих циклічних моделей типу сприйняття-увага на базі ресурсної моделі уваги.

Розроблена когнітивна модель штучного агенту діалогу активного типу на базі моделі еротематичного діалогового процесу двух агентів і структури полімодальної сенсорної події.

Розроблена структура сценарію діалогу у вигляді рефлексивного відношення типу асоціація для класу кроків діалога та декомпозиції структури крока. На базі цієї структури сценарію одержана структура програмної системи Когнітивний процесор діалогу.

Здійснено занурення UML структури Когнітивного процесора діалогу у середовище мови програмування Java з метою застосування запозичених бібліотек системи JDK 1.5.0.

Розроблений прототип Когнітивного процесору діалогу у вигляді об'єктно-орієнтованої бази даних у мові програмування Java. Виконане програмування та тестування прототипу.

Список опублікованих автором праць за темою диСсертації

Чмырь И.А., Раид Мусса Аль Кавасми, Ус М.Ф. Когнитивные аспекты моделирования диалоговых агентов. // Вісник Черкаського державного технологічного університету - Черкассы, 2002. - №4. - с. 7 - 12.

Чмырь И.А., Раид Мусса Аль-Кавасми. Формализованное представление цикла перцепции Нейсера. // Моделювання та інформаційні технології. Збірник наукових праць. Випуск 19. - Київ, Національна академія наук України. Інститут проблем моделювання в енергетиці. 2002. - с. 113 - 118.

Раид Мусса Аль-Кавасми Объектная модель цикла восприятия. // Тези ХХІІ Науково-Технічної Конференції “Моделювання” 9-10 січня 2003 року. Національна академія наук України. Інститут проблем моделювання в енергетикці ім. Г.Е. Пухова. - Київ 2003.

Раид Мусса Аль-Кавасми Цикл перцепции Найссера: формальная модель и её практическое применение. // Тези міжнародної наукової конференції “Управління активними системами в бізнесі, освіті, техніці”. - Черкаси, Черкаська академія менеджменту. 2003.

Чмырь И.А., Раид Муса Аль-Кавасми. Преподавание когнитивных наук студентам компьютерных специальностей. // Тезисы четвёртого международного научно-методического семинара “Информационные технологии в учебном процессе” 25 - 28 июня. - Одесса 2003.

Чмырь И.А., Раид Мусса Аль-Кавасми. Цикл перцепции Нейсера: формальное представление и практическое применение. // Искусственный интеллект - Донецк, 2003. - №1. - с. 107 - 116.

Чмырь И.А., Жирякова И.А., Раид Мусса Аль-Кавасми. Объектные модели фильтрации внимания: классификация и интеграция. // Искусственный интеллект - Донецк, 2003. - №2. с. 52 - 64.

Чмырь И.А., Раид Мусса-Аль Кавасми. Объектное моделирование феномена внимания. // Материалы международной научно-технической конференции “Интеллектуальные и многопроцессорные системы” 22 - 23 сентября. - Дивноморск, Россия, 2003.

Chimir I, Abu-Dawwas W., and Alqawasmi R. Object Modeling of Filter-Oriented Systems of Attention: Possibilities of Integration. // The International Arab Journal of Information Technology, Vol. 2, № 1. January 2005. pp. 67 - 74.

АНОТАЦІЇ

Раід М. О. Алькавасмі. Когнітивний процесор діалогу на основі об'єктних моделей сприйняття і уваги. -- Рукопис.

Дисертація на здобуття вченого ступеня кандидата технічних наук по спеціальності 05.13.06 - автоматизовані системи управління і прогресивні інформаційні технології. -- Інститут проблем моделювання в енергетиці ім. Г.Е. Пухова НАН України, Київ, 2004.

Дисертація присвячена питанням об'єктно-орієнтованого моделювання фундаментальних когнітивних процесів, що лежать в основі діалогу і використанні отриманих моделей при розробці проблемно-залежної програмної системи Когнітивний процесор діалогу. На основі аналізу існуючих когнітивних моделей сприйняття і уваги, а також формальних моделей проблемно-залежного діалогу розроблений ряд клас-структурованих моделей сприйняття і уваги на базі теорій Найссера, Бродбента і Трейсман. Як основного засобу моделювання використана уніфікована мова моделювання UML (Unified Modeling Language). Отримані моделі фундаментальних когнітивних процесів інтегровані в комплексні моделі типу сприйняття-увага. Діалог двох агентів розглядається як процес сприйняття рутинних сенсорних подій, що по черзі генеруються агентами діалогу. Таким чином, комплексні моделі типу сприйняття-увага можуть служити основою для синтезу когнітивних моделей діалогового процесу. В роботі запропонована модель діалогового процесу двох агентів, використана, надалі, для синтезу когнітивної моделі активного діалогового агента і архітектури програмної системи когнітивний процесор діалогу. Основні ідеї роботи підтверджені експериментально шляхом занурення архітектури когнітивного процесора діалогу в середовищі програмування Java і розробки прототипу когнітивного процесора діалогу. Ключові слова: когнітивне моделювання, об'єктно-орієнтоване моделювання, сприйняття, увага, діалогові системи, еротематичний діалог.

Раид М. О. Алькавасми. Когнитивный процессор диалога на основе объектных моделей восприятия и внимания. -- Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управления и прогрессивные информационные технологии. -- Институт проблем моделирования в энергетике им. Г.Е.Пухова НАН Украины, Киев, 2004.

Диссертация посвящена вопросам объектно-ориентированного моделирования фундаментальных когнитивных процессов, лежащих в основе диалога и использованию полученных моделей при разработке проблемно-независимой программной системы Когнитивный процессор диалога. На основе анализа существующих когнитивных моделей восприятия и внимания, а также формальных моделей проблемно-независимого диалога разработан ряд класс-структурированных моделей восприятия и внимания на базе теорий Найссера, Бродбента и Трейсман. В качестве основного средства моделирования использован унифицированный язык моделирования UML (Unified Modeling Language). Полученные модели фундаментальных когнитивных процессов интегрированы в комплексные модели типа восприятие-внимание. Диалог двух агентов рассматривается как процесс восприятия рутинных сенсорных событий, поочерёдно генерируемых агентами диалога. Таким образом, комплексные модели типа восприятие-внимание могут служить основой для синтеза когнитивных моделей диалогового процесса. В работе предложена модель диалогового процесса двух агентов, использованная, в дальнейшем, для синтеза когнитивной модели активного диалогового агента и архитектуры программной системы Когнитивный процессор диалога. Основные идеи работы подтверждены экспериментально путём погружения архитектуры Когнитивного процессора диалога в среду программирования Java и разработки прототипа Когнитивного процессора диалога. Ключевые слова: когнитивное моделирование, объектно-ориентированное моделирование, восприятие, внимание, диалоговые системы, эротематический диалог.

Raed M. O. Alqawasmi. Cognitive dialogue processor based on object-oriented models of perception and attention. -- Manuscript.

Ph.D.thesis on specialty 05.13.06 -- Automated control systems and progressive information technologies. -- Institute of modeling problems in energetic, National Academy Science Ukraine, Kiev, 2004.

Dissertation is devoted to problems of object-oriented modeling of fundamental cognitive processes, which determine human-human dialogue, and the implementation of the models obtained to the process of design of problem-independent Cognitive Dialogue Processor software. On the basis of analysis of existing cognitive models of perception and attention and formal models of problem-independent human-machine dialogue, a series of object-oriented models of perception and attention was elaborated. Theories of perception and attention offered by Neisser, Broadbent and Treisman were chosen as a theoretical background for object-oriented models. Unified Modelling Language (UML) was used as a basic means of modeling. Models of fundamental cognitive processes (perception and attention) were integrated into several complex models perception-attention. Dialogue of two agents is considered as a process of perception of routine sensory events, which are sequentially generated by agents and therefore the complex models perception-attention can serve as a basis for synthesis of cognitive model for a dialogue process. Dissertation introduces a model of a dialogue process of two agents, a model of an artificial active agent of a dialogue, and architecture of Cognitive Dialogue Processor. Main ideas of the dissertation were experimentally confirmed by immersion of Cognitive Dialogue Processor architecture into Java environment and secondly by the elaboration and testing of the prototype of Cognitive Dialogue Processor software.

Key words: cognitive modeling, object-oriented modeling, perception, attention, dialogue system, question-answering dialogue.

Размещено на Allbest.ru

...