Диалоговое управление роботами с использованием нечетких моделей

Размещено на http://www.allbest.ru/

ДИАЛОГОВОЕ УПРАВЛЕНИЕ РОБОТАМИ С ИСПОЛЬЗОВАНИЕМ НЕЧЕТКИХ МОДЕЛЕЙ

Ющенко А.С., д.т.н., профессор

МГТУ им. Н.Э.Баумана

e-mail: robot@bmstu.ru

ВВЕДЕНИЕ

робот диалог распознавание речь

Принцип «диалогового управления роботами» был сформулирован академиком Е.П. Поповым 30 лет тому назад, однако только сегодня можно говорить о его практической реализации. Управление роботами, обладающими полимодальной сенсорной системой и базой знаний, способными самостоятельно ориентироваться в окружающей среде и принимать решения о дальнейших действиях, существенно отличается от традиционных задач управления. Роль сигналов управления выполняют команды оператора, имеющие определенную структуру и сформированные на проблемно-ориентированном языке, близком к естественному. Роль обратной связи выполняют сообщения робота оператору, имеющие целью уточнение команд оператора, его информирование о текущей ситуации, или о достижении поставленной цели. Основная проблема, связанная с диалоговым управлением, состоит вовсе не в организации двустороннего речевого общения. Проблема значительно глубже: она состоит в организации всей когнитивно-регулятивной системы деятельности робота, включая распознавание ситуации, принятие решений и планирование операций по антропоморфному принципу. В определенном смысле нам предстоит распространить понятие естественных пространственно-временных отношений, введенное и развитое в работах Д.А.Поспелова и соавторов, на все перечисленные аспекты деятельности роботов. При этом теория диалогового управления выходит за рамки регулярной математической теории, затрагивая психологические аспекты, которые требуют такой же формализации, как и остальные компоненты диалоговой системы управления.

1. СТРУКТУРА КОГНИТИВНОЙ ДЕЯТЕЛЬНОСТИ РОБОТА

Как следует из введения, мы различаем в деятельности робота, как и в деятельности человека, когнитивную и предметную составляющие, находящиеся в диалектическом единстве. Когнитивная составляющая носит преимущественно информационный характер. Ее целью является формирование базы знаний робота, как в результате диалога с оператором, так и путем собственной деятельности когнитивного характера во внешнем мире. Она включает в себя следующие составляющие:

· собственно диалог с оператором, включая распознавание речи, синтаксический разбор и семантический анализ высказывания, что может интерпретироваться как понимание запроса оператора, а также синтез обращения к оператору

· обработка информации с датчиков робота, имеющих различную модальность, и формирование обобщенного образа текущей ситуации

· формирование модели внешнего мира, имеющей проблемно-ориентированный характер, т.е. достаточной для решения поставленных перед роботом задач

· планирование действий, приводящих к выполнению задач поставленных оператором, - как предметных действий, так и когнитивных, направленных на получение необходимой информации об окружающем мире

· обучение робота как «с учителем», так и путем автономного накопления и обработки знаний на основе приобретения «опыта»

Поскольку мы говорим о задаче управления, то характер сообщений оператора, как правило, является командой роботу на выполнение тех или иных действий. Возможную классификацию действий робота мы уже приводили в [1]. В наиболее простом и часто встречающемся случае существо команды заключается в изменении состояния внешнего мира, которое предполагается известным роботу на момент отдания команды. Структура такого сообщения, определяющая синтаксис высказывания, обычно может быть представлена в виде стандартного фрейма:

(<(1) название операции>, <(2) объект операции>, <(3) обстоятельство места>, <(4) обстоятельство образа действия>).

Например, (<(1) поставить>, <(2) красный короб>, <(3) на большой стол>, <(4) без удара>).

Название операции инициализирует и структуру фрейма, соответствующего операции. Поэтому в базе знаний должен существовать словарь имен операций, а также словарь синонимов этих имен, имеющих общий смысл (поставить, положить, разместить, убрать и т.п.).

Цель синтаксического разбора состоит в придании сообщению стандартного вида, т.е. заполнения слотов фрейма команды, для чего может потребоваться проведение диалога. Команда оператора может содержать неопределенности различного типа. Во-первых, могут отсутствовать отдельные слоты, например (4) - как поставить? Или (3) - куда поставить? Поскольку минимальную структуру сообщения мы определили, то отсутствие заполненных слотов приводит к генерации соответствующих запросов оператору со стороны робота. Далее, неопределенность может присутствовать в описании объектов (размер стола, цвет короба: эти признаки могут вообще отсутствовать в сообщении и потребуют запроса). В команде могут присутствовать естественные пространственные отношения между объектом операции и окружающим миром («ближайший короб» «дальний стол»). Поэтому неопределенность цели может потребовать запроса, содержащего нечеткие пространственные отношения, например, «убрать на дальний стол, или на ближний?», «поставить подальше, или поближе?». Если же объекты операции заданы своими признаками, а не пространственным положением, то может быть сформулирован запрос: «где объект?».

Таким образом, цель диалога на этапе синтаксического разбора, как и его содержание, определяются необходимостью получения полного фрейма команды, структура которого известна.

2. МОДЕЛЬ МИРА И ПРОБЛЕМА «ПОНИМАНИЯ» ЗАДАЧИ РОБОТОМ

Структура команды предполагает имеющееся в базе знаний описание внешнего мира, включающего как описание объектов, представляющих интерес для выполнения операции, так и пространственных отношений между объектами мира, включая сам робот.

Состояние мира (текущая ситуация) описывается системой бинарных фреймов (<объект1>, <отношение>, <объект2>), где в качестве одного из объектов может, в частности, выступать робот. Устанавливая нечеткие отношения между всеми объектами, представляющими интерес для выполнения данной операции, мы получим нечеткую семантическую сеть, на которой можно выполнять различные логические операции, например, установить отношения между любой парой объектов [1]. Таким образом, описание мира включает описание собственно объектов и отношений между ними. В свою очередь, объекты описываются субфреймами, содержащими их геометрические и физические признаки, выраженные с использованием лингвистических переменных.

Для описания отношений между объектами рабочей сцены используются экстенсиональные и интенсиональные отношения. К первым относятся отношения положения и ориентации объектов. Например а₁ далеко, впереди справа и немного выше а₂. Ко вторым относятся такие отношения как R₁ - соприкасаться; R₂ - быть внутри; R₃ - быть вне; R₄ - быть в центре; R₅ - быть на одной прямой; R₆ - быть на одной плоскости; R₇ - иметь ненулевую проекцию, R₈ - стоять на поверхности. В [2] предлагается два унарных отношения - R₀₀ - быть горизонтальным и R₀₁ - быть вертикальным, а также 28 элементарных пространственных бинарных отношений. Из них можно, используя формальные правила, получить большую часть реально встречающихся отношений.

Поскольку внешний мир непрерывно изменяется как за счет движения наблюдаемых объектов, так и за счет движения самого робота, то и описание ситуации изменяется во времени. Это обстоятельство требует учета в общем случае не только пространственных, но и временных отношений во внешнем мире, таких как быть одновременно, быть раньше, следовать за.

Совокупность заданных объектов в пространстве рабочей сцены, отношений между ними и правил преобразования составляют формальный язык описания ситуации. Описание ситуации на этом языке при этом допускает формальное, семиотическое представление с использованием логики пространственно-временных отношений. Например, сложное пространственное отношение а₁ стоит на плоскости S далеко справа можно записать как (a₁ R₈ S)&(a₀ d₅ f₇ a₁), где а₀ - наблюдатель, относительно которого сформулированы отношения дистанции (d₅) и ориентации (f₇) [1].

Из сказанного выше следует, что, получив команду оператора, робот должен интерпретировать цель как новое состояние внешнего мира, т.е. построить новую семантическую сеть. Для этого необходима система правил, позволяющих по имени операции сформулировать ее цель как новое состояние мира. Так в рассмотренном выше примере исходная сеть могла содержать фрейм (<короб>, <стоит на>, <полу>). Новое состояние, определяемое названием операции <поставить> <короб> <на стол>, генерирует фрейм (<короб>, <стоит на>, <столе>). Таким образом, целевое состояние может быть получено из описания команды, если последняя сформулирована правильно.

На наш взгляд, «понимание» роботом задачи, поставленной оператором-это формализация целевого состояния мира, определяемая командой, а также проверка корректности такого состояния, его принципиальной возможности и достижимости в рамках внутренней модели мира, существующей в системе знаний робота.

Анализ корректности команды включает в себя два аспекта - корректность заданной цели, т.е. возможность ее существования как таковой, и возможность ее реализации данным роботом в данных условиях. Корректность цели (постусловия выполнения операции) определяется наличием геометрических и физических ограничений в модели мира. Это еще одна система правил, которая должна быть заложена в систему знаний робота заранее. Например, состояние <А стоит на Б>, предполагает проверку таких предусловий как «поверхность Б близка к горизонтальной», «А соприкасается с Б по поверхности, близкой к плоскости», «проекция центра тяжести А находится внутри контура соприкосновения А с Б», «Б обладает достаточной жесткостью, чтобы не разрушиться под весом А» и т.д. При отсутствии таких правил в базе знаний (по крайней мере, части из них) робот может обратиться к оператору с соответствующим запросом, касающимся корректности задания цели. Содержание этих запросов либо определяется структурой ограничений, извлекаемых из описания нового состояния мира, либо имеет более общий характер, например, «Вы уверены, что цель поставлена корректно?».

При отсутствии уверенности оператора в корректности поставленной цели он может поручить роботу выполнение когнитивных действий в соответствии с запросами последнего. Например, на запрос «Вы уверены, что на Б достаточно свободного места?» может последовать ответ: «Исследовать», что порождает когнитивную операцию, требующую перемещения робота, снабженного соответствующими средствами наблюдения (техническим зрением, лазерным дальномером) для исследования поверхности Б и соотнесения имеющегося свободного места с размерами А. Аналогично, при отсутствии в поле зрения робота запрашиваемого объекта может последовать команда «Найти».

Проверка корректности задания цели с точки зрения ее реализуемости предполагает планирование последовательности операций, которые приводят к ее выполнению.

3. ОПЕРАЦИИ ВО ВНЕШНЕМ МИРЕ

Мы различаем элементарные и сложные операции, которые формализуются с использованием модели внешнего мира, представленной выше. К элементарным относятся такие операции, которые уже не допускают дальнейшего разбиения на части и обычно содержатся в языке программирования робота, например, в языке ARPS. Сложные операции могут быть представлены как последовательность приводящих к цели элементарных операций.

Описание элементарных операций (ЭО), как рабочих, так и когнитивных, содержится в базе знаний робота, в которой с каждой операцией связывается соответствующий фрейм. Такой фрейм содержит имя операции и ее описание с помощью лингвистических переменных начальной и целевой ситуации, а также предусловий, при которых операция может быть выполнена, и постусловий, обеспечивающих корректность цели. Предусловия могут зависеть от ситуации, от возможностей робота и от свойств объекта работы. Таким образом, структура фрейма элементарной операции такова:

<(1) имя операции > <(2)объект операции> <(3) исходная ситуация > <(4)целевая ситуация> <(5)условия выполнимости операции (предусловия)> <(6)условия корректности задания цели (постусловия)> <(7)дополнительные обстоятельства выполнения операции>. Например: < (1)перенести> <(2)короб А > < (3)короб А на П > < (4)короб А на С > < (5)короб А свободен > < (6)на С достаточно свободного места> <(7)установить короб А без удара>. Заметим, что при выполнении технологических операций этот фрейм следует дополнить слотом <(8)способ выполнения операции >.

Особенностью рассматриваемого описания операции является наличие предусловий. В общем случае предусловия могут быть трех типов: а) ситуационные, например, условие объект А свободен означает, что на объекте А не находится любой другой объект; б) определяемые возможностями робота: робот имеет захват, соответствующий типу объекта и его размерам; и в) связанные с особенностями объекта работы: объект является твердым телом и может выдержать без разрушения усилие, развиваемое при захвате.

Описание предусловий может быть неполным в том смысле, что некоторые из предусловий или постусловий не определены. Тогда формируется соответствующий запрос к оператору и, при отсутствии необходимой информации - запрос к базе когнитивных операций.

Если предусловия и постусловия элементарной операции выполняются, то она считается выполнимой и ее результат (т.е. ситуация, возникшая после ее выполнения) является исходной для следующей ЭО. Назовем две последовательных ЭО согласованными, если результат предыдущей по времени операции приводит к выполнению предусловий последующей операции. Тогда цель операции может считаться корректной, если существует последовательность согласованных ЭО, приводящих к достижению цели операции. Заметим, что в этом случае можно говорить и о «понимании» задания, поскольку корректность задания цели входит в анализ постусловий последней из ЭО. Тем не менее, процедура предварительного анализа корректности задания цели вполне оправдана, поскольку она экономит время такого анализа, если цель сама по себе недостижима.

Описание типовых операций расширяет язык описания ситуаций и язык описания команд, о котором говорилось выше. Учитывая аналогию между предлагаемым языком для описания действий ИРТС и языком ситуационного управления, разработанным Д.А.Поспеловым [3], мы сохраним этот термин, имея в виду и отмеченные выше особенности этого языка для управления робототехническими системами.

Оператор может управлять робототехнической системой, непосредственно задавая на проблемно-ориентированном языке элементарные операции, например, ‹перенести объект А на плоскость С› ‹вставить вал А в отверстие О›. Таких ЭО не так много, например, для речевого управления манипулятором нами использовалось не более 20 подобных простых команд. В более сложных случаях операция может быть заранее разделена оператором на элементарные. Однако этому могут помешать невыполняющиеся предусловия, что крайне усложняет задачу оператора. Тогда целесообразно, чтобы система самостоятельно строила цепочку согласованных ЭО, подключая оператора к этой процедуре только как эксперта при возникновении неоднозначных, или непреодолимых ситуаций.

4. ПЛАНИРОВАНИЕ СЛОЖНЫХ ОПЕРАЦИЙ

Особенностью процедуры планирования в робототехнике, по сравнению с известными методами интеллектуального планирования (AI-planning), является возможность постоянного сравнения результатов фактического наблюдения за ситуацией и заданных в процедуре планирования условий. Сравнение может проводиться как сравнение лингвистических описаний реально наблюдаемой и предполагаемой (существующей только в качестве высказывания) ситуации. Возникающее противоречие порождает план действий, направленных на устранение противоречий и, как следствие, на реализацию желаемой ситуации. Таким образом, цель и имя каждой отдельной типовой операции не задаются человеком, а генерируются самой системой исходя из сопоставления реальных и предполагаемых ситуаций [4].

Для генерации последовательности элементарных операций (ЭО), приводящих к цели, используется процедура разрешения противоречий, развитая в работах С.С. Магазова [5]. Принцип разрешения противоречий достаточно близок к когнитивной деятельности человека при планировании действий, в которой также проводится постоянное сопоставление оперативного образа ситуации и образа цели. Использование этого принципа разрешения противоречий требует дальнейшего расширения языка управления ИРТС. Помимо «словаря» типовых операций теперь требуется и «словарь» для разрешения ситуационных противоречий путем выполнения типовых операций. Если пространственные отношения интенсиональные, то каждый тип противоречий порождает свою типовую операцию для своего разрешения.

Например: если цель: (a₁ R₈ S), т.е. объект a₁ стоит на поверхности S , а реально (a₁ R₈ S), то противоречие порождает типовую операцию перенести а₁ на S . Если цель определяется как (a₁ R₂ С), т.е. вал a₁ находится внутри втулки С, а по результатам наблюдений выполняется (a₁ R₂ С), то порождается типовая операция: вставить a₁ в С. Если для выполнения последующих действий требуется выполнение условия: свободен a₁, а реально выполняется: (a₂ R₈ a₁), т.е. на a₂ стоит a₁, то порождается типовая операция убрать a₂ с a₁ . Нетрудно продолжить этот список действий, разрешающих противоречия интенсионального характера.

Если отношения экстенсиональные, то специального словаря соответствия между ситуацией и требуемой типовой операцией не требуется. Противоречие может быть разрешено путем выполнения типовой операции, целью которой является отношение, заданное в ее условии. Если мобильный робот R должен находиться относительно наблюдателя N в положении (R d₁ f₁ N), а реально выполняется другое условие: (R d₂, f₂ N), то требуемая операция определяется в форме: переместить робот R из положения (Rd₂ f₂ N) в положение (R d₁ f₁ N).

При планировании сложных операций возникает многошаговая процедура разрешения противоречий. Сначала сопоставляются целевая и фактическая ситуации. Если они не совпадают, то выявляются противоречия и определяются действия, разрешающие эти противоречия. Далее проверяются предусловия разрешающих действий, которые также могут находиться в противоречии с фактической ситуацией. Они генерируют новые действия и т.д. до тех пор, пока, по крайней мере, для одной из разрешающих операций, предусловия не окажутся выполненными. Тогда эта операция выполняется (пока на уровне планирования), возникает новая ситуация, которая анализируется аналогичным способом и т.д. В конечном результате, генерируется цепь согласованных элементарных операций, приводящих к реализации цели, если выполнены соответствующие постусловия, т.е. если А вообще можно поставить в устойчивое положение на С (см. выше). Эту процедуру можно представить в виде ориентированного графа, корнем которого является целевая ситуация [4].

Очевидным недостатком рассмотренного подхода является необходимость для оператора заранее определить правила работы системы в тех или иных ситуациях, причем и сами эти ситуации должны быть заранее известны. На практике, особенно при управлении мобильными роботами, это условие не всегда выполняется. Если оператору не удается сформулировать правила работы робототехнической системы, то возможно обучение системы «с учителем». При этом оператор осуществляет управление роботом в характерных ситуациях, после чего информация обрабатывается, например, с помощью нечетких (гибридных) нейросетей [6].

В последнее время получил распространение новый подход, развиваемый А.А.Ждановым и др., при котором робот обучается поведению в неопределенных условиях «без учителя», используя только свой собственный опыт [7]. Аппаратом накопления и обработки опыта является специальный тип нейронных сетей. Система содержит блок, называемый авторами блоком эмоций, который позволяет оценить успех или неуспех того или иного действия.

5. РЕЧЕВОЙ ИНТЕРФЕЙС И ОРГАНИЗАЦИЯ ДИАЛОГА

Речевой интерфейс является основным способом задания управляющей информации для диалоговой системы управления роботом. Команды оператора могут быть сформулированы на языке ситуационного управления роботом, о котором говорилось выше. Речевой интерфейс включает в себя модуль распознавания и лингвистический модуль. Модуль распознавания представляет собой устройство для преобразования речевых сигналов и их интерпретации в качестве отдельных слов, или фраз. Лингвистический анализатор осуществляет синтаксический и семантический разбор высказывания, в результате которого должны быть заполнены слоты фрейма для описания действий.

Выше было показано, что высказывания, представленные на языке ситуационного управления, могут быть выражены на внутреннем семиотическом языке, сведены к последовательности символов. В свою очередь, команда оператора, поступающая от модуля распознавания речи, также является последовательностью символов. Таким образом, взаимодействие модуля распознавания и лингвистического модуля сводится к преобразованию одной последовательности символов в другую на базе грамматики, построенной экспертом. При этом сам лингвистический анализатор обычно может быть представлен в форме конечного автомата.

Практически все используемые в настоящее время способы распознавания речи основаны на сравнении произносимых слов с эталоном. Учитывая, что словарь язык ситуационного управления довольно ограничен, необходимо составить предварительную базу используемых слов и иметь возможность в реальных условиях дополнять (дообучать) робот новым словам, которые отсутствуют в базовом словаре. В настоящее время на практике чаще всего применяются два способа распознавания речи: способ динамического искажения времени (DTW - Dynamic Time Warping), или способ сравнения с эталоном и метод оценки вероятности гипотез с использованием скрытых марковских моделей (HMM - Hidden Markov Models). Для распознавания слитной речи можно использовать конструирование возможных эталонов фраз, используя синтаксис проблемно-ориентированного языка ИРТС. При профессиональном управлении роботом речевая база может быть составлена применительно к конкретным операторам, что снимает проблему дикторозависимости.

Увеличить количество операторов, команды которых будет распознавать система, можно с помощью, так называемого метода многих эталонов. Представляет интерес использование метода многих эталонов (ММЭ), совместно с методами динамического искажения времени, основываясь на использовании сложных решающих правил и композиций алгоритмов распознавания.

Альтернативным направлением разработки методов распознавания речи может быть построение энграммных моделей различных типов, некоторые модификации которых обладают способностью к инкрементальному обучению и использованию контекстной информации. Такие модели требуют разработки дискретных признаковых описаний.

Диалог представляет собой последовательность речевых сообщений, которыми обмениваются робот и оператор. Исходным состоянием диалога служит команда оператора, структура которой была рассмотрена выше. Как мы видели выше, возможно развитие диалога по одному из следующих сценариев: (1) уточнение состава команды, (2) уточнение операции. Сам сценарий описывается фреймом-прототипом, а конкретная реализация диалога фиксируется в виде фрейма-экземпляра. Например, для сценария «уточнение состава команды» протофрейм имеет следующий вид: <(1) исходный текст команды>, <(2) недостающий компонент>, <(3) фокусирующий запрос оператору>, <(4) вторичный текст команды>, <(5) число итераций>, <(6) окончательный вид команды>. Возможность включения в структуру фрейма процедурной информации позволяет, в случае неудовлетворительного уточнения оператора, организовать цикл по заполнению содержимого слотов 1-4 фрейма-сценария. Недостатком использования аппарата фреймов при организации диалога является отсутствие хронологической информации и невозможность учета истории диалога [8]. В этом случае возникает необходимость введения внешнего менеджера диалога, задачей которого является выход из тупиковых веток диалога, если оператор, например, не способен предоставить необходимую уточняющую информацию. В этом случае, по инициативе системы могут быть предложены возможные готовые варианты ответа, задание другой команды или переход в режим гностических операций. Основой для управляющего воздействия менеджера диалога может служить процедурная информация, включенная в сам фрейм-сценарий.

Наличие таких моделей диалога повышает эффективность речевого интерфейса, так как дает возможность прогнозирования последующих действий оператора в рамках речевого взаимодействия. Перечень наиболее вероятных ответов можно использовать в качестве «опорной» информации на этапе распознавания речевого сигнала.

Предыстория диалога и состояний системы может использоваться в задаче распознавания следующего элемента сценария диалога. Это позволит создавать системы управления диалогом и планирования действий робота путем обучения на примерах.

ЗАКЛЮЧЕНИЕ

Предварительные исследования показывают, что для реализации диалогового речевого управления робототехнической системой необходима разработка речевого интерфейса, ориентированного на использование оператором проблемно-ориентированного языка общения с роботом. При этом задача управления роботом существенно упрощается, поскольку она практически не требует специальных навыков от оператора. В конечном счете, диалоговое управление облегчит включение роботов в человеческий социум.

Ряд задач в этой области остаются нерешенными. В частности, представляется важной задача применения речевого интерфейса не только при управлении, но и при обучении робота, когда правила поведения системы заранее не могут быть формализованы. Большое значение для обеспечения эффективности управления может иметь и анализ психологических проблем взаимодействия человека и «интеллектуальной» робототехнической системы, связанных с «взаимным» пониманием ситуации и задачи, а также с выбором наиболее целесообразного поведения робота для достижения поставленной цели.

ЛИТЕРАТУРА

1. Ющенко А.С. Управление роботами с использованием нечеткой логики: состояние и проблемы// Новости искусственного интеллекта . - 2006. - №1. - С.119-130.

2. Кандрашина Е.Ю., Литвинцева Л.В., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах. - М.: Наука, Физматлит, 1989.

3. Поспелов Д.А. Ситуационное управление: теория и практика. - М.: Наука, Физматлит, 1986.

4. Ющенко А.С. Интеллектуальное планирование в деятельности роботов// Мехатроника. - 2005. - №3. - С.5-18.

5. Магазов С.С. Когнитивные процессы и модели. - М.: УРСС, 2007.

6. Вечканов В.В., Киселев Д.В., Ющенко А.С. Адаптивная система нечеткого управления мобильным роботом// Мехатроника. - 2002. - №1. - С.20-26.

7. Жданов А.А. Автономный искусственный интеллект. - М.: БИНОМ. Лаборатория знаний, 2008.

8. Ли И.В. Локальный и глобальный уровни управления диалогом// Труды международной конференции «Диалог 2007». - 2007. - С.382-387.

Размещено на Allbest.ru