Сенсорная модель подражательного поведения роботов

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Вопросы применимости моделей социального поведения животных применительно к задачам организации управления в робототехнических системах обсуждается уже достаточно долгое время. Обзор [Fong, Nourbakhsh, Dautenhahn, 2003] уже представлял широкий спектр перспективных и уже решенных задач в этой области. Особый интерес к этой области проявляется в групповой робототехнике. Однако поставленные вопросы по-прежнему остаются весьма актуальными. Не в последнюю очередь это связано с отсутствием серьезных, концептуальных моделей или стратегических подходов, позволяющих группе роботов решать задачи, более сложные, нежели согласованное движение. Характерно, что в [Navarro, Matia, 2013] проблема распределения задач (Task Allocation) фигурирует как “опциональная”, вспомогательная задача, а речь идет в основном о задачах агрегации, распределения в пространстве, создания форм, согласованном движении и проч.

Таким образом, был сформулирован следующий тезис: реализация эффективных способов управления группами роботов может быть инспирировано моделями социального поведения в животном мире. Вопросы социального поведения применительно к созданию технических систем поднимались еще в классических работах Д.А. Поспелова, М.Г. Гаазе-Раппопорта, В.И. Варшавского [Варшавский, Поспелов, 1984], [Гаазе-Рапопорт, Поспелов, 1987]. Однако предлагаемые в этих работах модели относятся к категории “черных ящиков”, в них феномены социального взаимодействия рассматривались как есть, в феноменологическом смысле, т.е. вопросы составляющих этих моделей базисных элементов, равно как и генезис механизмов социального поведения, в них не рассматривался. Более конструктивным представляется рассмотрение моделей социального поведения с позиций этологии и зоопсихологии, которые активно занимаются типизацией и интерпретацией феноменов животного мира.

Считается, что типология важнейших видов социального поведения включает в себя три компоненты (см, например, [Мак-Фарленд, 1988], [Гудолл, 1992], [Тинберген, 1993], [Зорина, Полетаева, Резникова, 1999]):

1. Контагиозное поведение (т.н. “симпатическая индукция” или “заразное” поведение). Инициируется одним членом группы и охватывает всю группу, приводя к координированным действиям или поведению.

2. Агонистические поведение (“драка” у Тинбергена [Тинберген, 1993]). Считается, что поддержание структуры сообщества осуществляется именно на основе агонистического поведения (нападение, угрозы, подчинение и бегство).

3. Репродуктивное поведение. Основные составляющие - это брачное и родительское поведение, связанное прежде всего с процессом ухода и обучением (важнейший аспект с точки зрения групповой робототехники).

Существует некоторый ряд механизмов, реализующих эти формы поведения, обеспечивающий различные уровни социального поведения, и условий, при которых группу особей можно определить как социум. Это:

1. Наличие закрепленной за группой территории.

2. Постоянный состав группы (устойчивость во времени, прочность связей, агрессия к чужакам).

3. Когезия (стремление членов группы держаться вместе).

4. Персонификация в группе.

5. Система коммуникаций для взаимной координации и синхронизации деятельности членов группы.

6. Социальное доминирование.

7. Специализация (разделение функций).

8. Образование коалиций (кооперация).

9. Усвоение опыта старших поколений (обучение).

Реализация различных комбинаций этих механизмов позволяет получать различные уровни социализации у группы роботов. При этом одной из важнейших компонент, фигурирующей во многих этих механизмах, является механизм подражательного поведения. Именно феномен подражательного поведения ответственен за т.н. систему специальных адаптаций. Эта система включает в себя врожденный стереотип поведения, выражающийся в непрерывной ориентации на соседних особей, а также ярко выраженные подражательные реакции [Сотская, 2003]. Подражательное поведение служит для поддержания стада или стаи как устойчивого целого и обеспечения определенной синхронизации деятельности особей. То же самое касается реализации процедур обучения и в какой-то мере симпатической индукции (контагиозного поведения).

Подражательное поведение - это один из наиболее сложных для технической реализации механизмов. Основная проблема заключается в том, что система должна понимать, чему, собственно, следует подражать. Т.е. уметь выделять некий комплекс действий, совершаемых объектом для подражания, рассматривать этот процесс во времени и т.д. Частично эти проблемы созвучны тем, что имеются в процедуре обучения как такового. Например, даже в механизме простейшего стимул-реактивного поведения сакраментальным является вопрос о том, за что именно, т.е. за какое действие или поведения система получила сигнал поощрения или наказания.

В работе [Breazeal, Scassellati, 2002] ставятся следующие вопросы, касающиеся реализации подражательного поведения: (1) когда подражать? (2) чему подражать? (3) как отобразить наблюдаемые действия в поведенческие ответы? И (4) как роботу оценить свои действия, скорректировать ошибки, и определить, когда он достиг своей цели?

Ниже будет рассмотрен один из возможных механизмов реализации подражательного поведения, построенный на основе наблюдений и сопоставления наблюдаемых признаков с некоторой моделью.

Языковые схемы подражательного поведения.

Уже говорилось, что основная проблема при реализации подражательного поведения - это понять, чему надо подражать. Фактически, это означает необходимость определения состояния объекта подражания и последующий переход субъекта в такое же состояние. Очень часто решение этой задачи основано на реализации некоторой системы коммуникаций между агентами. Например, используется следующий сугубо технический трюк: каждое действие или выполнение некоторой фиксированной поведенческое процедуры сопровождается выдачей (генерацией) некоторого символа или фразы. Иными словами, робот постоянно оповещает свое окружение разъяснением того, что он сейчас делает или в каком состоянии находится. Это - коммуникационный уровень общения.

Существуют подходы, основанные на реализации уже языкового взаимодействия между роботами. Например, в [Карпов, 2015] описывается знак-ориентированная система управления роботом (агентом), позволяющая реализовывать, в частности, феномен контагиозного поведения (примером которого является действие сигнала тревоги, заставляющего всю группу обратиться в бегство). Здесь следует отметить, что контагиозное поведение может рассматриваться как пример более общего феномена подражательного поведения. робот подражательный семантический

Рассмотрим пример семантической сети, реализующей реакцию агента на некоторую опасность. Важной особенностью системы является наличие эмоциональной компоненты: выполнение действия агентом сопровождается некоторой эмоциональной оценкой - положительной или отрицательной. В основе эмоциональной компоненты СУ лежит т.н. потребностно-информационная теория эмоций П.В. Симонова [Симонов, 1982]. В этой теории предполагается, что эмоции являются оценкой текущей потребности (ее качества и ценности) и возможности ее удовлетворения. В предложенной знак-ориентированной системе управления именно эмоциональное состояние ответственно за генерацию фраз, т.е. робот начинает “говорить”, лишь испытывая сильные отрицательные эмоции.

Пусть в семантической сети системы управления имеется вершина “Опасность”, возбуждаемая неким комплексом сенсорных, вершин. Агент, получив сигнал опасности, в течение некоторого времени будет испытывать отрицательные эмоции (в силу цепочки “получен сигнал - надо убегать - опасность еще близка”). Это приведет к тому, что будет сгенерирована фраза “Опасность”. Остальные члены группы воспринимают этот сигнал, т.е. для них происходит внешняя инициация вершины “Опасность” соответствующих сетей, несмотря на то, что соответствующие входные сенсорные вершины не возбуждены. Далее возбуждение передается на связанные с вершиной “Опасность” элементы, что в конечном итоге приведет к выполнению тех или иных двигательных функций. Эта ситуация приведена на (Рисунок 1).

Рисунок 1. Генерация и восприятие фразы

Здесь агент-инициатор A формирует фразу {“Опасность”}. Фраза воспринимается агентом-реципиентом B, при этом у реципиента B вершина “Опасность” возбуждается при отсутствии подтверждающего сигнала от соответствующего сенсора. Далее реципиент B выполняет действие “Убегать”.

Как видно, при такой языковой организации подражательное поведение формируется достаточно естественным образом. Однако в этой работе нас интересует подражательное поведение, основанное исключительно на сенсорном восприятии.

Сенсорная модель.

Далее мы рассмотрим модель подражательного поведения, в которой не используются коммуникационные каналы, а реализуется схема непосредственного наблюдения, которую назовем сенсорной моделью.

Схемы поведения.

Будем считать, что поведение агента (робота) описывается множеством продукций вида:

C1 & C2 & … A

Подробности устройства таких правил не существенны. Это могут быть нечеткие правила, это могут быть варианты правил с использованием коэффициентов уверенности и проч. Важно, что имеется множество условий Ci и некоторое заключение A. Коньюнкт Ci может рассматриваться как некий наблюдаемый сенсорами робота объект. Причем в простейшем случае можно полагать, что чем ближе этот объект, тем выше уровень соответствующего сигнала Ci. В свою очередь заключение A может интерпретироваться как сигнал, запускающий некоторую поведенческую реакцию или процедуру - некий аналог командного нейрона.

Рассмотрим простую поведенческую схему, которая определяет проявление агрессии агента, направленную на некоторый объект O.

Правило агрессии (атаки) выглядит так:

O & CA A (1)

Здесь O - наблюдаемый сенсорной системой агента объект, а CA - некий контекст, мотивация агрессивного поведения агента. Условно эта схема изображена на (Рисунок 2).

Рисунок 2. Правило атаки

Выражение (1) определяет индивидуальное поведение, и подражательный аспект в нем отсутствует. Рассмотрим далее некоторое общее правило поведения некоторого субъекта S, трактуемое следующим образом: если некий субъект S наблюдает объект O и при этом объект находится рядом с субъектом, то S атакует O. Здесь также присутствует некий контекст агрессивности CS субъекта.

Формально это можно записать так:

O & S & R(S, O) & CS AS (2)

Здесь R(S, O) - некая функция, определяющая близость между субъектом и объектом. На (Рисунок 3) изображена схема соответствующего поведения.

Рисунок 3. Общее правило поведения субъекта

Структура, представленная на (Рисунок 3), определяет некую возможную схему наблюдения. Действительно, если сенсорная система агента-наблюдателя может зарегистрировать некий объект O и субъекта S, то этот агент может определить близость наблюдаемых O и S и сделать вывод о том, что S атакует O.

Подражательное поведение.

Возникает вопрос: насколько общее правило поведения (2) применимо к нашей основной задаче реализации подражательного поведения. Непосредственное отождествление субъекта S и некоторого субъективного “Я” не приведет к конструктивным результатам, несмотря на кажущуюся естественность этого шага. Здесь под субъективным “Я” будем понимать некоторый комплекс параметров, характеризующий состояние агента, включая его координаты, направление, скорость и т.п. Это несколько отличается от понятия субъективного “Я”, представленного, например, в [Карпов, 2012].

Рассмотрим следующую задачу. Пусть агент наблюдает некую удаленную пару O и субъекта S. Отождествление субъективного “Я” и S формально может рассматриваться как замена R(S, O) на R(self, O). Однако становится непонятно, на кого должно быть направлена процедура нападения. Объект O может и не находиться рядом с агентом-наблюдателем. Было бы логично, если бы агрессия агента была направлена не на удаленный объект O, а на тот объект, который обнаружен рядом. Этого можно добиться, если результат наблюдения (наблюдаемая сцена) будет оказывать влияние на поведенческую мотивацию агента - его контекст CA.

Если принять, что результатом подражания поведения должна быть тождественность поведения, то, исходя из (1) и (2), мы получим следующую цепочку правдоподобных рассуждений.

Пусть A=AS. Тогда:

O & CA = O & S & R(S, O) & CS

Откуда получаем основное соотношение:

CA= S & R(S, O) & CS (3)

Иными словами, наблюдаемая близость стороннего субъекта S и объекта O воздействует на контекст наблюдателя (мотивацию агрессивности в нашем примере). При этом важно, что действие агента будет направлено именно на наблюдаемый им - агентом - объект. Итоговая схема представлена на (Рисунок 4).

Рисунок 4. Схема подражательного поведения

Итак, особенность схемы заключается в том, что агент не видит непосредственно действия другого субъекта, т.е. атаку. Агент наблюдает, что кто-то (субъект) взаимодействует с объектом. Именно это наблюдаемое взаимодействие (близость субъекта и объекта) расценивается как атака в силу имеющейся у агента модели такого поведения. Иными словами, агент сопоставляет наблюдаемую сцену с некоторой схемой.

Эксперименты.

В качестве иллюстративного примера была рассмотрена следующая типичная задача. На тороидальной клеточной поверхности, на которой обитают агенты, размещалось некоторое количество “корма”. Агенты оснащены датчиками, регистрирующими в некоторой окрестности кормовые участки и способными обнаружить своих “собратьев”. Кроме того, агенты обладают способностью генерировать некий сигнал, также воспринимаемый другими агентами. При этом агент способен определить направление на источник сигнала. Задача заключается в том, чтобы, используя локальные правила поведения, как можно более эффективно собрать корм. На (Рисунок 5) приведен пример такого поля.

Рисунок 5. Игровое поле

Были проведены серии экспериментов, в которых сравнивалась эффективность модели подражательного поведения с тестовой - той, у которой агенты при поиске корма использовали только случайное блуждание. Подражательность реализовывалась следующим образом: когда агент находил кормовой участок, он генерировал некое сообщение (сигнал), которое заставляло прочих агентов направляться к источнику сигнала. Эта упрощенная схема, в отличие от рассуждений, приведенных выше, необходима была исключительно с точки зрения получения сугубо статистических результатов.

На (Рисунок 6) приведены усредненные графики зависимости количества съеденного корма от времени. Серия R1 - это популяция, в которой реализован механизм подражательного поведения, R0 - поведение без подражания.

Рисунок 6. Зависимость количества съеденного корма от времени

Из (Рисунок 6) видно, что эффективность схемы подражательного поведения значительно выше той, в которой агенты игнорируют состояние и поведение других членов группы.

На самом же деле эти эксперименты не доказывают ровным счетом ничего. Варьирование параметров среды или агентов для рассмотренной задачи может привести к результатам, когда обе схемы дадут и практически одинаковые результаты, и те, в которых подражательность ухудшает эффективность поиска. Причина заключается в том, что подражание - это механизм, присущий высокоорганизованному поведению, и его преимущества могут проявляться лишь при решении достаточно специфических, сложных задач. Рассмотренная же выше задача является сугубо модельной, иллюстративной лишь со статистической точки зрения. По сути, такие задачи сводятся лишь к тому, что у агентов увеличивается радиус окрестности обнаружения цели.

Более реальной выглядит схема поведения, представленная на (Рисунок 7).

Рисунок 7. Схема поведения, учитывающая мотивации агрессивности и осторожности

На этой схеме агент обладает двумя мотивациями - агрессивностью и осторожностью. Обнаружив некоторый объект, агент может проявить как агрессию (сближение, если объект далеко и атака, если объект близко), так и осторожность, т.е. убежать от объекта. Результаты моделирования такой системы становятся еще более неоднозначными и требуют уже иной формулировки задачи.

Подражательное поведение - это один из механизмов, присущий высокоорганизованным особям и являющийся основой для реализации феномена социальной организации. Возможно ли подражательное поведение для особей с ограниченными когнитивными способностями - это один из открытых вопросов. Равно как и вопрос, связанный с формальным определением условий, при которых подражательное поведение становится выгодным.

Зачастую термин “подражательное поведение” используется не совсем оправданно. Например, в [Chatty et al., 2011] описывается схема организации колонии муравьев, основанная на использовании т.н. когнитивных карт. Когнитивные карты являются как средством представления феромонных следов, так и способом реализации подражательного поведения. Суть механизма подражания заключается в том, что вероятность выбора того или иного действия агентом зависит от того, какое действие было выбрано другими агентами. А в [Chernova, Veloso, 2007] описывается механизм обучения на основе демонстраций. При этом суть обучения сводится к тому, что реализуется механизм классификации, построенный на модели гауссовой смеси (Gaussian mixture model). Целью обучения является сопоставление каждой точке признакового пространства одного из ограниченного числа действий агента. Декларируемое подражание по большому счету здесь заключается исключительно как подача серии обучающих примеров.

Проблема не в последнюю очередь заключается в необходимости определения того, что такое подражательное поведение и, как следствие, в чем его отличие от процедуры обучения. Не берясь за формальное определение, повторим, что очень важными аспектами подражательного поведения является выявление того, чему и когда, собственно, следует подражать.

В [Гаазе-Рапопорт, Поспелов, 1987] отмечается, что важнейшая задача подражательного поведения заключается в обучении, в формировании двигательных стереотипов, а реализация подражательного поведения требует сложной организации неровной системы. В частности, в памяти должны сохраняться наблюдаемая ситуация, представление о самом себе, представление о другом и мотивах его поведения. Механизм, идеологически близкий к этому подходу, и был предложен в данной работе. Основным допущением при этом было воздействие наблюдаемой сцены на мотивацию субъекта.

Работа выполнена при частичной финансовой поддержке гранта РФФИ № 15-01-07900. “Разработка и исследование моделей и методов непосредственной языковой коммуникации на основе семиотических моделей для реализации социального поведения в групповой робототехнике”.

Литература

1. Breazeal C., Scassellati B. Challenges in Building Robots That Imitate People, in: K. Dautenhahn, C. Nehaniv (Eds.), Imitation in Animals and Artifacts // MIT Press. Cambridge, MA. 2002. С. 363-390.

2. Chatty A. et al. Emergent complex behaviors for swarm robotic systems by local rules // IEEE SSCI 2011 Symp. Ser. Comput. Intell. - RIISS 2011 2011 IEEE Work. Robot. Intell. Informationally Struct. Sp. 2011. С. 69-76.

3. Chernova S., Veloso M. Multiagent Collaborative Task Learning through Imitation // 4th International Symposium on Imitation in Animals and Artifacts. , 2007.

4. Fong T., Nourbakhsh I., Dautenhahn K. A survey of socially interactive robots // Rob. Auton. Syst. 2003. Т. 42. № 3-4. С. 143-166.

5. Navarro I., Matia F. An Introduction to Swarm Robotics // ISRN Robot. 2013. Т. 2013. С. 10.

6. Варшавский В.И., Поспелов Д.А. Оркестр играет без дирижера: размышления об эволюции некоторых технических систем и управлении ими. М.: Наука, 1984. 208 с.

7. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения, -М., 1987.

8. Гудолл Д. Шимпанзе в природе: поведение. Пер. с англ. М.: Мир, 1992. 670 с.

9. Зорина З.А., Полетаева И.И., Резникова Ж.И. Основы этологии и генетики поведения. М.: Изд-во МГУ, 1999.

10. Карпов В.Э. Частные механизмы лидерства и самосознания в групповой робототехнике // XIII национальная конференция по искусственному интеллекту с международным участием КИИ-2012 (16-20 октября 2012 г., Белгород) Труды конференции. 2012. Т. 3. С. 275-283.

11. Карпов В.Э. Об одной реализации знак - ориентированной системы управления мобильного робота // Искусственный интеллект и принятие решений. 2015. Т. 3. С. 53-61.

12. Мак-Фарленд Д. Поведение животных: Психобиология, этология и эволюция: Пер. с англ. М.: Мир, 1988. 520 с.

13. Симонов П.В. Потребностно-информационная теория эмоций // Вопросы психологии. 1982. Т. 6. С. 44-56.

14. Сотская М.Н. Зоопсихология: Учебно-методический комплекс в электронной форме (электронный учебник) по курсу “Зоопсихология и сравнительная психология” // Хрестоматия по зоопсихологии и сравнительной психологии: Учебное пособие МГППУ.

15. Тинберген Н. Социальное поведение животных - Social Behavior in Animals, 1953 / Пер. с англ. Под ред. акад. РАН П. В. Симонова. М.: Мир, 1993.

Размещено на Allbest.ru