Невербальные коммуникации животного мира: картирование элементов жестовых языков

Размещено на http://www.allbest.ru/

НЕВЕРБАЛЬНЫЕ КОММУНИКАЦИИ ЖИВОТНОГО МИРА: КАРТИРОВАНИЕ ЭЛЕМЕНТОВ ЖЕСТОВЫХ ЯЗЫКОВ

Василова Е.В. 1, Власов А.И. 2, Евдокимов Г.М. 3

1 Бакалавр, 2 ORCID: 0000-0001-5581-4982, Кандидат технических наук, Доцент, 3 магистр, Московский государственный технический университет им. Н.Э. Баумана,

Во второй работе цикла работ по невербальным коммуникациям животного мира основное внимание уделено концепции реализации мобильного коммуникатора для обработки жестовых языков животного мира. Подробно рассмотрены особенности автоматизированной обработки жестового языка Игуана Зелёная (Iguana Iguana). Подробно проанализированы поведенческие формы Игуаны Зелёной (Iguana Iguana). Проанализированы особенности скелетизация и распознавания изображений элементов жестового языка. Представлена концепция интерактивного мобильного приложения со встроенной экспертной системой, реализующее распознавание визуального поведенческого языка Игуаны Зелёной (Iguana Iguana) и формирование рекомендаций по поведенческим стратегиям для коммуникации.

Ключевые слова: искусственный интеллект, язык жестов, Игуана Зеленая, Iguana, мобильные приложения.

In the second work from the cycle of works devoted to non-verbal communication in the animal world, the main attention is paid to the concept of implementation of a mobile communicator for processing of sign languages in the animal world. The features of the automated processing of sign language of green iguana (Iguana iguana) are considered in detail. The behavioral forms of green iguana (Iguana iguana) were analyzed in detail. The features of skeletonization and image recognition of sign language elements were analyzed. The concept of interactive mobile application with built-in expert system is presented in the paper; it implements the recognition of the visual behavioral language of Iguana iguana and provides the recommendations on behavioral strategies for communication.

Keywords: artificial intelligence, sign language, green iguana, Iguana, mobile applications.

Введение. В первой работе цикла [1], посвященного исследованиям невербальных коммуникаций животного мира, методам и способам распознавания элементов жестовых языков и их автоматизированной обработке, были проанализированы методики формализации элементов жестового языка животных на примере Игуаны Зелёной, проведен анализ ее поведенческих и коммуникативных аспектов, дана постановка проблемы реализации универсального мобильного коммуникатора - IguaFon. В данной работе основное внимание будет уделено формализации (картирования) жестовых языков для формирования базы знаний коммуникатора IguaFon`а.

В работе [1] показано, что коммуникативные возможности можно разделить на вербальные коммуникации - коммуникации, осуществляемые с помощью устной речи как системы кодирования (передача информации) и невербальные - сообщения, передаваемые без применения устной речи (например, с помощью жестов, мимики, поз, взгляда и т.п. - передача отношения). Отмечено, что основная проблема невербальных коммуникаций - их слабая стандартизованность и формализованность, что влечет за собой сложность их интерпретации [2, C.15], [3, С.10]. Одним из базовых компонентов невербальных форм коммуникации являются жестовые языки - это сложные лингвистические системы, обладающие собственной лексикой и грамматикой, которые используют для общения через жестовые конструкции [4, C.101]. Начиная с середины XX века жестовые языки стали исследовать с позиции систем коммуникаций [5, C.15]. Сложность анализа жестовых языков обусловлена проблемой их формализации и интерпретации [6, C.57], постановка задачи автоматизированной обработки жестовых языков с применением универсального коммуникатора дана в [1]. Компоненты жеста (фонемы) для жестового языка человека делятся на пять типов: форма руки, ориентация ладони, движение, место артикуляции и немануальный компонент (выражение лица) [7, C.134], [8, С.20], [9, C. 8]. Отдельным, бурно развивающимся направлением исследований в последнее время стало исследование жестового языка животных [10, C.261], [11, C.1266], [12, C.100], [13, C.389]. Для субъектов животного мира без возможности (или с ограниченными возможностями) вербального общения жестовые (поведенческие) языки приобретают важнейшее значение при формировании основ социализации.

В работе [1] обусловлена актуальность использования животных вида Игуана Зелёная (Iguana Iguana) в качестве тест-объекта реализации универсального жестового коммуникатора. Показано, что Игуана Зелёная (Iguana Iguana) - крупная (длинной до 2м, массой до 5-7кг) травоядная ящерица [14], [15, C.12], имеющая достаточно сложное для рептилий поведение (основы социализации), хорошую топографическую память, способность к различению людей, направления взгляда и т.д. Не анализируя поведение можно допустить ошибки в содержании животных.

Целью данного цикла работ является разработка интеллектуальной системы в виде мобильного приложения для распознавания поведенческого языка Игуаны Зелёной. Создаваемая система должна обеспечивать возможность пользователю определять состояние объекта, предсказывать его намеренья и формировать рекомендации по необходимым действиям со стороны пользователя приложения для обеспечения коммуникации с объектом [16, C.23], [17, C.925], [18, C.470].

Актуальность настоящей работы заключается в решении задачи анализа поведенческих форм Игуаны Зелёной, необходимого для благополучного и правильного содержания данного вида. Результатом работы является мобильное приложение IguaFon [1, рис.3b], обеспечивающее элементы интерпретации поведенческого языка Игуаны Зелёной .

1. Классификация обрабатываемых состояний Игуаны Зелёной

В основе интеллектуального модуля IguaFon`а лежит формализация знаний о состоянии и поведении Игуаны Зелёной в машинно-читаемом виде. Прежде всего, формализуем задачу, решение которой требуется от разрабатываемой системы:

Пусть R - множество внешне наблюдаемых поведенческих паттернов Игуаны Зелёной, говоря иначе, множество всех “слов”, формулируемых Игуаны Зелёной, в её словарном запасе. Эти “слова” непосредственно обнаруживаются наблюдателем (например: “состояние лап”, “кивание головы”), в отличие от вызывающих наблюдаемое поведение внутренних состояний животного. Как показано выше, именно правильная идентификация состояния по внешним проявлениям является основной критериальной задачей. Множество состояний, обнаруживаемых программным обеспечением по внешним визуальным проявлениям, обозначим S. С использованием данных обозначений сформулируем основную задачу: сопоставить заданным наборам элементов (r1, r2,r3, .., rn,) множества R элемент (si) множества S, адекватно описывающий состояние объекта.

Таким образом, решающую часть разрабатываемой системы можно считать однозначной логической функцией нескольких переменных. Игуана Зелёная способна “произносить” несколько “слов” одновременно (например, совмещение жестов хвостом и головой), что отражено в возможности принятия функций нескольких переменных. Правила, по которым “слова” из визуального словаря игуаны r сопоставляются состоянию s, как раз и представляют из себя формализуемые знания, которые будут представлены в системе по ходу её обучения. Множества Rи S также составляются экспертом или инженером по знаниям.

Определим множество S состояний Игуаны Зелёной. Классическая герпетология [19, С.20] и результаты авторских наблюдений, позволяют выделить следующие основные состояния: спокойствие, агрессия, стресс, поиск, дружелюбие и слабость. Спецификация состояний игуаны зелёной приводится в таблице 1.

Следует сразу же принять важное, упомянутое выше допущение: Игуана Зелёная не может испытывать двух и более состояний одновременно, а “переключается” между ними в зависимости от внешних раздражителей. Также не рассматриваются те состояния, которые непосредственно очевидны и самоописательны без анализа их внешних проявлений: например, приём игуаной пищи или сон.

Таблица 1 - Cпецификация психоэмоциональных состояний Игуаны Зелёной

невербальный коммуникация жест игуана

2. Элементарные составляющие визуального языка игуаны зелёной

Более сложной задачей является анализ и формализация визуального языка животного, так как в формировании слов визуального языка участвует практически всё тело животного. В качестве базового принципа классификации примем формализацию элементарных составляющих визуального языка Игуаны Зелёной по параметрам, принятым в уже существующей системе HOLME для человеческих жестовых языков.

В системе HOLME используются два параметра:

- движение части тела (конечности);

- устоявшееся положение (состояние) части дела;

Использование подхода, принятого в HOLME, позволяет избежать разработки собственной системы классификации и позволяет использовать уже разработанные и проверенные многолетним использованием механизмы анализа, что сокращает время разработки и увеличивает робастность выбранной системы классификации.

Авторские наблюдения, а также статистика поведения одомашненных Игуан Зелёных [14], позволяют уверенно утверждать, что основными элементами для передачи сигналов (употреблении слов визуального словаря) у данного вида животных является вполне конечное множество элементов частей тела, на состояния которых приходится подавляющая часть словарного запаса. К этим частям тела относят голову и её составляющие, лапы и хвост Игуаны Зелёной. В свою очередь, лапы игуаны используются попарно: передняя пара и задняя пара являются отдельными элементарными единицами кодирования. В отличие от более традиционных домашних животных, например, собак, Игуаны Зелёные для коммуникации никогда не используют одну лапу отдельно от второй, только в паре, что сокращает число возможных состояний для анализа.

Голова Игуаны Зелёной не является элементарной единицей декомпозиции биологической системы коммуникации, хотя и её состояния и движение в целом также может передавать информацию. На голове Игуаны Зелёной присутствуют другие структурные единицы, передающие информацию о состоянии животного: нос, челюсть, язык и плащ - достаточно редкий орган, характерный для некоторых рептилий. Плащ игуаны предназначен как для передачи информации, так и для управления термодинамическими процессами в теле игуаны. На теле Игуаны Зелёной есть и другие органы, передающие информацию, но в рамках данного исследования их разбор нецелесообразен ввиду малой доли лексики визуального словаря, приходящегося на их состояния. Схема декомпозиции значимых структурных элементов Игуаны Зелёной на рис. 1.

Рис. 1 - Элементарные составляющие жестового языка Игуаны Зелёной

Перечислим активно используемые элементы кодирования (части тела объекта), которые формируют элементы визуального языка Игуаны Зелёной в их иерархической декомпозиции:

· голова:

· нос;

· плащ;

· челюсть;

· язык;

· лапы:

· передние;

· задние;

· хвост.

Для задних и передних лап следует рассматривать по два состояния:

· лапа расслаблена и лежит на поверхности;

· животное стоит на лапе, оторвавшись телом от поверхности.

Анализ состояния головы наиболее важен и информативен. При распознавании жеста особи игуаны зелёной необходимо проанализировать несколько аспектов состояния головы:

· ориентация носа (эквивалент ориентации всей головы);

· сложенное или раскрытое положение плаща;

· сомкнутость или длительное открытие челюсти;

· наличие периодической пробы языком элементов местности особью.

Сводная характеристика состояний различных элементов коммуникации игуаны зелёной приведена в таблице 1, где также осуществляется привязка внешних проявлений - положения и движения частей тела, выявленных согласно системе HOLME - к скрытым внутренним состояниям животного.

Таблица 1 - Картирование элементов «слов» визуального словаря игуаны зелёной

Как видно из таблицы 1, чтение слов из визуального словаря Игуаны Зелёной возможно только при комплексном анализе поведения животного. Состояния отдельных частей тела игуаны не определяют внутреннее состояние однозначно, а только выделяют некоторое множество возможных состояний, в котором находится животное. Например, раскрытый плащ проявляется и при отдыхе животного, и при его агрессивном поведении. Особенно характерным примером в данном случая является ритмическое покачивание головой, которое может означать и дружелюбное приветствие, и агрессию, причём отличить одно от другого можно только с учётом других элементов визуального словаря животного. Т.е. модуль интеллектуальной обработки должен иметь функции обработки видеоряда в динамике. Таким образом, решающая часть разрабатываемой экспертной системы должна иметь возможность оценивать факт наличия определённого поведенческого проявления только в контексте общего состояния животного.

3. Методика трактовки комбинаций положений Игуаны Зелёной

Как было показано выше, каждая из элементарных составляющих жестового визуального языка Игуаны Зелёной при их анализе по параметрам состояния и движения определённым образом ограничивает множество S возможных состояний объекта. Таким образом, последовательно анализируя каждую составляющую определённой комбинации (визуального слова, передаваемого животным), и, соответственно, последовательно ограничивая исходное множество всех возможных состояний. Последовательно уточняя данные о состоянии животного на каждом шаге решения, можно после определённого числа ограничений прийти к единственному оставшемуся состоянию или их уменьшенному набору, что, в свою очередь, можно классифицировать, используя дополнительную информацию.

При правильном определении параметров элементарных составляющих визуального языка Игуаны Зелёной каждой получаемой комбинации (r1, r2, r3, .., rn,) соответствует вполне определенное состояние животного Sj или же небольшой (1-2 состояния) набор вероятных состояний. Привлекая эксперта по поведению Игуаны Зелёной, возможно составление полного словаря поведения Игуаны Зелёной, возможно, расширяющего приведённые в таблице 2 начальные элементы.

Таблица 2 - Пример анализа состояния Игуаны Зелёной последовательным анализом фактов поведения игуаны в виде матрицы

Далее, пользуясь полученным словарем, можно трактовать положение и движение особи, на основании анализа отдельных частей тела, в передаваемую информацию о состоянии животного. На основе информации о состоянии животного после проверки адекватности данной информации можно принимать более информированные решения для взаимодействия с животным.

Анализ состояния животного по его фактическому поведению однозначно указывает на определённое состояние, что позволяет владельцу скорректировать собственные действия. В рассмотренном случае животное готово к общению с хозяином и специальных мер предосторожности предпринимать не требуется.

Отметим теоретическую возможность исключения всех возможных состояний животного при использовании данного метода. Такое событие должно трактоваться как ошибка в обучении системы, так как в природе заведомо невозможно отсутствие какого-либо состояния. В случае, если на обученной системе возникают подобные ситуации, следует обратиться к эксперту и провести переобучение системы. При использовании рекомендаций IguaFon`а следует всегда помнить, что это только рекомендации, принятие конечного решения остается за пользователем и вся ответственность за него лежит именно на лице, принимающем решение. Во избежание возникновения опасности для животного или хозяина перед эксплуатацией системы клиентам необходимо провести её всестороннее освоение.

4 Модель картирования визуального словаря игуаны зелёной

Для обеспечения возможности создания визуальной подсистемы ввода интеллектуальной подсистемы необходима модель картирования визуального представления словаря Игуаны Зелёной [20, C. 20]. Согласно декомпозиции элементарных составляющих визуального языка Игуаны Зелёной, были предложены карты визуальных образов состояния элементов коммуникативных элементов животного, приведённые в таблице 3.

Таблица 3 - Картирование визуального словаря Игуаны Зелёной

Приведённые элементы модели представления визуального словаря животного позволяют непосредственно подойти к разработке подсистемы ввода, так как строго формализовано представляют элементы визуального словаря животного, с одной стороны, совершенно понятны для пользователя системы, и в, конце концов, однозначно связываются с ограничениями на множество состояний животного.

Непосредственная реализация подсистемы ввода, таким образом, должна обеспечивать связь между данными образами и входом решающей подсистемы с использованием алгоритмов скелетизации визуальных образов в обрабатываемом потоке [21, С. 23].

Модели обработки и интерпретации видео- и растровых образов жестов подробно рассмотрены в [4, С. 120]. В основе решателя интеллектуальной подсистемы IguaGFon`а лежат нейросетевые алгоритмы, отработанные в рамках реализации интеллектуальных систем обработки видеопотоков данных и изображений для различных применений [22, С. 56], [23, С. 22], [24, C. 389], [25, C. 296], [26, C. 42], [27, C. 148], [28, C. 366]. Более подробный анализ концепции аппаратно-программной реализации коммуникатора и его экспериментальные исследования будут отражены в следующих работах.

Заключение

В рамках данной работы основное внимание уделено методики формализации элементов жестового языка животных на примере Игуаны Зелёной. Предложен подход картирования и визуальная модель представления скелетизации поведения животного, описываемая на машинном языке, для реализации интеллектуальной подсистемы жестового коммуникатора. Регистрируемый образ объекта (видеопоток или растровая графика) формализуется, классифицируется и интерпретируется в определенное состояние или набор вероятных состояний объекта из базы знаний, последовательно ограничивая множество возможных решений. Машина вывода экспертной системы, базирующаяся на авторском понятийном словаре, обеспечивает независимость эффективности использования экспертной системы от наличия специальных знаний о животном и прохождения специальных обучений. В развитии проекта планируется дополнить коммуникатор IguaFon`а игровым интерактивным модулем, реализованным в виде анимационного приложения, позволяющим пользователю анализировать жестовый язык анимационного образа Игуаны Зелёной в различных жизненных ситуациях и взаимодействовать с ним для выполнения указанных в игре заданий.

Список литературы / References

1. Василова Е.В. Невербальные коммуникации животного мира: системный анализ жестовых языков / Е. В. Василова, А.И. Власов, Г. М. Евдокимов // Международный научно-исследовательский журнал. 2017. №5. - С. 14-23.

2. Ниренберг Д. Как читать человека, словно книгу / Д. Ниренберг, Г. Калеро. - Баку: Сада, 1992. - 37 с.

3. Лабунская В. А. Невербальное поведение. - Ростов н/д., Издательство Ростовского университета, 1986. - 136 с.

4. Девятков В.В. Интеллектуальные мультимодальные интерфейсы / В.В. Девятков, А.Н. Алфимцев. - Калуга, ООО «Полиграф-Информ», 2011

5. Пиз А. Язык телодвижений. - М.: Изд-во Эксмо, 2006. - 272 с. (Серия «Психологический бестселлер»).

6. Девятков В.В. Распознавание манипулятивных жестов / В.В. Девятков, А.Н. Алфимцев // Вестник МГТУ им.Н.Э.Баумана. Серия «Приборостроение». 2007. №3. - С. 56-60.

7. Журавлева Л.В. Визуализация творческих стратегий с использованием ментальных карт / Л.В.Журавлева, А.И. Власов // Прикаспийский журнал: управление и высокие технологии. 2013. № 1 (21). - С. 133-140.

8. Власов А.И. Системный анализ “Бережливого производства” инструментами визуального моделирования / А.И. Власов, Ю.М. Ганев, А.А. Карпунин // Информационные технологии в проектировании и производстве. 2015. № 4 (160). - С. 19-24.

9. Девятков В.В. Система распознавания жестов человека / В.В. Девятков, А.Н. Алфимцев // Труды конференции «Информатика и системы управления в XXI веке» - М.: МГТУ им. Н.Э. Баумана, 2006. - С. 8.

10. Резникова Ж.И. Язык животных: подходы, результаты, перспективы // «Языки науки - языки искусства», Сборник трудов VII Международной конференции «Нелинейный мир». - Москва, Изд-во Института компьютерных исследований. 2004. - С. 260-278.

11. Mansourian L. et al. Evaluating Classification Strategies in Bag of SIFT Feature Method for Animal Recognition // Research Journal of Applied Sciences, Engineering and Technology. 2015. Т. 10. №. 11. С. 1266-1272.

12. Valentin G. et al. Creating collar-sensed motion gestures for dog-human communication in service applications // Proceedings of the 2016 ACM International Symposium on Wearable Computers. ACM, 2016. С. 100-107.

13. Pons P. Towards Future Interactive Intelligent Systems for Animals: Study and Recognition of Embodied Interactions / Pons P., Jaen J., Catala A. //Proceedings of the 22nd International Conference on Intelligent User Interfaces. ACM, 2017. С. 389-400.

14. Зелёная игуана // Международный клуб террариумистов «Моя рептилия». Эл. ресурс. URL: http://myreptile.ru/. Проверено 23.05.2016.

15. Allison C. Alberts. Iguanas: Biology and Conservation / Allison C. Alberts, Ronald L. Carter, William K. Hayes etc. - University of California Press, 2004

16. Konrad Lorenz. Das sogenannte Bцse. Zur Naturgeschichte der Aggression. - DTV Verlagsgesellschaft. 1998.

17. Alcaidinho J. et al. Mobile Collaboration for Human and Canine Police Explosive Detection Teams //Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing. ACM, 2017. С. 925-933.

18. Терентьев П. В. Герпетология. - М.: Высш. шк. 1961. - 336 с.

19. Supalla S.J., Cripps J.H. Toward universal design in reading instruction. - Bilingual Basics, 2011.

20. Власов А.И. Картирование потока создания ценностей в концепции “Бережливого производства” / А.И. Власов, Ю.М. Ганев, А.А. Карпунин // Информационные технологии в проектировании и производстве. 2016. № 2 (162). С. 23-27.

21. Демин А.А. Методы и средства визуальных упражнений для адаптивной коррекции тонкой моторики кистей рук в условиях невесомости / А.А. Демин, А.И. Власов, В.А. Шахнов // Вестник МГТУ им. Н.Э. Баумана. Серия: Приборостроение. 2015. № 3 (102). - С. 23-38.

22. Нейрокомпьютеры в системах обработки изображений / Под ред. А.И.Галушкина, Ю.В.Гуляева - Москва, Радиотехника. 2003. - 192 с.

23. Буянов А.А. Исследование нейросетевых алгоритмов, применяемых для распознавания образов / А.А. Буянов, А.И. Власов, С.С. Макеев // Молодые ученые - науке, технологиям и профессиональному образованию для устойчивого развития: проблемы и новые решения. - Москва. 2000

24. Горелов Д.В. Современные системы распознавания регистрационных знаков транспортных средств / Д.В. Горелов, А.И. Власов // Сборник докладов Восьмой Всероссийской конференции молодых ученых и специалистов “Будущее машиностроения России”. - Москва. 2015

25. Амирханов А.В. Использование современных моделей искусственных нейронных сетей для анализа дефектов при изготовлении субмикронных СБИС / А.В. Амирханов, Р.С. Аристов, А.И. Власов и др. // Международный форум “Микроэлектроника-2016” Тезисы докладов 2-ой научной конференции форума. - 2016. - С. 296-298.

26. Панфилова С.П. Бесконтактный тепловой контроль электронно-вычислительных средств / С.П. Панфилова, А.И. Власов, В.Н. Гриднев и др. // Технология и конструирование в электронной аппаратуре. 2007. № 6 (72)

27. Власов А.И.. Нейросетевые методы дефектоскопии печатных плат / А.И. Власов, В.Н. Гриднев, П. Константинов и др. // Электронные компоненты. 2004. № 8. - С. 148-155.

28. Алексеев М.А., Арабов Д.И. Линейные модели распознавания в системах машинного зрения / М.А. Алексеев, Д.И. Арабов // Сборник докладов конференции “Будущее машиностроения России”. - Москва. 2015. - С. 366-370.

Размещено на Allbest.ru