Нейросетевая анимация эвенкийки XVII века

Размещено на http://www.allbest.ru/

Нейросетевая анимация эвенкийки XVII века

Р.А. Алексанов

В работе рассматривается технология компьютерной реконструкции и анимации внешнего облика тунгусской девушки из XVII века. В первой части представлены результаты компьютерной реконструкции внешнего облика девушки, полученные в ходе антропологического исследования краниологическим методом М.М. Герасимова.

Ключевые слова: нейронная сеть, ретопология, историческая реконструкция.

Введение

компьютерная реконструкция тунгусская девушка антропологический герасимов

На сегодняшний день история - значительная составляющая культуры каждой страны. Без знания истории человек не может полностью оценить важность вклада в развитие цивилизации того или иного народа. Большинство научных фактов по сей день мало изучены и не могут в полной мере дать достоверную картину происходящего. События последнего десятилетия заставили ученых и публицистов говорить о новом «великом переселении народов». Миграции народов и сопутствующие им видоизменения этнического состава стран, регионов и даже континентов приобрели небывалый масштаб. Эти процессы затрагивают не только такие утратившие стабильность регионы как Ближний Восток и Северная Африка, но и Европу, и значительную часть Азии.

Порой некоторым людям кажется, что если бы они жили в совершенно однородной этнической, культурной и религиозной среде, то такая жизнь соответствовала бы исторической норме и была бы совершенным благом. Культурой Дальнего Востока занимается большое количество различных специалистов - историки, антропологи, археологи и др. Используя разнообразные методы исследования, специальные устройства, они подключают сферу деятельности информационных технологий для просчета, анализа, сбора и хранения информации о том или ином факте - собирают информацию по крупицам. Исходя из последних научных данных, можно предположить, что идеальных методов исследований, приближающих исследователей к высокому проценту достоверности картины, пока нет. Таким образом, объективно существуют детали, остающиеся нераскрытыми. В данной работе будут рассмотрены антропологические методы исследования, в совокупности с информационными технологиями отражающие приближенную картину достоверности реконструкции по останкам человека.

Предварительные этапы работы над исследованием

На сегодняшний день существует множество работ, связанных с темой реконструкции, но, как правило, они статичны и не получают дальнейшего развития. Некоторые археологи-художники обходят эту проблему с помощью демонстрации процесса реконструкции. Ниже приведен пример реконструкции с помощью метода М.М. Герасимова (рис. 1).

Рис. 1. Выполнение компьютерной реконструкции облика Иоганна Себастьяна Баха.

Для представления всех этапов работы была построена диаграмма процессов выполнения исследования (рис. 2).

Рис. 2. Диаграмма процессов выполнения исследования.

Для программного решения существующих задач было выделено несколько этапов работы.

Этап получения исходной модели. На начальном этапе работы нам необходимо сравнить способы получения исходных данных для выявления лучшего. Это основной этап работы, поскольку результат конечного исследования напрямую зависит от качества исходных данных. Он дает ответы на вопросы: каким образом получить модель, какой способ лучше?

Этап исследования исходной модели. Пользуясь методами антропологического исследования останков на местности, можно выяснить некоторые особенности и свойства объекта исследования, что упростит дальнейшую работу. Этап отвечает на вопросы: как по останкам определить половую принадлежность, возраст объекта исследования на момент гибели, принадлежность его к той или иной этнической расе?

Этап реконструкции модели черепа. На данном этапе работы рассматриваются методы реконструкции объекта исследования относительно исходных данных. Дорабатывается образ исходного объекта относительно эталонных значений. Получается качественная отправная точка для начала работы с объектом. Происходит восстановление образа эталонного состояния, до деформации черепа, очистка модели от различного мусора после предыдущих этапов работы, а также осуществляется частичная процедура восстановление поверхности черепа и зубов.

Этап виртуальной реконструкции внешнего облика. Финальным этапом работы можно считать реконструкцию модели по признакам, полученным на предыдущих этапах. Рассматривается конечный результат и методы его представления для последующих сущностей. Входными данными нашего исследования является объект реконструкции - череп представителя коренного населения Приамурья, монголоидной расы, тунгусо-маньчжурской группы национальностей. После проведения реконструкции выходные данные - образ человека в виде цифрового двойника и его виртуальное представление для конечного пользователя (метаданные).

Работа над анимацией объекта исследования

В ходе дальнейшей реконструкции для упрощения процессов нанесения мышечной структуры и получение конечного результата была выбрана технология шаблонизации внешности из пакета игрового движка UnrealEngine5. Пакет шаблонов выполнен в качестве веб-сервиса с облачным рендерингом MetaHumanCreator.

Компания EpicGamesвыпустила инструмент MetaHumanCreator, cпомощью которого можно создать реалистичного виртуального человека с лицевой анимацией. Работать с ним могут не только профессиональные художники, но и обычные пользователи. С помощью MetaHumanCreatorможно проще и быстрее получить такой же результат, как и после работы в сложных SD-редакторах с множеством функций. Лица, созданные при помощи MetaHumanCreator, больше похожи на персонажей современных высокобюджетных видеоигр.

Для работы с инструментом необходимо установить клиент EpicGames, в котором будет доступны разные версии движка и контроль версий будущих проектов. Версия для работы с дополнительными модулями UnrealEngineдолжна быть не ниже 4.26.1, в том числе и сам программный модуль MetaHumanCreator.

На все установочные материалы понадобится 60 ГБ свободного места на устройстве. Чтобы установить все приложения, нужно зарегистрироваться на сайте UnrealEngine. Для этого понадобится только электронная почта, использование приложения в некоммерческих целях бесплатно. Ниже представлен пример работы с модулем (рис. 3).

Рис. 3. Пример компьютерной реконструкции cпомощью MetaHumanCreator.

Создавать персонажа в MetaHumanCreatorможно двумя способами.

Во-первых, «смешать», т.е. использовать метод смешанного пространства, для реализации которого необходимо выбрать из базы персонажей трех уже готовых и смешивать черты их лица друг с другом.

Во-вторых, «скульптурировать», - иными словами, выполнить прямое манипулирование рельефом поверхности: с помощью маркеров вручную моделировать различные области лица для получения желаемых результатов: например, поднять или опустить уголки губ, увеличить или уменьшить ширину челюсти, сделать или убрать горбинку на носу.

Переключиться между основными методами можно на нижней и боковой панели управления. Там есть инструмент перемещения - еще один вариант моделирования для сцены, который работает аналогично режиму скульптора, но перемещает большие части модели -будто захватывается несколько маркеров вместе.

Это может быть полезно, если нужно сильно изменить форму черепа или несколько черт лица сразу.

Для работы в качестве распознающего звена и построения дальнейшей ретопологической модели используются нейронные сети. В частности, хотелось бы отметить сеть Хэмминга как метод представления бинарно-матричной нейронной сети. Сеть Хэмминга - вид нейронной сети, используемой для классификации бинарных векторов, основным критерием в которой является расстояние Хэмминга. Таким образом, сеть Хэмминга представляет собой развитие нейронной сети Хопфилда, в отличие от которой выдает не сам образец, а его номер (рис. 4).

Нейронная сеть использует для обработки входных данных систему кодирования лицевых движений FACS, разработанную Полом Экманом и Уоллесом Фризером. FACS, или система кодирования лицевых движений, исчерпывающе описывающая мимику, стала единственной в своем роде за счет своей научной объективности. Она получила распространение во всем мире. Ее можно справедливо назвать золотым стандартом, который используется в различных областях знания, где речь идет о связи эмоционального состояния и его мимических проявлений.

FACSоперирует так называемыми единицами действия (ЕД), имеющими свои коды. Экман и Фризер создали систему кодирования выражения лиц путем сведения воедино всех возможных сочетаний ЕД, а также исчерпывающих правил их считывания и толкования. Система описана на 500-х страницах довольно увлекательной, но требующей максимального погружения в анализ научной работы (рис. 5).

Так, например, в ней исследованы и описаны все существующие движения губ, которые могут вытягиваться, раздвигаться, стягиваться, распластываться, сужаться и сжиматься (всего 6 возможных движений).

Рис. 5.Пример таблицы системы кодирования лицевых движений FACS.

Также уделяется внимание четырем видам состояния кожи, которая находится между щеками и глазами: изменения могут быть представлены мешками и мешочками, выпуклостями и морщинками. Авторы последовательно описывают крайне важные отличия, существующие между носогубными складками и складками под глазами, которые обязательно должен иметь в виду специалист-профайлер.

Система FACSтак успешно зарекомендовала себя как документальный и объективный подход к изучению мимики, что новые статьи на тему исследований мимических выражений и эмоций, которые не основывались на ней, попросту не публиковались в серьезных научных журналах.

На двух математически связанных системах построены компоненты для работы над идентификацией и переносом модели в структура модуля MetaHuman.

Пример работы компонента идентификации с последующим экспортом и обработкой модели на удаленном сервере представлен на рис. 6.

Рис. 6.Пример переноса модели из состояния 3D в анимированную.

Для описания работы нейронной сети необходимо выстроить диаграмму процесса идентификации (рис. 7).

Рис. 7. Диаграмма процесса обработки сетки объекта.

В ходе процесса обработки загруженной сетки осуществляется несколько этапов работы с объектом.

В первую очередь объект сравнивается с уже используемыми моделями готовых цифровых копий. Данная база насчитывает более 1000 различных лиц как известных, так и обычных людей.

На втором этапе работы подключается нейросеть, которая, получив на вход развернутую сетку объекта, с помощью теневой карты вершин выстраивает оригинальные по координатам точки, указывающие на мимические вершины по системе FACS.

На этапе идентификации объекта происходит сравнение двух сеток - загруженной и стандартной эталонной. В процессе работы выстраивается аутентичный объект со всеми свойствами и вершинами загруженной сетки.

Последним этапом работы является добавление художественных элементов, не влияющих на основную геометрию и анимацию модели.

В конечном итоге получается оригинальная анимированная модель, которую можно использовать для дальнейшей работы и исследований. Работа осуществляется как с детальными особенностями личности - текстурой кожи, волос и цветом глаз, так и с мимической составляющей воспроизведения анимации.

Практическое применение метода компьютерной реконструкции

С целью реализации цели нашего исследования было выделено несколько этапов работы: сбор исходных данных модели, реконструкция и восстановление модели черепа, этап замеров и построение соотношений между объектом исследования и его цифровым двойником, построение виртуальной головы по результирующим параметрам, уменьшение количества полигонов модели и художественная реконструкция исследуемого объекта с помощью нейронной сети.

Объектом исследования стал череп девушки тунгусо-маньчжурской расовой принадлежности, жившей в XVII веке (Владимировская эпоха). Останки были найдены в могильнике Падь Прибрежная, недалеко от сел Чесноково и Куприяново Амурской области [1 - 8].

Для каждого из этапов работы были выделены определенная технология и инструмент для реализации поставленной задачи. В качестве инструмента для сбора данных и построения цифрового двойника объекта был выбран метод фотограмметрии [9, 10]. Это отличный способ перенести объект в виртуальную среду при помощи подручных средств. Были сделаны снимки черепа в разных проекциях, перенесены в программное обеспечение «AgisoftMetashape» и воссоздано несколько проекций из облака точек, построенных на основе внесенных данных (рис. 8).

Рис. 8. Фотографии черепа (перспектива и нижняя часть).

Результатом фотограмметрии является цифровая копия объекта исследования, представленная на рис. 9.

Рис. 9.Цифровой двойник девушки на основе черепа.

Наличие зубов у объектов - редкость, поэтому по всем необходимым признакам данный экземпляр оказался подходящим для метода М.М. Герасимова. Использовались инструмент скульптинга «Zbrush» и система автоматизированного проектирования «Autodesk 3DsMax» (рис. 10).

После получения цифрового двойника исходного черепа было необходимо устранить некоторые особенности, возникшие в результате пребывания объекта в агрессивной среде дальневосточных почв [11].

Механический удар в районе теменной и височной кости, в месте чешуйчатого шва, был восстановлен, как и венечные, суставные отростки нижней челюсти. Был восстановлен прикус. На основе прикусов нижней и верхней челюсти были имплантированы зубы.

Рис. 10.Восстановленный череп девушки.

Восстановление черепа поспособствовало дальнейшей реконструкции. На этапе замеров объекта были выделены характерные черты монголоидной расы и построены виртуальные столбики для реконструкции тканей объекта. Пользуясь алгоритмом замеров из методики Герасимова, установили пол, примерный возраст на момент гибели и черты лица, указывающие на происхождение девушки (рис. 11).

Рис. 11.Параметры для реконструкции облика.

Девушка была монголоидной расы, в возрасте от 25 до 30 лет, что свидетельствовало о неестественном способе ухода из жизни (рис. 12, 13).

Рис. 12. Фотография теменной области для параметризации объекта.

Рис. 13. Метод Герасимова для установления пола и возраста объекта на момент гибели.

После получения основных параметров была выполнена реконструкция облика девушки (рис. 14). На технических этапах проведена ретопология модели cпомощью инструмента «Topogun» для уменьшения числа полигонов, что привело к легкому экспортированию модели в другие, более функциональные инструменты [7].

Рис. 14. Ретопология базовой модели внешнего облика.

Конечный этап работы - перенос модели в функциональный движок UnrealEngine5 и художественная реконструкция модели с помощью нейронной сети MetaHuman(рис. 15).

Рис. 15. Готовая реконструкция внешнего облика тунгусской девушки

С помощью этих инструментов было выполнено текстурирование объекта, автоматизированное наложение CAT-анимации на объект и добавление человеческих черт в режиме ручного взаимодействия. Получившаяся модель является реконструкцией объекта по его черепу на основе метода М. М. Герасимова с интегрированной лицевой анимацией.

Заключение

В результате работы по компьютерной реконструкции внешнего облика коренных народов Приамурья и использования методики М.М. Герасимова реконструкции лица по черепу получился цифровой двойник, отвечающий всем необходимым требованиям методики Герасимова, для дальнейшего использования в цифровых проектах [9 - 11]

В свою очередь, лицевая и скелетная анимация может понадобиться для реализации более технологичных проектов - таких, как трехмерное компьютерное моделирование защитников Албазинского острога [12 - 15]. Кроме этого, рассматриваемая методика может быть использована для решения вопросов исторического характера, поиска фактов, классификации и симуляции определенных исторических событий. Любое применение методики может стать вкладом в изучение и популяризацию истории Дальнего Востока.

Литература

1. Алкин С.В. Совместные российско-китайские исследования Троицкого могильника в Амурской области в 2004 г. // Вестник НГУ. Сер. «История, филология. Востоковедение». - 2006. - Т.5, вып. 4. - С. 132-134.

2. Деревянко Е.И. Троицкий могильник. - Новосибирск: Наука, 1977.

3. Нестеров С.П. Народы Приамурья в эпоху раннего средневековья. - Новосибирск: ИАЭТ СО РАН, 1998.

4. Шеломихин О.А. О функциональном назначении истории из средневековых памятников Приамурья // Традиционная культура Востока Азии. - 2001. - Вып. 3. - С.138-143.

5. Кравченко А.И. Социальная антропология. - М.: Академический проект, 2005.

6. Белик А.А. Культурная (социальная) антропология. - М.: РГГУ, 2009.

7. Артемьев А.Р. Города и остроги Забайкалья и Приамурья во второй половине XVII- XVIII вв. - Владивосток: Изд-во Института истории, археологии и этнографии народов Дальнего Востока ДВО РАН, 1999.

8. Русско-китайские отношения в XVII веке: Материалы и документы: В 2 т. - Т. 2 / Н.Ф. Демидова, В.С. Мясников. - М.: Наука, 1972.

9. Алексанов Р.А. Компьютерная реконструкция внешнего облика коренных народов Приамурья // Молодежь XXI века: шаг в будущее: мат. XXII регион. науч.-практ. конф. - Благовещенск: БГПУ. - 2021. - С. 750-751.

10. Алексанов Р.А. Компьютерная реконструкция внешнего облика коренных народов Приамурья // Молодежь XXI века: шаг в будущее: мат. XXIII регион. науч.-практ. конф. - Благовещенск: ДальГАУ. - 2022. - Т. 4. - С. 185-186.

11. Матвеев В.Е., Алексанов Р.А. Компьютерная визуализация облика коренных народов Приамурья // Вестник Амурского государственного университета. - 2021. - Вып. 95. - С. 45-49.

12. Еремин И.Е., Трухин В.И., Бугаев С.Н. Трехмерное компьютерное моделирование Албазинского острога периода 1684 г. I // Информатика и системы управления. - 2019. - № 4(62). - С. 10-25.

13. Еремин И.Е., Нацвин С.В., Трухин В.И. Трехмерное компьютерное моделирование Ал- базинского острога периода 1684 г. II // Информатика и системы управления. - 2020. - № 2(64). - С. 43-56.

14. Еремин И.Е., Нацвин С.В., Трухин В.И., Лохов А.Ю. Трехмерное компьютерное моделирование Албазинского острога периода 1684 г. III // Информатика и системы управления. - 2020. - № 3(65). - С. 14-25.

15. Еремин И.Е., Нацвин А.В., Трухин В.И., Черкасов А.Н. Трехмерное компьютерное моделирование Албазинского острога периода 1684 г. IV // Информатика и системы управления. - 2020. - № 4(66). - С. 3-16.

Размещено на Allbest.ru