Ключові умови та характеристики формування доповненої реальності

Размещено на http://www.allbest.ru/

Ключові умови та характеристики формування доповненої реальності

Фоміна К. О.

Харківська державна академія дизайну і мистецтв

Метою дослідження є виділення ключових умов дизайну мультимедійної системи, за наявності яких вона створює доповнену реальність (augmented reality, скорочено AR).

Методологія дослідження ґрунтується на застосуванні загальнонаукових методів дослідження. Аналіз наукових робіт за темою та аналіз вибірки мультимедійних проєктів, які використовують технології для створення AR, спрямований на визначення особливостей утворення доповненої реальності. мультимедійний дизайн доповнена реальність

Результати. Проведено аналіз публікацій, що розглядають явище доповненої реальності та визначають місце доповненої реальності в різних континуумах. Виявлено характеристики на базі технологій, якими наділяють AR системи: можливість реєстрації, обробки та відстеження. Визначено умови формування AR як явища. На прикладі ситуацій, коли застосовуються ті ж технічні засоби, що і для утворення доповненої реальності, та аналізу проєктів з AR обґрунтовано важливість одночасної наявності віртуальних даних, наративу та контексту. Виділено дві характеристики віртуальних даних у AR: інтерактивність та актуальність. Розглянуто опосередкований вплив інтерактивності на контекст та відмінність сутності доповненої реальності від звичайної цифрової модифікації. Опрацьовано різнобічні випадки оптичного та відеозмішування, зокрема, звичайні та 3D-проєкції, 3D-меппінг, доповнені зображення. Доведено, що утворення наративу є обов'язковою умовою створення доповненої реальності та зв'язком між віртуальними даними та контекстом.

Наукова новизна роботи полягає у визначенні умов формування доповненої реальності та характеристик компонентів, які утворюють AR.

Практична значущість одержаних результатів полягає в тому, що перевірка на відповідність умовам та характеристикам дозволяє відокремити проєкти з доповненою реальністю від інших видів мультимедіа.

Ключові слова: цифрове мистецтво; мистецтво «віртуального простору»; сучасне мистецтво; доповнена реальність; мультимедійний дизайн; AR проєкт; 3й-меппінг; аудіовізуальна проєкція.

KEY CONDITIONS AND CHARACTERISTICS OF THE AUGMENTED REALITY FORMATION

Kharkiv State Academy of Design and Arts The purpose of the study is to highlight the key conditions of the design of a multimedia system, which are created an augmented reality.

Results. With the advent of a wide variety of multimedia projects, it is not always clear which of them belong to augmented reality. Some multimedia use only similar technologies, such as projections, but there is no question of augmented reality. On the example of simple and visual projections, as well as other projects, consider at what point the phenomenon of augmented reality occurs. The analysis of publications that consider the augmented reality and determine the place of augmented reality in various continuums is carried out. Has been determined the conditions for the AR formation as a phenomenon. We discuss the importance of the simultaneous presence of virtual data, narrative, and context. There were also indicated the significance of the relevance of virtual data for AR, the indirect influence of interactivity on the context, and the difference between the essence of augmented reality and ordinary digital modification. Various cases of optical and video mixing are considered conventional and 3D projections, 3D mapping, augmented images. It has been proven that the formation of a narrative is a prerequisite for creating augmented reality and the connection between virtual data and context.

Keywords: digital art; multimedia design; AR projects; audiovisual projection; SAR; mixed reality.

КЛЮЧЕВЫЕ УСЛОВИЯ И ХАРАКТЕРИСТИКИ ФОРМИРОВАНИЯ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Харьковская государственная академия дизайна и искусств

Целью исследования является выделение ключевых условий дизайна мультимедийной системы, при наличии которых она создает дополненную реальность.

Результаты. Проведен анализ публикаций, рассматривающих явление дополненной реальности и определяющих место дополненной реальности в различных континуумах. Выявлены характеристики на базе технологий, которыми наделяют АК системы: возможность регистрации, обработки и отслеживания. Определены условия формирования АК как явления. На примере анализа ситуаций, когда применяются те же технические средства, что и для создания дополненной реальности, а также анализа проектов с АК обоснована важность одновременного наличия виртуальных данных, нарратива и контекста. Выделены две характеристики виртуальных данных в АК: интерактивность и актуальность. Рассмотрено опосредованное влияние интерактивности на контекст и отличие сущности дополненной реальности от обычной цифровой модификации. Разобраны разносторонние случаи оптического и видеосмешивания, в частности обычные и 3D-проекции, 3D- меппинг, дополненные изображения. Доказано, что образование нарратива является обязательным условием создания дополненной реальности и связью между виртуальными данными и контекстом.

Практическая значимость результатов заключается в том, что проверка соответствия условиям и характеристикам помогает отделить проекты с дополненной реальностью от других видов мультимедийных проектов и прочих видов использования похожих технологий. Ключевые слова:цифровое искусство; искусство «виртуального пространства»; современное искусство; дополненная реальность; мультимедийный дизайн; AR проекты; аудиовизуальная проекция.

Вступ

Більшість робіт, присвячених AR, розглядають місце цієї реальності щодо інших, її технологічні особливості, деякі проєкти та підходи, але не дають чіткого переліку умов, які б дали змогу віднести той чи інший проєкт до AR. Не технічні засоби, якими втілено проєкт, а концепція, яка стоїть в основі є ключовою в цьому питанні. Метою статті є визначення мінімального переліку умов до дизайну сучасної мультимедійноїсистеми, за наявності яких вона створює доповнену реальність.

AR, як явище та відповідні технології для втілення виникли значно раніше, але термін «доповнена реальність»(«augmented reality») був введений у компанії «Боїнг» (Boeing) в 1990 році дослідником Томом Коделом (Tom Caudell)та Девідом Мітчеллом (David Mizell). Вони запропонували альтернативу дорогим схемам та маркувальним пристроям, які тоді використовували для інструктажу робітників на виробництві літаків. У роботі, де вони пропонують новий термін «Доповнена реальність» (Augmented Reality, AR) [5, p. 659], зазначено, що: «... ця технологія дає змогу накладати та стабілізувати створену комп'ютером схему на конкретне місце на реальному об'єкті». Автори зазначають, що технологія AR використовується для «доповнення» зорового поля користувача інформацією, необхідною для виконання поточного завдання. Уточнюють, що відмінність AR від «повної» віртуальної реальності (VR) у концепції «доповнення» реальності. Концепція полягає у використанні віртуальних графічних об'єктів, більшій мобільності та доступності технічних компонентів. Зважаючи на простоту графіки, що відображалась у той час, відбувалась економія обчислюваних потужностей, бо замість генерації кожного видимого пікселя (як у VR), відтворювалася лише невелика кількість та накладалася на оточення користувача.

Подальші розвідки технологій втілення AR уточнювали її визначення та місце у різних континуумах. У 1994 р, у своїй роботі, Пол Мілгрем (Paul Milgram) та співавтори запропонували класифікацію дисплеїв та концепцію континууму реальності-віртуаль- ності (RV) у межах якого було визначено позицію AR [9, p. 282]; виділили три важливі фактори гіперпростору для визначення різних AR/AV систем [9, p. 287]: реальність, занурення, безпосередність; запропонували 3D-таксономію, за допомогою якої можуть бути зображені AR/AV системи в термінах (мінімально) багатовимірного простору: обсяг знань про світ, у якому показуються об'єкти (EWK); точність та якість відтворення (графіки), реалізму ^);ступінь метафори присутності (EPM).

В 1997 році Р. Азума публікує огляд, у якому підсумовує наявні на той час публікації про AR. Азума робить декілька важливих узагальнень та пропонує три ключові вимоги до AR системи [1]:

1. Поєднує реальне і віртуальне;

2. Інтерактивна в реальному часі;

3. Зареєстрована в 3D (просторі). Визначення Азуми дає змогу використовувати різні технології для втілення AR. Він роз'яснює, що такі вимоги не враховують фільми чи двовимірні накладання (наприклад, комбінація реального відео та комп'ютерних моделей чи ефектів у кіно, або накладання поверх відео в режимі реального часу), однак, допускають інтерфейси на основі монітору, монокулярні системи, прозорі HMD та різні інші технології комбінування.

Стів Манн у 1994 р. вводить концепцію Опосередкованої реальності (Mediated Reality), яку доповнює у 2002 р. та у 2018 р. формулює концепцію «Все-реальності», яка включає й усі попередні [8]. У континуумі «Опосередкованої реальності» вздовж осі X розташовується RV континуум Мілгрема, а вздовж осі Y - обсяг фільтрації, посередництва, обробки реального або віртуального оточення; у межах цих осей і формується AR.

Ще один різновид класифікації AR представлений у мапі «Метаверс» (Metaverse) [16], побудованій на базі концепції Ніла Стівенсона (Nil Stephenson) про зближення практично посиленої фізичної реальності та фізично стійкого віртуального простору. Мапа «Метаверс» спирається на континууми технологій - від доповнення до моделювання та симуляції, близькості від внутрішнього до зовнішнього, від особистого (ідентичність) до орієнтованого на світ.

Хосе Браз та Хуан Перейра у 2008 [4] представили TARCAST, таксономію, засновану на ідеї, що будь-яка система AR може бути сформована із шести підсистем, які можна охарактеризувати за допомогою наявних таксономій. Ці підсистеми включають; збір зображень (Image Acquisition), генератор віртуальних моделей (Virtual Model Generator), підсистему змішування реальностей (Mixing Realities Subsystem), дисплей (Display), маніпулятор реальністю (Real Manipulator) та підсистему відстеження (Tracking Subsystem).

У 2011 р. Олів'є Х'ю (Hugues) та колеги [7] представили таксономію середовищ AR на основі функціонального призначення. Вони поділяють середовища на дві окремі групи, перша стосується посиленого сприйняття реальності, а друга - створення штучного середовища. Вони ставлять запитання, що саме доповнюється в реальності, якщо реальність це все навколо? І пропонують свою відповідь: «Доповнюється не реальність, а сприйняття реальності.» [7, с. 2] І навіть формують свій термін - «Доповнене сприйняття». Про це зазначав ще у 2002 р. С.К. Фейнер (S.K.Feiner):«Доповнена реальність належить до комп'ютерних дисплеїв, які додають віртуальну інформацію до сенсорного сприйняття користувачів.» [6].

Жан-Марі Норманд із співавторами у 2012 р. [11] пропонують таксономію AR на основі чотирьох осей; (1) необхідне відстеження, (2) тип доповнення, (3) вміст, що відображається в AR, і (4) невізуальні модальності візуалізації. Перелічені молоді таксономії не такі відомі, але пропонують альтернативний погляд на те, як можна охарактеризувати AR. У своєму огляді [2], який підсумовує 50-т років напрацювань у сфері AR, Марк Біллінгхерст із співавторами зосереджують свою увагу на технічних розробках та відповідному втіленні в наукових та побутових проєктах. Багато сучасних науковців досліджують доповнену реальність: М. Л. Опалєв [13] розглядає AR у контексті меппінгу та архітектурних проєкцій, Т. Міронова [10] та М. Новіков [12] визначають роль AR у сучасній образотворчості, С. Піранделло [14] досліджує питання сторітелінгу в AR тощо.

Результати дослідження

Визначення доповненої реальності носить доволі загальний характер, але нами було розглянуто достатньо таксономій, щоби сформулювати модель утворення доповненої реальності та визначити, що з наявних явищ може відноситися до AR, а що не відповідає її умовам. На думку автора, головними умовами для утворення системи доповненої реальності (рис. 1) є: наявність контексту, віртуальних даних, та наративу. Контекст - це зв'язок із реальністю, що може проявлятися через середовище (наприклад, через координати GPS), або об'єкт у ньому - «прив'язка» («registration»), як назвав Олівер Бімбер подібний зв'язок [3]. Об'єктом може виступати як тривимірний фізичний предмет, обличчя тощо, так і двовимірне зображення (маркер) на розпізнавання якого налаштована система. Під віртуальними даними В цій статті поняття даних та інформації не розділяються та розглядаються як синоніми. мається на увазі будь-яка цифрова інформація, що використовується для «доповнення» дійсної реальності. Доповнення зазвичай відбувається у вигляді візуальної інформації, але можливий вплив і на інші органи чуття. Вона може бути як статична (наприклад, попередньо створені аудіозаписи, 3D- моделі, графіка чи відеозаписи), так і згенерована в реальному часі. Може нести повідомлення, образи або лише естетичні переживання. Зв'язок між контекстом та віртуальними даними проявляється в утворенні наративу. Наратив дає розуміння як поєднуються між собою контекст та дані, і саме його наявність, як третя умова, сигналізує, що це доповнена реальність. Не слід плутати наратив із присутністю в проєкті сюжету. Сюжет, як система подій у мультимедійному творі, не пов'язаний з утворенням наративу між контекстом та віртуальними даними й може бути взагалі відсутній.

Рис. 1. Умови утворення доповненої реальності.

Схема складається з віртуальних даних, контексту в середовищі та наявності між ними наративу

Існують два способи візуального сприйняття доповненої реальності: безпосередньо органами зору або за допомогоюпристрою-посередника (камери, спеціальних окуляр, шолома і т. ін.). Відповідно, існують і два способи створення доповненої реальності:оптичне та відеозмішування.

Для того, щоби показати людині доповнену реальність без пристрою- посередника використовують різні технічні засоби, зокрема, був сформований окремий напрям «проекційної доповненої реальності» (Projected Augmented Reality). Однак, не кожна проекція мае відношення до доповненої реальності. Далі буде розглянуто різні варіанти проекцій та пояснено в який момент виникає наратив.

«А». Пласка проєкція на поверхню. Проекція, як спосіб відображення, не гарантує створення AR. Наприклад, підчас проекції фільму на будь-яку поверхню (рис. 2): стіну, підлогу, стелю для глядача не важливо куди саме він проектуеться, головним е його зміст. Така проекція не доповнюе реальність у тому сенсі, що їй байдуже те середовище, у якому проходить трансляція. Середовище, до якого люди приходять спеціально для перегляду проекції - кінотеатр. Однак, навіть коли фільм транслюеться в межах певної конструкції, спеціально виготовленої для цієї мети, наприклад, у відкритому кінотеатрі (рис. 3), доповнення не відбувається. Головним залишається сюжет фільму, саме заради нього, а не конструкцій приходять глядачі.

«Б». Проєкція 3D-фільму в кінотеатрі. Кіно із тривимірними сценами більш занурене в середовище, у якому воно транслюється, як наприклад, фігура динозавру, що виринає з екрану підчас перегляду 3D-фільму (рис. 4). Хоча зображення і тривимірне, проте воно, насправді, не намагається якось доповнити саме поточну реальність. Навпаки, це глядачі занурюються у реальність фільму та отримують змогу відчути об'ємність його елементів.

«B». Проєкція з прив'язкою до предмету. Одні й ті ж віртуальні дані можуть як утворювати доповнену реальність, так і не утворювати. На зображенні (рис. 5) показаний той самий фільм, що й на прикладах вище, який транслюється в порожню раму, яка стоїть на столі. У цьому прикладі змінився контекст. Важливим стало не стільки те «що» зображується, а й «де» зображується. Рама на столі стала частиною розповіді. Глядач спостерігає історію про раму з рухомим, мінливим змістом і ця прив'язка віртуального до реального і є тим ключовим моментом, що формує доповнену реальність.

Що саме показує трансляція в цьому прикладі не так важливо, якщо є чітка прив'язка до середовища. Якщо ж проєкція не враховує форму об'єкта, тобто контекст, наприклад, як проєкція https://projects.jennyholzer.com/projections/blenheim-palace- 2017/gallery#4 (дата звернення: 20.09.2021). Джені Холзер (Holzer) на Палац Бленгейм у 2017 р. (рис. 9), вона не створює AR. Доповнену реальність може утворювати будь-яке мультимедійне зображення, текст, абстракція чи образна ілюстрація, якщо їхня мета доповнити по - верхню і врахований контекст розміщення.

Рис. 2. Приклад проєкції фільму на поверхню стіни. Авторський колаж на базі зображень @pimchu та @ironstagram з ліцензією від unsplash

Рис. 3. Приклад проєкції фільму в авто-кінотеатрі. Авторський колаж на базі зображень @jona_schm та @ironstagram з ліцензією від unsplash

Рис. 4. Приклад проєкції 3D^mbMy у кінотеатрі. «Barzelletta - Film in 3D», 2014 https://proverbimilanesi.blogspot.com/2014/09/barzeNetta-film-in-3d.html (дата звернення: 20.09.2021). https://www.essexlive.news/whats-on/whats-on-news/scary-projector-puts-terrifying-images-581531 (дата звернення: 20.09.2021).

Рис. 5. Приклад проєкції у порожню раму. Авторський колаж на базі зображень @ironstagram з ліцензією від unsplash та зображення для вільного використання з free-mockup.com

Рис. 6. Приклад проєкції на поверхню з урахуванням контексту. © ATMOS FX, 2017⁴

Рис. 7. Приклад проєкції з інтерактивними елементами на поверхню. «JCB Interactive projection wall».

The Rightclick Innovations, Індія, 2018 ⁵

Рис. 8. Пісочний стіл із проєкцією. Movie Power Technology Co, Китай, 2020.⁶

Рис. 9. «Проєкція на Бленгеймський палац». Джені Холзер, Англія, 2017.⁷

Рис. 10. Приклад проєкції, що враховує геометрію будівлі та використовує плитку фасаду як основу для анімацій. «555 KUBIK | facade projection». Urbanscreen, Гамбург, Німеччина, 2009 ⁸

Рис. 11. Фрагмент відео «WWF - Coca-Cola Arctic Home Campaign - Augmented Reality», WWF, Лондон, Англія, 2013 ⁹

Рис. 12. Водяні лазерні екрани. «Water Screens - Laservision Specialty Mediums». Laservision, Дубаї,

«Г». Проєкція на поверхню з урахуванням контексту. У рекламі проєктора ATMOS FX (рис. 6), за допомогою якого пропонують прикрасити лякаючими проєкціями свій дім до Хелловіну, на стіну накладене спеціально підготовлене відео, у якому руки, наче, виринають зі стіни, а потім знову зникають. У наведеному прикладі площина стіни та проєкція утворюють рівноправну єдність і важливо «що» зображується та «де». Із варіантів «В» та «Г» видно, що баланс зв'язку між змістом та контекстом може варіюватись.

«Д». Проєкція з інтерактивними елементами на поверхню. У проєкті «JCB Interactive projection wall»¹¹ компанії The Rightclick Innovations користувач може взаємодіяти з частиною проєкції та активувати показ додаткової інформації, а завдяки натягнутому полотну, дія «натискання» відчувається більш природною (рис. 7). У системах, що передбачають інтерактив, окрім контенту можливе відображення й елементів управління як у вигляді складових самої проєкції так і окремих елементів. Хоча наведений приклад проєкції дуже схожий на варіант «А», у ньому з'являється важливий елемент - інтерактивність. Ще Р. Азума зазначає, що одна з характеристик AR - інтерактивність в реальному часі, але проєкції найчастіше використовуються в поєднанні зі статичним контекстом (з технічних причин), і живий відгук на зміну положення об'єкта прив'язки у просторі лише мається на увазі. При застосуванні камери інтерактивність та прив'язка до простору проявляються помітніше. Базова інтерактивність передбачає лише коректне відображення у просторі, на подальших ступенях з'являється можливість реактивної та множинної взаємодії.

Завдяки можливості керувати проєкцією, опосередкованостінапочинає враховуватись як контекст для проєкції. Це та реальна поверхня, з якою насправді взаємодіє користувач, коли «натискає» елемент управління на проєкції. Інші приклади простих AR проєкцій, що схожі на варіанти «Г» чи «Д»: проєкція квітів, риб та озера на екран із водою¹², інтерактивні ігри, які враховують поверхню, наприклад, «класики» або проєкційні пісочні столи http://www.movie-power.com/etxl/arsp.html (дата звернення: 20.09.2021). (рис. 8) тощо.

«Е». Відеомеппінг, 3D-MenniHr. Цей напрям в аудіовізуальному мистецтві, що представляє собою 3D-проєкцію на фізичний об'єкт з урахуванням його геометрії та розташування в просторі, може формувати доповнену реальність. У проєкті https://vimeo.com/5595869 (дата звернення: 20.09.2021). від студії Urbanscreen, що розробила проєкцію на Галерею сучасного мистецтва «Гегенварт» у 2019 р. [17], показаний 3D-меппінг, який демонструє конституцію та просторове сприйняття цього місця за допомогою самої будівлі. Велетенські руки грають із плитками на стіні галереї (рис. 10). Плитки вдавлюються, виступають, або й геть зникають для показу інших фрагментів історії. Завдяки анімації та накладанню тривимірної проєкції виникає відчуття того, що будівля оживає. Отже, 3D- меппінг може створювати доповнену реальність, якщо своїми даними, що проєктуються, він доповнює базову реальність (простір або конкретні об'єкт / об'єкти), тобто враховує контекст у такий спосіб, що утворюється новий наратив.

«Ж». Водяні екранні проєкції. Поверхня для проєкції може бути не лише твердою та сталою, а й рухомою й нестабільною. У Дубаї у 2017 р. на фестивалі «Imagine» пройшло найбільше у світі лазерне шоу, підготовлене компанією Laservision. Воно проєктувалося на поверхню величезного водяного 360° екрану [18]. У цьому шоу можна було зазначити тонку межу між звичайною проєкцією та AR-проєкцією. Деякі фрагменти анімацій справляли справжнє враження доповнення, коли великі фігури прямували крізь натовп, або коли гігантські риби наче пірнали у воду навколо екрану, що виглядало ще ефектніше через віддзеркалення водяного екрану у воді, посеред якої він споруджений. Інші фрагменти, наприклад, відеоголови - використовували поверхню лише як екран, не створюючи при цьому ефекту AR (рис. 12).

«И». Багатокомпонентна система доповненої реальності. Проєктор - лише засіб для відображення, його наявність для створення AR не обов'язкова. WWF та Coca- cola¹⁵ влаштували в Науковому музеї Лондону AR-інсталяцію підчас кампанії для збереження арктичного льоду «the Arctic Home Campaign» у 2013 р. Спеціальні камери зчитували зображення людей у певній точці простору, які потім за допомогою технічних засобів комбінувались із тривимірними моделями віртуальних білих ведмедів, що, наче, знаходилися поруч і результат транслювався на великий екран, де глядачі та учасники в реальному часі бачили як вони, наче, взаємодіють зі звірями. На рис. 11 зображено фрагмент відео, яке демонструє те, що бачать учасники навпроти себе на екрані. Насправді ж вони стоять на білій тканині, яка імітує лід, а навкруги лише темна підлога. У цьому прикладі не важливо яким є екран (чи він електронний, чи зображення подається на площину через проєктор), бо він використовується лише як засіб відображення створеної AR. Головне, що фігури людей наживо виступають як прив'язка до реальності та створення доповнення. Саме їх участь перетворює показ анімаційного ролику на доповнену реальність.

Система доповненої реальності - це сукупність елементів, що пов'язані між собою та утворюють єдність, яка забезпечує умови створення та відображення доповненої реальності. Електронний дисплей, проєкція або інші подібні пристрої, що входять до складу системи доповненої реальності, можуть виконувати різні функції, в залежності від задуму та від того, чи вписані вони в оточуючий контекст. Наприклад: дисплей, як втілення віртуальної реальності - варіант «В», як інструмент взаємодії з реальністю - варіант «Д», як спосіб відображення результату - варіант «И».

«К». Цифрова модифікація та зображення на екрані пристрою. Багато сучасних додатків/програм використовують камеру пристрою для отримання інформації з навколишнього середовища, але не всі з них створюють АК наприклад, зчитування QR-коду камерою та відкриття посилання. Лише використання інформації з реального світу не достатня умова для формування А^ Наприклад, цифрові фільтри для обробки зображення з камери, змінюють його та вносять нові дані у режимі реального часу, але не формують А^ Хоча цифрова інформація (дані про колір пікселів) і піддається модифікації, проте вона жодним чином не враховує контекст, тобто середовище або людей у ньому, адже алгоритм не відрізняє людей від інших пікселів. Не створюють AR і електронні окуляри, які накладають на зображення фільтр та роблять світ чорно-білим, або окуляри Стреттона, які завдяки системі лінз показують зображення перевернутим. Маски ж на обличчя, які застосуються підчас зйомки в мобільних додатках, навпаки, формують А^ Вони поєднують віртуальні зображення з реальним обличчям, розпізнаючи його серед інших об'єктів у кадрі та враховуючи його положення та дії.

«Л». Навігаційні системи. Доповнену реальність можна зустріти не лише в розважальній та мистецькій сфері, а й у повсякденному житті, наприклад, проєкції на скло автомобіля, літака, візора пілота тощо. У системах, де зручність та швидкість реагування має значення, потрібно прискіпливо ставитися до впливу контексту розміщення:місце розташування на поверхні, чи буде накладена інформація затуляти важливу інформацію ззовні тощо. Контент у таких AR-системах демонструє якісну характеристику віртуальних даних - актуальність. Що саме вважати актуальним залежить від конкретної системи. Якщо мова йде про паркування - актуальною є відстань до сусідньої машини в цей момент часу, а якщо про 3D-меппінг, то відповідність проєкції геометрії поточного об'єкту. Актуальними слід вважати дані, найбільш відповідні та корисні в поточний момент часу в умовах контексту їх існування.

«М». Електроннийбейдж.

М. Шнабель розділяє континуум віртуальності на більш дрібні частини, та відносить проєкт бейджу [15] до «посиленої реальності», яка передує AR, хоча самі автори проєкту ніяк не атрибутують його відносно будь-яких реальностей. За сформульованими вище умовами можна перевірити можливість чи неможливість вважати його проєктом із доповненою реальністю. Електронний бейдж знаходиться на стику технологій та відноситься до категорії носимих пристроїв ^егаЫе). Це спеціальний технічний пристрій у вигляді дерев'яного беджу електронним

екраном, що кріпиться до одягу власника, та іншого прихованогообладнання й повідомляє іншим особам певну актуальну інформацію про свого носія. Бейдж перебуває при власнику, вбудований у контекст одягу, відображає певні дані, що можуть змінюватися залежно від інформації, що надходить, й однозначно асоційований із власником (наприклад, з індикації можна дізнатись про готовність, чи неготовність до бесіди). Незважаючина незвичність впровадження, такийприклад можна цілком вважати складовою системи доповненої реальності. Якщо припустити, що інформація на бейдж надходить через проєктор, розміщений на маленькому дроні, який весь час літає за господарем, або з'являється при наведенні на бейдж камери телефону - зберігається головна ідея (показ актуальної інформації про конкретну людину) та прив'язка до бейджу і людини загалом. Тобто реальність у цьому випадку доповнюється, хоч і не зовсім звичним набором компонентів системи. Якщо змінити умови цього прикладу й статус готовності до бесіди відображати на екрані монітору його власника - доповнення реальності не відбудеться. У зміненому прикладі відсутній однозначний зв'язок із людиною та «вбудованість» монітору в середовище. Він не виступає втіленням АК не є інструментом взаємодії з АК і не відображає результат доповнення, адже не відбувається доповнення реального об'єкту віртуальними даними. З погляду прив'язки до людини, як контексту, цей зв'язок дуже слабкий.

З наведених варіантів «И» та «М», можна заключити, що якщо зміна технічного засобу відображення не змінює суті наративу, такою заміною можна знехтувати, наприклад, заміна електронного дисплею на проєкцію тощо.

«Н». Окуляри змішаної реальності. Окуляри це тільки засіб для перегляду даних, і відповідно, не всі дані, які можна переглядати, «доповнюють» реальність чи взагалі враховують її. В одному із прикладів застосування https://www.microsoft.com/en-us/hololens (дата звернення: 15.08.2021). жінка ремонтує труби під умивальником, а поряд у просторі «висить» плеєр з елементами управління й чоловік у кадрі плеєру розказує щось пов'язане з її роботою. Доповнює реальність не саме відео, а плеєр, який позиціонується в просторі відносно окуляр. Якщо ж подібні окуляри затемняться й будуть показувати якийсь текст або зображення перед очима, без врахування простору, це вже буде не AR, а лише перегляд віртуальної інформації.

«П». Доповненізображення.

Студенти кафедри мультимедійного дизайну ХДАДМ під керівництвом М.Л. Опалєва у 2020 р. розробили проєкт¹⁷ з доповненою реальністю, що дав змогу оживити фігури на фризі будівлі COAC у Барселоні. Фігури «Фризу Гігантів» на фасаді Нової Площі отримали 3D-об'єм, а «Дитячий фриз» на фасаді вулиці Carrer dels Arcs стрімку анімацію. Анімація повністю відповідає геометрії фасаду та підлаштовується під ракурс камери. У цьому прикладі анімації міцно пов'язані з зображеннями на фасаді та підлаштовуються під ракурс спостереження та створюють AR способом відеозмішування.

Так чи інакше, для того, щоби стати видимими, віртуальні об'єкти, які доповнюють реальність мають повністю або частково перекривати реальні об'єкти. Такий підхід використовують у мультимедійномудизайні/мистецтві.

Зображення слугує прив'язкою до реального середовища та позиції в просторі. Реагуючи на такий маркер, програма накладає поверх нього те саме або видозмінене зображення, доповнене мультимедійними даними, анімаціями, ефектами тощо. Оригінальне зображення за цих обставин може бути частково видиме, або повністю перекрите новою версією.

«Р». Аудіальні та тактильні дані. Утворення доповненої реальності можливе не лише завдяки доповненню реальності візуальними даними. Аудіальні дані також можуть ставати доповненням реальності окремо від інших, але їх зазвичай використовують у поєднанні з візуальними даними. Можна говорити про доповнення середовища аудіальними даними з метою створення певного внутрішнього відчуття або занурення в уявне середовище. Для створення доповненої реальності аудіоінформація має відповідати тим самим умовам, що й візуальна. Бути прив'язаною до базового простору чи предмету, утворювати з ним певний наратив.

Сприйняття можливе й іншими органами чуття, тому інформація може бути також тактильною, нюховою або смаковою. Проте, чи утворює вона доповнену реальність казати складно. Вироблені певним пристроєм молекули речовини з певним смаком абсолютно реальні, як і молекули запаху. Тактильні відчуття більш віртуальні, адже об'єкти, яких торкаються, не мають реальної поверхні, а відчуття поверхні імітовані. Коли почнуть використовувати нейроінтерфейси для того, щоб передавати в мозок уявлення про смак та запах без їх реальної наявності у вигляді молекул для зчитування, такі системи більше будуть відповідати умовам формування доповненої реальності, адже інформація про смак та запах стане віртуальною.

Висновки

Визначено три обов'язкові умови формування доповненої реальності: наявність віртуальних даних, наративу та контексту. Візуалізація віртуальних даних передбачає використання технічних засобів, однак використання конкретного обладнання не гарантує створення АК За умови збереження суті наративу, технічні засоби в системі можуть змінюватись. Засіб відображення (дисплей) у ДК-системі може бути використаний для втілення АК бути інструментом взаємодії з АК або відображати результат доповнення. Віртуальні дані в АК системі мають бути вбудовані в контекст, яким може виступати як і саме середовище, так і конкретний об'єкт у ньому. Результатом їх якісної взаємодії стає виникнення наративу між контекстом та віртуальними даними, що і призводить до формування доповненої реальності.

Встановлено важливі характеристики складових доповненої реальності: актуальність та інтерактивність. Актуальність - якісна характеристика віртуальних даних, вона посилює зв'язок між даними та середовищем. Визначення необхідного ступеня актуальності залежить від проєкту. В одних проєктах віртуальним даним достатньо відповідати зовнішнім параметрам середовища - враховувати форму, ракурс, топологію поверхні, в інших актуальною має бути й сама інформація, що оновлюється наживо, відповідно до поточних обставин.

Прив'язка даних до контексту може відбуватись явно або опосередковано, завдяки наявності в AR системі інтерактивності. Можливість реактивної або множинної взаємодії з елементами системи дає змогу визначити наратив, а, отже, формує AR навіть у тих випадках, коли зв'язок між даними та контекстом лише формальний. Базова інтерактивність також передбачає, що накладені віртуальні дані підлаштовуються до контексту та реагують на зміни у ньому, будь-то зміна ракурсу або переміщення об'єкту прив'язки. Визначені умови дозволяють відділити проєкти з AR від інших. Розмаїття сучасних мультимедійнихпроєктівпотребує подальших досліджень та класифікації як у рамках доповненої реальності, так і поза нею. Поза увагою даної статті залишилось багато проєктівна стикунапрямів, наприклад мультимедійні перформанси, просторові світлові проєкти тощо. Всебічного розгляду потребують і сучасні проєкти з доповненою реальністю, різнобічні та різноманітні за тематикою та характеристиками.

Література

1. Azuma R. T. A Survey of Augmented Reality Abstract. Journal of Materials Chemistry A. 2018. Vol. 6, No. 6. P. 2792-2796. DOI: 10.1039/c7ta11015d.

2. Billinghurst M., Clark A., Lee G. A survey of augmented reality. Foundations and Trends in Human-Computer Interaction. 2015. Vol. 8, No. 2-3. P. 73-272 DOI: 10.1561/1100000049.

3. Bimber O., Raskar R., Inami M. Modern approaches to augmented reality: ACM SIGGRAPH 2007 Papers - International Conference on Computer Graphics and Interactive Techniques, 07. P. 1-111. DOI: 10.1145/1281500.1281628.

4. Braz J. M., Pereira J. M. Tarcast: Taxonomy for

augmented reality casting with web support. The International Journal of Virtual Reality. 2008. Vol. 7, No. 4. P. 47-56. URL:https://www.inesc-id.pt/

ficheiros/publicacoes/4625.pdf.

5. Caudell T. P., Mizell D. W. Augmented reality: an application of heads-up display technology to manual manufacturing processes: Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, Kauai, HI, USA, 92. P. 659-669. DOI: 10.1109/HICSS.1992.183317.

6. Feiner S. K. Augmented reality: A new way of seeing. Scientific American. 2002. No. April. P. 5262. DOI: 10.1038/scientificamerican0402-48.

7. Hugues O., Fuchs P., Nannipieri O. New

Augmented Reality Taxonomy: Technologies and Features of Augmented Environment: Handbook of Augmented Reality. Springer, 2011.21 p.

8. Mann S., Furness T., Yuan Y., et. al. All Reality: Virtual, augmented, mixed (X), mediated (X,Y), and multimediated reality. arXiv. 2018. No. X. 14 p. URL: https://arxiv.org/abs/1804.08386.

9. Milgram P., Takemura H., Utsumi A., et. al. A class of displays on the reality-virtuality continuum: SPIE Proceedings Volume 2351: Telemanipulator and Telepresence Technologies, Boston, MA, United States, 95. P. 282-293. DOI: 10.1117/12.197321.

10. Mironova T. V. Innovations in Ukrainian Modern Art: New Technologies. Contemporary Art. 2019. No. 15, P. 149-158. DOI: 10.31500/23098813.15.2019.185933.

11. Normand J. M., Servieres M., Moreau G. A new typology of Augmented Reality applications: ACM International Conference Proceeding Series, 12. P. 1-8. DOI: 10.1145/2160125.2160143.

12. Novikov M. Fields of the practical AR technology usage in the fine arts. Humanities science current issues. 2021. Vol. 3, No. 38. P. 28-33. DOI: 10.24919/2308-4863/38-3-5.

13. Opalev M. Structure and Features of Audiovisual Content Design of Architectural 3D-mapping. Visnik Harkivs'koi derzavnoi akademii dizajnu i mistectv. 2021. Vol. 2021, No. 1. P. 30-42. DOI: 10.33625/visnik2021.01.030.

14. Pirandello S. A Journey into Artworks: Storytelling in Augmented Reality and Mixed Reality. Cinergie - Il Cinema e le altre Arti. 2021. Vol. 10, No. 19, SE-Special. P. 135-145. DOI: 10.6092/issn.2280-9481/12219.

15. Schnabel M. A., Wang X., Seichter H., et. al. From virtuality to reality and back. Proceedings of the International Association of Societies of Design Research. 2007. P. 1-15. URL: http://cumincad. scix.net/data/works/att/b840.content.07392.pdf.

16.Smart J. M., Cascio J., Paffendorf J. Metaverse roadmap overview, 2007:Веб-сайт. URL:

http://www.metaverseroadmap.org/overview/ (дата звернення: 15.10.2020).

17. Urbanscreen. Urbanscreen Casts Moving Art

on O. M. Ungers' Galerie der Gegenwart. 3D Wall Projections:Веб-сайт. URL:https://www.

trendhuntecom/trends/3d-wall-proiections-

urbanscreen/ (дата звернення: 20.09.2021).

18. Water Screen Projection - How We Created the World's Largest Water Screen. Laservision: Вебсайт. URL: https://www.laservision.com.au/water- screen-proiection-world-record/ (дата звернення:

References

1. Azuma, R. T. (2018). A Survey of Augmented Reality Abstract. Journal of Materials Chemistry A, 6(6), 2792-2796. doi:10.1039/c7ta11015d.

2. Billinghurst, M., Clark, A., & Lee, G. (2015). A survey of augmented reality. Foundations and Trends in Human-Computer Interaction, 8(2-3), 73272. doi:10.1561/1100000049.

3. Bimber, O., Raskar, R., & Inami, M. (2007). Modern approaches to augmented reality. ACM SIGGRAPH 2007 Papers - International Conference on Computer Graphics and Interactive Techniques, 1-111. doi:10.1145/1281500.1281628.

4. Braz, J. M., & Pereira, J. M. (2008). Tarcast: Taxonomy for augmented reality casting with web support. The International Journal of Virtual Reality, 7(4), 47-56. URL: https://www.inesc-id.pt/ficheiros/ publicacoes/4625.pdf.

5. Caudell, T. P.,& Mizell, D. W. (1992).

Augmented reality: an application of heads-up display technology to manual manufacturing processes. Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, 2, 659-669. doi:10.1109/HICSS.1992.183317.

6. Feiner, S. K. (2002). Augmented reality: A new way of seeing. Scientific American, April, 52-62. doi: 10.1038/scientificamerican0402-48.

7. Hugues, O., Fuchs, P., & Nannipieri, O. (2011). New Augmented Reality Taxonomy: Technologies and Features of Augmented Environment. In Handbook of Augmented Reality (Handbook o, pp. 47-63). Springer. doi:10.1007/978-1-4614- 0064-6_2.

8. Mann, S., Furness, T., Yuan, Y., lorio, J., & Wang, Z. (2018). All Reality: Virtual, augmented, mixed (X), mediated (X,Y), and multimediated reality. ArXiv, X. 1-14. URL: https://arxiv.org/abs/ 1804.08386.

9. Milgram, P., Takemura, H., Utsumi, A., Kishino, F., & Fumio, K. (1995). A class of displays on the reality-virtuality continuum. SPIE Proceedings Volume 2351: Telemanipulator and Telepresence Technologies, 282-293. doi:10.1117/12.197321.

10. Mironova, T. V. (2019). Innovations in

Ukrainian Modern Art:New Technologies.

Contemporary Art, 15,149-158. doi:

10.31500/2309-8813.15.2019.185933 [in Ukrainian].

11. Normand, J. M., Servieres, M., & Moreau, G. (2012). A new typology of Augmented Reality applications. ACM International Conference Proceeding Series, 1-8. doi: 10.1145/2160125. 2160143.

12. Novikov, M. (2021). Fields of the practical AR

technology usage in the fine arts. Humanities Science Current Issues, 3(38),28-33.

doi:10.24919/2308-4863/38-3-5 [in Ukrainian].

13. Opalev, M. (2021). Structure and Features of

Audiovisual Content Design of Architectural 3D-mapping. Visnik Harkivs'koi Derzavnoi Akademii Dizajnu i Mistectv,2021(1),30-42.

doi:10.33625/visnik2021.01.030 [in Ukrainian].

14. Pirandello, S. (2021). A Journey into Artworks: Storytelling in Augmented Reality and Mixed Reality. Cinergie - Il Cinema e Le Altre Arti, 10(19), 135-145. doi:10.6092/issn.2280-9481/12219.

15. Schnabel, M. A., Wang, X., Seichter, H., &

Kvan, T. (2007). From virtuality to reality and back. Proceedings of the International Association of Societies of DesignResearch,1-15. URL:

http://www.sd.polyu.edu.hk/iasdr/proceeding/pape

rs/From Virtuality to Reality and Back.pdf.

16. Smart, J. M., Cascio, J., & Paffendorf, J. (n.d.). Metaverse roadmap overview, 2007. URL: http://www.metaverseroadmap.org/overview/(Last

accessed: 20.09.2021).

17. Urbanscreen. (2009). Urbanscreen Casts Moving Art on O.M. Ungers' Galerie der Gegenwart. URL: https://www.trendhunter.com/trends/3d-wall- projections-urbanscreen (Last accessed:

20.09.2021) .

18.

19. Water Screen Projection - How We Created the World's Largest Water Screen. (2017). URL: https://www.laservision.com.au/water-screen- projection-world-record (Last accessed:

Размещено на Allbest.ru