Використання імерсивних технологій у сучасному диригентському мистецтві

старший викладач кафедри вокалу та диригентсько-хорових дисциплін Хмельницької гуманітарно-педагогічної академії (Хмельницький, Україна)

У статті розкрито потенційну функцію використання імерсивних технологій у сучасному розвитку диригентського мистецтва, яка створює нові можливості для творчості та міжкультурної співпраці.

Автор розглядає реальні способи застосування імерсивних технологій у сфері диригентського мистецтва й наводить приклад використання віртуального досвіду у процесі керівництва оркестрів Віденського дому музики «Logo Haus der Musik Wien», Лос-Анджелеської філармонії та академічного хору Гданського технічного університету. Детально розглянуто теорію імерсії диригента в музичному просторі, що дозволяє глибоко трансформувати основну концепцію музичного твору.

У статті обґрунтовано різні типи імерсивних технологій, як-от: віртуальна реальність (переживання вигаданих сценаріїв та реалістичних вражень у віртуальних концертних залах, симулювання тренувань техніки диригування та об'єднання з візуальними та хореографічними елементами в одному просторі), доповнена реальність (взаємодія диригента з цифровими версіями на сцені за допомогою голографічних екранів або проекційних систем, створення інтерактивних музичних інтерфейсів для комунікації з аудиторією) та 360-градусні проекції (створення ілюзії повного оточення аудиторії звуком та візуальними ефектами на 360 градусів). За допомогою таких сучасних технологій здійснюється взаємозв'язок між мистецтвом диригування та сучасним метавсесвітом, відкриваючи нові перспективи для творчості та інтерпретації музичних творів.

Проаналізовано, що застосування імерсивних технологій у мистецтві диригування відкривають перед сучасною музичною індустрією захоплюючі можливості: взаємодія з музикантами та музичними інструментами за допомогою жестів або віртуальних інтерфейсів, додавання унікальних звукових та візуальних 3D-ефектів, а також розширення меж творчості та збагачення музичного досвіду для створення неповторних вражень та емоцій.

Ключові слова: імерсивні технології, віртуальні занурення, диригент, диригентське мистецтво.

LilUa KACHURYNETS,

Постановка проблеми. Захоплюючі можливості інтерактивного мистецтва та музики спричиняють масштабний вплив на культурну індустрію, викликаючи переосмислення традиційних підходів та створюючи зворотний зв'язок між творцями і публікою. Зростаюча синергія технологій та мистецьких ідей ведуть до непередбачуваних творчих результатів, які збагачують сприйняття світу та надають нові способи самовираження.

Сьогодні інтерактивне мистецтво стає більш привабливим завдяки використанню імерсивних технологій, які продовжують стрімко розвиватися і знаходити нові застосування в різних галузях, включаючи диригентське мистецтво та музику. Завдяки їхньому нескінченному потенціалу, диригенти відкривають нові горизонти для творення та взаємодії з аудиторією: створення унікальних інтерактивних музичних вистав, де глядачі занурюються у світ фантазій і спілкуються з мистецтвом на новому рівні. Віртуальні інструменти та звукові простори розширюють музичні можливості, а голографічні виступи стають все більш реалістичними та захоплюючими. Більше того, інтерактивні інсталяції та віртуальні вистави у диригентському просторі перетворюються на захоплюючі дослідження індивідуального творчого досвіду.

Аналіз досліджень. Сьогодні багато науковців виявляють інтерес у дослідженні музичного мистецтва в контексті віртуальної реальності змодельованого середовища. Зокрема, доктор філософії Мельбурнського університету та координатор медіа занурення (AR/VR) Бенджамін Лаверідж, вивчаючи музичний досвід віртуальної реальності, спричинений пандемією COVID-19, акцентує увагу на реалістичності акустичної взаємодії музичних репетицій за допомогою цифрового занурення, як альтернативи обмежених можливостей відеоконференцій (Loveridge, 2020: 1-19). Американські діячі асоціації хорових керівників «ACDA» Янет Гальван та Метью Клоус звертають увагу на різні аспекти використання віртуальних хорів як інструменту колаборації в музичному середовищі. У праці «Virtual Choir as Collaboration» мистецтвознавці підкреслюють значення організації віртуального хору у творчості виконавців як пошуку нових способів інтерпретації музики (Galvan, Clauhs, 2020: 8-19). Польські дослідники Бартломей Мроз, Пйотр Одя та Божена Костек працюючи над дистанційним створенням аудіовізуальних записів віддаленого виконання Академічного хору Гданського технічного університету, наголошують на обов'язковому відстеженні погляду обличчя диригента, як новій техніці полегшення спільних репетицій та виступів вищої якості, включаючи багатоканальний звук та просторову звукоізоляцію (Mroz, Odya, Kostek, 2022). Незважаючи на значну кількість наукових досліджень сучасних технологій у даній проблематиці, питання щодо практичного використання імерсивних технологій в диригентській діяльності вимагають подальшої наукової розвідки.

Мета статті проаналізувати перспективи використання імерсивних технологій у диригентському мистецтві в процесі роботи над музичним твором.

Виклад основного матеріалу. Мистецтво диригування нерозривно пов'язане з музикою, оскільки вимагає від своїх представників виконавської майстерності, глибокого розуміння будови музичного твору, музичних інструментів чи голосів, а також здатності до ефективної комунікації та лідерства в музичній діяльності. Диригенти відіграють важливу роль у розвитку та популяризації музичного мистецтва, «вдихаючи» глибину та емоційну насиченість у музичні твори через свою інтерпретацію та жести. Їхня діяльність сприяє збереженню та передачі традицій, стилів і цінностей музичної спадщини, розвитку сучасної музики, пропаганді серед широкої аудиторії слухачів. Вони впливають на всі аспекти музичного творчого процесу (створення, запис і виконання музики), сприяють загальному розвитку музичної індустрії.

Диригентське мистецтво є динамічною сферою, яке постійно змінюється і розвивається. Сьогодні диригент постає перед викликами сучасності: глобалізація, розквіт технологій та взаємодія між культурами. Його шлях пролягає через безперервний пошук новаторських ідей та підходів, спрямованих на втілення унікальної візії (уявлення про майбутнє) у музичному виконанні. У свою чергу музика є основним інструментом в руках диригента, завдяки якій ми розуміємо одну з найунікальніших мов, що глибоко впливає на почуття, сприяє взаєморозумінню та зближенню людей. Вона є важливою частиною нашого спадку, перетинає межі часу, простору та культурні різниці. Адже, за своєю суттю: «музика це своєрідна «віртуальна реальність», часто більш яскрава, ніж «звичайна» реальність. Диригент, який володіє музикою, розуміє це, і на репетиціях та виступах буде моделювати та шукати виразні форми в співі та грі музикантів» (Swanwick, 2016: 194).

Своєрідний віртуальний діалог між музикою та диригентом перевтілюється у живу творчу лабораторію гармонії, ритмів, тембрів, мелодій всього існуючого, де звуки віддзеркалюють відлік часу, рух та пульс творця. Творчий пошук абсолютного оволодіння звуком стає ключовим аспектом ролі диригента, оскільки саме з неперервним потоком музичної енергії народжуються ідеї для створення нових музичних шедеврів. Світоглядна креативна діяльність інтерпретаторів, таких як: американського композитора і диригента Еріка Вайтекера, англійського телеведучого і хормейстера Ґарета Мелоуна, української диригентки Оксани Линів, індійського диригента Зубіна Мети, болгарського диригента Йордана Камджалова та багато інших, збагачена потужним розвитком метавсесвіту під час глобальних кризових подій, призвели до виникнення ряду інноваційних технологій, які змінюють диригентське мистецтво. Завдяки ним, диригенти мають можливість взаємодіяти з музикою та виконавцями у вдосконаленому сенсі, експериментувати зі звуками, створювати нові аранжування, надавати своєму жесту непередбачувану глибину. Такий симбіоз музики та технологій створює нескінченні можливості для створення оригінальних музичних шедеврів, які відображають дух часу та виразність творця. Тому диригентське мистецтво переживає новий етап, в якому музика взаємодіє з реальністю, а диригенти здійснюють свої артистичні задуми в неймовірно креативний спосіб за допомогою імерсивних технологій.

За допомогою віртуальної реальності, доповненої реальності та 360-градусних проекцій диригент трансформує аудиторію на учасників захоплюючих віртуальних світів. Ці технології глибоко занурюють слухачів у музичний світ, створюють інтерактивне середовище, де люди можуть не лише спостерігати за виступом, а й активно взаємодіяти з виконавцями та музикою. Наприклад, «перебування» серед оркестру під час виступу, відчуття ритмічного пульсу через вібрації, або навіть особистий вплив на окремі аспекти виконання за допомогою жестів чи голосових команд. Такі інновації розкривають перед диригентами нові перспективи, дозволяючи їм не просто інтерпретувати музику, але й створювати цілісний музичний світ, у який слухачі можуть відчуваючи кожну ноту з неймовірною інтенсивністю.

Імерсивні технології у диригентському мистецтві це сучасні комп'ютерні інновації та технологічні рішення, які впроваджуються у практику диригування з метою створення нового інтерактивного музичного досвіду для аудиторії та перетворення традиційних концертних виступів у вражаючі імерсивні події. До імерсивних технологій у диригентському мистецтві відносимо: віртуальну реальність (VR), доповнену реальність (AR), 360-градусні проекції. Розглянемо їх детально.

Віртуальна реальність (VR) технологія, що дозволяє користувачам переживати вигадані сценарії та реалістичні враження за допомогою комп'ютерної симуляції, включаючи аудіо та візуальні компоненти. Ця технологія здатна перенести людину у зовнішнє, вигадане або історичне середовище, дозволяючи їй повністю зануритися у нього та взаємодіяти з ним у реальному часі. Диригент відчуваючи себе в центрі музичного дійства, має змогу сприймати музику та реакції глядачів з усіх куточків світу. Глядачі, у свою чергу, можуть переживати концерт через очі диригента або відчувати себе частиною музичного виконання, створюючи враження, ніби вони знаходяться прямо серед оркестру чи хору.

Використання VR дозволяє диригентам та музикантам перенести себе у віртуальний концертний зал. Диригент може стояти перед віртуальним оркестром, який реалістично моделюється, і взаємодіяти з музикантами, ніби вони знаходяться в одному просторі. Глядачі також можуть бути присутніми у віртуальному залі, створюючи враження, ніби вони дивляться живий виступ.

Віртуальний концертний зал для диригента є інтерактивним застосуванням віртуальної реальності, яке дозволяє диригентам занурювати себе до середовища в якому можливо взаємодіяти з будь-якими колективами та керувати виконанням музики. На початку відбувається візуалізація колективу, яка має бути реалістично модельована і відображена у віртуальному середовищі, де кожен музикант, голоси, інструменти детально представлені. Диригент може вибирати різний репертуар та налаштовувати віртуальний зал для різних видів виступів, зокрема організації репетицій для «живого» концерту. Віртуальний концертний зал підтримує різні формати музичної нотації, такі як ноти, партитури, MIDI тощо, для зручного спілкування з музикантами. За допомогою контролерів VR або жестів, диригент взаємодіє з музикантами, змінюючи темп, гучність, атаки, фразування тощо. Далі відбувається вибір сценарію, налаштування освітлення, акустичних властивостей тощо. Наостанок, диригент записує виступи та аналізує їх для поліпшення техніки виконання та інтерпретації музичного добутку. Наприклад, виробництво віртуальних і гібридних подій у реальному часі на цифровій платформі «Virtual Concert Halls» за посиланням: https://cah.ucf.edu/create/initiatives/virtual-concert-hall/ (University of central Florida).

Використання VR дозволяє диригентам практикувати свої рухи, техніку та зв'язок з оркестром у віртуальній середовищі. Вони можуть вправлятися з різними видами оркестрів чи хорів, використовувати різноманітні музичні жанри для удосконалення диригентської майстерності. Наприклад, імерсивна програма «Conduct a Virtual Symphony With Touchscreens and an Interactive Baton» дозволяє віртуально диригувати симфонічним оркестром або іншими музичними ансамблями за допомогою рухів тіла або жестів. Вона аналізує технологію рухів з метою пояснення інтерпретації дій диригента і їх впливу на звук. Віртуальний симфонічний оркестр складається з динаміків, контролерів руху, сенсорних екранів та візуальних колонок, які відповідають певній групі інструментів: дерев'яні духові, мідні духові, ударні, вокал тощо. Від диригента залежить яскравість проведення тих чи інших партій, темпо-метро-ритмічний ансамбль, кульмінація тощо. Контрольним пунктом є 32-дюймовий сенсорний екран, який слугує нотною партитурою та дозволяє вибрати кількісний склад інструментів. Репетиція починається, коли береться в руки дерев'яна диригентська паличка. Датчик Leap Motion на основі маятникового інтервалу обчислює швидкість рухів рук і відповідно регулює темп. «Після порівняння дидукційної швидкості з поточною початковою швидкістю (ударів на хвилину) музичного твору відтворення відповідно сповільнюється або прискорюється» (Stinson, 2014). MacMini миттєво змішує аудіо звук та рухи диригента. Ця програма дозволяє розвинути технічні навички інтерактивного диригування музичним колективом.

Подібні шукання в сфері віртуального диригування (проєкт «The Virtual Conductor») були здійснені науковцями Аахенського університету (Німеччина). Була запропонована можливість віртуального керування персональним оркестром у Віденському домі музики «Logo Haus der Musik Wien». Програма проекту дозволяє знаходити інноваційні інтерфейси для музичної експресії, розпізнавати жести (фіксація фізичних рухів користувача), моделювати та інтерпретувати рухи рук, застосовувати тайм-дизайн для мультимедіа. За допомогою інфрачервоної палички користувачі можуть диригувати, керуючи швидкістю, гучністю та акцентом різних секцій інструментів, включати безперервну високоякісну розтяжку інтерактивного аудіо та відео в реальному часі без зміни тону PhaVoRIT, шість нових записів оркестру у форматі Full HD, електронний пюпітр із партитурою та корисні поради диригента Зубіна Мети. Ознайомитися з поєктом можна за посиланням: https://hci.rwth-aachen.de/po (Personal Orchestra, 2022).

VR дозволяє поєднувати музику з іншими видами мистецтва (візуальне мистецтво, танець), що сприяє синергії творів з візуальними та хореографічними елементами в одному просторі, а диригент керує через спеціальний інтерфейс. Для реалізації такого поєднання використовують спеціальні VR-платформи, зокрема FRAME CONTACT (Frame Contact). Вона надає можливість учасникам потрапити в віртуальне середовище та творчо взаємодіяти з ним за допомогою контролерів чи жестів. VR дозволяє створити неможливі або фантастичні віртуальні світи, в яких музика, візуальне мистецтво та танець можуть взаємодіяти на новому рівні. Віртуальні простори можуть змінюватись під час вистави, створюючи непередбачувані образи та атмосферу, що додає елемент несподіванки для глядачів та сприяє більш глибокому зануренню у виставу. Дана технологія відкриває нові перспективи для диригентів, художників та хореографів, на відміну від традиційних концертів, дозволяючи їм взаємодіяти та експериментувати зі своїми творами. Крім того, такі вистави є більш доступними для аудиторії з усього світу, оскільки не обмежуються географічними межами.

Хоча застосування VR в диригентському мистецтві має великий потенціал, слід враховувати, що це лише інструмент і доповнення до традиційної практики. Необхідно зберігати баланс між інноваціями та традиційними елементами, що визначають унікальність і дух диригентського мистецтва.

Доповнена реальність (AR) технологія, яка об'єднує реальний світ і цифрові об'єкти, створюючи враження єдності між ними. У диригентському мистецтві AR дозволяє додавати цифрові об'єкти та спеціальні ефекти до хорового виконання в режимі реального часу, зокрема розширення вистави або концерту за допомогою додаткових цифрових елементів. Додаткові візуальні елементи, такі як абстрактні малюнки чи геометричні фігури, можуть з'являтися на екранах або проекційних поверхнях поряд із виконавцями, доповнюючи музичну інтерпретацію та створюючи враження єдності між звуком та образом. Такі ефекти можуть бути ретельно сплановані, щоб підкреслити певні моменти вистави або підсилити емоційний вплив на аудиторію.

Зауважимо, що використання голограм та інших технологій проектування може додати глибину та різноманітність до виступів диригента. Сам диригент може взаємодіяти з цифровими версіями себе на сцені, створюючи захоплюючий візуальний образ та забезпечуючи додаткові можливості для виразності та виконавської інтерпретації. Такі голограми реагують на рухи диригента або музикантів, що додає унікальності та динаміки виставі.

Наприклад, під час виконання симфонічного оркестру диригент може мати на собі спеціальний AR-комплект або сенсори, які відстежують його рухи. Коли диригент проводить жестами ті чи інші партії, AR-система реагує і відповідає проектуючи спеціальні візуальні ефекти на великий екран або навіть на повітря, що створюється за допомогою спеціальних пристроїв, таких як голографічні екрани або проекційні системи. Це може створювати ефект взаємодії між музикою та візуальними елементами, допомагаючи підкреслити темп, динаміку та настрій виконання. Такий застосунок AR змінює спосіб сприйняття музичної вистави та створює унікальний синергетичний досвід, де музика і візуальні ефекти переплітаються в єдине мистецьке втілення.

Ще одним застосуванням AR у диригентському мистецтві є створення інтерактивних музичних інтерфейсів для диригента та аудиторії (інтерактивних сценаріїв для взаємодії диригента із звуковими аспектами або візуальними ефектами під час вистави). Наприклад, диригент може мати доступ до AR інтерфейсу, який дозволяє йому контролювати певні аспекти звучання оркестру або анімаційних об'єктів на сцені. Диригент змінює гучність окремих інструментів, темп, тон або додає ефекти натискаючи спеціальні кнопки, що дозволяє здійснити більш творчий контроль над тим, як звучить музика під час вистави.

Додавання AR-технологій до музичних виступів може значно підвищити взаємодію з аудиторією. Такий інтерактивний підхід може перетворити пасивних слухачів у активних учасників вистави, що дозволить кожному відвідувачу зануритися в унікальний музичний світ. Інтерактивні AR-додатки або пристрої, які дозволяють аудиторії «грати» на віртуальних музичних інструментах, можуть залучити не тільки музичних ентузіастів, але й тих, хто не має професійних музичних навичок.

Так, науковці Массачусетського технологічного інституту досліджуючи музичні інструменти доповненої реальності створили широкий інтерес у реальному музикуванні. Термін «віртуальні музичні інструменти» використовується вже довгий час для опису програмних симуляцій, розширень. Віртуальні музичні інструменти у доповненій реальності включають симуляцію візуального компонента, що відтворюється через гарнітуру або інші форми поглибленої візуалізації (Serafin, 2016: 22-40). Такий підхід особливо привабливий для молоді, яка зазвичай позитивно ставиться до нових технологій, а інтерактивне музикування під час концерту підвищує відчуття активної участі, піднімає настрій та зацікавленість аудиторії. Для диригентів такий інноваційний спосіб взаємодії з аудиторією, в якому він виступає не лише як керівник оркестру, але і як фасилітатор (особа, яка допомагає групі людей ефективніше працювати разом) сприяє зближенню диригента з публікою.

360-градусні проекції інноваційна технологія, що дозволяє створювати ілюзію повного оточення аудиторії звуком і образами на 360 градусів, наче слухачі знаходяться в самому серці події. У традиційній практичній роботі диригент впливає на звучання лише тим, як він взаємодіє з музикантами на сцені. Завдяки 360-градусним проекціям, диригент може «настроювати» звуковий пейзаж в усіх напрямках, надаючи кожній області аудиторії власний звуковий характер. Звукові ефекти та музичні пасажі можуть обходити аудиторію, створюючи враження плинного звукового руху навколо слухачів, неначе музика оминає та обвиває їх звуковими хвилями. Припустимо, що у головному концертному залі міста розгорнуто інноваційну звукову систему з таким можливостями і диригент має під своїм контролем спеціальну звукову конструкцію, яка здатна генерувати звукові хвилі у всіх напрямках. Під час виконання музики, він точно налаштовує звук віолончельної групи, яка обходить аудиторію по колу; духових інструментів, які озвучує у верхній частині залу, створюючи відчуття легкості та грації; ударних інструментів, які розміщує вздовж бічних стін, створюючи динамічний і ефектний звуковий рух. Відчуття плинного звукового руху створює абсолютно нову якість виконання, де музика сама з собою взаємодіє, оминає та спілкується із кожним окремим учасником вистави.

Однак 360-градусні проекції не обмежуються лише аудіо-аспектами. Вони дозволяють використовувати візуальні ефекти для створення захопливого «екранного» середовища, яке посилюється враженням від звукових ефектів. Диригент може співпрацювати з візуальними художниками та дизайнерами, щоб створити візуальні образи, які гармонійно взаємодіють з музикою. Наприклад, на реальному великому концертному заході навколо залу встановлено 360-градусний екран для візуальних арт-об'єктів навколо. Під час виконання партії з характерними звуками природи (гроза чи пташині співи) створюється візуалізація перформансу образної дії навколо аудиторії. При цьому грім може здаватися реалістичним і здатним приймати різні форми, а птахи летіти навколо слухачів.

Таким чином, аудіо-аспекти музики поєднанні із візуальними ефектами створюють унікальний імерсивний досвід.

Так, наприклад, у 2015 році в філармонії ЛосАнджелеса, був використаний виступ з центру оркестрової гри («VAN Beethoven»), використовуючи віртуальний навушник Oculus VR для 360-градусного панорамного огляду та сприймання просторового звучання. Переглянути досвід філармонії можна за посиланням: https:// www.youtube.com/watch?v=WiHlVPj6i-o&t=40s. Наголосимо, що 360-градусні проекції дозволяють диригенту створювати аудіо-візуальні простори, які повністю оточують глядача й впливають на емоційний стан та сприйняття слухачів.

Висновки. Іммерсивні технології у диригентському мистецтві є переломним етапом трансформації сприйняття музики та сценічної діяльності. Поєднуючи фізичний світ з цифровим, імерсивні технології відкривають безмежні можливості для диригентів, допомагаючи створити унікальні враження та розширити межі традиційного виступу. Проте, вдале застосування інновацій у діяльність диригента вимагає глибокого вивчення, практики та адаптації. З одного боку, віртуальне занурення відкриває безліч нових можливостей для творчості, дозволяючи експериментувати з аудіовізуальними ефектами та взаємодією з публікою. З іншого важливо пам'ятати про баланс між використанням імерсивних технологій та збереженням невід'ємного елементу живого виконання.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ