Використання технологій штучного інтелекту для збереження національної музичної спадщини

Размещено на http://www.allbest.ru/

Використання технологій штучного інтелекту для збереження національної музичної спадщини

Смаліус Юрій Павлович, аспірант Національної академії керівних кадрів культури і мистецтв

Розглядати питання щодо використання технологій штучного інтелекту (ШІ) в контексті національної культурної спадщини вбачається доцільним через призму розкриття загальносвітових тенденцій та досягнень у сфері цих технологій та успішних прикладів її застосування для збереження визначних взірців культурної спадщини.

Застосування ШІ у сфері музичного виробництва надало нові можливості для взаємодії, зокрема, із записаним аудіо матеріалом, а саме у контексті розділення музичних аудіо джерел на компоненти, що є потужними інструментами для реставрації, відновлення та оновлення аудіозаписів, які є важливою частиною національної музичної та культурної спадщини. Недавні досягнення у деяких напрямках досліджень сфери ШІ, таких як моделі глибокого навчання, як один із прикладів, дозволили виокремлювати музичні джерела на основі різних новаторських підходів. Але перед тим, як розглядати приклади передових технологій сфери окресленого наукового інтересу, вбачається доречним надати деякий історичний контекст.

Задача розділення музичних аудіо джерел на компоненти, яку часто називають «розміксуванням», або «розміксингом», має багатий історичний контекст, що охоплює як аналогову, так і цифрову технологічні сфери. В епоху аналогових технологій методи, такі як видалення вокалу з фонограми, були простими, втім новаторськими для свого часу. Видалення вокалу часто базувалося на методах інверсії фази, коли стереоканали інвертувалися і сумувалися для видалення вокалу, розташованого у центрі. Цей метод мав свої обмеження, оскільки він міг видалити або ізолювати лише сигнали заданої частини спектру, які були розташовані у центрі стерео образу, і залишав інші елементи міксу недоторканими [5]. Хоча ці методи не були ідеальними, вони стали основою для майбутніх досягнень у сфері аудіо інженерії та все ще використовуються в деякому обладнанні, зокрема у побутових караоке-апаратах.

З переходом технологій у цифрову сферу були розроблені більш складні алгоритми для розділення джерел. Техніки, такі як аналіз незалежних компонент (ICA) та факторизація невід'ємних матриць (NMF), стали популярними в кінці 1990-х та на початку 2000-х років. Ці методи були переважно статистичними та базувалися на математичних властивостях аудіосигналів для виокремлення елементів джерел. Наприклад, ICA припускає, що сигнали у джерелі є статистично не залежними та намагається розміксувати їх на основі цього припущення. Ці техніки знайшли застосування не лише в музичному виробництві, але й у таких галузях, як обробка біомедичних сигналів та телекомунікації [4].

Одним із провідних методів, що розвивається багатьма вченими, є метод виокремлення музичних джерел на основі запитів. Це такій технологічний механізм, де нейромережа може відокремлювати кілька джерел на основі сигналу-запиту. Цей підхід є особливо вигідним, оскільки він не обмежений вичерпною кількістю джерел, таких як вокал, ударні або бас. Мережа кодує запит у латентний простір, а розділювач оцінює маски, визначені цим латентним вектором, які потім застосовуються до міксу для виокремлення частин сигналу. Ця гнучкість у роботі із масивом сигналів-цілей робить його універсальним інструментом для складних аудіо просторів, тим самим розширюючи можливості його застосування поза межі традиційного музичного виробництва до застосувань, як автоматична заміна діалогів у пост-продакшені фільмів або ізоляція конкретних звуків у дослідженнях навколишнього середовища [2].

Методи некерованого виокремлення сигналів з джерела також набули популярності. Такі методи використовують попередньо натреновані моделі для генерації музики та міток. Ці методи скеровують свій шлях через латентний простір генеративної моделі для створення відокремлених джерел без необхідності повторного навчання [3]. Такі техніки не тільки є економічно ефективними, але також демонструють здатність створювати оцінки виокремлення для ширшого спектра джерел, ніж багато керованих систем. Це відкриває додаткові можливості для задач з реставрації архівного матеріалу, де оригінальні джерела записів можуть бути недоступні, то ж система може бути використана для виокремлення та відновлення окремих елементів історичних записів.

Один з найбільш помітних прикладів - це відновлення історичних записів, де алгоритми ШІ були використані для відокремлення шуму від оригінального аудіосигналу, тим самим покращуючи зрозумілість та ясність джерел корисного сигналу. Ідеться про проєкт «Збережіть наш звук» Британської бібліотеки. Техніки, такі як глибокі нейронні мережі (DNN), були особливо ефективними у виявленні та ізоляції конкретних частот, які становлять шум, тим самим дозволяючи більш тонке відновлення порівняно з традиційними методами. Це було незамінним у збереженні культурної спадщини, оскільки багато з цих записів є єдиною існуючою аудіо-фіксацією значущих історичних подій або постатей. Визначним прикладом є відновлення історичних промов.

Британська бібліотека використовувала алгоритми машинного навчання для відновлення рідкісного запису Флоренс Найтінгейл, засновниці сучасного сестринського медичного догляду. Оригінальний запис, зроблений у 1890 році, мав значний фоновий шум та був ледь чутним. Алгоритми ШІ були використані для ізоляції голосу Найтінгейл та видалення шуму, роблячи його чіткішим для сучасних аудиторій. Це відновлення було частиною проєкту "Save Our Sounds", спрямованого на збереження історичних звукових записів [6].

Інша область, де ШІ виявився успішним - це відновлення аудіо у кіно та телебаченні. У постпродакшні алгоритми ШІ можуть бути використані для ізоляції діалогу від фонового шуму, тим самим покращуючи загальний аудіо досвід для глядача. Це особливо корисно у сценах, які були зняті в шумних оточеннях, де традиційні методи шумопригнічення менш ефективні. Використання ШІ в таких контекстах не тільки покращує якість виробництва, але також значно скорочує час та зусилля, необхідні на етапі постпродакшну, тим самим роблячи його економічно ефективним рішенням [1].

У музичному виробництві технології відновлення звуку на основі ШІ були використані для ремастерингу старих записів, вдихаючи нове життя в класичні треки. Ізолюючи окремі інструменти та вокал, алгоритми ШІ можуть покращувати конкретні елементи запису, тим самим забезпечуючи більш багатий та нюансований досвід прослуховування. Це було особливо корисним для жанрів, таких як джаз та класична музика, де складність композицій робить традиційне відновлення складним завданням. Використання ШІ забезпечує рівень точності, який важко досягти за допомогою традиційних методів, тим самим зберігаючи художню цілісність оригінальних записів.

Один з найвідоміших прикладів використання ШІ для відновлення аудіо - це ремастеринг альбому The Beatles - Sgt. Pepper's Lonely Hearts Club Band. Хоча основна робота була виконана звукорежисерами мастерингу, алгоритми ШІ відіграли роль у виокремленні конкретних частот та видаленні шуму стрічки та інших форм шуму, тим самим покращуючи загальну якість аудіо. Ремастеровану версію критики зустріли із захопленням та цей кейс часто цитується як еталонний щодо використання новітніх технологічних досягнень для збереження та покращення світової музичної спадщини.

У сфері класичної музики ШІ був використаний для відновлення деяких з ранніх відомих записів творів відомих композиторів. Наприклад, алгоритми ШІ були використані для покращення запису 1930-х років Ігоря Стравінського, який диригував своєю власною композицією «Весна священна». Технологія змогла ізолювати різні оркестрові секції та покращити якість аудіо, забезпечуючи більш автентичний слуховий досвід, який ближчий до того, що аудиторії могли б почути під час живого виступу в ту епоху.

ШІ також був використаний у кіноіндустрії для відновлення якості звуку класичних фільмів. Наприклад, у перевиданні на Blue-ray носії з приводу 75-ї річниці культового фільму 1939 року «Віднесені вітром» аудіо було відновлено за допомогою алгоритмів машинного навчання, які були натреновані видаляти тріск, шипіння та інші спотворення, зберігаючи при цьому оригінальні голоси акторів та музичний супровід. Це дозволило отримати чистіший звук та більш імерсійний аудіо досвід для сучасних аудиторій, які дивляться фільм у форматах високої чіткості.

Отже, очевидним вбачаємо той факт, що різноманітні сучасні технології, що працюють на базі ШІ, можуть та мають стати потужним інструментом для професіоналів галузі у справі відновлення, реставрації та перевидання найкращих взірців українського мистецтва, що зафіксовані на аудіо-візуальних носіях для збереження та передачі національної культурної спадщини новим поколінням, а також для поширення у світовому культурному просторі.

штучний інтелект музичний шум

Література

1. Casey O., Rushit D., Naeem S. Machine Learning: Challenges, Limitations, and Compatibility for Audio Restoration Processes. Clair, WI : Department of Computer Science, University of Wisconsin. 2019.

2. Lee J.H., Choi C. Lee K. Audio Query-Based Music Source Separation. Seoul : Music & Audio Research Group, Seoul National University. 2019.

3. Manilow E., O'Reilly P., Seetharaman P., Pardo B. Unsupervised Source Separation by Steering Pretrained Music Models. Evanston, IL: Northwestern University, Descript, Inc. 2021.

4. Noah D. Nonnegative Tensor Factorization for Directional Blind Audio Source Separation. Cambridge, MA: Stein Analog Devices | Lyric Labs. 2017.

5. Park S., Chon B. S. Gsep: A Robust Vocal And Accompaniment Separation System Using Gated Cbhg Module And Loudness Normalization. Berkeley, CA: Gaudio Lab, Inc. 2010.

6. Save Our Sounds.

Размещено на Allbest.ru