Автентифікація клієнтів за голосовим відбитком в режимі реального часу

Размещено на http://www.allbest.ru

Вінницький національний технічний університет

Автентифікація клієнтів за голосовим відбитком в режимі реального часу

Савчук Тамара Олександрівна PhD, професор кафедри комп'ютерних наук

Магльона Віталій Валентинович студент кафедри комп'ютерних наук

Анотація

Проведено аналіз сучасних підходів автентифікації клієнтів в режимі реального часу та обрано текстонезалежний підхід автентифікації по голосу. Проаналізовано сучасні інформаційні технології автентифікації клієнтів в режимі реального часу (BioLink AMIS, Voice Key та VocalPassword) та визначено їх основний недолік - недостатню швидкість процесу автентифікації, що не дозволяє автентифікацію клієнта в режимі реального часу та обмежує область використання. Проведено аналіз класифікаторів голосових відбитків для проведення автентифікації клієнтів в режимі реального часу та обрано K-NN як найбільш точний серед проаналізованих. Обгрунтовано вибір математичного методу MFCCs (мел-кепстральні коефіцієнти) для автентифікації клієнта за голосом, що підвищить швидкість процесу автентифікації в поєднанні з обраним K-NN (K - найближчих сусідів) класифікатором. Удосконалено математичну модель процесу автентифікації клієнтів в режимі реального часу за рахунок введення коефіцієнту автентифікації при кепстральному аналізі голосових відбитків. Удосконалено метод процесу автентифікації клієнтів в режимі реального часу, який базується на поєднанні математичного методу MFCCs щодо голосових відбитків та класифікатора K-NN голосових відбитків. Запропоновано удосконалену інформаційну технологію автентифікації клієнтів в режимі реального часу, яка забезпечує аналіз голосових відбитків клієнта та реалізує удосконалений метод автентифікації клієнтів в режимі реального часу, що дозволило підвищити швидкість процесу автентифікації та не погіршити точність автентифікації клієнта.

Ключові слова: математична модель, автентифікація, автентифікація в режимі реального часу, формування голосових відбитків розпізнавання голосу, математичний метод MFCCs, класифікатор К-NN голосових відбитків, інформаційна технологія автентифікації клієнтів в режимі реального часу. автентифікація голосовий текстонезалежний

Savchuk Tamara Oleksandrivna PhD, professor of the Department of Computer Sciences, Vinnytsia National Technical University, Vinnytsia,

Mahlona Vitalii Valentinovych Student of the Department of Computer Sciences, Vinnytsia National Technical University, Vinnytsia

REAL-TIME VOICEPRINT AUTHENTICATION OF CLIENTS

Abstract

An analysis of modern client authentication approaches in real time was carried out and a text-independent voice authentication approach was chosen. Modern information technologies of client authentication in real time (BioLink AMIS, Voice Key and VocalPassword) were analyzed and their main drawback was determined - the insufficient speed of the authentication process, which does not allow client authentication in real time and limits the scope of use. An analysis of voiceprint classifiers for real-time customer authentication was conducted and K- NN was selected as the most accurate among those analyzed. The choice of the mathematical method MFCCs (mel-cepstral coefficients) for voice authentication of the client is justified, which will increase the speed of the authentication process in combination with the selected K-NN (K - nearest neighbors) classifier. The mathematical model of the real-time client authentication process has been improved due to the introduction of the authentication factor in the cepstral analysis of voice prints. The real-time customer authentication process method is improved, which is based on the combination of the MFCCs mathematical method for voice prints and the K-NN classifier of voice prints. An improved real-time client authentication information technology is proposed, which provides the analysis of the client's voice prints and implements an improved method of real-time client authentication, which made it possible to increase the speed of the authentication process and not deteriorate the accuracy of the client's authentication.

Keywords: mathematical model, authentication, real-time authentication, formation of voice prints for voice recognition, mathematical method of MFCCs, K-NN classifier of voice prints, information technology of customer authentication in real time.

Постановка проблеми. Процес автентифікації клієнта буде ефективніший та безпечніший, якщо це буде відбуватись на підставі розпізнавання поточного голосового відбитку клієнта та порівняння його з голосовим відбитком, зафіксованим при реєстрації. Такий підхід є доцільним у використанні для фінансових структур, так як убезпечить їхніх клієнтів від можливого шахрайства [1]. При цьому, важливо дослідити сам процес автентифікації клієнтів, що буде покладено в основу відповідної інформаційної технології. Таким чином, розробка програмних засобів автентифікації клієнтів за голосовим відбитком є актуальною задачею.

Аналіз останніх досліджень і публікацій. Наразі існує велика кількість досліджень спрямованих у напрямку автентифікації клієнта за голосовим відбитком в режимі реального часу. З останніх авторів можна виділити: Х. В. Луценко, К. В. Нікулін, Макар С. М. Серед сучасних інформаційних технологій найбільш відомими є AMIS (Automation Media Identification System), Voice Key та VocalPassword, але всі вони мають такий недолік як час розпізнавання голосового відбитку.

Мета статті - підвищення швидкості процесу автентифікації клієнтів в режимі реального часу.

Виклад основного матеріалу. Для досягнення мети дослідження необхідно удосконалити математичну модель процесу автентифікації клієнтів в режимі реального часу. Аналіз сучасних математичних методів DTW та MFCCs, які використовуються в процесі автентифікації за голосовим відбитком [2] показав, що в якості математичного методу для автентифікації клієнтів доцільно використати метод MFCCs (Mel-Cepstral Coeficients), що характеризується підвищеною швидкістю процесу формування та

розпізнавання голосового відбитку.

Основою методу MFCCs є мел-частотне перетворення, яке формує голосовий відбиток клієнта під час процесу автентифікації. Застосування методу MFCCs при автентифікації передбачає, що частоти голосу клієнта будуть трансформуватись у певний діапазон частот, що відповідає діапазону слуху людини. Метод MFCCs необхідний для вилучення голосового відбитку клієнта під час його безперервного мовлення та у подальшому цей відбиток голосу буде представлятись матрицею мел-кепстральних коефіцієнтів.

Обрана кількість мелкепстральних коефіцієнтів K, як основна характеристика методу MFCCs, визначить вимірність матриці, що не змінюватиметься в процесі автентифікації, та буде використана для коректного порівняння поточного відбитку голосу та збереженого (як зразкового) в процесі автентифікації клієнта, а кожний з кепстральний коефіцієнтів буде визначатись відповідною залежністю [3].

Як результат, отримаємо відбиток голосу клієнта, що є матрицею дійсних чисел. Тому, отриманий набір може слугувати як прототип для навчання для будь-якого класифікатора.

Процес класифікації виконує функції ідентифікатора / автентифікатора та першого верифікатора.

В якості класифікатора був обраний K-NN [4], який задовольняє поставлену мету дослідження, а саме: підвищення швидкості та збереження точності процесу автентифікації клієнтів в режимі реального часу.

В процесі навчання алгоритм запам'ятовує всі вектори ознак і відповідні їм мітки класів, які виступають голосовими відбитками, сформованими математичним методом MFCCs. При роботі з голосовими відбитками обчислюється різниця між значеннями векторів мел-кепстральних коефіцієнтів [5].

Саме використання методу MFCCs у сполученні з класифікатором K-NN дасть можливість підвищити швидкість автентифікації клієнта.

Введемо коефіцієнт автентифікації та визначимо його еталонне значення з метою виявлення такого, що забезпечить точний результат автентифікації клієнта. Коефіцієнт автентифікації буде визначатись під час автентифікації та прийматиме значення від 0 до 1. При цьому, чим це значення ближче до 1, тим ступінь схожості порівнюваних голосових відбитків буде більшою.

Еталонне значення коефіцієнту автентифікації є таким, з яким повинен порівнюватись отриманий в процесі автентифікації коефіцієнт та який буде визначати успішність підтвердження автентичності клієнта [6].

Важливу роль в математичній моделі відіграє мова, якою спілкується клієнт, так як під кожну з них будується своя модель формування голосового відбитку.

При автентифікації клієнта проводиться порівняння поточного голосового відбитку зі списком зразкових голосових відбитків, а також голосових відбитків шахраїв.

Коефіцієнт автентифікації клієнта в режимі реального часу визначатиметься залежністю, що враховує матрицю кепстральних коефіцієнтів формування голосового відбитку методом MFCCs, матрицю Nk утворену класифікатором K-NN, добуток матриць кепстральних коефіцієнтів збережених голосових відбитків шахраїв х1, та зразкових х2.

R = ІК=1 [1к=iO°gSk№(k - 2) I

]]*Wfc*x2 * logх1, (1)

де:

SK - кепстральний коефіцієнт k-го елемента вектору голосового відбитку;

Nk - коефіцієнт класифікації k-го елемента вектора автентифікації, k є [1, K] , K - кількість елементів вектора сформованогоголосового відбитку;

R - коефіцієнт автентифікації клієнта в режимі реального часу, 0 < R < 1;

х1 - добуток матриць кепстральних коефіцієнтів збережених голосових відбитків шахраїв;

х2 - добуток матриць кепстральних коефіцієнтів зразкових голосових відбитків клієнтів.

Для визначення еталонного значення коефіцієнту автентифікації клієнта в режимі реального часу Re, з яким в подальшому буде порівнюватись значення поточного коефіцієнта автентифікації клієнта R, необхідно провести відповідне тестування для різних значень Re. Для кожного обраного значення Re було проведено понад 1000 різних тестових автентифікацій, що розрізнялись часовими інтервалами, голосовими відбитками, акцентами та мовою клієнта. Результати тестування подані в таблиці 1.

Таблиця 1

Результати тестування значень константи R(,

За результатами проведених досліджень, якщо R > Re, є підстави стверджувати, що клієнт автентифікований успішно, в іншому випадку голосові відбитки відрізняються та автентифікація є неуспішною. Отже, найбільш точним виявились автентифікації з еталонним значенням коефіцієнтом Re = 0,8.

Отже, метод автентифікації клієнтів в режимі реального часу включатиме такі етапи:

Отримання вхідних аналогових даних, тобто голосового відбитку клієнта.

Формування голосового відбитку з отриманих даних за допомогою математичного методу MFCCs.

Автентифікація клієнта за допомогою класифікатора K-NN зі збереженням точності автентифікацї.

Виведення результату процесу автентифікації клієнта.

На рисунку 1 зображено основні етапи удосконаленого методу автентифікації клієнтів за голосовим відбитком в режимі реального часу.

Удосконалення методу автентифікації клієнтів в режимі реального часу досягається поєднанням математичного методу MFCCs щодо голосових відбитків та класифікатора K-NN голосових відбитків, що дозволило підвищити швидкість та не погіршити точність автентифікації клієнта.

Рис. 1. Основні етапи удосконаленого методу автентифікації клієнтів за голосовим відбитком в режимі реального часу

Для реалізації удосконаленого методу автентифікації клієнтів в режимі реального часу було розроблено відповідну інформаційну технологію, яка містить такі складові: модуль збору даних, модуль обробки даних, модуль зберігання даних та модуль автентифікації.

До функцій модулю збору даних входить збір бінарних даних, перетворення їх в пакети та подступове їх надсилання в модуль обробки даних. Модуль виступає окремим сервісом, який отримує дані (голос клієнта) за протоколом TCP під час розмови агента з клієнтом. Модуль отримує ці дані, групує їх в блоки, накладає деякі метадані, наприклад, ідентифікатор блоку, для того, щоб модуль обробки даних зміг їх відсортувати в такому ж порядку та продовжити роботу з ним, та відсилає блоки в модуль обробки даних - сервіс, який працює через HTTP протокол. Ідентифікатор блоку потрібний для того, щоб впорядкувати їх, так як сервіс відправляє їх асинхронно, не очікуючи відповіді від попереднього перед відправкою наступного, тому це потрібно для синхронізації.

Модуль обробки даних відповідає за сортування отриманих пакетів, перетворення масиву пакетів, тренування заданого голосу, перетворення його в один голосовий відбиток та передача його в модуль зберігання даних. Відбиток голосу клієнта ділиться на вирази певної довжини. З кожного виразу отримується вектор мел-кепстральних коефієнтів та передається у класифікатор K-NN.

Модуль зберігання даних відповідає за зберігання голосових відбитків клієнтів отриманих від модулю обробки даних та видачу існуючих голосових відбитків при виклику запиту від модулю прийняття рішення.Під час автентифікації запитується необхідний голосовий відбиток за допомогою ідентифікатора в модулі зберігання даних та порівнюється з голосом клієнта в режимі реального часу.

Головна мета модулю автентифікації - це порівняти існуючий голосовий відбиток, який отримано з модулю зберігання даних з голосом клієнта в режимі реального часу та сформувати певний результат на основі цього порівняння. Тобто, якщо голосові відбитки будуть мати великий відсоток схожості - клієнт автентифікувався успішно та може виконувати чи запитувати якусь конфіденційну інформацію. В іншому випадку він буде позначений як шахрай.

Загалом процес автентифікації з використанням запропонованої інформаційної технології є таким: голос користувача фіксується у модулі збору даних, відбувається його конвертація, тобто перетворення в пакети, та їх відправлення в модуль обробки даних. Відбувається формування голосового відбитку методом MFCCs та тренування інформаційної технології голосовими відбитками, які передаються в модуль зберігання даних, що зберігає їх в базі голосових моделей з подальшим процесом ідентифікації. Модуль автентифікації отримує існуючий голосовий відбиток від модуля зберігання даних, порівнює його з отриманим від модулю обробки даних та приймає рішення - чи клієнт автентифікований успішно.

На рисунку 2 представлено структуру інформаційної технології автентифікації клієнтів в режимі реального часу.

Рис.2. Структура інформаційної технології автентифікації клієнтів в

режимі реального часу

Отже, розроблена структура інформаційної технології автентифікації клієнтів в режимі реального часу, забезпечить швидкий процес автентифікації достатньої точності.

При тестуванні удосконаленої інформаційної технології був використаний симулятор дзвінків. Після проведення тестування (вибірка - понад 1000 тестових дзвінків тривалістю в 2 хвилини) визначено середній час автентифікації клієнта та точність автентифікації голосового відбитку клієнта. В таблиці 2 наведені усереднені результати аналізу швидкості автентифікації клієнтів в режимі реального часу з використанням удосконаленої інфомаційної технології та її аналогів

Сутність кожного експерименту полягала у обрані 10 різних записаних голосів тривалістю в 2 хвилини та проведенні процесу автентифікації для кожного з понад 100 разів.

Отже, як показали дослідження, швидкість процесу автентифікації клієнтів підвищиться, в середньому, не менш як на 9 відсотків.

При аналізі точності розраховано відсоткове відношення кількості правильної автентифікації (збережений голосовий відбиток та новоутворенний - голос однієї людини) до загальної кількості тестових дзвінків в процесі автентифікації.

Результати роботи запропонованої інформаційної технології автентифікації клієнтів за голосовим відбитком в режимі реального часу та її аналогів наведені в таблиці 3.

Таблиця 2

Результати аналізу швидкості автентифікації клієнтів в режимі реального часу з використанням запропонованої інформаційної технології та її аналогів

Таблиця 3

Результати аналізу точності при автентифікації клієнтів в режимі реального часу з використанням запропонованої інформаційної технології автентифікації та її аналогів

Висновки

Отже, за результатами проведенного дослідження, для проведення автентифікації клієнтів в режимі реального часу було запропоновано інформаційну технологію, яка базується на удосконаленому методі, що, в свою чергу, базується на поєднанні математичного методу MFCCs щодо голосових відбитків та класифікатора K-NN голосових відбитків. Це дозволило підвищити швидкість автентифікації та не погіршити точність автентифікації клієнта. Удосконалено математичну модель процесу автентифікації клієнтів в режимі реального часу за рахунок введення коефіцієнту автентифікації при кепстральному аналізі голосових відбитків. Аналіз отриманих результатів при тестуванні удосконаленої інформаційної технології показав, що вона забезпечує автентифікацію клієнтів в режимі реального часу на 9% швидше, а точність автентифікації клієнта за голосовим відбитком при цьому не зменшується.

Література

Speaker identification using mel frequency cepstral coefficients / M.R. Hasan, M. Hamil, M.G. Rabbani. - 3rd International Conference on Electrical & Computer Engineering, 2004. - С. 230-232.

Uday Kiran, MFCC Technique for Speech Recognition [Електронний ресурс], 13.06.2021 - Режим доступу: https://www.analyticsvidhya.com/blog/2021/06/mfcc-technique- for-speech-recognition/

Moussa Doumbia, Elbow Method in Supervised Machine Learning(Optimal K Value) [Електронний ресурс], 23.08.2019 - Режим доступу: https://medium.com/@moussadoumbia_ 90919/elbow-method-in-supervised-learning-optimal-k-value-99d425f229e7

Duhamel P. Vetterli M. Fast fourier transforms: a tutorial review and a state of the art. Elsevier: Signal processing. 1990. Vol. 19, No 1. P. 259-299.

Forney G.D. The viterbi algorithm. Proceedings of the IEEE. 1973. Vol. 61, № 3. P.268-278.

Vivek Vinushanth Christopher, Markov and Hidden Markov Model [Електронний ресурс], 18.08.2020 - Режим доступу: https://towardsdatascience.com/markov-and-hidden- markov-model-3eec42298d75

References

Hasan, M.R., Hamil, M. , Rabbani, M.G. (2004). Speaker identification using mel frequency cepstral coefficientsю. 3rd International Conference on Electrical & Computer Engineering, 230-232 [in English].

Uday Kiran, MFCC Technique for Speech Recognition. www.analyticsvidhya.com Retrieved from https://www.analyticsvidhya.com/blog/2021/06/mfcc-technique-for-speech- recognition/ [in English].

Moussa Doumbia, Elbow Method in Supervised Machine Learning(Optimal K Value). medium.com Retrieved from https://medium.com/@moussadoumbia_90919/elbow-method-in- supervised-learning-optimal-k-value-99d425f229e7 [in English].

Duhamel, P. Vetterli, M. (1990). Fast fourier transforms: a tutorial review and a state of the art. Elsevier: Signal processing, 19, 259-299 [in English].

Forney, G.D. (1973). The viterbi algorithm. Proceedings of the IEEE, 61, 3, 268-278 [in English].

Vivek Vinushanth Christopher, Markov and Hidden Markov Model. towardsdatascience.com Retrieved from ttps://towardsdatascience.com/markov-and-hidden- markov-model-3eec42298d75 [in English].

Размещено на Allbest.ru