Тенденции развития автоматизированных систем экспертизы материалов и средств цифровой звукозаписи

Размещено на http://www.allbest.ru/

Национальной академии внутренних дел,

Восточно-украинского национального университета им. В. Даля,

Киевского научно-исследовательского экспертно-криминалистического центра МВД Украины

Тенденции развития автоматизированных систем экспертизы материалов и средств цифровой звукозаписи

О.В. Рыбальский, к.т.н, профессор, лауреат государственной премии, главный научный сотрудник научно-исследовательской лаборатории по проблемам криминалистического обеспечения, профессор кафедры информационных технологий и кибернетической безопасности, доцент, заместитель заведующего кафедры компьютерных систем и сетей

В.В. Журавель, к.т.н., заведующий лаборатории исследований в сфере информационных технологий

Северодонецк Киев, Украина

Анотація

Показано, что использование существующего инструментария фоноскопической экспертизы не предполагает какой-либо автоматизации процесса экспертных исследований и требует больших временных и трудовых затрат как для идентификации диктора, так и для проверки аутентичности фонограмм. Очерчены новые пути построения и тенденции развития отечественных инструментальных средств, внедряемых в экспертных учреждениях МВД Украины, открывающие новые возможности автоматизации исследований в экспертизе материалов и аппаратуры цифровой звукозаписи. Предложены новые системы, построенные на основе нейронных сетей глубокого обучения.

Ключевые слова: идентификация аппаратуры звукозаписи, идентификация диктора, нейронные сети глубокого обучения, речевая информация, цифровая запись, экспертиза, экспертный инструментарий.

Показано, що використання наявного інструментарію фоноскопічної експертизи не допускає автоматизації процесу експертних досліджень і вимагає великих тимчасових і трудових витрат як для ідентифікації диктора, так і для перевірки автентичності фонограм. Окреслено нові шляхи побудови та тенденції розвитку вітчизняних інструментальних засобів, що впроваджуються в експертних установах МВС України, які відкривають нові можливості автоматизації досліджень у експертизі матеріалів і апаратури цифрового звукозапису. Запропоновано нові системи побудовані на основі нейронних мереж глибокого навчання.

Ключові слова: ідентифікація апаратури звукозапису, ідентифікація диктора, нейронні мережі глибокого навчання, мовна інформація, цифровий запис, експертиза, експертний інструментарій.

Annotation

O.V. Rybalskyi,

V.I. Soloviov,

Candidate of Technical Sciences, Associate Professor, Co-Head of the Department of Volodymyr Dahl East Ukrainian National University, Severodonetsk, Ukraine,

V.V. Zhuravel,

Candidate of Technical Sciences, Head of the Research Laboratiry, Kyiv Research Forensics Centre, Ministry of Internal Affairs, Kyiv, Ukraine

PROGRESS OF CASS OF EXAMINATION OF MATERIALS AND FACILITIES OF THE DIGITAL AUDIO RECORDING TENDENCIES

Both in the way of life and during realization of operative, search and inquisitional actions the final passing took place to the digital methods of record of voice information. It demanded creation of the new tools (expert methodologies, specialized programmatic facilities and hardwarily-programmatic complexes), intended for realization of examinations of materials and facilities of the digital audio recording, matching the level of the development of technique of record and treatment of information. The use of existent tool does not suppose some automation of process of expert researches and requires heavy temporal and labour tolls both for authentication of announcer and verifications of authenticness of phonograms. It is explained by the fact that approaches and methods of the treatments of information, used for the development of expert tool of previous generation, could not provide necessary efficiency and required degree of automation of processes of examination. Aim of the paper - to demonstrate the new ways of construction and progress of home tools inculcated in expert establishments of the Ministry of Internal Affairs of Ukraine for the wide range of specialists, opening new possibilities in examination of materials and apparatus of the digital audio recording. It is in-process shown that the modern systems of examination of materials and facilities of the digital audio recording, built on the out-of-date methods of analysis, do not provide necessary efficiency and are not suitable for automation of process of examination. It is suggested in the construction of new generation of expert tool to apply new physical and mathematical approaches and methods of treatment of information, in particular, method of short temporal windows, fractal approach and neuron networks of deep learning. It is also shown that the use of method of small temporal windows and breaking up of the investigated signals on short fragments considerably simplify creation of teaching base, as it consists of fragments, the amount of which responds to the request of its high-cube. Application of neuron networks of the deep learning provides the possibility of construction of the high-efficiency automated expert tool and apparatus of the digital audio recording, and extending of the nomenclature of examinations yieldings to automation.

Keywords: authentication of apparatus of the audio recording, authentication of announcer, neuron networks of the deep learning, speech information, digital record, examination, expert tool.

Состоявшийся окончательный переход к цифровым методам записи звуковой информации, как в быту, так и при проведении оперативно-разыскных и следственных действий, потребовали создания нового инструментария (экспертных методик, специализированных программных средств и аппаратно-программных комплексов), предназначенного для проведения фоноскопических экспертиз, отвечающих уровню развития техники записи и обработки информации.

Сложность создания такого инструментария обусловлена крайне малыми уровнями паразитных параметров аппаратуры цифровой звукозаписи. Но поскольку именно эти параметры являются источниками идентификационных признаков, по которым проводится современная экспертиза, то создание такого инструментария требует применения новых сверхчувствительных методов анализа [1].

К основным задачам технической экспертизы материалов и средств видеозвукозаписи (фоноскопической экспертизы) относится не только проверка аутентичности фонограмм, представленных на экспертизу, но и идентификация дикторов по физическим параметрам голоса. Эффективность (т.е. достоверность результата идентификации) такой экспертизы, выполненной на основе инструментария, используемого в настоящее время, редко превышает 85 % [2]. При этом использование этого инструментария не предполагает какой-либо автоматизации процесса экспертных исследований и требует больших временных и трудовых затрат для идентификации диктора. Это поясняется тем, что подходы и методы обработки информации, используемые для разработки экспертного инструментария предыдущего поколения, не могли обеспечить необходимую эффективность и требуемую степень автоматизации процессов экспертизы.

С появлением новых физических и математических подходов и методов обработки информации, в частности фрактального представления сигналов и нейронных сетей глубокого обучения, открываются новые возможности построения эффективного экспертного инструментария нового поколения, обладающего высокой степенью автоматизации. Они позволяют решить многие проблемы фоноскопической экспертизы, ранее не поддававшиеся решению.

Цель статьи - показать широкому кругу специалистов новые пути построения целого комплекса отечественных инструментальных средств, внедряемых в экспертных учреждениях МВД Украины, и открывающих новые возможности в фоноскопической экспертизе.

Инструментальный комплекс, построенный на новых подходах и методах, должен объединять ряд методик и средств экспертизы, предназначенных для идентификации диктора по физическим параметрам голоса и проверки аутентичности фонограмм, т.е. проверки их оригинальности и подлинности.

С криминалистической точки зрения это должен быть комплекс методик и средств идентификационных и диагностических исследований физических параметров сигналов речи и аппаратуры цифровой звукозаписи.

Разработке предшествовали теоретические исследования, определившие направление последующих работ. Их результаты представлены в ряде наших статей и докладов на конференциях, например, в [3-6].

В результате этих исследований стало ясно, что большинство поставленных задач, в частности, задачи, связанные с идентификацией аппаратуры аналоговой и цифровой звукозаписи (ААЗЗ и АЦЗЗ соответственно) и выявлением следов цифрового монтажа, решить на основе применения классических методов спектрального анализа не удастся. Поэтому первоначально был избран подход, опирающийся на вейвлет-анализ [7]. В результате появились первые, еще несовершенные средства экспертизы. В процессе их усовершенствования мы обратились к фрактальному представлению сигналов, которое опирается, в свою очередь, на вейвлеты. Такой переход обеспечил качественный скачок и привел к созданию первых вариантов двух новых различных инструментов: системы “Фрактал”, предназначенной для идентификации ААЗЗ и АЦЗЗ, и системы “АВАТАР”, предназначенной для ускоренного поиска голосов фигурантов с близкими физическими характеристиками в голосовой базе данных большого объема.

Система “Фрактал” построена на сравнении самоподобных структур, выделяемых из пауз в речевой информации образцовых (экспериментальных) фонограмм, с самоподобными структурами, выделяемыми из исследуемой (спорной) фонограммы [8]. Применение оригинальной методики проведения идентификационных исследований с использованием системы “Фрактал” полностью исключает субъективность принятия решения экспертом [9; 10].

Результаты экспертных исследований представляются в виде иллюстраций, как это показано на рис. 1.

Рис. 1. Плотности вероятности меры близости самоподобных структур для фонограмм № 2 и № 6, записанных на одной АЦЗЗ

Построенная на аналогичных принципах система голосовой верификации “АВАТАР” позволяет быстро ранжировать дикторов сообщений, зафиксированных в голосовой базе большого объема, по степени близости параметров голоса фигуранта исследуемого сообщения, что ускоряет розыск лиц, делающих ложные сообщения, например, о минировании важных общественных учреждений [11; 12]. Система построена с использованием ряда новых физических и математических подходов, например, применения элементов фонемической машины. Это позволило сократить время сообщения, пригодного для эффективного ранжирования дикторов.

Ее испытания показали высокие качественные характеристики системы: минимальная достаточная длительность записи голоса диктора, необходимая для ранжирования, составляет 5 сек, при точке пересечения кривых ошибок I и II рода порядка 8,5 % (рис. 2).

Рис. 2. Кривые ошибок I и II рода при ранжировании сообщений с длительностью речевого сообщения диктора от 2 до 5 сек.

Полученные результаты значительно превышают по своей эффективности результаты систем, построенных на методах классического спектрального анализа. Этого удалось достичь за счет применения предложенного нами нового метода. Его суть состоит в применении в анализаторах, построенных на новых подходах, временных окон малой длительности - примерно длительностью 20 мсек. Таким образом, в системах сравниваются отдельные короткие фрагменты фонограмм, следующие друг за другом с шагом примерно в 1 мсек. В каждом из таких окон выделяются фрактальные структуры, сравниваемые с образцовыми. Мы полагаем (и небезосновательно), что такой подход обладает высокой степенью универсальности и может быть применим ко многим задачам.

При решении задачи создания системы для выявления следов цифровой обработки в фонограммах этот подход был расширен и начались исследования, направленные на ее обеспечение. Проведенные исследования показали, что задача решаема даже для случая монтажа методом вырезания и вставки фрагментов. Более того, можно значительно повысить эффективность всех систем, предназначенных для проведения фоноскопической экспертизы, объединив используемые методы с технологией нейронных сетей глубокого обучения [13; 14].

Оказалось, что нейронные сети глубокого обучения обладают практически безграничной универсальностью и, при правильной постановке задачи, могут быть применены для создания систем, предназначенных для бинарной классификации любых объектов. Отметим, что все идентификационные и диагностические криминалистические задачи, решаемые экспертизой (в том числе и фоноскопической), относятся к задачам бинарной классификации. Но применение нейронных сетей глубокого обучения требует обеспечить базу обучения сети на большом массиве данных (dateset). Такие массивы должны содержать сотни тысяч (а иногда и миллионы) образцов для обучения системы. Без выполнения этого требования невозможно обеспечить высокую эффективность систем. Создать базу такого объема, даже с применением методов автоматизации, весьма сложно. Однако использование метода малых временных окон и разбиение исследуемых сигналов на короткие фрагменты (которое производится программно) значительно упрощает создание обучающей базы, т.к. она состоит из фрагментов, количество которых отвечает требованию ее большого объема. А поскольку при экспертизе сравнение осуществляется по малым фрагментам, то и обучение базы на таких фрагментах вполне корректно.

Выбор типов и видов фрагментов сигналов для обучающей базы определяется задачей, которая должна решаться нейронной сетью глубокого обучения. Для каждой конкретной экспертной задачи такие фрагменты будут разные. Так, например, для системы выявления монтажа это будут фрагменты пауз между речевыми сигналами, полученные из пауз, выделенных из фонограмм, записанных на различных типах, видах и экземплярах аппаратуры цифровой звукозаписи. А для системы идентификации диктора - конкретные гласные звуки, выделенные из речи разных дикторов, записанных на фонограммах.

Общий массив фрагментов, составляющий обучающую базу, разбивается на тренировочный и тестовый массивы, и на них производится обучение нейронной сети. Сеть, естественно, конструируется под каждую из решаемых задач. Цель обучения сети: получение на выходе наибольшей вероятности правильной классификации объекта экспертизы. Достигнутая на тестовом массиве наибольшая вероятность определяет эффективность обучения системы. В общем случае это предельная эффективность системы. Однако ее можно повысить, применив, например, нейронную сеть с другой конфигурацией или изменив ее конфигурацию при настройке.

Так, при разработке системы выявления монтажа в фонограммах программная система базировалась на библиотеке глубокого обучения нейронных сетей keras (backend tensorflow). Применялась полносвязная нейронная сеть до 50 нейронных слоев с прореживанием (drop-out) и пакетной нормализацией. Решалась задача бинарной классификации на массиве dataset. Обучение проводилось на фрагментах пауз длительностью 20 мсек размерностью 882 (что эквивалентно частоте дискретизации 44,1 кГц). Пример нейронной сети глубокого обучения с настраиваемой конфигурацией приведен на рис. 3.

Рис. 3. Нейронная сеть глубокого обучения с настраиваемой конфигурацией

Следует отметить, что фоноскопическая экспертиза решает еще целый ряд диагностических задач, связанных с лингвистическими исследованиями речи диктора. Это, например, задача установления его уровня образования и интеллекта, или задача установления местности, в которой проживал фигурант. нейронный экспертиза цифровой звукозапись

Мы полагаем, что такие задачи также поддаются автоматизации при использовании нейронных сетей глубокого обучения. Более того, исходя из нашего опыта исследований разработки таких сетей, мы полагаем, что их эффективность может значительно превзойти эффективность эксперта. По нашей предварительной оценке эффективность идентификации диктора по сигналам речи в системе, построенной на нейронной сети глубокого обучения, может приближаться к эффективности дактилоскопии.

Кроме того, возможен еще целый ряд применений таких сетей, связанных с речевыми сигналами, например, для определения эмоционального состояния диктора или для идентификации по голосу диктора, находившегося во время записи фонограммы в нетрезвом состоянии. Возможно, что такие сети предоставят возможность идентифицировать диктора в случае умышленного искажения голоса.

На основании вышеизложенного можно придти к ряду выводов.

1. Показано, что современные системы экспертизы материалов и средств цифровой звукозаписи, построенные на устаревших методах анализа, не обеспечивают необходимую эффективность и непригодны для автоматизации процесса экспертизы.

2. Предложено при построении нового поколения экспертного инструментария применять новые физические и математические подходы и методы обработки информации, в частности, метод коротких временных окон, фрактальный подход и нейронные сети глубокого обучения.

3. Применение нейронных сетей глубокого обучения обеспечивает возможность построения высокоэффективного автоматизированного экспертного инструментария материалов и аппаратуры цифровой звукозаписи, а также расширения номенклатуры экспертиз, поддающихся автоматизации.

Список использованных источников

1. Рыбальский О.В., Жариков Ю.Ф. Современные методы проверки аутентичности магнитных фонограмм в судебно-акустической экспертизе. К.: НАВСУ, 2003. 300 с.

2. Speaker Recognition Evaluation 2016 // NIST.

3. Рыбальский О.В. Основные положения теории выявления следов цифровой обработки фонограмм и особенности ее программной и методической реализации в экспертизе материалов и средств видеозвукозаписи. Ч. 1. Захист інформації. 2006. № 1. С. 71-76.

4. Рыбальский О.В. К вопросу о фрактальности аналоговых сигналов, подвергнутых цифровой обработке. Вісник Східноукраїнського національного університету ім. В. Даля. 2006. № 9. Ч. 1. С. 21-25.

5. Соловьев В.И. Идентификация аппаратуры аудиозаписи по статистическим характеристикам аудиофайлов. Реєстрація, зберігання і обробка даних. 2013. Т. 14. № 1. С. 59-70.

6. Рыбальский О.В., Соловьев В.И., Железняк В.К. Применение вейвлета Морле при создании методов и аппаратуры для проведения экспертиз материалов цифровой видеозвукозаписи. Вестник Полоцкого государственного университета. Серия С: Фундаментальные науки. 2015. № 4. С. 14-16.

7. Рибальський О.В. Застосування вейвлет-аналізу для виявлення слідів цифрової обробки аналогових і цифрових фонограм у судово-акустичній експертизі. К.: НАВСУ, 2004. 167 с.

8. Рыбальский О.В., Соловьев В. И., Журавель В.В. Методология построения системы экспертной проверки цифровых фонограмм и идентификации аппаратуры цифровой звукозаписи с применением программы “Фрактал”. Інформатика та математичні методи в моделюванні. 2016. Т. 6. № 2. С. 105-115.

9. Рибальський О.В., Журавель В.В., Соловйов В.І. Визначення ефективності інструментарію експертизи матеріалів і засобів цифрового звукозапису “Фрактал”. Актуальні питання експертно- криміналістичного забезпечення правоохоронної діяльності: зб. матер. наук.-практ. конф. Національної академії внутрішніх справ, 25 листопада 2016 р. Київ. С. 251-253.

10. Рыбальский О.В., Соловьев В.И., Журавель В.В. Системы инструментария экспертизы аудио и видеозаписи в Украине. Вестник Полоцкого государственного университета. Серия С. Фундаментальные науки. 2018. № 4. С. 15-19.

11. Соловьев В.И., Рыбальский О.В., Шабля А.Н., Журавель В.В. Система автоматизированного поиска голосов. Інформатика та математичні методи в моделюванні. 2015. Т. 5. № 4. С. 302307.

12. Рибальський О. В., Журавель В.В., Соловйов В.І. Методика верифікації особи за фізичними параметрами мовленнєвих сигналів повідомлень, що містяться у голосовій базі даних, з використанням системи автоматичного пошуку “АВАТАР”. К.: ЛОНМР ДНДЕКЦ МВС України. 2018. 44 с.

13. Understanding Machine Learning: From Theory to Algorithms. 2014 by Shai Shalev- Shwartz and Shai Ben-David Published 2014 by Cambridge University Press, 449 р.

14. Yoshua Bengio. Deep Learnning. Lxmls 2015. Machine Learnning Summer Shool. Lisbon, Portugal, 2015. 124 p.

References

1. Rybalskyi, O.V, Zharykov,Ju.F. (2003) Sovremennye metody proverki autentichnosti magnitnykh fonogramm v sudebno-akusticheskoy ecspertize “Modern Methods of Verification of Authenticness of Magnetic Phonograms in Judicial Acoustic Examination”. Kiev, NAVSU Publ. 300 p. [in Russian].

2. Speaker Recognition Evaluation 2016. NIST.

3. Rybalskyi, O.V. (2006) Osnovnye polozheniya teorii vyiyavleniya sledov tsifrovoy obrabotki fonogramm i osobennosti eye programmnoy i metodicheskoy realizatsii v ekspertize materialov i sredstv videozvukozapisi (chast 1). “The Substantive Provisions of Theory of Exposure of Tracks of Digital Treatment of Phonograms and Features of Its Programmatic and Methodical Implementation in Examination of Materials and Facilities of the Audio Videorecording (part 1)”

4. Rybalsky, O.V. (2006) K voprosu o fractalnosti analogovykh signalov podvergnytykh zifrovoy obrabotke. “The Issue on the Fractal of the Analog Signals Exposed to Digital Treatment”. Herald of the Eastern Ukrainian National University named after V. Dal. No 9. Part 1. P. 21-25 [in Russian].

5. Solovyov, V.I. (2013) Identifikaziya apparatury audiozapisi po statisticheskim kharakteristikam audiofaqlov. “Authentication of Apparatus of the Audio Recording on Statistical Descriptions of Audiofiles”. Data Recording, Storage & Processing. No 1, Vol. 14. P. 59-70 [in Russian].

6. Rybalskyi, O.V., Solovyov, V.I., Zheleznyak, V.K. (2015) Primenenie veyvleta Morle pri sozdanii metodov i apparatury dlya provedeniya ecspertiz materialov zifrovoy videozvukozapisi. “Application of the Morlet Velvet for Creation of Methods and Apparatus for Realization of Examinations of Materials of the Digital Video Audio Recording”. Herald of Polotsk State University. Series C: Fundamental Sciences. No 4. P. 14-16 [in Russian].

7. Rybalsky, O.V. (2004) Zastosuvannya velvet-analizu dlya vyiyavlennya slidiv tsyfrovoi obrobki analogovykh i tsyfrovykh fonogramm u sudovo-akustychniy ecspertizi. “Application of Wavelet Analysis for the Exposure of Tracks of Digital Treatment of Analog and Digital Phonograms in Judicial Acoustic Examination”. Kyiv, NAVSU Publ. 167 p. [in Ukrainian].

8. Rybalsky, O.V., Solovyov, V.I., Zhuravel, V.V. (2016) Metodologiya postroeniya systemy ecspertnoi proverki tsyfrovykh fonogramm i identifikatsii apparatury tsifrovoi zvukozapisi s primeneniem programmy “Fractal”. “Methodology of Construction of the System of Expert Verification of Digital Phonograms and Authentication of Apparatus of the Digital Audio Recording with the Use of the Program “Fractal””. Informatics and Mathematical Methods in Simulation”. Vol. 6. No 2. P. 105-115 [in Russian].

9. Rybalskyi, O.V., Zhuravel, V.V., Solovyov, V.I. (2016) Vyznachennya efectyvnosti instrumentariu ecspertyzy materialiv i zasobiv tsifrovogo zvukozapysu “Fractal”. “Determination of Efficiency of Tool of Examination of materials and facilities of the digital audio recording is “Fractal””: coll. of mat. of scient. and pract. conf. of the National Academy of Internal Affairs. Kyiv. P. 251-253 [in Ukrainian].

10. Rybalskyi, O.V., Solovyov, V.I., Zhuravel, V.V. (2018) Systemy instrumentariya ecspertizy audio i videozapisi v Ukraine. “Systems of Tool of Examination of Audio and Videotape Recording in Ukraine”. Herald of Polotsk State University. Series C. Fundamental Sciences. No 4. P. 15-19 [in Russian].

11. Solovyov, V.I., Rybalskyi, O.V., Shablia, A.N., Zhuravel, V.V. (2015) Systema avtomatizirovannogo poiska golosov. “System of the Automated Search of Voices”. Informatics and Mathematical Methods in Simulation. Vol. 5. No 4. P. 302-307 [in Russian].

12. Rybalskyi, O.V., Zhuravel, V.V., Solovyov, V.I. (2018) Metodyka veryfikatsii osoby za fizychnymy parametramy movlennevykh sygnaliv povidomlen, scho mistyatsya u golosovsy bazi danykh, z vykorystannyam systemy avtomatychnogo poshuku “AVATAR”. “Methodology of Verification of Personality on Physical Parameters of Speech Signals of Reports Which Are in Vocal Database, with the Use of the System of Automatic Search of “AVATAR”. Kyiv. 44 p. [in Ukrainian].

13. Understanding Machine Learning: From Theory to Algorithms. 2014 by Shai Shalev-Shwartz and Shai Ben-David Published 2014 by Cambridge University Press, 449 p.

14. Yoshua Bengio. Deep Learning. Lxmls 2015. Machine Learnning Summer Shool. Lisbon, Portugal, 2015, 124 p.

Размещено на Allbest.ru