Способ обнаружения психоэмоционального расстройства человека на основе декомпозиции на эмпирические моды и формантного анализа речевых сигналов

Несмотря на разнообразие применяемых обозначений, определений, большинство предложенных методов определения разборчивости представляют собой развитие идей Коларда [2]. Теория разборчивости и методы определения основаны на представлении речевого сигнала в виде совокупности формант. Формантная теория расчета принимает форманты за элементы звуков речи, несущие информацию и определяющие разборчивость. Понятие «форманта» распространяется на все звуки речи. Нужно иметь в виду различие между смыслом, вкладываемым в это понятие формантной теории, и акустическим определением спектров звуков. Спектральный анализ звуков обнаруживает до десяти формант в отдельных случаях. Однако исследования речи показывают, что слуховое восприятие (по крайней мере для гласных звуков) полностью определяется четырьмя формантами, поэтому формантная теория относит к формантам только те области концентрации энергии в спектре, которые определяют звук.

Форматная теория разборчивости основана на предположении, что в пределах некоторой полосы частот речевого сигнала Д/ вероятность встречаемости формант

ДА_втах = = Пв/Ы,

где N - число формант во всей полосе частот речевого сигнала; п - число формант в полосе Д

Адаптивная обработка

Исследования методов обработки речевых сигналов выявили перспективность использования адаптивной технологии анализа нестационарных сигналов - улучшенной полной множественной декомпозиции на эмпирические моды с адаптивным шумом (ПМДЭМАШ) [7]. В настоящее время технология улучшенной ПМДЭМАШ широко используется в различных научных приложениях, в том числе и при решении задач обнаружения психоэмоциональных расстройств [8, 9].

Классическая декомпозиция на эмпирические моды (ДЭМ) - это адаптивный метод анализа нестационарных сигналов, возникающих в нелинейных системах, который обеспечивает локальное разложение сигнала на быстрые и медленные колебательные функции [10]. В результате разложения исходный сигнал представляется в виде суммы амплитудно- и частотно-модулированных функций - эмпирических мод (ЭМ). Аналитическое выражение ДЭМ выглядит следующим образом:

с(п) = I ІМРі (п) + Г((п), (=1

где х(п) - исходный сигнал; 1МЕ, (п) - ЭМ; г, - (п) - конечный остаток;, = 1, 2, I - номер ЭМ; п - дискретный отсчет времени.

Отличительной особенностью улучшенной ПМДЭМАШ является добавление к исходному сигналу контролируемого шума для создания новых экстремумов. Это позволяет устранить недостатки существующих разновидностей декомпозиций: смешивание ЭМ; остаточный шум в ЭМ; наличие «паразитных» ЭМ на ранних этапах декомпозиции.

Алгоритм и математическое описание метода улучшенной ПМДЭМАШ:

1. С помощью аппарата ДЭМ и путем выражения формулы (Е-^^Сп)^) = (хДп))-- (м(хДп))) локальных средних значений шумовых копий исходного сигнала (хДп) = х(п) + р₀Е₁(у/) (п))) определяется первый остаток:

г1(п) = (М (хДпф,

где Ј; (*) - аппарат извлечения ЭМ методом ДЭМ (1 - номер моды); х^п) = х(п) + ш^п) - шумовые копии исходного сигнала (х(п) - исходный речевой сигнал, ш(п) - реализации белого шума с нулевой средней единичной дисперсией); М(-) - аппарат, создающий локальное среднее значение применяемого сигнала; р, - = с^^г,-) - коэффициент, допускающий выбор различных значений отношения сигнал/шум.

2. На первом этапе для I = 1 вычисляется первая мода: 1М^\(п) = х(п) - Ып).

3. Вычисляется второй остаток как усредненное локальное среднее значение шумовых копий первого остатка гДп) + р₁Е₂(и/) - (п)'), и определяется вторая мода:

ТМЕДп) = г1(п) - г2(п) = г1(п) - (М (гДп) + ргЕ2 (иДп))^.

4. На последующих этапах для i = 3., I вычисляется 1-й остаток:

П(п) = ⁽м(г₁_₁(п) + &_₁Ј'; (иДп)))⁾.

5. Вычисляется 1-я мода:

ІМЕі(п) = г_і_₁(п)~ Гі(п).

6. Переход к шагу 4 для следующего значения і.

Константы Рі выбираются так, чтобы получить желаемое отношение сигнал/шум между добавленным шумом и остатком, к которому добавляется шум. Для получения шумовых реализаций с меньшими амплитудами для последних стадий декомпозиции в остальных модах будем воспринимать шум как результат его предварительной обработки ДЭМ, т.е. без их нормализации стандартным отклонением.

Описание способа

На рис. 2 представлена упрощенная блок-схема способа обнаружения психоэмоционального расстройства человека. Суть способа заключается в адаптивном разложении речевого сигнала на равноартикуляционные полосы частот с помощью улучшенной ПМДЭМАШ и определения формант и формантной разборчивости в данных полосах. Структурно способ делится на три этапа: предварительная обработка (блоки 2-4), формантный анализ (блоки 5/8, 9), декомпозиция (блоки 6, 7). Блоки 11, 12 применяются только для исследования предложенного способа. Рассмотрим кратко этапы обработки предложенного способа.

Рис. 2. Упрощенная блок-схема способа обнаружения психоэмоционального расстройства человека

Блок 1. Ввод речевого сигнала осуществляется со следующими параметрами: частота дискретизации 8000 Гц, разрядность квантования 16 бит. На рис. 3 представлена осциллограмма примера речевого сигнала-предложения «Лара врала, что была королевой Урала».

Рис. 3. Осциллограмма речевого сигнала

Блок 2. Обнаружение вокализованных участков представляет собой определение точных границ звуков речи, образованных с участием голосовых связок в общем речевом потоке. Корректное обнаружение границ вокализованных участков не только повышает эффективность форматного анализа, но и уменьшает количество вычислительных операций. На рис. 4 вокализованные участки отмечены прямоугольниками серого цвета. Невокализованные участки в дальнейшей обработке не используются.

Рис. 4. Вокализованные участки речевого сигнала

Блок 3. Сегментация представляет собой линейное деление вокализованных участков речевого сигнала на составляющие отрезки, называемые фрагментами. В основе сегментации заложен принцип: свойства речевого сигнала с течением времени изменяются медленно. Это приводит к кратковременному анализу, в котором фрагменты выделяются и обрабатываются так, как если бы они были короткими участками отдельных звуков с отличающимися свойствами. На рис. 5, а представлен фрагмент вокализованного участка длительность 100 мс. Длительность фрагмента в 100 мс определена эмпирически для повышения эффективности формантного анализа и декомпозиции.

Рис. 5. Фрагмент вокализованного участка

Блок 4. Сегментация на фрагменты во временной области эквивалентна умножению сигнала на прямоугольное окно. В частотной области эквивалентна свертке из-за того, что передаточная функция прямоугольного окна имеет боковые лепестки, уровень которых достигает 20%, спектр сигнала искажается (эффект Гиббса) [11]. Для уменьшения подобных искажений при обработке речевых сигналов применяются окна с плавно спадающими до нуля краями - окно Хемминга. На рис. 5, б представлен фрагмент вокализованного участка после оконной обработки.

Блок 5. Определение формант представляет собой определение числовых значений частоты, ширины, уровня и добротности полосы формантных областей. Частота формантной области Р определяется как частотная составляющая, имеющая максимальный по амплитуде уровень. Ширина формантной области ДР определяется как разность нижней Рь и верхней Рн частотной составляющей, на которых мощность спектральной огибающей снижается вдвое [12]. Добротность определяется как отношение частоты и ширины формантной области Q = Р/ДР. На рис. 6 представлен пример результата определения формант вокализованного участка.

Рис. 6. Результат определения формант вокализованного участка

Блок 6. Важным условием адаптивного разложения речевого сигнала на равноартикуляционные полосы частот является возможность формирования адаптивного базиса, функционально зависимого от структуры самого сигнала. Это условие выполняется в методе улучшенной ПМДЭМАШ, частотно-избирательные свойства которого обеспечивают адаптивность при разложении и позволяют учитывать внутренние особенности сигнала (скрытые модуляции, области концентрации энергии и т.п.). Результат разложения приведен на рис. 7. Вокализованный участок речевого сигнала был разложен на девять частотных составляющих - равноартикуляционных частотных диапазонов. Однако для удобства визуализации ЭМ9 не отображена на рис. 7.

психоэмоциональный расстройство речевой

Рис. 7. Результат разложения вокализованного участка с помощью улучшенной ПМДЭМАШ

Блок 7. Задача определения информативных ЭМ сводится к обнаружению частотных диапазонов, отражающих информацию о частотной локализации формантных областей. В основе определения заложен принцип, что информативные моды имеют большую энергию, чем трендовые моды. Амплитудное распределение ЭМ хорошо описывается с помощью функции кратковременной энергии. Для сжатия амплитуды сигнала в большом динамическом диапазоне применяется логарифмирование энергии, максимально приближая работу способа к работе слухового аппарата человека. На рис. 8 представлена зависимость логарифма энергии ЭМ от ее номера. Как видно из рис. 7, 8, наиболее информативными, отражающими информацию о частотной локализации формантных областей являются ЭМ1 - ЭМ5.

Рис. 8. Зависимость логарифма энергии ЭМ от ее номера

Блок 8. Результат определения формант информативных ЭМ представлен на рис. 9. Для упрощения формы спектра формант строились с использованием прямых линий, соединяющих вершины частотных составляющих. Локализации формантных областей:

- первая форманта - сумма ЭМ3, ЭМ4 и ЭМ5;

- вторая форманта - ЭМ2;

Рис. 9. Результат определения формант информативных ЭМ

Блок 9. Формантная разборчивость речи представляет собой величину смещения частотной локализации формантных резонаторов вследствие патологий моторики речеобразующей системы. В реальных условиях определению формант будут мешать различные искажения, помехи и акустические шумы, создающие маскировку. Поэтому формантная разборчивость уменьшится и будет определяться по следующей формуле [12]:

= ААзтахР3(Е'),

где Рв(Е') - коэффициент, показывающий, какая часть формант в полосе будет воспринята в реальных условиях; Е' - уровень восприятия формант.

Считая значения ДЛ₅ в смежных полосах спектра речи независимыми, получаем свойство аддитивности формант. Формантная разборчивость для всей полосы частот определяется по формуле

При разложении с помощью улучшенной ПМДЭМАШ на пять равноартикуляционных частотных диапазонов при условии, что ДЛ^ах = ДЛ2шах =… = 0,25 и Ј|₌₁ ДД_5тах = 1, формантная разборчивость равна:

Уровень восприятия формант: Е' = Б'р - Ь - Бпоше, где Б'р - уровень спектра формант; Ь - затухание при передаче речи; Бпоке - спектральный уровень шума (с интегральным уровнем ощущения не менее 10дБ). Данные значения Ь взяты из работы [12].

Блок 10. Вывод результата заключается в формировании полученных значений формантной разборчивости, частоты, ширины, уровня и добротности полосы формантных областей в удобный для дальнейшего определения «норма / патология» вид. Это осуществляется посредством распространенного метода, используемого в приложениях по обработке речевых сигналов - смешанных гауссовских моделей (Gaussian Mixture Model, GMM).

Исследование способа

Для тестирования предложенного способа сформирована группа исследуемых людей при поддержке центра психологической диагностики федерального казенного учреждения здравоохранения «Медицинская санитарная часть Министерства внутренних дел Российской Федерации по Пензенской области» (ЦПД ФКУЗ «МСЧ МВД РФ по Пензенской области»). Группа сформирована из наблюдаемых врачом-психиатром ЦПД ФКУЗ «МСЧ МВД РФ по Пензенской области» пациентов с эмоциональной нагрузкой, соответствующей третьему классу по степени напряженности. В группу отобрано 53 человека мужского и женского пола в возрасте от 18 до 79 лет. В том же количестве сформирована контрольная группа условно здоровых людей (без признаков психоэмоциональных расстройств и дефектов речи) из числа сотрудников и преподавателей Пензенского государственного университета.

В соответствии с разработанной авторами методикой была зарегистрирована база данных речевых сигналов. В подготовленном помещении с помощью специально настроенных параметров и расположения микрофона осуществлялась регистрация речи, воспроизводимой участниками обеих групп при чтении трех видов текстового материала:

- фонетически сбалансированный текст публицистической статьи из газеты, состоящий из 100 слов;

- фонетически сбалансированный текст литературного произведения, состоящий из 100 слов;

- специально подобранные слова, составленные из них словосочетаний и предложения, включающие в себя звуки, максимально отражающие нарушения при воспроизведении речи.

Для оценки эффективности разработанного способа использовался параметр - ошибки первого и второго рода. При анализе значения формантной разборчивости, частоты, ширины, уровня и добротности полосы формантных областей главной задачей исследования являлось обнаружение психоэмоционального расстройства. Поэтому ошибкой первого рода будет ложное присваивания статуса «норма» речевому сигналу, произнесенному человеком с эмоциональным расстройством, а ошибкой второго рода - ложное присваивание статуса «патология» речевому сигналу, произнесенному здоровым человеком.

Исследование проводилось в два этапа: обучение и тестирование. Обучение на группе здоровых людей представляет собой формирование базы данных значений информативных параметров (формантной разборчивости, частоты, ширины, уровня и добротности полосы формантных областей), соответствующих статусу «норма». На этапе обучения также автоматически формируется пороговое значение статуса «норма» как среднее арифметическое значение данных информативных параметров. Тестирование на группе людей с психоэмоциональными расстройствами заключается в последовательном сравнении значений информативных параметров исследуемых речевых сигналов с пороговыми значениями.

Для определения ошибки второго рода последовательность действия исследования сохраняется, изменяются только группы. Обучение осуществляется на группе людей с психоэмоциональными расстройствами, а тестирование на группе условно здоровых людей.

Все этапы обработки сигналов и анализа данных были выполнены в среде математического моделирования © Matlab (MathWorks).

Исследование проводилось для трех видов речевых сигналов: слоги, слова и предложения. Сигнала длительностью не менее 100 мс были специально подготовлены с помощью аудиоредактора из зарегистрированной базы данных речевых сигналов. Для увеличения анализируемой информации слоги и слова в сигналах повторялись несколько раз (30 раз минимум). В табл. 2 представлены результаты определения психоэмоциональных расстройств.

Таблица 2. Результаты определения психоэмоционального расстройства