Спектральный анализ речевого сигнала

Размещено на http://www.allbest.ru/

Лекция

Спектральный анализ речевого сигнала



1. Предварительная обработка речевых сигналов для системы распознавания речи

Создание естественных для человека средств общения с компьютером является в настоящее время важнейшей задачей современной науки, при этом речевой ввод информации осуществляется наиболее удобным для пользователя способом. Распознавание речи является задачей классификации образов акустических характеристик речевых сигналов.

Подсистема предварительной обработки речевых сигналов

Предварительная обработка речевого сигнала включает в себя следующие этапы:

процесс ввода речевого сигнала;

выделение границы речевого сигнала;

цифровая фильтрация;

нарезка речевого сигнала перекрывающимися кадрами;

обработка сигнала в окне;

спектральное преобразование;

нормирование частотного спектра.

Рассмотрим подробно этапы.

Процесс ввода речевого сигнала

Ввод звука осуществляется в реальном времени через звуковую карту или через файлы формата WAV в кодировке PCM. Частота дискретизации 8 КГц и квантование 16 бит являются типовыми параметрами в системах передачи, хранения и обработки речевой информации. Работа с файлами была предусмотрена, чтобы облегчить многократное повторение обработки нейронной сети, что особенно важно при обучении.

Выделение границы речевого сигнала

Для вычленения из входного сигнала участков, содержащих только речь, используются следующие характеристики речевого сигнала:

кратковременная энергия речевого сигнала;

число нулей интенсивности (мгновенная частота);

плотность распределения значения отчетов паузы.

Кратковременная энергия звукового сигнала и число нулей интенсивности одновременно используются для выделения речи из входного сигнала. Кроме того, можно удалить паузу из выходного сигнала методом на основе нормального (гауссова) распределения.

Цифровая фильтрация

Вместе с полезным сигналом обычно попадают различные шумы. Шум оказывает отрицательное воздействие на качество работы систем распознавания речи, поэтому с ним приходится бороться. Для снижения уровня шума в подсистеме применяются два типа цифрового фильтра:

пропускающий полосовой фильтр;

предварительный фильтр.

Пропускающий полосовой фильтр можно представить себе в виде комбинации фильтра нижних и верхних частот. Такой фильтр задерживает все частоты, ниже так называемой нижней частоты пропускания, а также выше верхней частоты пропускания.

Предварительная фильтрация представляется для снижения влияния локальных искажений на характерные признаки, которые в дальнейшем будут использоваться для распознавания. Для спектрального выравнивания речевого сигнала его следует пропустить через взвешивающий низкочастотный фильтр.

Нарезка речевого сигнала перекрывающимися кадрами

Для того чтобы получить векторы признаков одинаковой длины, нужно нарезать речевой сигнал на равные части, а затем выполнять преобразования внутри каждого кадра. Перекрытие используется для предотвращения потери информации о сигнале на границе.

Чем меньше перекрытие, тем меньшей размерностью в итоге будет обладать вектор свойств, характерный для рассматриваемого участка. Перекрытие иногда пропускается по причине экономии вычислительных ресурсов, поскольку он существенно замедляет скорость обработки данных. Обычно выбирается длина сегментов, соответствующая временному интервалу в 20-30мс.

Обработка сигнала в окне

Обработка сигнала в окне представляется для снижения граничных эффектов, возникающих в результате сегментации. Для подавления нежелательных граничных эффектов принято умножать сигнал на оконную функцию. Существует 4 типа оконных функций:

прямоугольное окно;

окно Ханна;

окно Хемминга;

окно Блэкмана.

В качестве функции использовано окно Хэмминга.

Спектральное преобразование

Информации об амплитуде и форме огибающей речевого сигнала не достаточно для выделения из речи лексических элементов. В зависимости от различных обстоятельств форма огибающей речевого сигнала может меняться в широких пределах. Для решения задачи распознавания необходимо выделить первичные признаки речи, которые будут использованы на последующих этапах процесса распознавания. Первичные признаки выделяются посредством анализа спектральных характеристик речевого сигнала. Для получения частотного спектра речевого сигнала используется быстрое преобразование Фурье (БПФ). БПФ представляется для получения амплитудного спектра и информации о фазе сигнала (в реальных и мнимых коэффициентах). Информация о фазе сигнала отбрасывается и вычисляются амплитудные спектры. При этом чаще используется логарифм этого значения.



Где -амплитудный спектр i-ой частоты,

-реальный коэффициент,

-мнимый коэффициент,

N - размер БПФ,

- размер информативной части спектра.

Так как звуковые данные не содержат мнимой части, то по свойству БПФ результат получается симметричным, т.е. Таким образом, размер информативной части спектра NS равен N/2.

Нормирование частотного спектра

Все вычисления в нейронных сетях производятся над числами с плавающей точкой. Поэтому значения параметров объектов, классифицируемых с помощью нейронных сетей, ограничены диапазоном [0.0, 1.0]. Для выполнения обработки спектра нейронной сетью полученный спектр нормируется на 1.0. Для этого каждый компонент вектора делится на его максимальный компонент.

2. Спектральный анализ речевого сигнала

В системах обработки аналоговый речевой сигнал поступает на вход микрофона, с выхода которого снимается электрический сигнал. Далее сигнал подвергается дискретизации по времени и квантованию по амплитуде.

В процессе квантования возникают искажения (ошибки квантования), которые, в сущности, означают потерю информации.



Рис. 2.1. Квантование сигнала

Исходная информация представлена в виде зависимости амплитуды от времени (обычно это .wav файлы).

Полученная последовательность цифровых данных в дальнейшем подвергается обработке, с целью определения частотного диапазона и других характеристик сигнала, на основе которых его можно воспроизвести. Поскольку сигнал обычно зашумлен, простейшим способом удаления шума является обнуление тех значений сигнала, которые меньше некоторого порогового значения.

Временная форма представления сигнала, т. е. изменения сигнала в зависимости от времени, позволяет определить амплитуду, энергию, мощность и длительность. Модели сигналов в виде функции времени используются для анализа формы сигналов. Сложные сигналы можно представить в виде системы базисных функций

, (2.1)

где - интервал существования сигнала.

При выбранном наборе базисных функций сигнал f(t) полностью определяется совокупностью безразмерных коэффициентов . Такие совокупности чисел называют дискретными спектрами сигналов. Базисная функция , где используется в преобразовании Фурье.

Кроме временных характеристик сигнала важны и его частотные свойства. Для их исследования используются частотные представления функции в виде спектра. Спектральное представление сигнала - разложение его на конечную или бесконечную сумму гармонических сигналов. Знание частотных свойств сигнала позволяет решать задачи идентификации сигнала (определение его наиболее информативных параметров), фильтрации (выделение полезного сигнала на фоне помех), выбора частоты дискретизации непрерывного сигнала, так как этот параметр является определяющим для аппаратуры обработки.

Совокупность синусоидальных составляющих сложного звука, заданных с помощью амплитуд и частот этих составляющих представляют акустический спектр. Для спектрального анализа сигнала используется дискретное преобразование Фурье (ДПФ) и быстрое преобразование Фурье (БПФ), которое представляет процедуру ускоренного ДПФ.

Рассмотрим конечный ряд дискретных сигналов f(mT) при m = 0,1,2,...,M-1.

Функция F(K), определяемая по формуле (2.2) называется дискретным преобразованием Фурье для f(mT).

(2.2)

где К = 0,1,2,...,M-1, а - комплексная функция с мнимой единицей.

Если найдено ДПФ, то можно восстановить исходный сигнал (обратное преобразование Фурье) по дискретным значениям сигнала.

Согласно теореме Котельникова, произвольный сигнал, спектр которого не содержит частот выше Fв Гц, может быть полностью восстановлен, если известны отсчётные значения этого сигнала, взятые через равные промежутки времени 1/(2·Fв) с.

Обратное преобразование Фурье определяется по формуле

(2.3)

где m = 0,1,2,...,M-1.

Реальный речевой сигнал имеет конечную длительность, при представлении в частотной области его спектр неограничен. Поэтому сигнал сегментируют на участки порядка 10 мс, на которых он считается стационарным.

Один из вариантов предварительной обработки речевого сигнала приведен на рис. 2.2.

Рис. 2.2. Предварительная обработка речевого сигнала

Взвешивание сигнала весовой функцией окна Хэмминга (рис. 2.3) уменьшает спектральные искажения сигнала из-за граничных условий. Применение временного окна целесообразно для интервалов превышающих 15 мс или включающих несколько периодов основного тона.

Значение взвешивающей функции задается формулой:



(2.4)

Информативность различных частей спектра неодинакова: в низкочастотной области содержится больше информации, чем в высокочастотной. Поэтому сжимают высокочастотную область спектра в пространстве частот. Наиболее распространенный метод благодаря его простоте - логарифмическое сжатие, или mel-сжатие

(2.5)

где f - частота в спектре, Гц; m - частота в новом сжатом частотном пространстве.

Рис. 2.3. Фурье - преобразование речевого сигнала с использованием окна Хэмминга (Hamming)

Образцы сегментов речевых сигналов приведены на рис. 2.4.



Рис. 2.2.4. Сегменты речевых сигналов: а) сегмент выделен с использованием окна Hamming б) сегмент гласной

На рис. 2.5 показан результат частотного анализа 16-битного речевого сигнала с частотой дискретизации 11025 Гц, выполненный в окне анализа Analyze - Frequency Analysis звукового редактора Cool Edit. Подобный спектр колебаний воздуха формируется голосовыми связками и источником звука в ротовой полости путем избирательного резонанса, возникающего при передаче звука по речевому тракту.

Речевой тракт образуют гортань, ротовая полость, язык, носовая полость и т. д. Редактор позволяет записывать и проигрывать файлы в разных аудио-форматах, редактировать, конвертировать и смешивать звуковые файлы, генерировать шум и различные тона, выполнять частотный анализ и др.

Рис. 2.2.5. Окно спектрального анализа: Fш - частота шума, Fо - частота основного тона, 2F0-5F0 - обертоны, 3F0,F1-F3 - формантные частоты



Речевой сигнал имеет ряд особенностей, которые необходимо учитывать:

- свойства сигнала не постоянны на выбранном для анализа отрезке длиной в слово, это нестационарный случайный процесс,

- сложность формы сигнала (речь напоминает скорее шум, чем регулярный сигнал).

Для преодоления этих трудностей, как указывалось выше, дискретный случайный процесс оцифрованного речевого сигнала считается стационарным на интервале порядка 10 мс, так как параметры голосового тракта на этом интервале значительно не изменяются. Это обоснованный экспериментально временной интервал.

Основная задача обработки сигнала состоит в вычислении по входному сигналу совокупности параметров (признаков), которые содержат информацию о сигнале, используемую при синтезе и распознавании.

Обычно определяют следующие параметры сигнала:

частоту основного тона для формирования траектории периода основного тона;

кратковременную энергию для синтеза траектории кратковременной энергии;

коэффициенты линейного предсказания (КЛП) для построения траектории передаточной функции речеобразующего тракта;

формантные частоты для воспроизведения траектории формантных частот.

Форманты - максимумы распределения энергии звукового сигнала в координатах амплитуда, частота, время. Для получения хорошего качества сигнала достаточно задать параметры нескольких старших формант основного тона. Когда нужно достичь высокого качества, применяются некоторые из перечисленных параметров или их комбинации. Проблема отделения речи от шума довольно сложна, т.к. при произнесении некоторых согласных ("ф", "п", "т" и др.) энергия речевого сигнала практически равна энергии шума.

Рис. 2.6. Блок обработки сигнала

Один из алгоритмов выделения фразы (предложен Л. Рабинером) основан на измерении двух простых характеристик - энергии и числа переходов через нуль. При подсчёте среднего значения энергии используется окно в 10 мс (примерно 110 отсчётов), в котором суммируются квадраты отсчётов (рис. 2.7).

Предполагается, что первые 50 мс сигнал не содержат речевого сигнала.

Рис. 2.7. Выделение фразы



Рис. 2.8. Максимумы энергии в спектре фонемы "Р" в слове РОК

В пределах выбранного временного сегмента, вычисляется среднее значение энергии шума Eшума и порог P, который берется равным удвоенной энергии шума. При дальнейшей обработке, если среднее значение энергии превысило порог, то фиксируется момент записи речевого сигнала (начало фразы), который запоминается. Если среднее значение энергии станет меньше порога, то запоминается конец фразы. На рис. 2.8-2.11 приведены графики изменения энергии сигнала для фонем "Р", "Л" в зависимости от гласного звука, следующего за ними.

Рис. 2.9. Максимумы энергии в спектре фонемы "Л" в слове ЛОК



Рис. 2.10. Максимумы энергии в спектре фонемы "Р" в слове РЁВ

Рис. 2.11. Максимумы энергии в спектре фонемы "Л" в слоге ЛЁВ

Образцы сигналов и их спектрограмм приведены на рис. 2.12.

Рис. 2.12. Сигналы и их спектрограммы



Частота основного тона, энергия и длительность обеспечивают формирование просодических характеристик речи.

Визуализация параметров сигнала в координатах амплитуда, частота, время приведена на рис. 2.13.

Рис. 2.13. Сигнал в координатах частота-амплитуда-время

3. Измерение частоты основного тона

Частота основного тона является одной из важнейших характеристик речевого сигнала. Существуют различные способы оценки этого параметра, в частности, можно воспользоваться спектральным анализом. Если найдено ДПФ, то можно восстановить исходный сигнал (обратное преобразование Фурье) по дискретным значениям сигнала. Структура системы вычисления частоты основного тона приведена на рис. 3.1.

Рис. 2.3.1. Вычисление частоты основного тона



Поскольку обратное ДПФ линейно, сигнал в точке D (называемый кепстром сигнала в точке А) равен сумме кепстров функции возбуждения и импульсной характеристики голосового тракта. Можно показать, что кепстр в точке D позволяет разделить эффекты возбуждения и характеристики голосового тракта. Действительно, сигнал возбуждения можно рассматривать как квазипериодическую импульсную последовательность с преобразованием Фурье, близким к линейчатому, причем спектральные линии соответствуют гармоникам частоты основного тона. Вычисление логарифма модуля не меняет линейчатого характера спектра функции возбуждения.

Обратное ДПФ дает новую квазипериодическую последовательность импульсов с интервалами между импульсами, равными периоду основной частоты. Таким образом, кепстр сигнала возбуждения должен состоять из импульсов, расположенных вблизи n = 0, Т, 2Т,..., где Т - период основного тона. Импульсная характеристика голосового тракта обычно представляет собой последовательность, отличную от нуля на интервале 20-30 мс. После вычисления логарифма модуля и обратного ДПФ получается последовательность из небольшого числа ненулевых отсчетов, которое обычно меньше, чем число отсчетов на периоде основного тона.

Результат вычисления кепстра вокализованного сигнала показан на рис. 3.2.

речевой частота фонема фурье

Рис. 3.2. Кепстр вокализованного сигнала



Исследования показали, что для вокализованного сегмента речи в кепстре возникает пик, соответствующий периоду основного тона. Для невокализованного сегмента такие пики в кепстре не возникают. Это свойство кепстра может быть использовано для классификации звуков на вокализованный, невокализованный и для вычисления периода основного тона вокализованной речи.

Кепстр, полученный описанным выше способом, исследуется с целью отыскания пика в области возможных значений основного тона (4-40 мс).

Если максимум кепстра не превышает порога, то сегмент классифицируется как невокализованный. Если пик в кепстре превышает установленный порог, то сегмент классифицируется как вокализованный, а координата пика дает оценку периоду основного тона, и соответственно вычисляется частота основного тона. Таким образом можно построить эффективный алгоритм выделения частоты основного тона. Листинг одного из вариантов алгоритма приведен ниже.

Листинг программы вычисления кепстра и определения частоты основного тона речевого сигнала в среде Matlab

[x,fs]=wavread('c:\MATLAB6p5\work\wav\а.wav');

% Открываем wav-файл, содержащий речевой сигнал

% x - отсчеты речевого сигнала

% fs - частота дискретизации

nfft=2048;% количество точек ДПФ

window='hamming';% вид окна сглаживания ДПФ

nlap=0.75;% количество точек перекрытия (75%)

nlap = round(nlap*nfft);

nx=length(x);

nwin=nfft;

w=feval(window,nwin,'periodic');

x = x(:);

window = window(:);

% Расчет размеров выходной матрицы

ncol = fix((nx-nlap)/(nwin-nlap));% ncol - количество необходимых ДПФ

colindex = 1 + (0:(ncol-1))*(nwin-nlap);

rowindex = (1:nwin)';

% Формирование выходной матрицы

y = zeros(nwin,ncol);

y(:)=x( rowindex(:,ones(1,ncol)) + colindex(ones(nwin,1),:) -1 );

y = w(:,ones(1,ncol)).*y;

y = fft(y,nfft);% ДПФ входного речевого сигнала

y2 = y;

% Убираем мнимую часть спектра

select = [1:nfft/2+1];

y = y(select,:);

[lll,ll]=size(y2);% Размеры матрицы ДПФ

ll=round(ll/2)

%sm=ll;

% Вычисляем кепстр

r= ifft ( log(abs(y2)) );% Обратное ДПФ от логарифма ДПФ

r=r(:,ll);% Выделяем кепстр на отрезке сигнала

r1=r;% Сохраняем отсчеты кепстра для построения графика

r1(1)=0;

r1(2)=0;

r(1:0.002*fs)=0;% Устранение из кепстра информации о речевом тракте

ll=size(r);

lll=round(ll(1)/2);

ss = [1 : lll];

r = r(ss,:);% Убираем мнимую часть кепстра

r1=r1(ss,:);

[f0m,T0]=max(r);% Определяем временную координату пика кепстра

f0=1/(T0/fs)% Значение частоты основного тона в Герцах

if f0m<0.05 % если амплитуда пика кепстра <0.05, речевой

сигнал - не вокализован

f0='сегмент невокализован';

end

% Графическое отображение кепстра сигнала

time=[1:length(r1)]'/fs;% Отсчеты времени

plot(time,abs(r1));

xlabel('Time');



Литература

1. Айфичер Э., Джервис Б. Цифровая обработка сигналов. Практический подход. / М., "Вильямс", 2004, 992 с.

2. Lawrence R. Rabiner and Biing-Hwang Juang, "Fundamental of Speech Recognition", Prentice Hall (1993)

3. Manolakis, Dimitris G. Applied digital signal processing: theory and practice / MIT Press, Cambridge, 2012, ISBN 978-0-521-11002-0 (Hardback)

4. Сергиегко А.В. Цифровая обработка сигналов - СПб.: Питер, 2002. - 608 с.

5. Ле Н. В., Панченко Д. П. Предварительная обработка речевых сигналов для системы распознавания речи // Молодой ученый. -- 2011. -- №5. Т.1. -- С. 74-76.

Размещено на Allbest.ru

...