Лингвистическое обеспечение автоматического синтеза устной речи

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕ

Кафедра менеджмента и организации здравоохранения

КУРСОВАЯ РАБОТА

Лингвистическое обеспечение автоматического синтеза устной речи

Студентка 4 курса

специальности СИЯ, КЛ,

гуманитарного факультета

платной формы обучения (подпись) Климец И.Л.

Преподаватель (подпись) Воронович В.В.

Минск, 2009

СОДЕРЖАНИЕ

Список сокращений

Введение

Глава 1.Синтез речи

Глава 2. Способы синтеза речи

2.1 Параметрический синтез

2.2 Компиляционный синтез

2.3 Полный синтез речи по правилам

3.Разработка и подготовка текстовых и речевых корпусов

4. Выбор вариантов разметки на фонетические сегменты

5. Выбор и реализация методов автоматической маркировки и сегментации

Заключение

Список литературы

СПИСОК СОКРАЩЕНИЙ

ДП - динамическое программирование

БД- база данных

ВВЕДЕНИЕ

Вопросы синтеза и распознавания речи человека компьютером становятся все более актуальными. Речевые технологии уже внедряются в нашу жизнь. Успехи в развитии естественно языковых технологий обещают широкий доступ к on-line информации и электронным сервисам. Так как почти каждый говорит и понимает речь, развитие естественно языковых систем позволит человеку без специальных навыков общаться с компьютером в любое время и в любом месте без дополнительного обучения, используя такие устройства, как мобильный телефон, получать доступ к информации или к управлению устройствами.

До настоящего времени синтезированная речь оставалась по качеству далёкой от естественной и обладала значительным машинным акцентом. Сейчас, опираясь на результаты последних исследований, мы можем приступить к созданию системы синтеза речи по тексту с максимально возможным приближением по звучанию к голосу и манере чтения конкретного человека. Такая постановка задачи представляется во многих аспектах аналогичной широко известной биологической проблеме клонирования.

До сих пор нет общего мнения, какой из существующих подходов дает наилучшие результаты, какие модели синтеза речи являются наиболее перспективными. Поэтому задачей данной работы является, провести обзор систем синтеза речевых сообщений и провести классификацию решений вопросов синтеза речи.

Целью разрабатываемой технологии клонирования голоса и речи является создание персонализированного синтезатора речи (компьютерного речевого клона), обеспечивающего “чтение” произвольного текста с максимально возможным приближением по звучанию к голосу и манере чтения конкретного человека. При этом ставится задача максимально полного сохранения:

· персональных акустических особенностей голоса,

· фонетических особенностей произношения и акцента,

· просодической индивидуальности речи (мелодика, ритмика, динамика).[7]

ГЛАВА 1. Синтез речи

Автоматический синтез речи - это технология, позволяющая преобразовать входную текстовую информацию в звучащую речь. При этом одним из важнейших аспектов является качество синтезируемой речи. Именно оно определяет пригодность использования технологии синтеза речи на современном коммерческом уровне.

Для узкого применения качество звучания может быть сведено к максимально естественной, за счёт компиляции заранее записанных длительных речевых фрагментов, относящихся к данной области. Примером такого синтеза (называемого макросинтезом) могут служить системы оповещения о движении поездов, применяющиеся на вокзалах. Гораздо сложнее разработать синтезатор речи для неограниченного текста любой предметной области. В таком случае пользователь может задать системе синтеза на произношение любую фразу или предложение.

Текстонезависмость синтеза достигается, как правило, компиляцией сигнала из минимальных звуков - аллофонов, которые составляют звуковую базу данных. Такая небольшая база данных (от 1 до нескольких десятков мегабайт памяти) представляет собой нарезку всех возможных аллофонов в произнесении одного диктора, который и является прообразом «синтезированного голоса». В дальнейшем текст, который подлежит синтезированию, подвергается автоматическому лингвистическому и фонетическому анализу: в каждом предложении определяются места пауз, подбирается правильное интонационное оформление, для всех слов определяются места ударения и, наконец, осуществляется автоматическое транскрибирование слов. На основании этой информации из базы аллофонов выбираются нужные, которые и произносятся последовательно.

Еще одной активно развивающейся в последнее время технологией является технология Unitselection. В рамках данной технологии записывается речевая база данных очень большого размера, из которой в процессе синтеза выбираются подходящие фрагменты максимальной длины. Подобный подход обеспечивает очень высокое качество звучания. Тем не менее, он имеет ряд существенных ограничений, главным из которых является необходимость хранить огромную базу данных (гигабайты памяти), что делает возможным применение этой технологии в основном для интернет-сервисов.

Технология автоматического синтеза речи может быть полезна в таких отраслях и направлениях как:

· телекоммуникации

· мобильные устройства

· промышленные и бытовые электронные устройства

· автомобильная индустрия

· образовательные системы

· компьютеризированные системы

· internet-сервисы

· системы ограничения доступа

· аэрокосмическая промышленность

· военно-промышленный комплекс

Синтезаторы речи, как совместно с технологией распознавания речи, так и отдельно, обладают широкими возможностями применения. Например, в call-центрах и автоинформационных системах. Технология синтеза речи многого достигла в своем развитии. Синтезированную речь сегодня часто сложно отличить от естественной. Позвонив в информационную службу, мы уже слышим не роботизированную речь, а приятный естественный голос. Технология синтеза речи, интегрированная в автоинформационную систему, «охотно» вступит в беседу с каждым дозвонившимся и поможет в получении информации. На 90% запросов к любым информационно-справочным системам способен отвечать компьютер. Автоинформационная система с синтезом речи освобождает операторов от ответов на часто повторяющиеся вопросы такого плана как курс доллара, точное время, прогноз погоды и многое другое.

Технология синтеза речи открывает широкие возможности для людей с физическими недостатками. Разработаны говорящие машины для слепых и слабовидящих. Для немых предусмотрены портативные устройства синтеза речи, в которых сообщение набирается на клавиатуре, что позволяет общаться с другими людьми.

На сегодняшний день благодаря электронным словарям и переводчикам на основе технологии синтеза речи возможно изучение иностранных языков с постановкой правильного произношения. Электронный словарь помещается в кармане и может быть использован в любом месте, а не только за рабочим столом, как это обычно бывает с традиционным книжным словарем.

Еще одним примером синтеза речи могут служить различные системы звукового оповещения: телефонная справочная информация, объявление станций в метро, информация об отправлении автобуса или поезда, реклама в универмаге.

На основе технологии синтеза речи созданы «говорящие» книги (аудиокниги). Такие книги позволяют по-новому воспринять литературное произведение - в его звуковом оформлении. Многие люди полагают, что напечатанный текст не передает всей полноты ощущений. В то время как элементарная разница в произношении или, например, интонации героев делает произведение более живым.[3; c. 24]

ГЛАВА 2. Способы синтеза речи

Все способы синтеза речи можно подразделить на три группы:

· параметрический синтез;

· конкатенативный, или компиляционный (компилятивный) синтез;

· синтез по правилам.

2.1 Параметрический синтез

синтез речь человек компьютер

Параметрический синтез речи является конечной операцией в вокодерных системах, где речевой сигнал представляется набором небольшого числа непрерывно изменяющихся параметров. Параметрический синтез целесообразно применять в тех случаях, когда набор сообщений ограничен и изменяется не слишком часто. Достоинством такого способа является возможность записать речь для любого языка и любого диктора. Качество параметрического синтеза может быть очень высоким (в зависимости от степени сжатия информации в параметрическом представлении). Однако параметрический синтез не может применяться для произвольных, заранее не заданных сообщений.

2.2 Компиляционный синтез

Компиляционный синтез сводится к составлению сообщения из предварительно записанного словаря исходных элементов синтеза. Размер элементов синтеза не меньше слова. Очевидно, что содержание синтезируемых сообщений фиксируется объёмом словаря. Как правило, число единиц словаря не превышает нескольких сотен слов. Основная проблема в компилятивном синтезе -- объёмы памяти для хранения словаря. В этой связи используются разнообразные методы сжатия/кодирования речевого сигнала. Компилятивный синтез имеет широкое практическое применение. За рубежом разнообразные устройства (от военных самолётов до бытовых устройств) оснащаются системами речевого ответа. В нашей стране системы речевого ответа до недавнего времени использовались в основном в области военной техники, сейчас они находят всё большее применение в повседневной жизни, например, в справочных службах операторов сотовой связи при получении информации о состоянии счета абонента.

2.3 Полный синтез речи по правилам

Полный синтез речи по правилам (или синтез по печатному тексту) обеспечивает управление всеми параметрами речевого сигнала и таким образом может генерировать речь по заранее неизвестному тексту. В этом случае параметры, полученные при анализе речевого сигнала, сохраняются в памяти так же, как и правила соединения звуков в слова и фразы. Синтез реализуется путем моделирования речевого тракта, применения аналоговой или цифровой техники. Причём в процессе синтезирования значения параметров и правила соединения фонем вводят последовательно через определённый временной интервал, например 5--10 мс. Метод синтеза речи по печатному тексту (синтез по правилам) базируется на запрограммированном знании акустических и лингвистических ограничений и не использует непосредственно элементов человеческой речи. В системах, основанных на этом способе синтеза, выделяется два подхода. Первый подход направлен на построение модели речепроизводящей системы человека, он известен под названием артикуляторного синтеза. Второй подход -- формантный синтез по правилам. Разборчивость и натуральность таких синтезаторов может быть доведена до величин, сравнимых с характеристиками естественной речи.

Синтез речи по правилам с использованием предварительно запомненных отрезков естественного языка -- это разновидность синтеза речи по правилам, которая получила распространение в связи с появлением возможностей манипулирования речевым сигналом в оцифрованной форме. В зависимости от размера исходных элементов синтеза выделяются следующие виды синтеза:

· микросегментный (микроволновый);

· аллофонический;

· дифонный;

· полуслоговой;

· слоговой;

· синтез из единиц произвольного размера.

Обычно в качестве таких элементов используются полуслоги -- сегменты, содержащие половину согласного и половину примыкающего к нему гласного. При этом можно синтезировать речь по заранее не заданному тексту, но трудно управлять интонационными характеристиками. Качество такого синтеза не соответствует качеству естественной речи, поскольку на границах сшивки дифонов часто возникают искажения. Компиляция речи из заранее записанных словоформ также не решает проблемы высококачественного синтеза произвольных сообщений, поскольку акустические и просодические (длительность и интонация) характеристики слов изменяются в зависимости от типа фразы и места слова во фразе. Это положение не меняется даже при использовании больших объемов памяти для хранения словоформ.[6; c.132]

ГЛАВА 3. Разработка и подготовка текстовых и речевых корпусов

Речевой корпус - это структурированная совокупность речевых фрагментов, которая обеспечена программными средствами доступа к ним. Потребность в речевых корпусах возникает во многих научных задачах, связанных с анализом и описанием звучащей речи на разных языках.

Формирование корпусов должно удовлетворять следующим основным требованиям:

· результирующий корпус должен быть фонетически максимально полным, т.е. в фонетической транскрипции текста должны встречаться все основные варианты фонем (аллофоны);

· созданный корпус должен быть фонетически сбалансированным, то есть распределение частот встречаемости фонем и других фонетических единиц в сформированном корпусе должно быть близким к теоретическому, полученному на достаточно представительных и больших по объёму выборках;

· объём корпуса должен быть, по возможности, минимален.

Одновременное выполнение трёх указанных требований путём использования какого-либо одного из общедоступных текстов и соответствующей ему речевой фонограммы практически невыполнимо по нескольким причинам. Нет никакой гарантии, что даже при чтении очень большого текста в нём встретятся все основные варианты фонем - аллофоны - и все варианты интонационных конструкций. Даже если такое случится, этот текст будет слишком обширным, для того чтобы он мог быть произнесён конкретным диктором. Опыт создания речевого корпуса для синтеза английской речи показал, что для удовлетворения первых двух требований необходимо осуществить запись от 10 до 40 часов речи. При этом 3-е требование явно не удовлетворяется.

Хорошо известно, что обычный человек утомляется даже после 15-ти минут непрерывного чтения, а после 20 минут чтения его голос может вообще сорваться. Даже для профессионального диктора 45 минут непрерывного чтения с сохранением всего комплекса индивидуальных характеристик речи - довольно трудная задача.

В связи со сказанным для одновременного выполнения трёх указанных выше требований разработан минимальный по объёму корпус, содержащий три различных текста:

· мини-текст, удовлетворяющий требованию фонетической полноты, созданный путём специального подбора минимального количества слов, в которых реализуются все основные аллофоны из числа требуемых для синтеза речи по произвольному тексту;

· макси-текст, удовлетворяющий требованию фонетической сбалансированности. Макси-текст создан на основе таблиц ГОСТ 16600-72, специально разработанных для целей тестирования фразовой разборчивости при передачи речи по каналам связи;

· фразовый текст, удовлетворяющий требованию просодической (интонационной) полноты, созданный путём специального подбора минимального количества фраз, в которых реализуются все основные интонационные конструкции (интонемы) из числа требуемых для синтеза речи по произвольному тексту.

Мини-текст состоит из 259-х различных слов, объединённых в 64 грамматически правильных, но не вполне осмысленных фразы. Прочтение всех фраз в нормальном темпе занимает от 3 до 5 минут.

Макси-текст включает набор из 500 трёх- и четырёхсловных осмысленных фраз, фонетическая сбалансированность которых декларируется ГОСТом. Прочтение всех фраз в нормальном темпе занимает 20 - 25 минут.

Фразовый текст состоит из набора 28-ми предложений, содержащих 67 синтагм различного интонационного типа, включённых в состав осмысленного рассказа. Прочтение всех фраз в нормальном темпе занимает 2- 4 минуты.

Для проведения экспериментов по компьютерному клонированию персональных характеристик речи осуществлена звукозапись чтения указанных 3-х текстов в условиях радиостудии 5-ю дикторами (2-е мужчин и 3 женщины), из которых двое - мужчина и женщина - являются профессиональными дикторами.[2; c. 54]

ГЛАВА 4. Выбор вариантов разметки на фонетические сегменты

В основу классификации фонетических сегментов положено понятие аллофона - позиционного и комбинаторного оттенка фонемы. Как показал опыт синтеза речи по тексту, для русского языка минимально необходимый базовый набор аллофонов (мини-набор) должен включать 440 единиц (149 согласных и 291 гласный). Использование только базового набора аллофонов обеспечивает синтез вполне разборчивой речи по произвольному тексту, однако качество речи остаётся недостаточно высоким. Это объясняется тем, что реальное разнообразие оттенков фонем при их взаимодействии в потоке речи несоизмеримо большее, чем это обеспечивается используемым набором аллофонов. Кроме того, взаимовлияние соседних аллофонов в некоторых случаях может быть настолько сильным, что провести чёткую границу между ними зачастую просто невозможно. К таким случаям относятся сочетания двух гласных аллофонов, а также некоторых сонорных согласных (таких, как /J/, /L/, /R/) и гласных. Существенное повышение качества и естественности речи может быть достигнуто, если в качестве элементов компиляции использовать не только аллофоны, но также и более протяжённые фонетические сегменты - мультифоны: диаллофоны, триаллофоны, или ещё более протяжённые сегменты - аллослоги.[1; c.33]

ГЛАВА 5. Выбор и реализация методов автоматической маркировки и сегментации

В работе обоснован выбор метода анализа через синтез с использованием математического аппарата динамического программирования (ДП-метод). В основу ДП-метода положена идея динамического сопоставления (ДП-сопоставления) синтезированного и естественного сигналов и переноса маркеров с размеченного синтезированного на неразмеченный естественный речевой сигнал. ДП-метод обеспечивает прецизионную разметку речевого корпуса, не требует процедуры предварительного обучения системы сегментации и, кроме того, является в значительной степени дикторонезависимым .

Исходя из самого определения ДП-метода автоматической сегментации речевого сигнала как метода анализа через синтез, вытекает, что уже в самом начале необходимо иметь по крайней мере одну готовую мини-БД аллофонов для того, чтобы реализовать процедуру синтеза речи по тексту. Если ранее мини-БД аллофонов не была сформирована ни для одного из голосов, то сегментацию и аллофонную разметку мини-корпуса необходимо осуществлять “вручную”. Процедура “ручной” сегментации более 400 аллофонов для создания мини-БД достаточно трудоёмкая и требует определённых навыков. Этот недостаток ДП-метода с лихвой окупается, однако, указанными ранее его преимуществами перед другими методами.

Общая схема технологии создания мини-БД аллофонов и макси-БД мультифонов, включающей систему автоматической сегментации речевого сигнала ДП-методом, представлена на рисунке 1.



Рисунок. 1. Процедура создания мини- и макси-БД звуковых волн аллофонов

На основе мини-текста происходит создание фонограммы записи. Полученный естественный речевой сигнал анализируется и сегментируется опытным экспертом-фонетистом, в результате чего создаётся мини-БД, содержащая все звуковые волны аллофонов из требуемого списка. Фонограмма записей макси-текста сегментируется автоматически с использованием ДП-метода “анализ через синтез”, причём для синтеза размеченного речевого сигнала используется созданная «вручную» мини-БД звуковых волн аллофонов. Аллофонно-размеченный естественный речевой сигнал поступает в блок автоматического создания БД элементов компиляции, осуществляющий выбор фонетических сегментов различного уровня, их анализ и обработку. Результаты обработки помещаются в макси-БД звуковых волн аллофонов и мультифонов.[4; 112]

ЗАКЛЮЧЕНИЕ

Итак, синтез речи по тексту или коду сообщения может быть использован в технике связи, в информационно-справочных системах, для помощи слепым и немым, при управлении человеком со стороны автомата, для выдачи информации о технологических процессах, в военной и космической технике, в робототехнике, в акустическом диалоге человека с компьютером. Вообще синтез речи может потребоваться во всех случаях, когда получателем информации является человек.

СПИСОК ЛИТЕРАТУРЫ

1. Лобанов Б.М. и др. Синтезатор речи по тексту как компьютерное средство “клонирования” персонального голоса. // “Компьютерная лингвистика и интеллектуальные технологии”: труды междунар. конф. Диалог'2001. М.: 2001. С 265-272.

2. Лобанов Б. М. Компьютерное “клонирование” персонального голоса и речи // Новости искусственного интеллекта. №5(55). М.: 2002. С. 35-39.

3. Лобанов Б.М. Синтез речи по тексту // Четвёртая Международная летняя школа-семинар по искусственному интеллекту: сб. науч. тр. Мн.: БГУ, 2000. С. 57-76.

4. Цирульник Л.И., Лобанов Б.М. Правила разметки речевого корпуса на фонетические сегменты и стратегия выбора элементов компиляции при синтезе речи // “Компьютерная лингвистика и интеллектуальные технологии”: труды междунар. конф. Диалог'2007. М.: 2007.

5. Лобанов Б.М., Давыдов А.Г., Киселёв В.В., Цирульник Л.И. Система сегментации речевого сигнала методом анализа через синтез / // Известия Белорусской инженерной академии. №1/1. Мн.: 2004. С.112-115.

6. Википедия

7. Сорокин В.Н. Синтез речи. М. 1992.

8. Гост. 16600-72

Размещено на Allbest.ru

...