Разработка и исследование математических моделей обработки и распознавания речи на основе множественных баз признаков

Актуальность темы

Стремление человека познать законы своего мышления привело к развитию вычислительной техники, которая по замыслу должна стать, как инструментом, так и объектом наших исследований. Постоянная модернизация и совершенствование этого объекта должны приближать его свойства к свойствам нашего мышления. Настоящий этап развития вычислительной техники связан с необходимостью наделить ее способностью узнавать и анализировать формы окружающего нас мира [67].

Существенная часть этой общей задачи связана с попыткой создать системы, способные распознавать и синтезировать речь, а так же системы способные понимать ими сказанное и услышанное.

Практическая значимость построения таких систем очевидна: во-первых, она состоит в приближении языков программирования, к привычному языку общенияво-вторых, способствует разработке устройств различного класса с речевым дистанционным управлением [63]- в-третьих, позволяет инвалидам с недостатками зрения снять информационную блокаду за счет систем автоматического чтения текста.

Необходимо отметить, что, не смотря на успехи в области распознавания и синтеза речи говорить об удовлетворительном, окончательном решении этих задач преждевременно. Ни одна из существующих сегодня в мире моделей подобного класса не позволяет обеспечить требуемой точности распознавания и уровня привычного звучания речи. Причины этого кроются: во-первых, в недостатке знаний о механизмах работы нашего мозга и органов речеобразования и речевосприятияво-вторых, в недостаточной развитости вычислительной техники, которая не позволяет реализовывать сложные алгоритмы обработки, чем тормозит их развитие. То есть с одной стороны, недостатки знаний открывают огромное поле для фантазии, а с другой, фантазия ограничена возможностями современного компьютера. 6.

Основное внимание настоящей работы сосредоточено на двух задачах: 1) предварительной обработке речи- 2) статистических методах распознавания речи.

Статистические методы распознавания речи начали развиваться в 70-х годах. Использование этих методов привело к созданию наиболее популярных сейчас моделей автоматического распознавания, таких как: скрытые модели Маркова (Hidden Markov’s Model (НММ)), подход Винцюка (иерархический, композиционный, динамического программирования подход (ИКДП-подход)), гибридные модели, использующие НММ и искусственные нейронные сети. Базой всех этих методов можно считать блок-схему взаимодействия диктора с автоматической системой распознавания речи (АСР), показанную на рис. 1, которая была введена в работе [32].

Рис. 1.

Здесь диктор рассматривается как преобразователь, превращающий мысленный текст в акустический сигнал. Вначале, с помощью акустического процессора сигнал преобразуется в некоторую цепочку (последовательность) символов. Затем, эта последовательность символов анализируется лингвистическим декодером, выход которого является наилучшей оценкой (в вероятностном смысле) мысленного текста диктора. Для анализа текста лингвистический декодер должен содержать модель генерации текста, иначе говоря, модель языка, и модель преобразования фонетического потока в акустические характеристики.

Акустический процессор (АП) рассматривается как составная часть АСР и от системы к системе обладает различным уровнем сложности. Как правило, АП состоит из двух функционально различных систем. Первая часть АП это подсистема предварительной обработки акустического 7 сигнала. Это может быть обычный аналого-цифровой преобразователь, спектроанализатор либо сложное устройство, предназначенное для выделения характеристик акустической волны. Вторая часть — это классификатор, предназначенный для определения символа или множества символов, которые с максимальной вероятностью могут соответствовать полученным, текущим характеристикам волны.

Как показывает практика, от свойств системы предварительной обработки зависит качество распознавания, поскольку эта часть АП определяет характеристики акустической волны с заданной точностью. Однако, в используемой сейчас доминирующей модели, положенной в основу предварительной обработки сигнала, большое внимание уделяется сокращению времени обработки в ущерб точности обработки.

Таким образом, первая задача настоящей диссертации — построение модели подсистемы предварительной обработки, которая обладает точностью определения параметров акустической волны более высокой, чем у доминирующей модели. Заметим, что поскольку подсистемы предварительной обработки входят в состав всех систем обработки речи (синтез речи, идентификация и верификация диктора, компрессия речи, определения эмоционального состояния человека по его речи), то эту задачу можно считать универсальной, а не направленной лишь на распознавание речи. Работа классификатора связана с идеей отображения пространства параметров сигнала на пространство состояний. При этом пространство параметров сегментируется на непересекающиеся области, каждая из которых соответствует одному состоянию. Во многих работах посвященных АСР для сегментации используется «опытный оператор», вследствие чего этот процесс становится не автоматическим и сегментация стационарна, т. е. границы областей в пространстве параметров, соответствующих состояний, являются стабильными.

В качестве второй задачи, данной работы, выдвигается построение модели автоматической сегментации пространства акустических параметров, которая является нестационарной, т. е. зависящей от 8 предыстории (контекста). А так же выявить влияние различных подходов к понятию состояния на свойства АСР. Как сказано выше задача лингвистического декодера (ЛД) состоит в том, чтобы найти некоторое предложение, из тех, на которые система обучалась, которое с наибольшей вероятностью приводит к наблюдаемой последовательности состояний, порожденной акустическим процессором. Для решения этой задачи используется скрытая однородная Марковская модель. Недостатки этой модели хорошо известны. С одной стороны, она позволяет учитывать зависимость вероятности текущего состояния лишь от значения предыдущего состояния, что ограничивает возможности обработки речи. С другой стороны, свойство однородности позволяет интерпретировать различные последовательности состояний, построенные с точностью до перестановок как одинаковые. Однако если первый недостаток является принципиальным свойством цепей Маркова, то второй недостаток можно преодолеть и построить неоднородную модель. Несмотря на такую возможность практически нет работ, исследующих работу неоднородных Марковских моделей в АСР, т.к. это связано: а) с большими затратами памяти на хранение всех переменных неоднородной цепиб) с большими вычислительными затратами.

В качестве третьей задачи рассмотрим модель ЛД, которая способна учитывать влияние на вероятность текущего состояния не только значения предыдущего состояния, но и некоторой цепочки предыдущих состояний.

Поскольку модели, разработанные для распознавания речи реализуются на вычислительной технике, то в рамках настоящей диссертации обсуждаются только цифровая форма этих моделей. Объект исследований. Объектом исследования являются системы предварительной обработки и автоматического распознавания речи, построенные на основе множественных баз признаков. Цель и задачи работы. Целью диссертационной работы является построение математических моделей предварительной обработки и 9 автоматического распознавания речи. Для достижения этой цели в работе решаются следующие задачи:

1) проектируются и исследуются модели детекторов полезного акустического сигнала на предмет выявления их точностных характеристик;

2) исследуются модели выделения основного тона голоса;

3) исследуются различные методы спектральных оценок речи и методы фонетической сегментации, которая позволяет провести классификацию акустического сегмента по группам: а) паузаб) тонв) шумг) взрывной звук;

4) реализуется обобщенная модель предварительной обработки речи, основанная на синхронизации работы многих составляющих ее частей;

5) строится физическая модель распознавания фонем, которая с одной стороны является полезной при создании систем распознавания речи, а с другой стороны является моделью процесса самоорганизации, и определяется ее способность узнавать фонемы в потоке слитной речи;

6) переопределяются состояния для скрытых моделей Маркова с целью учесть контекстную зависимость в задачах распознавания речи.

7) исследуется иерархическая модель распознавания слитной речи, основанная на множественных базах признаков.

Методы исследования. Для решения поставленных задач используются методы теории случайных процессов (цепи Маркова), методы статистической обработки сигналов, теория цифровой связи, теория дифференциальных уравнений в частных производных и численные методы их интегрирования.

Научная новизна. Научная новизна заключается в предложенных модельных решениях построения процедур предварительной обработки и распознавания слитной речи, которые позволяют, с одной стороны,.

10 увеличить точность фонетической сегментации на основе построения множества баз признаков, а с другой стороны, существенно повысить точность узнавания слов.

Основные научные результаты заключаются в следующем:

1) создана и реализована программно, математическая модель детектора полезного сигнала, основанная на синтезе частотного и амплитудного подхода, а также на предположении, что речь является марковским случайным процессом;

2) создана и реализована программно, математическая модель выделения основного тона речи;

3) исследована возможность использования билинейного преобразования Вигнера для получения спектральных оценок речевых фреймов;

4) сконструирована функциональная схема и реализована программно процедура предварительной обработки речи, основанная на множественных базах признаков, позволяющая проводить фонетическую сегментацию и классификацию сегментов по четырем группам: а) пауза: б) шумв) тонг) взрывной звук;

5) получена модель обучения и распознавания гласных фонем русского языка, на основе физической модели динамики дипольных элементов (в диссертации, для их обозначения, использовано название Оп-(Ж элементы, в соответствии с нейрофизиологической терминологией). Модель позволяет не только описать процесс распознавания, но и рассматривать процессы самоорганизации Оп-(Ж элементов;

6) получена математическая модель скрытых цепей Маркова с переопределенными состояниями, которая позволяет учитывать контекстные зависимости в речи;

7) разработана модель обучения скрытых цепей Маркова с переопределенными состояниями;

8) создана иерархическая модель распознавания слитной речи, основанная на множественных базах признаков. Практическую ценность работы представляют:

1) разработанная универсальная модель предварительной обработки речи и ее программная реализация, которая позволяет обрабатывать речь, не только в системах распознавания, но и в системах: идентификации диктора, определения эмоционального состояния человека, синтеза речи;

2) результаты проведения автоматической фонетической сегментации, показывающие возможность выделения динамических характеристик фонем и классификации сегментов по четырем группам: а) пауза: б) шумв) тонг) взрывной звук;

3) разработанная модель обучения скрытых цепей Маркова, которая позволяет автоматизировать процесс обучения системы распознавания и не использовать оператора для выделения спектральных оценок фонем;

4) математическая модель скрытых цепей Маркова, использующая динамические состояния, которая позволяет учитывать контекстные зависимости в речи;

5) иерархическая модель распознавания слитной речи, основанная на множественных базах признаков, включающая в себя модель решающего элемента.

Использование результатов работы. Теоретические и практические результаты диссертационной работы использованы при выполнении госбюджетной работы НИИ МВС при ТРТУ «Теоретические основы и методы построения интеллектуальных роботов» руководитель д.т.н., проф. И. А. Каляев, № Гос. регистрации 01.09.90 3 184, внедрены в в/ч 11 135 при при выполнении госбюджетной работы по теме 168 № Гос. регистрации 98 168. Кроме того, разработанные программные реализации описанных моделей используются в программно-аппаратном комплексе.

12 для реабилитации слепых и слабовидящих людей в Международном Центре системных исследований проблем высшего образования и науки. Апробация работы. Основные результаты работы докладывались и обсуждались на научных симпозиумах, научно-технических конференциях и семинарах: RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers, (Rostov-on-Don, Russia, 1992), Межвузовская научно-методическая конференция «Информатизация базового гуманитарного образования в высшей школе» (Сочи, 1995), Fourth International Congress on Sound and Vibration (St. Petersburg. Russia 1996), International Conference Speech and Computer 96 (St. Petersburg. Russia 1996), International Conference Speech and Computer 97 (Cluj-Napoca, Romania, 1997), International Conference EUROSPEECH*97. (Rhodes, Greece, 1997), XI сессия Российского Акустического Общества «Современные речевые технологии» (Москва 1998), Всероссийская н.-т. конф. с международным участием «Компьютерные технологии в инженерной и управленческой деятельности», (Таганрог, 1999), 2-ая Региональная Конференция «Проблемы муниципального управления. Применение ГИС-технологий», (Таганрог, 1999).

Основные положения, выносимые на защиту. На защиту выносятся следующие положения:

1) модель предварительной обработки речи, основанная на множественных базах признаков;

2) физическая модель распознавания фонем;

3) модель переопределенных состояний для скрытых цепей Маркова с целью учета контекстной зависимости в задачах распознавания речи.

4) иерархическая модель распознавания слитной речи, основанная на множественных базах признаков.

Выводы.

1. Используя физическую модель динамики Оп-(Ж элементом (имеющих свое нейрофизиологическое основание) получена модель обучения и распознавания голосовых фонем русского языка, которая позволяет не только описать процесс распознавания, но и моделировать процессы самоорганизации Оп-СЖ элементов;

2. получена математическая модель скрытых цепей Маркова с переопределенными состояниями, которая позволяет учитывать контекстные зависимости в речи;

3. разработана модель обучения скрытых цепей Маркова с переопределенными состояниями;

4. создана модель распознавания слитной речи, основанная на множественных базах признаков.

ЗАКЛЮЧЕНИЕ

.

В работе исследованы вопросы предварительной обработки и распознавания речи. Для предварительной обработки речи рассмотрены модели и алгоритмы касающиеся: 1) детектирования полезного речевого сигнала- 2) выделения основного тона 3) спектральных оценок. Для распознавания речи рассмотрены модели: 1) распознавания голосовых фонем- 2) распознавания раздельной речи- 3) распознавания слитной речи с большим словарем. В результате проведенных исследований получены следующие основные результаты:

1) создана и реализована программно математическая модель детектора полезного сигнала, основанная на синтезе частотного, амплитудного подхода, а также на предположении, что речь является марковским случайным процессом;

2) создана и реализована программно математическая модель выделения основного тона речи;

3) исследована возможность использования билинейного преобразования Вигнера для получения спектральных оценок речевых фреймов;

4) сконструирована функциональная схема и реализована программно процедура предварительной обработки речи, основанная на множественных базах признаков;

5) получена математическая модель скрытых цепей Маркова с переопределенными состояниями, которая позволяет учитывать контекстные зависимости в речи;

6) разработана модель обучения скрытых цепей Маркова;

7) создана иерархическая модель распознавания слитной речи, основанная на множественных базах признаков.