Нейронные сети в обучении языку

Важно, чтобы стандарт производительности был постоянным. В принципе этот стандарт следует рассматривать как полностью внешний по отношению к агенту, поскольку агент не должен иметь возможности его модифицировать так, чтобы он в большей степени соответствовал его собственному поведению.

Последним компонентом обучающегося агента является генератор проблем. Его задача состоит в том, чтобы предлагать действия, которые должны привести к получению нового и информативного опыта. Дело в том, что если производительный компонент предоставлен самому себе, то продолжает выполнять действия, которые являются наилучшими с точки зрения того, что он знает.

3. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ИЗУЧЕНИЯ ЯЗЫКОВ

В ходе практического изучения иностранных языков возникает ряд концептуальных задач которые в настоящее время успешно решаются применяя математический аппарат нейронных сетей. Среди таких задач необходимо указать следующие:

— выбор необходимого и адекватного перевода слову, сочетанию, предложению;

— поиск антонимов и синонимов;

— автоматическое распознавание речи (при изучении произношения);

— автоматизированный синтез речи и др.

Остановимся на некоторых практических задачах возникающих при изучении иностранных языков и решаемых при помощи аппарата нейронной сети.

3.1 Автоматическое распознавание и синтез речи

Среди основных методов автоматизированного распознавания и синтеза речи является обработка сигнала путем применения аппарата искусственных нейронных сетей. Исследования по этому вопросу ведутся Российской академии наук начиная с 1960 г. Проводятся теоретические исследования по разработке новых методов акусто-фонетического анализа распознавания речи на базе использования искусственных нейронных сетей. Целью этих исследований является разработка программного обеспечения в следующих направлениях:

— построение эффективных численных процедур для кодирования и использования контекстно-зависимых параметров сигнала на уровне элементарных единиц речевого потока — фонов (компьютерных аналогов аллофонов);

— разработка процедур эффективного перебора на множестве гипотезируемых последовательностей фонов или слов языка в системах распознавания;

— реализация разработанных процедур и алгоритмов в виде программного продукта для сигнальных процессоров;

— интеграция программного обеспечения в прикладную систему распознавания слитной речи (слитно-произносимые названия цифр для телефонной сети).

В направлении исследований по сжатию речевого сигнала разработаны многофакторная модель, алгоритмы кодирования речевого сигнала и соответствующее программное обеспечение.

В Санкт-Петербургском государственном университете проводятся исследования, направленные на разработку методов извлечения дополнительной информации из знаний о языке и предметной области, а также создания механизма реализации этой информации для продвижения в решении проблемы распознавания слитной речи при ограниченном объеме проблемно ориентированного словаря. На примере создания речевой информационной системы (выбор городских пешеходных маршрутов) показано, что предполагаемый механизм реализации знаний эффективно работает как на низших (акустических) уровнях распознавания, так и на высших (лингвистических) путем отбора конкурирующих гипотез на базе использования сведений о грамматике, синтаксисе, семантике и прагматике языка и сообщений.

По результатам проведенных исследований на базе программно-реализованной нейроподобной сети, выполненной на основе ПЭВМ по упрощенной языковой модели (разновидности языковых грамматик), разработана демонстрационная речевая запросно-ответная система о городских пешеходных маршрутах с отображением на экране карты района города, указанием начального и конечного пунктов, кратчайшего маршрута между ними и перечня названий улиц и соответствующих расстояний.

разборчивости и натуральности звучания синтетической речи.

Широко ведутся разработки нейросетевых систем синтеза и анализа речи в зарубежных странах. Так, Специалисты в области биомедицинской инженерии, Теодор Бергер (Theodore Berger) и Джим-Ши Лио (Him-Shih Liaw) создали новую Нейросетевую систему распознавания речи Berger-Liaw, которая понимает разговорные языки лучше самих людей.

Обычно при распознавании речи обучается статическая нейронная сеть с разделенными уровнями рис. 3.

1.

Можно обучать статические нейронные сети. Лучше, если уровни в ней имеют смысл. Пример такого смыслового разделения представлен на рис.

3.1

Однако при своей относительной простоте, применение статических нейронных сетей во многих случаях бессмысленно по ряду причин. Главная из них — ожидаемость количества выходов. То есть, если мы ждем всего одно слово, работать такая схема будет неплохо, но в этом случае неизбежно придется фрагментировать входной сигнал. Вторая причина заключается в том, что огромное количество выходов, обусловленное временем на произношение слова, влечет за собой необходимость в большом числе сэмплов входного сигнала.

Рисунок 3.1 — Статическая нейронная сеть с разделенными уровнями

Второй вариант это использование нейронных сетей с временной задержкой. Построим сеть, которой на вход подается изменяющийся звуковой сигнал, то есть на вход сигналы подаются один за другим, таким же образом они появляются на выходах. Тогда обработка последующих сигналов будет зависеть от предыдущих. Отсюда возникает идея TDNN — Time Delay Neural Network. рис.

3.2

Рисунок 3.2 -Нейронная сеть с временной задержкой

Идея TDXX заключается во введении задержки при обработке сигнала в нейроне. Схема такой сети представлена на рис. 3.

2. Каждый сигнал не просто замещается следующим, а «смещается» на соседний узел, оставаясь в том же уровне и том же нейроне. При этом он продолжает участвовать в получении сигнала на следующем уровне наравне со вновь поступившими сигналами. Таким образом, обработка последующих сигналов зависит, в частности, от предыдущих сигналов.

Общее временное влияние такой сети равно сумме всех задержек в ней В настоящее несколько десятков компаний занимаются разработкой коммерческих систем МП, в их числе: Systran, IBM, L&H (Lernout & Hauspie), Transparent Language, Cross Language, Trident Software, Atril, Trados, Caterpillar Co., LingoWare; Ata Software; Lingvistica b.v. и др.

3.2 Машинный перевод на основе нейронных сетей

Теории машинного перевода, разрабатывавшиеся в вялотекущем режиме с 1970;х годов получили серьезный импульс. Это было связано с существенными достижениями в области моделирования интеллектуальной деятельности. Помимо чисто научного интереса, это объяснялось возрастающей ролью межъязыковых коммуникаций в современном мире.

Кроме электронных словарей и словарей-разговорников, к середине 1990;х годов довольно большое распространение получили «электронные переводчики» (их стали называть технологией MT [Machine Translation — машинный перевод]). В принципе, «электронные переводчики» — это программы, которые могли обработать целый текст. Правда, на выходе получалось не совсем то, что надо, а если откровенно, то совсем не то. Для того, чтобы результат работы технологии MT стал действительно связным текстом, человеку приходилось немало поработать над ним.

Новым инструментом переводчика стала технология Translation Memory™. На Западе технология TM и созданный на ее базе инструментарий переводчика — Translation Memory Tools (TMT) — хорошо известны и широко применяются. Особенностью такой технологии является механизация переводческой деятельности, а не ее автоматизация в том виде, каком ее видели создатели технологии MT. Причем это более скромное, на первый взгляд, решение принесло практической пользы неизмеримо больше, чем глобальный замысел «электронных переводчиков» .

Отличие от электронных словарей и других инструментов переводчика заключается в том, что типичная программа класса ТМ основана на нейронных сетях, которые способны в определенной степени моделировать работу человеческого мозга при обработке данных. Эти сети способны обучаться и анализировать сложные наборы данных, которые сложно обрабатывать с помощью линейных алгоритмов.

Translation Memory system — это база данных особого формата, в которой хранятся единицы перевода (translation unit) — исходные сегменты (segment) и их переводы, а также дополнительная информация (идентификатор пользователя (User ID) для переводчика, дата создания (Creation Date) и дата изменения (Change Date) единицы перевода, информация о том, как часто использовалась данная единица перевода). С помощью механизма «нечеткого поиска» (fuzzy matching) система распознает не только полностью совпадающие (exact match), но и подобные сегменты (fuzzy match). База данных сохраняет единицы перевода (translation unit) в искуственной нейронной сети, которая обеспечивает быстрый поиск и обработку сегментов.

Подобного рода идея лежит в основе создания технологии Translation Memory, или просто ТМ, на основе которой с конца 80-х — начала 90-х годов начали появляться более или менее работоспособные программы. По сути дела, такая программа представляет собой управляющую оболочку, которая работает с той или иной подключаемой базой данных (ТМ) и которую я бы назвал копилкой переводов. ТМ — это компьютеризированная версия большого картотечного шкафа, в котором хранится каждая фраза, которую вы когда-либо переводили, причем в паре — как на языке оригинала, так и перевода. Каждая такая пара называется билингва. Программа мгновенно напомнит вам, как эту фразу переводили в прошлый раз. Доступ к информации легкий и быстрый.

Понятие «машинный перевод» стало общеизвестным. Довольно большое распространение у нас получили отечественные программы Stylus (сейчас она называется Promt и Socrat.

Еще одна программа — SDLX — разработана для своих собственных потребностей английской компанией SDL, занимающейся локализацией программного обеспечения. Каждая программа, входящая в комплект, устанавливается отдельно. SDL Edit — это, собственно, сама программа, с помощью которой осуществляется перевод. В ней есть три окна, показывающие исходный текст, перевод и Translation Memory. Следует отметить, что документ для перевода нельзя импортировать непосредственно в SDL Edit. Сначала его необходимо преобразовывать при помощи SDL Convert, что является определенным неудобством.

Программа Déjà Vu пользуется у переводчиков в Европе популярностью благодаря своей гибкости и адаптивности. Помимо удобства, Déjà Vu отличается от других продуктов самым высоким соотношением цена/качество. По сравнению с двумя предыдущими программами рассматриваемый продукт имеет ряд удобных возможностей. Специалисты отмечают, что с самого начала эта программа разрабатывалась в контакте с ее будущими пользователями. Известно, что последняя версия Déjà Vu тестировалась, в частности, российскими переводчиками.

Таким образом, в разделе проанализированы основные технологии применения нейросетевых алгоритмов для изучения языков.

Рассел С. Норвиг П. Искусственный интеллект: современный подход. М.: «Вильямс», 2006. -1408с.

Dyer M. (1983) In-Depth Understanding. MIT Press, Cambridge, Massachusetts.

Wilensky R. (1983) Planningand Understanding. Addison-Weslcy, Reading, Massachusetts

M insky M. L. (1975) A framework for representing knowledge. I n Winston P.

H. (E d.), The Psychology of Computer Vision, p. 211−277. M cGraw-Hill, New York. Originally an MIT AI Laboratory memo; the 1975 version is abridged, but is the most widely cited.

Turing A. (1950) Computing machinery and intelligence. Mind, 59, p. 433−460.

Гаврилов Л. В. Системы искусственного интеллекта: Учеб. пособие: в 2-х ч.-Новосибирск: Изд-во НГТУ, 2001.-Ч. 1.-67

Рассел С. Норвиг П. Искусственный интеллект: современный подход. М.: «Вильямс», 2006. -1408с.

Dyer M. (1983) In-Depth Understanding. MIT Press, Cambridge, Massachusetts.

Wilensky R. (1983) Planningand Understanding. Addison-Weslcy, Reading, Massachusetts

M insky M. L. (1975) A framework for representing knowledge. I n Winston P. H. (E d.), The Psychology of Computer Vision, p.

211−277. M cGraw-Hill, New York. Originally an MIT AI Laboratory memo; the 1975 version is abridged, but is the most widely cites.

Гаврилов Л. В. Системы искусственного интеллекта: Учеб. пособие: в 2-х ч.-Новосибирск: Изд-во НГТУ, 2001.-Ч. 1.-67

Turing A. (1950) Computing machinery and intelligence. Mind, 59, p. 433−460.