Принципы работы систем машинного перевода

Словарная поддержка при осуществлении машинного перевода может быть рассмотрена на основе выделения следующих атрибутов: морфологических, синтаксических, лексических, семантических и т. п. Данные атрибуты не присутствуют явно в тексте, они операционализируются с помощью определенного набора технических процедур анализа текста, который характеризуется многоуровневостью и выполняется модулем лингвистического процессора. Можно выделить такие составные компоненты анализа текста:

• — графематический анализ (выделение слов и предложений);
• — морфологический анализ;
• — синтаксический анализ;
• — семантический анализ;
• — построение модели предметной области (сценария или ситуации) [Нелюбин, 1991, с. 46 ]

Многоуровневость анализа текста обеспечивает выделение и с сопоставление выделенных атрибутов. Основываясь на таких атрибутивных наборах при осуществлении алгоритмизации извлечения информации, становится возможным поиск фрагментов текста, релевантных цели. Использование многоуровневого характера анализа текста не является общеобязательным правилом, так как осуществление перевода и требования к его полноте и качеству могут зависеть от области применения полученных результатов, источников информации, а также точности и полноты, с которой эту информацию нужно извлекать. Этим обуславливается их частое исключение из числа этапов анализа текста. Рассмотрим каждый из них подробнее.

Графематический анализ.

Графематический анализ — это техническая процедура первичного анализа текста, позволяющая выделять информацию, для последующей обработки. Основными задачами графематического анализа являются:

• — разбивка исходного текста на слова, расстановление пробелов и т. д.
• — соединение написанных раздельно слов;
• — выявление устойчивых словарных конструкций, не предполагающих аналоговых вариантов;
• — маркировка написанных инициалами имени и отчества;
• — выделение электронных адресов и имен файлов;
• -структурирование входного текста путем выделения в нем абзацев, предложений, заголовков и т. д.
• 2. Морфологический анализ

Морфологический анализ предполагает две группы алгоритмов анализа: словарные и бессловарные. Бессловарные алгоритмы характеризуются большей компактностью и производительностью, однако обладают гораздо меньшей скоростью, нежели словарные. В связи с этим их применение может быть целесообразно при отсутствии требований к высокой точности, а лишь для выявления простых морфологических атрибутов. Если же последующая обработка предполагает синтаксический анализ, то высокая точность является необходимым требованием, и применяется словарный метод. текст словарный машинный перевод Словарный метод предполагает наличие словаря основ и флексий. По словарю отыскиваются допустимые наборы атрибутов для каждой графемы. В случае отсутствия слова в словаре, выполняется предсказание парадигмы (аналогично бессловарным методам). Одной графеме может соответствовать несколько наборов атрибутов. Такие случаи — морфологическая омонимия — довольно часто встречаются в русском языке. Существуют алгоритмы для решения этой проблемы с высокой вероятностью успеха.

Словосочетание «компьютерная морфология» является относительно новым в употреблении, и еще несколько лет назад было понятно только узкому кругу специалистов. Однако на современном этапе морфология является неотъемлемой частью интеллектуальной поисковой машины.

3. Синтаксический анализ

Главной целью синтаксического анализа выступает построение синтаксических конструкций на одном морфологическом варианте одной клаузы, т. е. одного простого предложения в составе сложного.

Типология, выступая главным предметом теоретической лингвистики, преследует своей целью сравнение грамматик естественных языков и синтаксические законы, применимые одновременно к большому количеству разных языков. Целью же компьютерной лингвистики в области синтаксиса является построение автоматизированного анализатора отдельного языка. Основными функциональными особенностями данного анализатора являются его возможности выделения простых предложений в составе сложного, установление связей между словами и построение полного синтаксического дерева предложения. Отличительной чертой компьютерных программ является то, что они работают только с грамматикой письменного языка, в то время как теоретические исследования располагают возможностями описания как письменного языка, так и устной речи. Таким образом, спектр возможностей в компьютерной лингвистике значительно уже по сравнению с теоретической, но с другой — их выполнение требует значительно большей строгости и формальности описания.

4. Семантический анализ

Семантический анализ существует для построения семантической структуры одного предложения, которая в свою очередь состоит из семантических узлов и семантических отношений. Под семантическим узлом понимается объект текстовой семантики, характеризующийся заполненностью всех валентностей, как эксплицитно выраженные в тексте, так и имплицитно получаемых из экстралингвистических источников. Таким образом, мы видим, что построение семантического узла является возможным лишь в.

4. Семантический анализ

Семантический анализ существует для построения семантической структуры одного предложения, которая в свою очередь состоит из семантических узлов и семантических отношений. Под семантическим узлом понимается объект текстовой семантики, характеризующийся заполненностью всех валентностей, как эксплицитно выраженные в тексте, так и имплицитно получаемых из экстралингвистических источников. Таким образом, мы видим, что построение семантического узла является возможным лишь в самом конце семантического анализа. Это и обуславливает главную цель семантического анализа — построение семантических узлов, посредством заполненности всех валентностей.

Можно отметить, что семантический анализ представляет собой выделение в тексте смысловых связей и групп.

К ним, в первую очередь, необходимо отнести выделение именованных сущностей, объектов, которые имеют различную форму записи в тексте и могут принимать различные значения. Например, к таким именованным сущностям относятся даты, физические величины, названия географических объектов, имена и т. п. Эта процедура позволяет приписывать слову или группе слов атрибут, которым может обозначать определяющий вид именованной сущности. Это делается для получения возможности дальнейшего использования данного атрибута с целью идентификации извлекаемой информации.

Следующей особенностью семантического анализа можно назвать механизм выявления семантических классов, к которым относятся взаимосвязанные с предметной областью группы понятий, являющихся одной и той же частью речи.

Расширение кореферентности в тексте — третий аспект семантического анализа. Кореферентность следует понимать как обозначение различными словами одного и того же объекта действительности. Для пояснения уместен будет следующий пример: фраза «глава Российского государства» и «президент России» обозначает одно и то же лицо. Установление референта для выражения (при наличии модели предметной области) может помочь разрешить проблему кореферентности, также этому может способствовать или установление кореферентной связи (признака того, что выражения ссылаются на одни и тот же объект) между выражениями.

Теперь необходимо разобраться с четвертым элементом семантического анализа, которым выступает разрешение анафоры. Под последней понимается невозможность использования языковых выражений без учета интерпретации другого (либо) предшествующего фрагмента текста. Разрешение анафоры сводится к установлению связи между анафорическим выражением и его интерпретацией (антецедентом). Частным случаем этой проблемы является разрешение местоименной анафоры, где в роли анафорического выражения выступает местоимение.

И, наконец, завершающим этапом семантического анализа является выявление семантических ролей и связей. Основанием для реализации этого подхода выступает использование словаря моделей управления. Данный словарь состоит из списка предикатов русского языка, которыми описываются различные способы синтаксической реализации в тексте различных типов смысловых отношений между понятиями, отражающими некоторую ситуацию. Словарная статья описывает семантические роли участников этой ситуации и способы их выражения в тексте. После выявления семантических ролей можно выделить и различные семантические связи между участниками ситуации. Виды ролей определяются при составлении словаря, а виды связей задаются, как правило, уже при решении конкретной задачи [Кормалев, 2003, с. 96].

5. Построение модели предметной области

Наиболее сложным, но и приносящим наиболее точные результаты этапом является построение модели ситуации или предметной области, которая описывается в тексте. Этот этап реализует представление в структурном виде, отражающем все значимые смысловые связи, всего текста или набора текстов. Но так как задача построения модели очень сложна, в прикладных системах редко прибегают к ее использованию [Каничев, 1998, с. 55].

Таким образом, в первой главе мы рассмотрели и дали интерпретацию понятию «перевод». Выделили его виды, формы и жанры. Так же рассмотрели понятие «машинный перевод». Затронув тему машинного перевода, мы рассмотрели, какое место он занимает в общей классификации перевода. Выяснили, каким образом осуществляется работа программы-переводчика.