Описание процедуры поиска контекстов

Для поиска потенциальных словарных иллюстраций из параллельного корпуса извлекаются параллельные контексты заданной длины. Сначала по параллельному корпусу с помощью инструмента GIZA++ строится модель перевода, полученные контексты затем обрабатываются парсером SyntAutom. Полученная таблица содержит следующие данные (см. Таблицу 2):

• — входной контекст;
• — перевод;
• — синтаксический разбор входного контекста и перевода;
• — пословное выравнивание;
• — входной контекст и перевод в лемматизированном виде.

Таблица 2. Пример записей из модели перевода.

Как видно из примера, каждой последовательности слов приписывается синтаксический разбор. Из полученной модели перевода удаляются те фразы, которые не являются связным поддеревом синтаксического разбора всего предложения. Например, в предложении «The result is an industry that works in a radically different way than it did a decade ago.» последовательность «a radically different way» является связным поддеревом, а «in a radically different» — нет.

Кроме того, из модели удаляются пары переводных эквивалентов, включающих только одно знаменательное слово. Затем каждому контексту в модели перевода ставятся в соответствие возможные ключи (потенциальный заголовок статьи и его перевод). Для этого информация о пословном выравнивании контекстов объединяется со словником словаря. Таким образом, например, для пары биграмм на английском и русском языке «digital image — цифровая фотография», где слова выровнены по порядку, мы получаем две записи — для перевода «digital — цифровой» и «image — фотография».

Выделенные контексты хранятся в виде значений, разделённых табуляцией, в следующем порядке:

• — ключ (заголовочное слово);
• — переводной эквивалент;
• — частота пары «контекст — перевод» в параллельном корпусе;
• — контекст на исходном языке;
• — синтаксический разбор и леммы контекста;
• — перевод контекста;
• — синтаксический разбор и леммы перевода;
• — информация о позиции ключа в контексте;
• — информация о выравнивании.