Диакритики. 
Исследование параметров сегментации при статистическом машинном переводе с арабского на русский язык

Важной проблемой, с которой приходится иметь дело при обработке арабского языка, яляется вопрос диакритиков. Диакритическими знаками в арабских текстах обозначают краткие гласные. Однако, чаще всего на практике они не применяются. Использование диакритических знаков обычно сводится к религиозным тектам, а также к детской и обучающей литературе. В средствах массовой информации, книгах, деловой и неформальной переписке диакритики, как правило, не применяются. Вследствие этого, для целей обработки естественного языка и, в частности, для машинного перевода, диакритические знаки убираются из текста во время предобработки. Это позволяет существенно сократить недостаточность данных.

Описание эксперимента

Модель обучается на основе параллельных арабско-русских корпусов, состоящих из расшифровок выступлений ораторов на платформе TED. В каждом из корпусов для обучения — по 116 046 строк, в то время как в корпусах для тюнинга — по 965 строк, а тестирования — по 976 строк.

Перед обучением модели тексты были очищены от диакретических знаков. Аналогичным образом, в русскоязычной части были нормализованы буквы «ё» (заменены на «е»).

Также, была построена языковая модель типа KenLM на русскоязычной части корпуса. Языковая модель была построена на базе триграмм. При этом, в ней использовалось модифицированно сглаживане Кнезера-Нея. Кроме того, в модель были добавлены тэги начала и конца предложения.

Стоит отметить, что при построении модели арабский и русский тексты были токенизированы. Также, построение включали в себя создание таблицы перестановок.

Основной целью эксперимента был выбор наилучшего варианта сегментации арабского текста — то есть, его оптимальное разбиение по морфемам. Важно помнить, что оптимальное разбиение редко совпадает с наиболее подробным разделением текста на морфемы. Более того, излишняя сегментация может существенно ухудшить показатели машинного перевода. Вообще говоря, оптимальная для машинного перевода сегментация не обязана совпадать с грамматически правильной, что показали [Chang, Galley, Manning 2008] для китайско-английского перевода.