Нахождение анафорических связей при автоматическом анализе текста: На материале английского языка

Прикладная лингвистика зародилась в середине XX века и как научная дисциплина получила название «структурная, прикладная и математическая лингвистика», которое сохранилось до сегодняшнего дня. В отечественной традиции прикладная лингвистика четко делится на квантитативную (математическую) лингвистику, изучающую применение количественных методов при исследовании лингвистических явлений, и компьютерную (вычислительную, инженерную) лингвистику, которая посвящена разработке и реализации автоматизированных систем обработки речевых и текстовых сообщений, в последние годы все чаще называемых речевыми и текстовыми лингвистическими процессорами (ЛП).

В начале своего пути компьютерная лингвистика была в основном представлена модельными и экспериментальными автоматизированными информационно-поисковыми системами и системами машинного перевода, которые в дальнейшем пополнились автоматизированными системами распознавания и синтеза отдельных слов, а также автоматическими словарями.

Сейчас прикладная лингвистика представляет собой дисциплину, которая объединяет большое количество разнообразных проблем, связанных с решением практических задач, часто выходящих за рамки самой лингвистики. В разное время на первый план в ней выходят и различные проблемы, на которых и сосредотачиваются основные усилия. Вследствие ряда объективных причин в отечественной прикладной лингвистике одной из таких актуальных задач является разработка лингвистического обеспечения различного рода автоматических и автоматизированных систем. Это и системы автоматического перевода, и системы информационного поиска, и системы автоматизированного управления. Все большую актуальность в настоящее время приобретает разработка систем искусственного интеллекта.

Если первоначально разработка лингвистического обеспечения велась преимущественно в плане моделирования и формализации естественного языка, то сейчас первичным является моделирование понимания естественного языка. Такая задача первоначально решалась применительно к ведению диалога между человеком и компьютером. Она заключалась в том, чтобы осуществить перевод вопроса, обращенного к компьютеру, с естественного языка на язык внутреннего представления информации, принятый в данной системе. Для этой цели, как правило, использовался семантический язык в виде фрейма, сети или языка исчисления предикатов (Перцова 1980). Тот факт, что компьютер на осмысленный вопрос дает такой же осмысленный ответ, можно рассматривать как своего рода свидетельство того, что здесь имеет место понимание. Но о моделировании собственно понимания в этом случае можно говорить лишь условно (Новиков 2000).

С большим основанием к пониманию следует отнести более сложный класс задач, связанных с анализом и пониманием полных текстов. Н. Н. Леонтьева в одной из своих последних работ убедительно показала, что необходимость моделирования понимания в той или иной форме присутствует во всех основных видах систем, связанных с автоматической обработкой информации, представленной на естественном языке (Леонтьева 2000).

Результатом такого компьютерного понимания является та или иная информация, которая извлекается компьютером из текста и фиксируется в виде различных семантических представлений. При этом основным инструментом, используемым для автоматического понимания, являются различного рода знания, предварительно аккумулируемые в системе. Роль знаний в этом процессе, несомненно, велика, о чем свидетельствуют данные, характеризующие понимание текста человеком. Так, например, в работе Н. Рафиковой экспериментально доказывается теоретическое положение о том, что в основе понимания, осуществляемого человеком, лежит актуализация определенных структур знания в результате воздействия на когнитивную сферу языковых единиц различного уровня (Рафикова 2000). Но понимание не сводится только лишь к актуализации знаний. Известно, что знать и понимать — это не одно и то же. «Можно знать нечто и не понимать его действительного смысла, можно успешно действовать, но не понимать сущность происходящего» (Гусев, Тульчинский 1985, 17). Поэтому глубокое и полное понимание, которое, конечно же, в значительной степени базируется на знании, все же выходит за его рамки, поднимается над ним и представляет собой, возможно, особый вид знания, своего рода «знание о знании». Такой переход означает переход на уровень смысла, который участвует в процессе осмысления и как средство и как его конечный результат. Вне этого понимание и смысл оказываются комплиментарными понятиями, т. е. одно предполагает другое. «Понятия смысла и понимания являются соотносительными и не могут рассматриваться в отрыве друг от друга. Смысла также нет вне понимания, как и понимание есть усвоение некоторого смысла», — пишут по этому поводу С. С. Гусев и Г. Л. Тульчинский (Гусев, Тульчинский 1985,42).

Наметившаяся тенденция в плане моделирования понимания в автоматических системах, особая роль смысла в этом процессе, в то же время крайняя противоречивость и неопределенность представлений об этом явлении — все это является основанием для того, чтобы активизировать усилия, направленные на изучение смысла, мышления, понимания и, соответственно, языка как продукта этих процессов психической деятельности человека.

Важность изучения этих процессов подчеркивается, в первую очередь, тем, в каком русле идут современные исследования в области компьютерной лингвистики. Здесь необходимо отметить работу группы ученых под руководством профессора Новикова А. И. над экспериментальным изучением смысла (Новиков 2002), также работу Леонтьевой Н. Н., связанную с автоматической обработкой информации, представленную на естественном языке (Леонтьева 2000). Бесспорно, заслуживают упоминания исследования в области обучения при помощи компьютера и разработки основных стратегий компьютерного обучения в лингвистике, а также разработки тестирующих и моделирующих программ обучения и т. д., описанных в книге Потаповой Р. К. «Новые информационные технологии и лингвистика» (Потапова 2002).

К решению задач, выдвинутых современными системами искусственного интеллекта и другими, которые мы условно называем системами автоматического понимания или анализа текста, теоретическая лингвистика оказалась не готова. Она не предложила способов формирования таких единиц, которые воспринимались бы другой, внешней системой, не разработала «словарей» соответствий между лингвистическими и экстралингвистическими понятиями. Лингвистический анализ не строит крупных единиц «навстречу» единицам, описывающим факты и события действительности и отношения между ними.

В результате образовался разрыв, на одной стороне которого — лингвистические сущности, единицы, которые строятся только лингвистическим анализом (внутренние единицы), на другой — система понятий конкретной области знаний (внешние единицы). Два языка — внутренний и внешний — оказались не в состоянии найти точек соприкосновения друг с другом.

В результате практические системы весь свой искусственный интеллект тратят на преодоление этого разрыва, причем для решения конкретной задачи в каждой узкой предметной области этот разрыв преодолевается заново.

Мы делаем вывод, что в любой модели анализа текста необходимо сочетание двух подходов — информационного и лингвистического.

Как результат обобщения, или как теоретическое обоснование разных типов прикладных систем, разработана абстрактная модель, названная информационно-лингвистической моделью (ИЛМ), в рамках которой можно проследить по шагам все звенья автоматического понимания текста. Коротко говоря, ее смысл сводится к тому, что из одного и того же естественного текста (ЕТ) система может извлекать разную информацию дня разных пользователей в зависимости от их интересов, объема знаний и от того, какие модули компьютерного знания подключены к процессу понимания ЕТ. Такой подход (возможность извлечения разных «смыслов» из единого множества текстов, своего рода лингвистическая относительность) обосновывается и практической необходимостью (действительно, разным пользователям нужна разная информация из текстов), и соображениями конструктивного характера: отдельные модули создаются как самостоятельно работающие подсистемы, которые включаются и выключаются в разных режимах работы системы.

Концептуальные структуры текста желательно создавать на основе хороших лингвистических представлений текста. Это означает учет всех свойств текста — от графематических особенностей до свойств связности текста — и привлечение описаний объектов предметной области (ПО) в виде тезаурусов или других способов задания специальных знаний. Кроме того, концептуальные структуры необходимо соотносить с возможными запросами пользователя (это сфера информатики) и с языком адресата информации. Важно также знание того, каковы внутренние установки и цели автора текста (это прагматика — сравнительно новая область теоретической лингвистики).

Пока никому не удалось реализовать такую модель, которая может учесть все эти аспекты и выдавать Адресату (или пользователю) необходимую информацию из произвольного корпуса текстов. Тем более важно рассмотреть теоретически, из каких «кубиков» складывается механизм автоматического понимания.

Как показывает современная практика работы с системами машинного перевода наиболее «слабыми» местами любой системы являются блоки автоматического синтаксического и семантического анализа текстов. Но данные проблемы являются глобальными и тяжело решаемыми, поэтому мы должны начинать процесс решения этих проблем поэтапно, а не комплексно. Должны сначала сделать эти самые «кубики», а уже потом построить полновесную модель автоматического синтаксического или семантического анализа.

В нашей работе мы остановились на формировании одного такого «кубика», а точнее — на построении алгоритма нахождения анафорических связей. Надо отметить, что данный аспект находится на стыке семантики и синтаксиса и занимает умы многих ведущих ученых мира, так как, решив эту проблему, мы сможем снять ряд трудностей и задач не только в области прикладной лингвистики, но и в области лингвистики текста.

Так объектом исследования являются анафорические связи личных анафорических местоимений 3-го лица единственного и множественного числа в современной газетной политической статье.

В качестве предмета исследования мы выбрали установление антецедентов автоматическим способом, посредством выявления формальных характеристик смысловых и содержательных зависимостей.

В соответствии с объектом и предметом нашего диссертационного исследования мы определили следующую цель исследования: систематизация формальных средств выражения анафорических связей и зависимостей для основного состава личных местоимений английского языка определенного функционального стиля.

Частными задачами исследования являются:

— изучение контекстных проявлений синтаксических связей анафорического типа для выбранного состава местоимений;

— проверка их алгоритмическим способом;

— составление алгоритмов нахождения анафорических связей для прикладных целей.

Основными методами и приемами исследования мы считаем: дистрибутивный метод, сопоставительный метод, метод прямого перевода, количественный анализ лингвистических явлений синтаксического характера, связанных с анафорой.

Материалом исследования послужили английские и американские газеты (издающиеся в Великобритании «The Times», «The Guardian», «The Independent» и США «Washington Times») за период с 2000 по 2003 год. Объем проанализированного материала составил более 1200 текстов политических статей. Всего было отобрано и проанализировано по 500 примеров на каждый случай употребления анафорических местоимений 3-го лица единственного и множественного числа мужского и женского рода.

Для анализа выбраны средства массовой коммуникации, обладающие достаточной авторитетностью (британская газета «The Times» — один из старейших и широко цитируемых источников информации не только в Великобритании, но и во всем мирене менее известна пользующаяся репутацией «серьезного» издания американская газета «Washington Times»).

Научная новизна исследования заключается в том, что современный политический текст не изучался с точки зрения выявления анафорических связей в целях автоматической переработки, не существует достаточно эффективных алгоритмов для нахождения таких связей и для более широкого использования таких алгоритмов, например, в составлении обучающих программ.

Теоретическая значимость работы объясняется тем, что решение задачи автоматического нахождения анафорических связей есть часть важной и не решенной до сих пор проблемы автоматического синтаксического анализа естественных языков. Здесь также есть выход в теорию текста и фундаментальные положения языковой деятельности и языкового мышления.

Практическая значимость состоит в использовании разработанных алгоритмов нахождения анафорических связей для задач машинного перевода, автоматического индексирования, автоматического получения содержания и смысла текста, в построении человеко-машинного интерфейса и систем искусственного интеллекта.

На защиту выносятся следующие положения:

1. Анафора играет большую роль в автоматическом синтаксическом и семантическом анализе текста, так как без эффективного разрешения анафорических отношений не может быть удовлетворительного синтаксического и семантического анализа. Авторы современных систем автоматического анализа и синтеза зачастую упускают из вида этот немаловажный аспект функционирования языка.

2. Разрешение анафоры требует оптимального алгоритмического взаимодействия как семантических, так и синтаксических факторов, в котором преобладающую роль занимают синтаксические факторы.

3. Тип языка — аналитический или флективный — оказывает существенное влияние на состав и структуру определения анафорических связей.

4. С точки зрения алгоритмического разрешения анафоры наиболее целесообразен подход, основные принципы которого были заложены при разработке проекта Kit-Fast в рамках исследования Eurotra-D и впоследствии развиты и дополнены в рамках нашей работы.

5. Созданный нами алгоритм нахождения анафорических связей обеспечивает эффективность на уровне 80%.

Апробация работы. Результаты работы обсуждались на шестой Международной конференции ассоциации LATEUM на базе МГУ им.

М.В. Ломоносова (сентябрь 2000 г.) — на научно-практических конференциях на базе Коломенского государственного педагогического института (март 2002, апрель 2003) — на научно-практической конференции Московского государственного областного университета (март 2002) — на Международной научно-практическая конференция «Языки мира и мир языка», на базе Московской Академии Экономики и Права (январь 2003). Основное содержание диссертационного исследования отражено в 6 публикациях.

Выводы к Главе III:

Таким образом, из Главы III видно, что основной объем серьезных исследований в области анафоры и ее алгоритмизации ведется за рубежом, а в России в силу ряда объективных причин исследования в этой области практически прекращены или вообще не ведутся. Этим и обуславливается выбор нами темы. Данная глава дает подробное описание хода нашего эксперимента, и ниже приводятся краткие вывода того, над чем мы работали.

В ходе нашего исследования нами было проанализировано 1200 газетных статей, из которых нами было выбрано по 500 примеров на каждое из местоимений. На основе анализа примеров мы предлагаем следующую последовательность действий для нахождения анафорических связей: 1) выявить местоположение антецедента по отношению к анафору в тексте- 2) определить роль антецедента и личных анафорических местоимений в предложении- 3) определить, в каких частях текста могут находиться личные анафорические местоимения третьего лица единственного числа мужского и женского рода.

Так анафоры могут находиться как в одном предложении с антецедентом, так и в начале абзаца, в котором встречается анафор. В предложении анафор обычно выступает в роле подлежащего.

В тексте анафор встречается в следующих структурах: 1) в простых предложениях: в начале предложения, в начале предложения после вводных слов however, first, secondly, although etc.- 2) в сложносочиненных предложениях- 3) сложноподчиненном предложении с придаточными разных типов- 4) при передаче прямой речи: перед прямой речью, между частями прямой речи, после прямой речи- 5) при передачи косвенной речи.

В нашей работе также мы определили спектр текстов, которые могут быть подвергнуты машинному переводу и пришли к выводу, что большинство художественных текстов, а также текстов, которые носят не просто информативный характер, а которые передаются через восприятие той или иной проблемы автором не поддаются машинной обработке.

В результате исследования выяснилось, что в 400 примерах из 500 на каждый случай антецедент был найден верно, что означает, что коэффициент достоверности данного алгоритма равен 80%. Проанализировав случаи, в которых алгоритм находит анафорические связи неверно, мы пришли к выводу о том, что объяснение этому необходимо искать в постановке знаков препинания в английском тексте. Как известно, помимо общих правил постановки знаков препинания в английском языке допускается некоторая свобода в постановке того или иного пунктуационного знака. Этим не часто, но все же пользуются авторы политических статей для достижения определенного стилистического эффекта и придания некоторой эмоциональной окрашенности тексту. Вот именно в этих случаях и происходит сбой в работе алгоритма. Для преодоления этого барьера необходимо составлять алгоритм на базе большего количества примеров, но даже и тогда процент неправильно найденных связей между антецедентом и анафором всего лишь снизится, а не ликвидируется вообще.

Заключение

.

Проблема автоматического анализа текста на современном этапе развития науки и техники представляется одной из самых важных в теории и практике перевода, так как в наш век всеобщей компьютеризации машине отводится лидирующая роль на всех производствах. Парадоксально, что с довольно-таки высоким уровнем развития технологий в современном мире не создано системы автоматического анализа и синтеза, которая могла бы удовлетворить или хотя бы частично соответствовать достаточно высоким требованиям, как отдельного человека, так и всего социума в целом.

Исследование показало, что помимо разработки систем машинного перевода, которые ведутся достаточно давно и надо отметить в некоторых областях с большим успехом, сегодня, интерес человечества переключен на проблемы синтаксического и семантического анализа и синтеза текстов, искусственного интеллекта, создание новых, более объемных и узкоспециальных словарей, охватывающих все новые и новые области знания современного индивида. Однако все еще остается неразгаданным природа большого количества лингвистических явлений, которые получили достаточное описание в общей лингвистике, но все еще являются загадкой для представителей компьютерной лингвистики и одной из таких проблем является анафора или анафорические отношения в тексте. «Загадочность» этого явления заключается в его природе, так как помимо лингвистических знаний и понятийного аппарата человека в формировании анафорических отношений участвует психика, что, как известно, является еще мало изученной областью знания и еще не до конца определены сферы соприкосновения лингвистики и психологии человека. На данный момент алгоритм нахождения анафорических связей в современных отечественных системах машинного перевода фактически отсутствует, так как исследования в этой области в нашей стране практически не ведутся.

Подводя итоги нашего исследования по проблеме нахождения анафорических связей при автоматическом анализе текста, мы пришли к выводу, что данный аспект требует системного подхода и комплексного изучения, так как, совершенствуя один элемент системы, нельзя забывать и о других составляющих. В работе мы определили основные аспекты совершенствования современных систем машинного перевода. Одним из них является разработка алгоритма нахождения анафорических связей для личных анафорических местоимений единственного и множественного числа.

В ходе исследования помимо разработки алгоритма нахождения анафорических связей мы пришли к заключению о том, что, исследуя анафору можно определить спектр текстов, которые могут быть подвергнуты автоматическому переводу и анализу. Так тексты художественного стиля и передаваемые через восприятие информации автором не могут быть переведены адекватно при помощи машины, а тексты функционального стиля очень легко поддаются автоматической обработке.

Согласно результатам данного исследования процесс нахождения анафорических связей проходит в три этапа: 1) определение местоположения в тексте антецедента по отношению к анафору- 2) определение местонахождения личных анафорических местоимений Зго лица единственного и множественного числа в тексте- 3) установление роли личных анафорических местоимений в английском предложении.

Результаты проделанной работы были обобщены и систематизированы в схеме нахождения анафорических связей для личных анафорических местоимений Зго лица единственного и множественного числа (см. Приложение), на основании которой был создан рабочий алгоритм нахождения анафорических связей.