Математическая и информационная поддержка методов обработки литературных текстов на основе формально-грамматических параметров

Актуальность темы

Когда в 1851 году английский логик Август де Морган впервые предложил в письме другу использовать математический аппарат для решения задачи установления авторства (или задачи атрибуции), он невольно породил фактически бесконечную дискуссию о возможностях применения математических методов для решения подобных задач [4]. Этот спор продолжается вот уже более полутора веков, разгораясь снова и снова каждый раз, когда делаются попытки атрибутировать тот или иной анонимный или псевдонимный текст. Гипотезу де Моргана развил американский физик Томас Мандельхолл, опубликовав в 1880 году результаты своего исследования по изучению длин нескольких сотен тысяч слов из работ Бэкона, Марлоу и Шекспира, тем самым, положив начало количественным методам анализа текстов [7].

В настоящее время решение задачи количественного анализа текстов связано со многими, как прикладными историко-филологическими дисциплинами, так и с широким кругом естественно-технических наук, например, таких как, статистика и теория вероятностей, теория коммуникаций, теория искусственного интеллекта и др. Естественно, что с развитием вычислительной техники, появилась возможность использовать методы, требующие огромных вычислений, учитывая и варьируя различные лингвостатистические параметры.

Основная задача атрибуции заключается в установлении авторской принадлежности произведения, когда оно анонимно или подписано псевдонимом, а также в случае литературных мистификаций. Частным случаем атрибуции является атетеза — отрицание принадлежности данному автору произведения, ранее ему приписывающегося [58].

Задачи атрибуции с использованием методов количественного анализа текстов встречаются не только в литературоведении, но и в других областях знаний: искусствоведении, истории, психологии, 5 криминалистике, психопаталогии и т. п. [19, 50]. Особенно важное значение придается атрибуции в юриспруденции [29, 32, 47, 51]. Порой от заключения эксперта по атрибуции на судебных заседаниях зависят людские судьбы. Так, например, в известном деле по расследованию убийства журналиста газеты «Московский комсомолец» Дмитрия Холодова, следствию пришлось прибегнуть к помощи специалистов по атрибуции для установления возможного автора нескольких записок, имеющих непосредственное отношение к делу [34].

В настоящее время существуют десятки методик установления авторства, которые используют сотни различных параметров: морфологических, синтаксических, лексических. При помощи многих из них удалось атрибутировать некоторое количество анонимных и псевдонимных произведений. Но даже при наличии такого большого числа методик атрибуций, имеет место существенное ограничение на применение данных методик — это объем анализируемых произведений. Авторы большинства весьма успешных методик подчеркивают, что надежность их проверена только для текстов больших объемов. Вот здесь как раз и встает вопрос о поиске новых или синтезе уже имеющихся методик для установления авторства. Более того, очень часто приходится работать с текстами, объем которых достаточно мал, т. е. не превышает 1 страницу — это могут быть отрывки из дневников, записки, объявления в журналах и газетах и т. п. Особенно часто с данными проблемами сталкиваются в своей работе криминалисты.

Как раз малый объем текстов будет очень существенно влиять на полученные в данной работе результаты, где рабочим материалом являлись публицистические статьи, объемом от 200 до 13 ООО слов.

Ученые, занимающиеся данной проблематикой. Как было сказано выше, впервые о возможности использования математических методов для решения проблемы установления авторства заговорили во второй половине XIX века. После этого, еще большое число известных 6 зарубежных ученых занималось данной проблемой: англичанин Г. Йель (G. Udny Yule), американский лингвист Д. Зипф (G. Zipf), американские статистики Ф. Мостеллер (F. Mosteller) и Д. Уоллес (D. Wallace), Г. Хетсо (G. Kjetsaa) [89, 90], С. Густавссон (S. Gustavsson), Б. Бекман (В. Beckman), В. Фукс [5] и др. Среди тех, кто и сейчас занимается данной проблематикой и вносит значительный вклад в разработку новых методик атрибуций, в том числе и при помощи новейших компьютерных технологий, можно отметить Д. Холмса (D. Holmes) [6], Д. Барроуза (J. Burrows) [3], А. Мортона (A. Morton) [8], Р. Форсифа (R. Forsyth), С. Мартиндейла (С. Martindale), Д. МакКинзи (D. McKenzie), Ф. Твиди (F. Tweedie).

Первым отечественным ученым, использовавшим математический аппарат для решения задачи атрибуции считается H.A. Морозов [64]. Также данной проблематикой занимался крупнейший отечественный ученый A.A. Марков [57]. Методологическую основу современных методик атрибуций в начале 60-х гг. XX века заложили крупнейшие русские филологи, академики В. В. Виноградов [31] и Д. С. Лихачев [53].

Направлением, связанным с построением и анализом графов синтаксических связей в рамках типических фраз и предложений занимались И. П. Севбо, Е. М. Алешкина, Ю. И. Петунина, Е. Д. Галюта [7476].

Среди тех, кто занимается направлением, где упор делается на выявление той или иной закономерности во взаимосвязях между различного рода синтаксическими структурами, нужно выделить Г. Я. Мартыненко [58], М. А. Марусенко [59, 60].

Направлением, изучающим лексический уровень языка, занимались Ю. А. Тулдава [85] и Г. В. Ермоленко [40].

Известная научная школа по применению количественных методов в исторических исследованиях, в том числе и по атрибуции многих древнерусских литературных памятников, базировалась на кафедре 7 источниковедения Исторического факультета МГУ им. М. В. Ломоносова, где ее научный руководитель J1.B. Милов много лет вел спецсеминар и аспирантуру по проблемам атрибуции. В эту школу входили такие исследователи, как Л. И. Бородкин, Т. В. Иванова, Е. Н Балашова, Л. Е. Морозова и многие другие специалисты. Полученные ими основные результаты атрибуции древнерусских текстов и описание разработанной ими методики атрибуции были опубликованы в фундаментальном труде [67].

В работе Т. А. Якубайтис и A.C. Скляревич предложен способ атрибуции текстов определенной типологии (научно-технический или физико-математический, поэтический или драматический и т. д.) по числу повторений какой-то части речи [95]. В работе П. И. Браславского построен и реализован алгоритм для различения текстов по жанрам с использованием дискриминантного анализа и ранговом распределении частот появления слов в различных текстах [27].

Результаты В. В. Александрова и A.B. Арсентьевой при исследовании структуры диалога способствовали получению новых знаний о приложениях естественных языков при взаимодействии человека и компьютера [1,2, 11].

Интерес вызывает также опыт атрибуции текстов Батова В. И., Сорокина Ю. А. при помощи факторного анализа [15−17], Б. Н. Головина при помощи корреляционного анализа [35, 36], а также Шабаги И. Ю. [94].

В последнее время в МГУ развивается новый подход для определения авторства текста, основанный на формальной математической модели встречаемости последовательности элементов текста как реализации цепи Маркова [91, 92].

Известный специалист по вопросам определения авторства П. Вашак дал следующую классификацию методов атрибуции, выделив три основных [30]: 8.

1. Метод документальный и фактический, основанный на информации двух категорий: a. исходящей от автора — например, рабочие тексты и автографы, переписка, дневники, автобиография и т. д.- b. данных «неавторских», т. е. исходящих от всех лиц и учреждений, участвующих прямо или вторично в процессе генезиса и фиксации произведений. Считается, что не существует никакого документа, однозначно доказывающего авторство.

2. Метод идейно-тематический, основанный на конфронтации идей, идейного направления и тематики атрибутированного текста (произведения) и произведений предполагаемых авторов (литературных школ и генераций, периодов времени, и т. д.).

3. Метод языковой и стилистический, исходящий из понятия индивидуального стиля и состоящий в конфронтации лингвостилистических качеств атрибутированного текста и произведений предполагаемых авторов (литературных школ, направлений, периодов времени, и т. д.) с сосредоточением на подсознательных качествах писания.

Метод 3 выглядит менее зависимым от различных субъективных факторов, присущим первым двум методам, так как он включает в себя лишь сравнение языка и стиля и заранее задает все параметры, по которым проводится сравнение. Характерным признаком этого лингвистико-статистического метода определения авторства является использование в качестве идентификаторов объективных характеристик. Установив, что предполагаемый автор имел возможность написать спорный текст (например, что он был в живых, когда текст был написан), следовало бы в его бесспорных произведениях найти как можно более инвариантных явлений, по которым можно было бы судить, соответствует ли спорный 9 текст в лингвистическом отношении его бесспорным произведениям. Если соответствует, то предполагаемый автор является претендентом на авторство спорного текста, а если не соответствует, то можно в дальнейшем исключить его из числа претендентов.

На этом подходе и построена данная работа.

Постановка задачи и объект исследования. Одним из самых известных споров по поводу авторства является спор об авторстве некоторых анонимных и псевдонимных публицистических статей из Петербургских журналов «Время» и «Эпоха». Известно, что художественное творчество шло у Ф. М. Достоевского рука об руку с журналистикой. Первая публицистическая статья написана им в 1845 г., последняя вышла в свет после его смерти. При этом Достоевский редактировал и возглавлял три журнала, имевших широкое влияние на русскую общественную мысль: Время (1861−1863), Эпоха (1864−1865), Гражданин (1873−1874), и издавал свой личный журнал Дневник писателя (1876−1877, 1880−1881). В Полном собрании сочинений публицистические работы Достоевского составляют несколько томов.

Поэтому нет ничего удивительного в том, что исследователи жизни и творчества Достоевского много внимания уделяли и уделяют его публицистике. Существует ряд специальных работ о политическом направлении издаваемых им журналов, о влиянии Достоевского-публициста на Достоевского-романиста. Двум его журналам посвящены монографии. Тем не менее, до сих пор остается открытым один из самых существенных вопросов: какие же статьи действительно были написаны Ф. М. Достоевским?

В отличие от статей, помещенных в Дневнике писателя, определение принадлежности Достоевскому статей в журналах «Время» и «Эпоха» связано с большими сложностями. Подавляющее большинство этих статей опубликовано анонимно, т. е. либо без подписи, либо под псевдонимами. Впрочем, это относится и к статьям, которые исследователи давно.

10 приписывали Достоевскому, более или менее основываясь на документальных данных. О мотивах, побудивших издателей журналов «Время» и «Эпоха» — братьев Достоевских считать за правило печатать литературно-критические статьи анонимно или под псевдонимом, можно найти в статье [43].

Интересное обсуждение проблем атрибуции Достоевскому анонимных статей «Гражданина» было проведено академиком В. В. Виноградовым [31].

Именно ряд статей (числом 81) из этих журналов и были объектом исследования. Кроме того, в качестве объекта исследования можно выделить формально-грамматические параметры и связанные с ними некоторые методики атрибуции.

Основной работой с использованием математического аппарата и компьютеров для решения данной задачи является исследование [89]. Данная работа вызывала неоднократные критические замечания в свой адрес. В главе 1 представленной здесь работы, будут представлены доказательства, ставящие результаты вышеуказанной работы под сомнение.

Цель работы. Конечной целью данной работы является разработка информационной системы «Статистические методы анализа литературного текста» (ИС «СМАЛТ»), имеющей в основе базу данных (БД) литературных произведений (на первом этапе публицистических статей из журналов 60−70-х гг. XIX века «Время», «Эпоха», «Светоч», «Современник», «Молва», «Библиотека для чтения», «Заря», «Гражданин» и др.) и их морфологических и синтаксических параметров. ИС состоит из двух основных блоков: функционального блока, предназначенного для морфологического и синтаксического анализа текстов, и для пополнения БД литературных произведений и внесения исправлений в записи через модуль ввода и редактирования данныхи аналитического блока, состоящего из модулей, реализующих как можно больше различных и методик атрибуции, позволяющих на основе выделенных параметров, проводить анализ анонимных или псевдонимных текстов на предмет возможного авторства.

Для достижения поставленной цели в ходе исследования были решены следующие задачи:

1. Объедение уже обработанных существующим программным комплексом «Атрибуция» литературных произведении и их морфологических параметров в единую базу данных, вместе с разработкой ее структуры.

2. Анализ возможностей существующего программного комплекса «Атрибуция" — разработка на его основе модуля для ввода и редактирования в ИС «СМАЛТ».

3. Критический анализ результатов исследования Г. Хетсо.

4. Анализ существующих методик атрибуций текстов и выделение наиболее перспективных для решения задачи установления авторства текстов небольшого объема. Их программная реализация и апробация на имеющемся материале.

5. Объединение разработанных программ и их реализация в виде модулей ИС «СМАЛТ».

При решении указанных задач используются методы теории вероятностей и математической статистики, теории распознавания образов, прикладного статистического анализа, теории графов, теории баз данных.

Научная новизна.

1. Обоснована разработка и реализована ИС «СМАЛТ», предназначенная для работы специалистов филологов с литературными текстами с целью их статистического анализа по различным лингвостатистическим параметрам.

2. В данной работе ставятся под сомнение результаты атрибуции ряда анонимных и псевдонимных статей из Петербургских журналов «Время» и «Эпоха», тем самым обосновано решение о поиске новых методик атрибуции текстов небольших объемов.

3. В качестве развития метода иерархической кластеризации предложена методика сравнения иерархических деревьев для формальной оценки эффективности выбора числа признаков.

4. Предложен способ определения порогового значения графа сильных связей для методики оценки парной связи грамматических классов. Продемонстрирована возможность комбинации метода оценки парной связи грамматических классов и метода корреляционных плеяд для решения задачи атрибуции.

5. Показана невозможность решения задачи атрибуции текстов небольших объемов при помощи формально-грамматических параметров на примере трех принципиально различных методик.

Основные положения, выносимые на защиту.

1. Разработана и внедрена в опытную эксплуатацию ИС «СМАЛТ», предназначенная для проведения количественного анализа литературных текстов с целью выявления различий между текстами на основе различных лингвостатистических параметров.

2. При углубленном исследовании методик атрибуции, предложенных Г. Хетсо, на материале 81 статьи из Петербургских журналов «Время» и «Эпоха» показано: независимость результатов исследования от видов текстов (авторская или современная орфография и пунктуация) — нормальность исходных выборокнеустойчивость некоторых параметров на разных объемах выборокнеправомерность результатов исследования Г. Хетсо.

3. На параметре «Распределение частей речи на первых трех и последних трех позициях в предложении» проведена адаптация методов.

13 корреляционных плеяд и иерархической кластеризации для использования при решении задач атрибуции текстов. Получены числовые характеристики применения данных методов для 53 исследуемых статей и доказана их неэффективность. Предложен алгоритм сравнения иерархических деревьев и получены его числовые характеристики. Доказано, что увеличение числа морфологических признаков от 16 до 156 не приводит к существенному изменению результатов классификации. 4. Для исследуемых статей получены числовые характеристики применения метода оценки парной связи грамматических классов. Доказана его неэффективность для атрибуции обработанных статей.

Объем и структура диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы, содержащего 95 наименований. Общий объем работы, изложенный на 127 страницах машинописного текста, включает 35 страниц приложения, 31 таблицу и 14 рисунков.

Основные выводы и рекомендации.

В данной работе путем критического анализа исследования Г. Хетсо было показано, что вопрос об авторстве анонимных и псевдонимных публицистических статей из Петербургских журналов «Время» и «Эпоха» остается открытым. При помощи различных методов (метода корреляционных плеяд, метода иерархического кластерного анализа, метода оценки парной связи грамматических классов) на основе формально-грамматических параметров предпринималась попытка решения задачи атрибуции исследуемых статей. К сожалению, найти эффективного решения этой задачи не удалось. Это связано, в первую очередь, со спецификой исследуемого материала — публицистические тексты, в большинстве своем небольшого объема. Из-за ограниченности данных методы не позволили четко и однозначно классифицировать тексты. Вторая проблема — выбор параметров, по которым сравниваются тексты. Данное исследование опиралось на формально-грамматические параметры, но, как показывают современные исследования, успешные атрибуции были получены при использовании параметров, связанных с синтаксическими конструкциями текстов. Поэтому решение данной задачи, если оно существует, следует искать в методиках атрибуций, связанных с синтаксическими параметрами.

Процесс выделения параметров, как морфологических, так и синтаксических, достаточно трудоемок, и под силу только профессиональным филологам. Для данной задачи были разработаны модули разбора текстов по морфологическим и синтаксическим параметрам, вошедших в функциональный блок информационной системы «Статистические методы анализа литературных текстов». К настоящему моменту ИС «СМАЛТ» внедрена в опытную эксплуатацию и постоянно модернизируется. Аналитический блок ИС предназначен для проведения анализа литературных текстов с целью выявления различий между.

82 текстами, в том числе и для решения задачи атрибуции анонимных и псевдонимных текстов, на основе различных лингвостатистических параметров. Возможности использования данной ИС достаточно разносторонни. При разборе исследуемых статей по синтаксическим параметрам, исследования по решению задачи атрибуции будут продолжены.

В качестве практического результата можно считать предложенный алгоритм сравнения иерархических деревьев с двумя коэффициентами близости, которые были исследованы для различного числа признаков (от 4 до 100) методами полного перебора и имитационного моделирования, который может оказаться полезным при использовании метода кластерного анализа — иерархической кластеризации.