Формализация смысловой структуры текстов

В системах семантической обработки текстовой информации основной задачей является формализация представления смысловой структуры текстов — выделения в них смысловых единиц и установления связей между ними. Центральной процедурой при решении этой задачи является процедура семантико-синтаксического концептуального (понятийного) анализа текстов.

Важнейшим средством автоматической смысловой обработки текстовой информации являются мощные словари наименований понятий, представленные преимущественно фразеологическими словосочетаниями. При анализе текстов необходимо также учитывать, что в них одни и те же объекты и процессы могут описываться с различной степенью общности и c помощью различных языковых средств. Поэтому при решении задач автоматической смысловой обработки текстовой информации необходимо учитывать такие явления как синонимия, гипонимия (родо-видовые отношения), разнообразие средств выражения межфразовых связей.

Основной структурной единицей текста традиционно считается предложение. Некоторые лингвисты склонны даже рассматривать его в качестве основной единицы смысла.

Предложения выступают в тексте не изолированно друг от друга, а в тесной смысловой связи. В основе этой связи лежат мыслительные образы тех конкретных или абстрактных объектов (ситуаций, явлений), которые человек имеет в виду, когда он порождает текст. Образы этих объектов имеют определенную структуру. Кроме того, они дополнительно структурируются человеком при их описании на естественном языке. Соответственно этому структурируется и текст. Труды 15-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» — RCDL-2013, Ярославль, Россия, 14−17 октября 2013 г. При прочтении текста у читателя, как и у автора текста, возникнет определенный мыслительный образ. Мыслительные образы автора текста и его читателя обычно не тождественны, но в основе своей они должны быть сходными. Целью передачи информации с помощью текста является не столько исчерпывающее описание мыслительных образов его автора, сколько инициация процесса порождения соответствующих мыслительных образов у читателей. Письменный текст, как и звуковая речь, развертывается последовательно во времени, т. е. имеет линейную структуру, тогда как мыслительные образы «многомерны». При их словесном описании может быть принят различный порядок линейной развертки, но цель описания должна быть в основном одна и та же — воссоздание в сознании читателей мыслительных образов, подобных мыслительным образам автора текста. Такое воссоздание осуществляется постепенно, путем восприятия предложения за предложением и «монтажа» возникающих при этом частичных образов в целостный мыслительный образ, соответствующий содержанию текста. При этом в каждом предложении элемент его актуального членения «тема» выполняет роль «стыковочного узла», служащего для подключения нового частичного мыслительного образа, обозначаемого этим предложением, к ранее построенному мыслительному образу. Описанная модель восприятия текста позволяет объяснить тот факт, что связи между предложениями выражаются в большинстве случаев с помощью лексических повторов: в «стыковочных узлах» предложений повторяются наименования понятий предшествующего текста либо буквально, либо в виде синонимических и эллиптических конструкций, либо в виде родовых наименований понятий и местоимений. Для связи с предыдущим текстом применяются также средства, основанные на указании координат его фрагментов (слов и выражений типа «на основании вышеизложенного», «рассмотренный нами ранее», «описанный в главе…», «в приведенном выражении» и т. п.

Исходя из вышесказанного, при решении задачи формализации смыслового содержания текстов необходимо методами семантико-синтаксического и концептуального анализа обработать текст, разделить его на предложения, выделить из него единицы смысла (наименования понятий) — слова и словосочетания, выражающие понятия. Ниже рассмотрим базовый набор процедур семантико-синтаксического и концептуального анализа, а также декларативные средства, обеспечивающие их функционирование, методы, входные и выходные данные.