Модели и методы обработки ЕЯ (естественный язык): создание моделей, методов и алгоритмов семантического анализа и интерпретации ЕЯ

Это гарантирует то, что извлеченный текстовый пассаж будет нести законченный семантический смысл. Этап 2. Разрешение анафор. Для разрешения анафорических ссылок пользуется метод абдуктивной логики, предложенный в работе [24]. В результате выполнения этого этапа получаются связанные фрагменты текстов (текстовые пассажи), которые несут полное семантическое значение. Этап 3.

Построение семантических схем пассажей. Семантическое представление пассажей выполняется с использованием метода семантического представления функционала «смысловыразительности» [18]. В результате использования данного метода для текста формируется набор семантических схем, каждая из которых соответствует текстовому пассажу и может быть использована для сравнения. Отличие предлагаемого метода в том, что сравнение пассажей будет производиться в отношении многие-ко-многим. Этап 4.

Сравнение на близость. Определение степени подобия между текстовыми пассажами эталона и сравниваемого текста согласно критерию семантической близости. Для этого предлагается использовать модифицированный семантический критерий сравнения на близость, основанный на критерии представленном в работе Вишнякова Р. Ю. [.

18]. Отличием предлагаемого критерия семантической близости текстовых пассажей эталона и сравниваемого текста является вычисление доли совпадающих элементов смысла, в соответствии с семантическим классом слов, участвующих в сравнении.

где p — фактор совпадения между словами, участвующих в сравнении, для каждого элемента смысла, согласно семантическому классу в интервале [0,1], р = 1, если слово идентично, р = 0 если слово вне семантического класса и р = (0,1) в зависимости от степени синонимии; k — количество элементов смысла в текстовом пассаже сравниваемого текста, n — общее число элементов смысла в текстовом пассаже эталона. Необходимо, чтобы эксперт предварительно определял степень синонимии каждого семантического класса. Это может быть сделано по предопределению в эталоне. Этап 5. Оценка подобия. Определение правильности и глубины напрямую зависит от целей и задач сравнения, а, следовательно, и оценки. В этом контексте под правильностью следует понимать приближенность текста к эталону с точки зрения подобия полного текста и его глубины — это верная полнота текста по отношению к эталону. Жизнеспособный критерий правильности вытекает из результатов, полученных в этапе 4, но теперь по отношению ко всему тексту, то определяется коэффициентом правильности C, который вычисляется по формуле:

где Ф — результат, полученный для каждого сравнения этапа 4; q — количество текстовых пассажей сравниваемого текста, m — общее число текстовых пассажей эталона. Глубина может быть определена в виде пропорции количества текстовых пассажей сравниваемого текста по отношению к количеству текстовых пассажей эталона, то есть коэффициент глубины S, определяется по формуле:

В то время оценка подобия может быть определена средним арифметическим двух ранее полученных коэффициентов; т. е. оценка R, определяется по формуле:

Предлагаемый подход семантического сравнения текстов позволяет оценивать тексты, написанные на естественном языке и определить степень их подобия к эталонным текстам, независимо от используемых слов и синтаксиса. Это является основным отличием по отношению к существующим моделям, основанным на точном выявлении слов и/или фраз.

Заключение

.

Проведенные исследования позволили автору установить, что для качественной АОТ необходимо применять комбинацию существующих методов, использующих в качестве базы исчисления предикатов в нечетком виде, но дополняющих их векторным представлением элементов, так же автором предлагается их модификация и совместное использование. Рассмотренный подход семантического сравнения текстов позволяет оценивать тексты, написанные на естественном языке и определить степень их подобия к эталонным текстам, независимо от используемых слов и синтаксиса. Дальнейшие исследования по разработке данного метода могут внести вклад в развитие методов повышения эффективности автоматической обработки текстов на естественном языке, в частности, систем дистанционного образования и систем типа «Антиплагиат».Таким образом цель реферата достигнута.

Список использованных источников

.

Языкознание. Бол. энцикл. словарь / гл. ред. В. Н. Ярцева.

— 2-е изд. — М.: Бол.

рос. энцикл., 1998. — 685 с. Советский энциклопедический словарь / гл. ред. А. М. Прохоров.

— 4-е изд. — М.: Сов.

энциклопедия, 1989. — 1632 с. Искусственный интеллект. В 3 кн. Кн. 1. Системы общения и экспертные системы: справочник / под ред.

Э.В. Попова. — М.: Радио и связь, 1990. — 464 с. Могилев, А. В. Информатика: учеб. пособие для студ. пед. вузов / Могилев, Н. И. Пак, Е. К. Хеннер; под ред. Е. К. Хеннера.

— 3-е изд., перераб. и доп. — М.: Издательский центр «Академия», 2004. — 848 с. Марчук, Ю. Н. Компьютерная лингвистика / Ю. Н. Марчук. ;

М.: АСТ; Восток-Запад, 2007. — 317 с. Гайдамакин, Н. А. Автоматизированные информационные системы, базы и банки данных. Вводный курс: учеб.

пособие / Н. А. Гайдамакин. — М.: Гелиос АРВ, 2002. — 368 с. Губин, М. В. Влияние морфологического анализа на качество информационного поиска / М. В. Губин, А. Б. Морозов // Труды RCDL-2006. ;

М., 2006. — С. 224−228.Баранов, А.Н.

Введение

в прикладную лингвистику: учеб.

пособие / А. Н. Баранов. — М.: Эдиториал УРСС, 2001. — 360 с.

http://translate.google.com/about/.Светова, С. Ю. Системы автоматизированного перевода PROMPT. Системы TranslationMemoryTrados. Интеграция PROMPT и Trados / С. Ю. Светова, Е. В. Косматова. В кн. Перевод: традиции и современные технология. — М.: ВЦП, 2002.

— С. 42−55.Потапова, Р. К. Речь: коммуникация, информация, кибернетика: учеб. пособие / Р. К. Потапова. ;

М.: Едиториал УРСС, 2003. — 568 с. Гаскаров Д. В.

«Интеллектуальные информационные системы», 2003.

Леоненков А.В. «Нечёткое моделирование в среде MATLAB и fuzzyTECH», 2001.

Тузов В.А. «Компьютерная семантика русского языка», СПб, 2004.В. Д. Ландэ «Поиск знаний в Internet», 2005.

Толпегин П. В. «Информационные технологии анализа русских естественно-языковых текстов. Часть I» // «Информационные технологии», 2006, № 8.А. Вебжицкая «Понимание культур через посредство ключевых слов», М., 2001.

Вишняков Р. Ю. 2012.

Разработка и исследование формализованных представлений и семантических схем предложений текстов научно-технического стиля для повышения эффективности информационного поиска. Дунаев А. А. Исследовательская система для анализа текстов на естественном языке. //.

http://www.iis.nsk.su/files/articles/sbor_kas₁₃_dunaev.pdf Contreras Z. Y. y Dávila Q. J. 2002. U natécnica para la extracciónautomática de resúmenesbasada en unagramática de estilo. K.

aszkiel M. y Zobel J. 2001. E.

ffective Ranking with Arbitrary Passages", Journal of the American Society, for Information Science (JASIS). M uñoz T. R. 2009. R epresentación del conocimiento textual mediantetécnicaslógico-conceptuales en aplicaciones de tecnologíasdellenguajehumano.

Q uillian R. 1968. &.

quot;Semantic Memory", in M. M insky (ed.), Semantic Information Processing. S alguero L. F. 2010. Resoluciónabductiva de anáforaspronominales.

http://www.

http://personal.us.es/fsoler/papers/ivjornadas.pdf Salton G. 1989. A utomatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer, Addison Wesley, New York. Михайлов С. Н. Методика формирования архитектуры инфокоммуникационной среды информационно-аналитического обеспечения научных исследований технического вуза // Информационно-измерительные и управляющие системы. 2010. Т. 8, № 7. С.

27−29.Кокорин П. П. Инфологическая система аналитического мониторинга научно-технических фондов библиотек // Информационно-измерительные и управляющие системы. 2009. Т. 7, № 4. С.

11−15.Christopher D.M., Prabhaka R., Hinrich S. I ntroduction to information retrieval. CambridgeUniversitypress, 2008.

Методы построения информационно-логических систем / В. В. Александров, Н. А. Андреева, С. В. Кулешов, Н. А. Андреева. СПб.: Анатолия, 2005. 109 с. Визуальный словарь [Электронный ресурс]: On-line версия.

http://www.iai.dn.ua/public/JournalAI_2002₄/Razdel2/05_Anisimov_Marchenko.pdf.

http://www.iis.nsk.su/files/articles/sbor_kas₁₂_batura_etc.pdf.

http://www.osp.ru/os/2014/01/13 039 687/Аналитический мониторинг Internet контента. Инфологический подход [Текст] = AnalyticalMonitoringofInternetContent. I nfoLogicalApproach / В. В. Александров, С. В.

Кулешов // Качество. Инновации. Образование. — 2008. — N.

3. — С. 68−70.

http://www.ict.edu.ru/vconf/files/9060.pdf.