Методы оценки систем типа IE

Краткая история вопроса

Начало работам по метрикам оценки систем извлечения информации из текстов, по-видимому, было положено исследованиями, которые проводились в 1991;1998 г. г. в рамках проекта TIPSTER [TIPSTER, 2006]. Хотя, справедливости ради, следует отметить, что первые результаты в этом направлении были получены еще в классических работах Солтона по оценке систем информационного поиска [Salton, et al., 1988]. И, тем не менее, применительно к задаче оценки систем типа IE, одним из важных результатов проекта TIPSTER было создание соответствующего стандарта de Facto. Развитие работ по данному направлению в США происходило и происходит в рамках программы TIDES, которая стала продолжением проекта TIPSTER. В Великобритании акцент аналогичных работ на метриках, учитывающих использование онтологий [Maynard, 2005].

В настоящее время исследования и разработки по метрикам для оценки систем типа IE ведутся не только в США, Великобритании, но и в континентальной Европе [LREC, 2004], Японии [Kageura et. al., 2000] и России [Кураленок и др., 2002]. Следует однако отметить, что эти работы в значительной мере сосредоточены на задачах оценки систем информационного поиска, кластеризации и вопрос-ответных систем, хотя, на наш взгляд, базисом всех таких оценок должна быть сбалансированная система метрик для оценки систем типа IE.