Метрики проекта TIPSTER и программы TIDES

Метрики, разработанные в проекте TIPSTER и уточненные в рамках программы TIDES, неоднократно проверялись в ходе испытания различных систем на международных конференциях TREC (Text and REtrieval Conference), MUC (Message Understanding Conference) и DUC (Document Understanding Conference) [TREC, 2003; MUC, 1993; Hovy, et al., 2005]. При этом для оценки качества функционирования систем типа IE используются такие метрики, как точность (P), полнота (R) и качество (F-measure). Точность оценивает количество правильно идентифицированных объектов как процент от общего количества идентифицированных объектов, полнота — количество правильно идентифицированных объектов как процент от общего количества правильных объектов, а интегральной оценкой является качество — метрика, которая является взвешенной оценкой параметров точности и полноты.

Соответствующие перечисленным выше характеристикам расчетные формулы определяются следующим образом [Chinchor, 1992]:

где Correct — число полностью правильно идентифицированных объектов, Partial — число частично правильно идентифицированных объектов (взвешиваются коэффициентом Ѕ от полностью правильных ответов), Spurious — число неправильно идентифицированных объектов, Miss — число пропущенных объектов, в — коэффициент важности R относительно P.

Не менее важны и способы усреднения результатов. В настоящее время для этого используются два основных подхода — макроусреднение (macroaverage) и микроусреднение (microaverage). Первый предполагает предварительное вычисление значений метрик качества по каждому обработанному документу и последующее их усреднение для получения оценок на корпусе документов. Во втором сначала определяются соответствующие параметры (Correct, Partial и др.) на всем корпусе документов, а затем производятся вычисления значений метрик качества. Как указывается в работе [Кураленок и др., 2002], макроусреднение чаще используется при оценке результатов поиска, а микроусреднение — для оценки результатов кластеризации.

В дополнение к перечисленным выше метрикам для оценки качества информационного поиска часто используется 11-точечный график полноты/точности, измеренный по методике TREC, который отражает изменение точности в зависимости от требований к полноте.