Методы введения обратной связи с пользователем

В данной теме мы ограничимся лишь рассмотрением некоторых показателей эффективности ДИПС.

В результате обработки запроса пользователь получает некоторое множество документов, среди которых могут быть как релевантные, так и нерелевантные. Кроме того, в той части массива документов, которая не была выдана пользователю, также могут присутствовать как нерелевантные, так и релевантные документы. Исходя из этого, весь массив документов можно разбить по отношению к запросу на 4 подмассива:

А — массив выданных релевантных документов;

В — массив выданных нерелевантных документов;

С — массив невиданных релевантных документов;

D — массив невиданных нерелевантных документов.

Введем следующие обозначения:

a — количество выданных релевантных документов;

b — количество выданных нерелевантных документов;

c — количество невиданных релевантных документов;

d — количество невыданных нерелевантных документов.

Существуют следующие показатели эффективности ДИПС:

Название.	Формула.	Описание.
Полнота.		Характеризует долю выданных релевантных документов во всем массиве релевантных документов.
Точность.		Характеризует долю выданных релевантных документов во всем массиве выданных документов.
К-т шума.		Характеризует долю выданных нерелевантных документов во всем массиве выданных документов.
К-т осадка.		Характеризует долю выданных нерелевантных документов во всем массиве нерелевантных документов.
К-т специфичности.		Характеризует долю невыданных нерелевантных документов во всем массиве нерелевантных документов.

Часто для удобства перечисленные показатели измеряют в %. При оценке качества реальных систем чаще всего используются коэффициенты полноты и точности. Идеальной является ситуация, когда полнота и точность составляют 100%, однако на практике этого добиться не удается. Более того, оказывается, что улучшение показателей по одному критерию, ведет к ухудшению показателей по другому.

Наряду с перечисленными показателями, которые основаны на сопряженности релевантности и выдачи, целесообразно использовать также и другие показатели эффективности:

Быстродействие ДИПС (интервал времени между моментом формулировки запроса и получением ответа на него);

Пропускная способность (оценивается количеством вводимых документов и количеством ответов в единицу времени при заданных значениях коэффициентов полноты и точности);

Производительность (оценивается количеством пользователей системы и частотой обращения с их стороны);

Надежность работы (оценивается вероятностью того, что система будет выполнять свои функции при заданных условиях в течение требуемого времени);

Тип запросов, обслуживаемых системой.