Согласованность экспертных оценок

В качестве примера того, как можно оценить согласованность оценок разных экспертов, рассмотрим в несколько упрощенном виде результаты, представленные в учебном пособии по психометрике Дж. Гилфорда [23]. На русском языке описание этого примера в более широком контексте можно найти в учебном пособии по общей психометрике Ч. Л. Измайлова и М. Б. Михалевской [9].

В одной научной организации три эксперта, старшие научные сотрудники этой организации, оценивали своих коллег по ряду характеристик. Всего оценивалось семь человек по восьми характеристикам. В табл. 8.9 приведены полученные результаты по одной из оцениваемых характеристик. Даны также средние оценки по всем экспертам и всем стимулам.

Таблица 8.9

Балльные оценки семи стимулов (ученых) по одной из характеристик, сделанные тремя экспертами (адаптировано из работы Ч. А. Измайлова, М. Б. Михалевской [9])

Очевидно, что результаты первого и третьего экспертов оказываются весьма схожими. Действительно, коэффициент корреляции между ними равен 0,92. Результаты второго эксперта явно отличаются как от результатов первого, так и особенно от результатов третьего эксперта. Если корреляция второго эксперта с первым оказывается равной 0,11, то с третьим экспертом корреляция и вовсе оказывается отрицательной — ее значение равно -0,16. Среднее значение корреляции по всем трем экспертам составляет тем не менее 0,29.

Для начала оценим различия средних оценок трех экспертов. Для этого воспользуемся стандартными процедурами дисперсионного анализа с повторными измерениями по фактору эксперта. Результаты такого анализа представлены в табл. 8.10. Видно, что стандартная модель дисперсионного анализа с повторными измерениями не выявляет эффекта испытуемого — F(2, 12) = 1,29; р > 0,10. Однако, как мы уже отметили, у нас имеет место неоднородность корреляционных связей между оценками экспертов. Это же подтверждает статистическая оценка однородности ковариационно-вариационной матрицы по тесту Моучли — ?2(2) = 6,92; р < 0,05. Внесение соответствующих поправок тем не менее не дает возможности выявить эффект экспертов. Их оценки можно считать достаточно однородными.

Таблица 8.10

Результаты оценки согласованности оценок трех экспертов Проверка внутригрупповых эффектов

Измерение: ИЗМЕРЕНИЕ-1.

Теперь оценим надежность измерений трех экспертов. Для этого воспользуемся формулой (8.15):

Как очевидно, для такой оценки нам нужны значения среднего квадрата между испытуемыми и среднего квадрата внутри испытуемых. Их можно найти по тем результатам, которые предоставляет нам окно вывода IBM SPSS Statistics. Так, средний внутригрупповой квадрат может быть найден на основе суммарных квадратов для экспертов и для ошибки и соответствующих им значений числа степеней свободы. Эти данные легко найти в табл. 8.10.

Средний квадрат между испытуемыми можно найти в таблице оценки эффектов межгрупповых факторов (табл. 8.11), где он обозначен как «Ошибка». Его значение оказывается равным 8,52.

Таблица 8.11

Оценка различий между стимулами (учеными)

Опенка эффектов межгрупповых факторов Измерение: ИЗМЕРЕНИЕ-1 Преобразуемая переменная: Среднее.

Подставляя имеющиеся у нас данные в формулу оценки надежности измерений, получаем:

Этот результат показывает, что если мы повторим процедуру оценивания данной группы испытуемых по исследуемой характеристике с помощью случайной выборки новых трех экспертов, то коэффициент корреляции между ними окажется равным 0,59.

Другим способом оценки надежности проведенных измерений может стать формула Кронбаха (8.19).

Нам необходимы значения дисперсии оценок по каждому пункту теста, в данном случае — но каждому эксперту. Кроме того, нам понадобится значение дисперсии суммарных баллов всех трех испытуемых. Результаты проведенных расчетов представлены в табл. 8.12. Подставляя эти данные в формулу Кронбаха, снова имеем значение надежности? = 0,59.

Таблица 8.12

Дисперсия оценок трех экспертов и их суммарных показателей

Очевидно, что надежность измерений является следствием тех ошибок, которые совершает каждый из экспертов. Можно попытаться скорректировать их оценки, исходя из разности средних значений для каждого эксперта и общего среднего. Для этого вычтем из каждой оценки эксперта эти разности. Результат этих вычислений представлен в табл. 8.13.

Таблица 8.13

Скорректированные оценки трех экспертов

Как видно, в результате проведенной коррекции средние оценки экспертов оказались уравненными. Однако такая коррекция не изменила средних оценок для оцениваемых стимулов (ученых). Таким образом, средний квадрат между испытуемыми остается тем же, а средний квадрат внутри испытуемых уменьшился на величину эффекта экспертов:

Тогда значение коэффициента надежности для средних оценок трех экспертов оказывается равным.