Проверка согласованности и классификация экспертов

Статистические методы проверки согласованности зависят от математической природы ответов экспертов. При ранжировании или разбиении подобрать соответствующие статистические теории весьма трудно, и достаточно просто, если ответы экспертов — результаты парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: эксперту гораздо легче на каждом шагу сравнивать только два объекта, чем заниматься ранжированием или разбиением, так как это трудно обработать математически. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжирования или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т. е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.

Согласованность мнений экспертов обычно считают важной характеристикой качества результатов. Ее рекомендуют оценивать по величине коэффициента конкордации Кендэлла^!:

где S — сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического рангов; п — число экспертов; т — число объектов экспертизы.^[1]

Коэффициент конкордации изменяется в диапазоне 0 < W' < 1, причем О соответствует несогласованности, а 1 — полной согласованности. Если значение коэффициента конкординации превышает 0,40—0,50, то качество оценки считается удовлетворительным, если W > 0,70—0,80 — высоким.

Пример 2.31.

Необходимо определить степень согласованности мнений пяти экспертов, результаты ранжирования которыми объектов приведены в таблице.

Оцениваем среднеарифметическое число рангов:

Затем оцениваем сумму квадратов отклонений от среднего значения: S = 160. Определяем величину коэффициента конкординации:

Полученный коэффициент конкордации говорит об удовлетворительной, но не высокой оценке согласованности мнения экспертов.

При отсутствии согласованности экспертов необходимо разбить их на группы сходных по мнению. Эго можно сделать методами кластерного анализа, предварительно введя метрику в пространство мнений экспертов. Однако методы кластерного анализа во многом являются эвристическими, в частности, невозможно с позиций статистической теории обосновать «законность» объединения двух кластеров в один. Имеется важное исключение — для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу.

В заключение необходимо найти итоговое мнение комиссии экспертов.

Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Вместе с тем применение корреляционно-регрессионного метода возможно не только к количественным признакам, но также и к таким признакам, которые не имеют количественного выражения.

Учеными разных стран за последние 100 лет разработано несколько методов измерения связей таких признаков. В первую очередь к ним относится вычисление коэффициента корреляции рангов Спирмена:

где г_р — коэффициент корреляции рангов;  — разность рангов единиц совокупности по признакам х и у в ряду натуральных чисел от 1 до п ранги — это порядковые номера единиц совокупности в ранжированном ряду.

Рассчитаем коэффициент корреляции между затратами и прибылью в среднем на единицу продукции, используя для этого таблицу.

Коэффициент корреляции рангов по формуле Спирмена равен:

С начала 1980;х гг. активно развивается интервальная математика, и как наиболее практически важная часть се — интервальная статистика. Эксперт в качестве оценки рассматриваемого параметра может называть не число, а интервал. Такие процедуры удачно сочетают в себе количественный и качественный подходы в экспертных оценках. Интервальные экспертные оценки — новое перспективное направление в области экспертных оценок, которое только начинает развиваться. Например, оценка качества продукции, где эксперт оценивает показатель не в виде действительного числа, а в виде значения качественного признака — «отлично», «хорошо», «удовлетворительно» и т. д. При формализации каждый такой ответ целесообразно описывать интервалом. Например, оценка «отлично» описывается интервалом (0,8; 1,0), оценка «удовлетворительно» — интервалом (0,4; 0,6) и т. д. Этот подход можно сопоставить с использованием нечетких чисел в качестве ответов экспертов, поскольку интервалы — частные случаи нечетких множеств.

В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.

Проведение экспертных исследований основано на использовании современных методов прикладной математической статистики, прежде всего статистики объектов нечисловой природы, и современной компьютерной техники.

• [1] Кендэлл М. Ранговые корреляции. М.: Статистика, 1975.