К окончательному решению

После определения количества экспертов руководитель комиссии формирует окончательный список экспертной группы.

Второй этап по формированию экспертной комиссии является не менее значимым. Он включает в себя работу по определению методов сбора информации, типов оценочных шкал и способов измерения объектов.

Общепринятыми способами сбора мнений экспертов является «мозговой штурм», деловые игры, дискуссии, метод «Дельфи», метод комиссий и др. Наименее затратными и простыми в организации, на наш взгляд, являются анкетирование и опрос.

Система правил измерения объектов (явлений) позволяет преобразовать полученную от экспертов информацию в удобную для дальнейшего анализа форму. Традиционно тот или иной тип шкалы определяется системой предпочтений экспертов. Так, наиболее простой является номинальная шкала. Она основана на сравнении объектов (явлений) с эталоном и упорядочении их по двуноминальной шкале, при этом присваиваемый балл равен 0 или 1. Шкала отношений используется при наличии абсолютного свойства объекта, когда известна нулевая точка, например, размер прибыли при выпуске нового продукта. Мы рекомендуем использовать при экспертном оценивании порядковую и интервальную шкалы. Данный выбор объясняется тем, что они имеют преимущество по сравнению с другими и наиболее часто используются при проведении экспертных оценок. Это обусловлено тем, что, например, при номинальной шкале возможны только два варианта: «да» или «нет», что сужает рамки оценивания. А с помощью шкалы отношений определяются количественные характеристики, которые могут быть получены и расчетным путем.

Следующий шаг заключается в определении способа измерения объектов. При работе с порядковой и интервальной шкалой, как правило, используются ранжирование, парное сравнение и непосредственная оценка. Поскольку экспертное оценивание не предполагает анализа большого числа объектов, а различие между оцениваемыми объектами является довольно значительным, то нерационально использовать способ парного сравнения при исследовании ресурсного потенциала организации. Соответственно, оптимальными методами является ранжирование и непосредственная оценка. Сущность ранжирования сводится к выбору наиболее существенного объекта из исследуемой совокупности и расположения объектов в порядке убывания (возрастания). Ранги могут принимать значение от 1 до n, при этом значение самого важного ранга равно 1. Необходимо подчеркнуть, что, по мнению экспертов, если несколько оцениваемых объектов имеют одинаковую важность, то ранги присваиваются таким образом, чтобы сумма оставалась неизменной. Например, если объекты 2 и 3 считаются одинаковыми по значимости, то им необходимо присвоить ранг 1,5 и т. п.

Непосредственная оценка не просто упорядочивает, но и определяет, насколько один объект более важен, чем другой, посредством интервалов, которым соответствуют баллы, например, от 0 до 5, от 1 до 10 и т. д. Ранжированию соответствует порядковая шкала, а способу непосредственных оценок — интервальная.

Этап экспертного оценивания заключается в непосредственном сборе мнений экспертов и их отборе с применением выбранных методик.

С целью определения достоверности результатов полученных оценок необходимо определить согласованность мнений экспертов. Другими словами, полученные мнения экспертов имеют дальнейшее практическое применение только в том случае, если они являются согласованными.

Так, для определения согласованности мнений экспертов используются статистические характеристики — меры разброса. Наиболее распространенным параметром является коэффициент вариации. Его мы используем при обработке результатов, полученных в ходе анкетирования при оценке организационного и предпринимательского потенциалов. Традиционно данный коэффициент рассчитывается по формуле[10]:

где СКО — среднее квадратическое отклонение, определяемое по формуле:

(6).

где m — количество экспертов;

— оценка j-го эксперта;

— средняя оценка группы экспертов.

Преобразуя данную формулу для балльных оценок, получим следующее выражение:

(7).

где — средний балл i-го эксперта в отношении j-го объекта, рассчитываемый по формуле:

(8).

— баллы i-го эксперта в отношении j-го объекта;

— число экспертов, оценивающих j-ый объект;

— средний балл по группе.

Полученное значение коэффициента вариации характеризует долю среднего значения этой величины, составляющей ее средний разброс[11]. Оно не имеет четких границ, однако очевидным является то, что большое значение данного коэффициента характеризует сильное изменение признака. Эмпирическим путем установлено, что до 10% - слабое изменение; от 10 до 25% - умеренное изменение и свыше 25% - высокое изменение. В теории статистики данное значение несколько выше и принято считать, что если оно превышает 35%, это свидетельствует о неоднородности оценок экспертов.

В случае использования метода ранжирования, необходимо рассчитать коэффициент конкордации. В случае если все ранги различны, то используется следующая формула [12]:

, (9).

,.

— ранг i-го объекта оцениваемого j-ым экспертом;

n — количество объектов;

k — количество экспертов.

Если хотя бы один эксперт выставил одинаковые ранги, то формула примет вид:

(10).

— присутствие в анкете j-го эксперта одинаковых рангов, рассчитывается по формуле:

(11).

— количество групп одинаковых рангов, а анкете j-го эксперта;

— количество рангов в r-й группе одинаковых рангов в анкете j-го эксперта.

Значение коэффициента может принимать значение от 0 до 1. Чем ближе значение к единице, тем более согласованными являются мнения экспертов. О высокой согласованности свидетельствует значение более 0,8.