Основные этапы процедуры многомерной экспертизы

В соответствии с теоретической схемой процесса принятия решений при многомерном выборе на предварительном этапе необходимо сформировать группу экспертов таким образом, чтобы гарантировать представление всех существенных признаков рассматриваемой проблемы и обеспечить учет интересов тех звеньев системы, хозяйственные интересы которых непосредственно связаны с ее разрешением.

Содержание предлагаемой процедуры многомерной экспертизы может быть представлено следующей последовательностью основных этапов.

Этап I. Выявление признаков эффективности. 1. На первом шаге этого этапа каждый эксперт должен сформулировать существенные, с его точки зрения, признаки эффективности осуществляемого выбора хозяйственного решения.

У экспертов, естественно, самые разнообразные представления о том, что такое эффективность рассматриваемого решения. Именно эти разнообразные представления необходимо выявить в ходе экспертизы. Экспертиза опирается на сопоставление только личных, субъективных суждений экспертов, участвующих в работе.

В качестве иллюстрации содержания этапов процедуры многомерной экспертизы рассмотрим конкретный пример ее использования для оценки и упорядочивания заказов на выполнение конструкторских работ.

Для выявления различных признаков эффективности заказов была сформирована группа из пяти экспертов. На первом шаге первого этапа от каждого эксперта был получен описок наиболее существенных, с его точки зрения, признаков эффективности заказов (табл. 17.1).

Таблица 7 7.7.

Форма I. Признаки эффективности решения, представленные экспертами.

2. На втором шаге экспертизы осуществляется обработка полученных экспертных листов. Выясняется полный список признаков, названных всеми экспертами. В этом списке ликвидируется дублирование (например, «срочность» и «длительность»). После этого каждый признак получает условное буквенное наименование (признак, А — срочность, Б — важность, В — трудоемкость и т. д.) (табл. 17.2). Листы с табл. 17.2, содержащей полный список всех названных признаков, раздаются экспертам. Каждый эксперт в графе «Выбор» условным знаком выделяет те признаки, которые, с его точки зрения, являются решающими.

На основании всех полученных от экспертов заполненных листов с табл. 17.2 составляется единая табл. 17.3.

В табл. 17.3 все признаки вписываются по приоритету — первыми идут признаки, названные всеми экспертами, затем те, которые названы решающим большинством экспертов. Так выявляются рабочие признаки. В рассматриваемом примере рабочими являются пять признаков — А, Б, В, Е, Д.

Результатом первого этапа экспертизы является формирование на основе данных, полученных от экспертов, перечня существенных признаков оценки эффективности принимаемого решения.

Этап II. Определение общего приоритета признаков. 1. Каждый эксперт производит все возможные попарные сравнения признаков.

Они осуществляются с помощью специальной колоды карточек, на каждой из которых указана пара признаков. Количество карточек в колоде зависит от числа выявленных признаков. Для рассматриваемого примера число карточек в колоде равно Cf =10.

Таблица 17.2

Полный список всех признаков.

Таблица 17.3

Выбранные экспертами решающие признаки.

Колоды карточек выдаются экспертам. Перед каждым экспертом ставится задача распределить 100 баллов между указанными на карточке двумя признаками. Пример распределения баллов по признакам показан в табл. 17.4.

2. Определяется приоритет признаков для каждого эксперта. Обработка заполненных экспертом карточек позволяет каждому признаку поставить в соответствие сумму из (п — 1) оценок (где п — общее число рассматриваемых признаков). Полученные оценки нормируются относительно признака, получившего у данного эксперта максимальную сумму баллов. В результате получаем упорядочивание признаков по значимости для каждого эксперта.

Таблица 17.4

Распределение баллов по признакам 1-ым экспертом

Расчет значимости признаков для каждого из пяти экспертов в рассматриваемом нами примере показан в табл. 17.5. Для каждого эксперта формируется таблица, в которой по строкам представлены номера карточек, а по столбцам — буквенные обозначения выявленных признаков. Оценки признаков из каждой карточки переносятся в соответствующие столбцы таблицы. Подсчитывается сумма баллов для каждого признака. Значимость признака, набравшего максимальное число баллов, принимается за единицу, оценки значимости остальных признаков определяются как отношение набранной ими суммы баллов к максимальной. Так, например, для первого эксперта признак, А получает максимальную сумму баллов — 280. Значимость этого признака принимается равной единице. Соответственно, значимость признаков у первого эксперта:

В результате получаем ряд признаков, упорядоченный по значимости для 1-го эксперта:

Аналогично обрабатываются оценки остальных экспертов (табл. 17.5).

Таблица 17.5

Расчет значимости признаков

2-й эксперт

4-й эксперт

Таблица 17.6

3. Третий шаг — определение общего для всех экспертов приоритета признаков. Составляется сводная таблица значимости признаков по всем экспертам (табл. 17.6).

Сводная таблица признаков по всем экспертам.

Для определения общего приоритета признаков необходимо выделить признак, значимость которого в табл. 17.6 получила больше всего единиц. Такой признак будем называть ведущим. В нашем примере ведущим является признак Б — «важность», имеющий максимальную значимость у 2-го, 3-го и 5-го экспертов.

Далее строится табл. 17.7, в которой по строкам перечислены признаки, а по столбцам — результат отношения оценки значимости ведущего признака (Б) ко всем остальным.

Например, по 1-му эксперту получаем отношения:

Аналогичным образом определяются отношения значимости ведущего признака Б к значимости всех остальных признаков по другим экспертам.

Таблица 17.7

Результаты отношения ведущего признака ко всем остальным признакам.

Далее на основании полученных данных определяют среднее значение приоритета сравниваемых признаков.

Так, для признака, А среднее значение отношения признака по всем экспертам следующее:

Таким же образом определяются средние значения приоритета признаков Б, В, Е и Д (см. графу 8 табл. 17.7).

Для определения общего приоритета признаков необходимо выявить значения отношений ведущего признака ко всем остальным признакам. За ведущий признак в табл. 17.7 (гр. 8) принимается признак с минимальной значимостью.

Может сложиться, что по результатам отношений ведущего признака ко всем остальным среднее значение приоритета какого-нибудь признака будет меньше единицы. В таком случае этот признак и будет являться ведущим при определении значимости общего приоритета признаков. В нашем примере ведущим признаком остается признак Б.

Определяем отношение значимости этого признака ко всем остальным:

В итоге получается окончательная шкала, которая в интервале от нуля до единицы отражает значимость выбранных экспертами признаков (табл. 17.8).

Таблица 17.8

Оценки значимости признаков эффективности.

Этап III. Выявление градаций рабочих признаков. На этом этапе проведения экспертизы для каждого рабочего признака должны быть выявлены степени его проявления, существенные для реализации процедуры выбора решения.

1. Эксперты указывают степени проявления признака, отражающие максимальную и минимальную полезность для тех целей выбора, которые поставлены перед экспертизой. Полезность может быть выражена как в качественных, так и в количественных характеристиках. Затем эксперты расставляют градации между максимальной и минимальной оценками. По каждому признаку эксперты выбирают то количество градаций, которое они считают необходимым ввести в оценку этого признака. Значение всех градаций определяется каждым экспертом независимо друг от друга. Пример выявления экспертами градаций по признаку, А «Срочность» представлен в табл. 17.9.

Таблица 17.9

Форма II. Градации признака, А «Срочность», представленные экспертами.

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

2. На основании полученных от экспертов данных формируется перечень всех возможных градаций проявления признака. Из табл. 17.9, заполненных всеми экспертами, выбираются максимальное и минимальное значения признака. Затем из тех же таблиц выбираются все промежуточные значения градации признака, названные экспертами.

Таким образом, определяются градации для всех выявленных рабочих признаков эффективности решения.

• 3. Полученные данные представляются в виде табл. 17.10 и раздаются экспертам. Каждый эксперт знакомится со всем перечнем градаций рассматриваемого признака, в том числе с теми, которые не были им названы. Он должен оставить в таблице те градации, которые, с его точки зрения, являются решающими для того или иного признака. Эксперт может оставить и все градации какого-либо признака.
• 4. Обработка заполненных экспертами табл. 17.10 позволяет выявить градации признаков, признанные решающим большинством экспертов, и получить в начальном виде единую таблицу выбора, в которой по строкам перечислены рабочие признаки, а по столбцам — рабочие градации этих признаков. Для рассматриваемого примера см. таблицу 17.11.

Этап IV. Формирование шкалы оценок рабочих градаций всех признаков. 1. На каждый рабочий признак составляются колоды карточек с попарным сочетанием всех рабочих градаций этого признака. В нашем примере каждый признак имеет пять градаций (табл. 17.11). По каждому признаку колода будет состоять из 10 карточек.

Перед каждым экспертом ставится задача распределить при сравнении двух градаций 100 баллов по уровню того признака эффективности, который оценивается. Тогда, например, разделение 100 баллов между градациями 1 мес. и 1 год признака «Срочность» в пропорции 70: 30 означает, что, по мнению эксперта, заполнившего карточку, заказ с месячным сроком исполнения более чем в 2 раза эффективнее для данной организации, чем заказ со срочностью 1 год.

Градации для всех выявленных рабочих признаков эффективности решения.

Таблица 17.10

Таблица выбора многомерной экспертизы.

Таблица 17.11

2. По каждому эксперту, отдельно для каждого из рассматриваемых признаков, строятся таблицы формирования шкалы оценок градаций всех признаков (табл. 17.12). Все оценки каждой градации в баллах выписываются по каждому признаку отдельно. Значимость градации, набравшей в сумме максимальное число баллов, принимается за единицу, а значимость отдельных градаций пересчитывается в долях от этой единицы.

Таблица 17.12

Формирование шкалы оценок градаций признаков (1-й эксперт). Признак, А «Срочность».

Из табл. 17.12 градаций по признаку, А («Срочность») первого эксперта видно, что максимальное число баллов (260) получила градация «Срок 3 месяца». Пересчитываем значимость остальных градаций:

В результате получаем упорядоченный ряд оценок градаций признака, А («Срочность») по первому эксперту.

Аналогично упорядочиваются оценки градаций по всем признакам для всех экспертов.

3. На базе полученных таблиц составляются таблицы оценок градаций на каждый признак отдельно — табл. 17.13. В этой таблице по строкам перечислены номера экспертов, а по столбцам — оценки градаций определенного признака.

Таблица 17.13

Таблицы оценок градаций по различным признакам.

Признак А

Признак Б

Признак В

ПризнакЕ

Прежде чем перейти к выявлению приоритета градаций каждого признака, необходимо преобразовать упорядочивание этих градаций в зависимости от значимости приоритетов признаков. Для этого нужно числовые значения градаций по всем экспертам перемножить на оценку значимости соответствующего признака. Например, шкала градации признака, А («Срочность») по первому эксперту: 0,92; 1; 0,96; 0,65; 0,30 (см. табл. 17.13). Значимость признака, А по шкале признаков — 0,89 (см. табл. 17.8). Получаем: 0,82; 0,89; 0,85; 0,58; 0,27. Затем значимость признака, А (0,89) перемножается на значимости градаций признака, А по 2-му, 3-му, 4-му и 5-му экспертам. Аналогичный расчет приводится и по остальным признакам (табл. 17.14).

Таблица 17.14

Градации признаков с учетом их значимости.

Признак А

Признак Б

Признак Е

ПризнакД^[1]

У второго эксперта:

и т.д. по всем остальным экспертам.

В результате получаем табл. 17.15 с результатами отношений ведущей градации ко всем остальным градациям по всем экспертам.

Таблица 17.15

Результаты отношений ведущей градации ко всем остальным градациям по всем экспертам.

Признак А

Признак Б

ПризнакЕ

ПризнакД

Затем определяется среднее значение отношений сравниваемых попарно градаций: по столбцам табл. 17.15 суммируются все полученные числовые значения и результат каждого столбца делится на количество экспертов. Так, в табл. 17.15 (признак А) среднее значение отношений максимальной градации составит.

Аналогично определяются средние значения отношений всех остальных градаций признака А. В результате получаем шкалу средних значений отношений сравниваемых попарно градаций.

5. Определяется общий приоритет градаций признака А. По шкале средних значений выявляется градация с наименьшим весом («Срок — 6 месяцев») и вычисляется отношение значимости этой градации ко всем остальным:

В итоге получается окончательная шкала, которая в интервале от О до 1 отражает приоритет градации признака, А «Срочность». Точно так же заполняются все остальные строки табл. 17.16.

После этого достаточно получить соответствующее техническое задание, выявить его признаки по списку, произвести расчет — и можно определить значимость этого технического задания по сравнению с любым другим.

Так, пусть распорядителю конструкторского бюро необходимо упорядочить между собой с точки зрения выгодности (эффективности) для бюро три заказа:

• • разработка новых диктофонов типа 1;
• • разработка магнитофона типа 2 (усовершенствованный вариант);
• • разработка стереофонических звуковых колонок.

Каждое из этих технических заданий по всем пяти признакам характеризуется определенными параметрами (табл. 17.17).

По табл. 17.17 определяется значимость каждого параметра по всем пяти признакам. Эти показатели складываются, и в результате получаем общий балл для каждого ТЗ. По максимальному баллу и происходит выбор того или иного технического задания. В нашем примере техническое задание по выпуску новых звуковых стереофонических колонок имеет наивысший балл — 4,55. Этот заказ мы можем считать лучшим для КБ на данный момент времени.

Многомерная шкала оценки объектов выбора.

Таблица 17.16

Характеристики заказов.

Таблица 17.17

• [1] На основании данных табл. 17.14 приступают к выявлению общегоприоритета градаций признака, А «Срочность» по всем экспертам. Вначале определяется суммарный вес каждой градации по всем пяти экспертам. Максимальная по весу градация принимается за ведущую. В нашем примере для признака, А максимальной (по суммарному весу) градацией будет «Срок 6 месяцев» — 4,16. Затем появляется попарноеотношение значимости этой градации по всем остальным градацияму всех экспертов. У первого эксперта: