Групповая экспертная оценка значимости факторов на основе использования метода парного сравнения

Аннотация: В настоящее время в практике современного управления и системе научных средств познания большую роль играет применение экспертных оценок для решения неформализованных и сложных производственных и организационных задач. В статье рассматривается комплексная методика групповой экспертной оценки значимости факторов, разработанная автором на основе исследования научно-методического материала по существующим методам и подходам экспертного анализа.

Ключевые слова: экспертный анализ, многокритериальный выбор, экспертиза, теория принятия решений, метод парных сравнений.

На современном этапе развития теории принятия управленческих решений большую роль играет применение экспертных оценок, что связано с возрастающей частотой их использования в практике современного управления, а также в системе научных средств познания. Метод экспертных оценок применяется для осуществления тщательного анализа целей и задач деятельности, путей и средств их достижения, оценки значимости различных факторов, решения проблем прогнозирования, планирования и разработки программ деятельности и др. Экспертное исследование является основным способом решения сложной задачи комплексной оценки влияния разнотипных критериев на результат, поскольку именно оно позволяет учесть одновременное влияние большого числа несопоставимых факторов, сформировать разносторонний взгляд на объект исследования и принять обоснованное управленческое решение по конкретному вопросу.

Поскольку научные исследования по рациональному проведению экспертной оценки были начаты относительно недавно, то, несмотря на популярность использования данного подхода для решения сложных организационных и управленческих задач [1, 2], в настоящее время до сих пор идет процесс формирования и совершенствования различных методов экспертного исследования. Более того в литературе, посвященной методологии социологических исследований [3 — 5], отсутствует единая комплексная методика, содержащая четкий регламент проведения экспертного анализа, описание основных этапов работ и методов получения весовых коэффициентов. Это обусловило необходимость ее разработки автором.

Разработанная методика включает в себя этапы, представляющие собой последовательное выполнение следующих действий:

• 1. Разработка экспертной анкеты — важный этап экспертного анализа, заключающийся в обосновании цели и задач проводимого исследования, кратком описании процедуры оценивания и разработке оценочных таблиц, достаточных для получения результатов, необходимых для дальнейшей обработки.
• 2. Подбор экспертов и определение предварительного количества экспертов

Эффективность экспертного метода зависит от профессионализма и компетентности респондентов, которая в свою очередь определяется в зависимости от квалификации, знаний, опыта и в некоторых случаях специализации экспертов. Если экспертный анализ проводится с целью определения значимости факторов в узкой специфической сфере, то подбор респондентов должен осуществляться с учетом их специализации и опыта работы. Другая ситуация обстоит с исследованиями, проводимыми в области маркетинга или ценообразования, где специализация экспертов в области исследования не является обязательным критерием их отбора, поскольку они принадлежат к области знания, доступной большинству возможных респондентов. Более того, включение в экспертную группу специалистов из других областей знания, обладающих высоким уровнем общей эрудиции, понимающих смысл проблемной ситуации и способных к адекватному отображению исследуемого объекта, позволяет выполнить всестороннюю комплексную оценку влияния факторов на результат. При этом, безусловно, большую роль играют знания и опыт участника опроса, к чему и должны предъявляться особые требования. Достоверность экспертизы существенно зависит от качества экспертов, в особенности от их компетентности.

Для предварительной оценки количества респондентов предлагается использовать формулу (1) [6]:

(1).

где b — допустимая ошибка результата экспертного анализа (0 < b <1).

Достаточная численность экспертной группы должна определяться на стадии оценки общего уровня компетентности экспертов (5 этап методики).

3. Сбор и обработка экспертных оценок

Для решения управленческих и производственных задач в настоящее время применяются различные методы экспертных оценок для получения весовых коэффициентов: прямая расстановка, ранжирование факторов, парное сравнение (в том числе метод анализа иерархий), метод приписывания баллов, присвоение коэффициентов факторам. Каждый из этих методов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения.

Проведенный анализ вышеуказанных методов [7 — 9] позволил заключить, что наиболее точным для определения значимости факторов является метод анализа иерархий Т. Саати (МАИ), поскольку он основан на использовании попарного сравнения. Преимуществами метода также являются простота интерпретации результатов, соответствие принципам системного подхода, возможность дублирования расчетов и оценивания альтернатив по качественным и субъективно определяемым критериям. Однако кроме положительных сторон, метод обладает существенным недостатком — отсутствие механизма анализа матриц оценок экспертов, который способен выявить и устранить грубые ошибки, допущенные экспертами в ходе проведения опроса. В связи с этим автором статьи было проведено исследование, в рамках которого рассматриваемый метод МАИ был модернизирован в части обработки экспертных анкет (подробно изложен в [7]) для повышения его эффективности за счет сокращения времени на повторные или очередные анкетирования, в случае выявления несогласованных ответов экспертов.

Поэтому для осуществления обработки экспертных оценок и получения достоверных и объективных результатов исследования, как альтернативный, предлагается использовать модернизированный метод парных сравнений [7].

4. Определение уровня компетентности респондентов

Оценка компетентности специалистов, участвовавших в опросе, является важным этапом анализа, поскольку, если в группе окажется неквалифицированный специалист, чье мнение резко отличается от мнения экспертной группы, то величина отклонения оценки эксперта от результирующей оценки окажется большой, вследствие чего обобщенная оценка по данному фактору окажется смещенной.

Компетентность предлагается оценивать с помощью апостериорного метода путем, во-первых, проверки согласованности матриц оценок в экспертной анкете с помощью разработанного критерия лmax доп (таблица 1), во-вторых, определения коэффициента отклонения суждений респондента от экспертной группы. экспертный парный опрос групповой Для проверки согласованности матриц оценок необходимо определить собственное число матрицы лmax и сравнить его значение с максимально допустимым значением, приведенным в таблице 1, выбрав его в зависимости от количества сравниваемых факторов. Так, если собственное число матрицы лmax не превышает значение лmax доп, то матрица оценок эксперта считается согласованной и эксперт признается компетентным.

Таблица № 1.

Критерий оценки согласованности матрицы ответов эксперта.

Коэффициент отклонения суждений эксперта предлагается вычислять как количество значений весовых коэффициентов факторов, расположенных в радиусе среднеквадратического отклонения от его математического ожидания, отнесенное ко всему количеству сравниваемых факторов.

В случае, если средний коэффициент отклонения суждений эксперта меньше 0,68 (согласно теории вероятности около 68% точек должны лежать в пределе [-; +]), то ответы такого эксперта содержат аномальные для многих факторов значения, что говорит о том, что мнение эксперта резко отличается от мнения остальной экспертной группы, поэтому его анкету необходимо исключить из дальнейшего рассмотрения.

Общий уровень компетентности экспертов необходимо рассчитывать как среднее арифметическое коэффициентов отклонения суждений экспертов и постоянно проверять, поскольку достижение его значения 0,8 и выше, говорит о том, что численность экспертной группы является достаточной.

5. Оценка степени согласованности мнений экспертной группы

Существующие способы определения достоверности экспертных оценок основаны на том, что при достаточной согласованности оценок, экспертиза считается эффективной и достоверной [10]. Поэтому помимо вышеуказанных этапов обработки матриц оценок экспертов, для агрегирования полученных результатов необходимо оценить степень согласованности мнений экспертной группы путем проверки однородности полученного массива данных.

Поскольку все экспертные оценки представляют собой точки в некотором пространстве оценок, то оценка их согласованности основывается на понятии компактности. Выбор метода оценки согласованности зависит от типа используемой шкалы оценок экспертов (количественных, порядковых или номинальных), целей и точности проводимого анализа [11].

Поскольку метод парных сравнений основан на использовании количественной шкалы, то для анализа разброса и согласованности оценок необходимо рассчитать следующие статистические характеристики: вариационный размах, среднее квадратическое отклонение, дисперсия, и проверить соблюдение правила «трех сигм», которое гласит, что случайная величина с вероятностью 99,7% не должна отклониться от математического ожидания по абсолютной величине. То есть все значения экспертных оценок должны принадлежать интервалу [-3; +3].

В случае соблюдения всех требований к статистическим характеристикам мнения экспертной группы считаются согласованными, а оценки (совокупность весовых коэффициентов) однородными.

6. Агрегирование мнений экспертов

Определение обобщенной оценки исследуемых факторов предлагается осуществлять на основе комплексного использования методов усреднения индивидуальных оценок экспертов (нахождение среднего арифметического; нахождение среднего геометрического; медианный способ). Такая рекомендация находится в согласии с общенаучной концепцией устойчивости, рекомендующей применять различные методы для обработки одних и тех же данных с целью сделать выводы, получаемые одновременно при всех методах [8]. Выводы, получаемые при совокупном использовании существующих методов, соответствуют реальной действительности, в то время как заключения, строящиеся на основе одного метода, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.

7. Определение значимых факторов осуществляется в случае, если необходимо перейти от большого числа факторов к их более узкому списку существенно важных, оказывающих определяющее значение на исследуемый показатель. В ситуации, когда важно определить только иерархию значимости всех рассматриваемых факторов, представленный этап должен быть исключен из рассмотрения.

Наиболее подходящим методом выделения основных факторов является диаграмма Парето, которая позволяет разделить сравниваемые показатели на две группы: существенно важные факторы (имеющие наибольший вес) и многочисленные несущественные факторы. Основными ее преимуществами являются: простота, универсальность, наглядность, возможность автоматизации.

Для построения диаграммы Парето показатели сортируют в порядке уменьшения значимости (силы влияния на объект анализа) и строят диаграмму Парето в виде столбчатого графика с кумулятивной кривой. Для этого по оси абсцисс для каждого фактора строится столбик, вертикальная сторона которого соответствует значению коэффициента значимости (левая сторона графика по оси ординат), при этом факторы выстраивают по мере убывания весового коэффициента. Для построения кумулятивной кривой вычисляется итоговая сумма значимости факторов путем арифметического сложения коэффициентов значимости всех рассматриваемых факторов и откладывается на диаграмме, используя правую ось.

Диаграмма Парето визуализирует структуру объектов по параметру, а свойства кривой позволяют применять различные методы для выделения групп. В случае, если данные распределены равномерно и кумулятивная кривая монотонно возрастает без резких скачков, следует применять точку Парето для выделения групп, в иных случаях необходимы другие методы и глубокий анализ результатов исследования.

Точка Парето — это точка на диаграмме, сумма координат которой равна 100% [12]. На любой диаграмме Парето эта точка существует и единственная, то есть существуют единственные значения координат диаграммы Парето xp и yp, которые в сумме дают 100% [12]. Доказательство этого факта очевидно и следует из выпуклости и неубываемости диаграммы Парето (сумма координат такой функции будет возрастающей функцией). Существует два способа ее нахождения: аналитический и графический. Аналитический способ состоит в нахождении точки, в которой сумма кумулятивной составляющей фактора и доли позиции будет равна 100%.

Графический способ подразумевает нахождение точки пересечения кривой y=100-x и кумулятивной кривой, которая и будет точкой Парето. Далее из нее опускают перпендикуляр на горизонтальную ось ординат, разделяющий факторы на значимые, которые оказывают наибольшее влияние на исследуемый параметр, и незначительные.

Вместе с тем, резюмируя можно отметить, что применение экспертных методов исследования является главным средством принятия рационального решения в условиях ограниченности использования математических методов моделирования и отсутствия или невозможности сбора статистической информации.

Основными результатами проведения экспертного анализа по рассмотренной методике будут получение рейтинга сравниваемых факторов (критериев/параметров) на основе рассчитанных коэффициентов значимости, а также выделение тех из них, которые наиболее сильно влияют на результат. Применение предлагаемой методики позволит повысить обоснованность выбора значимых факторов, а также наиболее полно использовать экспертную информацию.

Предложенная методика групповой оценки позволяет решать многие задачи из различных областей знания, такие как социология, менеджмент, оценка недвижимости, экономика, медицина, маркетинговые исследования, оценка качества, технические исследования и т. д. Она также может быть использована при осуществлении работ по кадастровой оценке объектов недвижимости на этапе определения объективного и обоснованного первоначального состава факторов кадастровой стоимости земель населенных пунктов.

Бонохова А. О. Исследование данных опросов экспертов для заполнения базы знаний информационной экспертной системы вида распространения оперативной рекламы // Инженерный Вестник Дона, 2012, № 2. URL: ivdon.ru/ru/magazine/archive/n2y2012/820.

Быкова Е.Н., Бутина В. В. Определение кадастровой стоимости земель сельскохозяйственного назначения с учетом обременений в их использовании // Инженерный Вестник Дона, 2014, № 2. URL: ivdon.ru/ru/magazine/archive/n2y2014/2389.

Жуков Б. М. Исследование систем управления. — М.: Дашков и К, 2011, 208 с.

Павлов А.Н., Соколов Б. В. Методы обработки экспертной информации: учебно-метод. пособие / ГУАП. СПб, 2005. 42 с.

Noghin V.D. What is the relative importance of criteria and how to use it in MCDM //Lecture Notes in Economics and Mathematical Systems, v.507 («Multiple Criteria Decision Making in the New Millennium», eds. Kоksalan, S. Zionts), Springer, 2001, pp. 59−68.

Лукичева Л.И., Егорычев Д. Н. Управленческие решения. М.: Омега. Л. 2009, 383 с.

Корнилов Ю. Н. Технология обработки парных сравнений при проведении экспертной оценки / Ю. Н. Корнилов, Ю. И. Сапожникова // Записки Горного института. Современные проблемы освоения территорий. — СПб, 2013. т.204. С.171- 174.

Коробов В. Б. Сравнительный анализ методов определения весовых коэффициентов «влияющих факторов» / В. Б. Коробов // Социология. — 2005. — № 20. С. 12−20.

Saaty T.L. Decision making with the analytic hierarchy process [text] // Int. J. Services Sciences, 2008. — Vol.1, N 1. P.83−98.

Аверченков В. И. Системы организационного управления: учебное пособие / В. И. Аверченков, В. В. Ерохин — 3-е изд., стереотип. — М.: ФЛИНТА, 2011. 208 с.

Мыльник В.В., Титаренко Б. П., Волочиенко В. А. Исследование систем управления: Учебное пособие для вузов. — 2-е изд., перераб. и доп. — М: Академический Проект; Екатеринбург: Деловая книга. 2003. 352 с.

Афанасьев С. В. Метод треугольника в АВС-анализе // Маркетинг в России и за рубежом., 2007, № 2, С. 3−19.