Анализ предметной области

Методы оценки

Методы экспертных оценок нашли широкое применение в перспективном планировании и прогнозировании, т. е. там, где отсутствуют относительно достоверные статистические данные об изучаемом вопросе, где имеется много вариантов решений и требуется произвести выбор наиболее предпочтительного из них. Эти методы также применяются при создании новых программ в отраслях промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках. [2,6].

Предпосылками использования экспертизы являются:

• · Недостоверность и нехватка информации о состоянии условий, в которых осуществляется создание и развитие изделий.
• · Вероятностный характер объекта информации.
• · Новизна и сложность появляющиъся проблем.

При анализе и прогнозировании ситуации возникает ряд дополнительных трудностей:

• · Невозможность точного предсказания последствий принимаемых решений.
• · Невозможность и неповторяемость экспериментальной проверки предполагаемого хода решения и его результатов.
• · Наличие многочисленных возможных путей решения и необходимость выбора одного из них.
• · Наличие факторов, не поддающихся контролю со стороны лица, принимающего решения.
• · Неполнота исходной информации, на чьей основе требуется формировать проблему и принимать решение.

Организация экспертизы разделена на этапы и проводится в следующем порядке:

• · Устанавливаются цели и задачи экспертизы.
• · Выбираются процедуры проведения экспертизы.
• · Отбираются и создаются команды экспертов.
• · Организуется процедура экспертизы.
• · Обрабатывается информация.
• · Производится решение по результатам проведенной экспертизы.

Организаторы экспертизы выбирают процедуру проведния самой экспертизы. Существует несколько подходов к решению этого вопроса:[2].

• · Заочный опрос.
• · Очный опрос.
• · Закрытый опрос.
• · Открытый опрос.
• · Групповой опрос.
• · Индивидуальный опрос.

Рассмотрим поближе различные методы решения этой проблемы.

Метод комиссии

Метод комиссий. Данный метод состоит в открытой дискуссии по обсуждаемому вопросу для выявления общего единого мнения экспертов. Коллективное мнение определяется в результате тайного или открытого голосования. В определенных ситуациях голосование не используется, а результирующее мнение определяется в процессе самой дискуссии. Существует еще одна сторона, определяющая процесс экспертизы и выносящая конечные решения. Преимуществом метода комиссии является повышение информативности экспертов, т.к. во время обсуждения эксперты дают обоснования своих оценок, под воздействием которых определенные участники регулирующей комиссии могут поменять свою исходную точку зрения. К недостаткам причисляют отсутствие анонимности экспертов, что может приводить к тому, что эксперты будут присоединяться к мнению наиболее авторитетных знатоков даже если будет присутствовать альтернативная точка зрения. Обсуждение может сводится к спору между самыми авторитетных экспертами, в котором часто побеждает количество приводимых доводов «за», а не обоснованность и подкрепленность фактами. Также публичность высказываемых мнений часто приводит к нежеланию экспертов отказаться от высказанного мнения, даже в том случае, когда оно в процессе собсуждение могло изменениться. Однако, есть мнение, что при использовании данного метода присутствует взаимное влияние экспертов на свои мнения, которое может способствовать созданию творческой атмосферы и беспрерывному созданию идей при соблюдении определенных условий. Именно по этой причине организаторы экспертизы обязаны уделить особое внимание выбору экспертов: привлекать специалистов с устойчивостью к мнению большинства, обладающих независимостью мнений, способных к командной работе и совместимых друг с другом психологически. 2].

Метод мозгового штурма

Метод мозгового штурма (англ. brainstorming) является одним из наиболее популярных методов стимулирования творческой активности и позволяет найти решение сложных проблем путем применения специфических правил обсуждения проблемы. Он широко применяется во многих организациях для поиска необычных решений разнообразных задач. Данный метод был разработан А. Осборном в 1953 году и основан на допущении, гласящим, что основной помехой для выявления новых идей является «боязнь оценки другими»: люди часто не делятся своими неординарными идеями, т.к. они опасаются встретиться со скептическим или же враждебным к ним отношением коллег. Цель применения мозгового штурма — исключение оценочного компонента на начальных стадиях обсуждения проблемы. Предложенная Осборном техника проведения мозгового штурма основывается на двух главых принципах — «из количества рождается качество» и «отсрочка вынесения приговора идее». 2,4] Такой подход предполагает применение определенных правил. Исключение любой критики: на начальной стадии, стадии генерации идей, критика в сторону авторов идей запрещена. Эксперты не должны бояться, что их будут оценивать по предлагаемым ими решениям и идеям. Люди должны попытаться максимально раскрыть свое воображение: им разрешается предлагат любые, даже абсурдные идеи. Не существует идей настолько фантастических, чтобы их нельзя было высказать вслух. Идей нужно собрать много: от каждого участника требуется представить максимально количество идей. Комбинирование и улучшение идей: на следующем этапе экспертов просят развивать идеи, предложенные другими. На конечном этапе производится отбор наилучшего решения, согласно экспертным оценкам. Результаты многочисленных экспериментальных исследованиий свидетельствуют о том, что, при правильном применении этой техники, группы создают большее количество значимых идей, чем отдельные люди. 5] Тем не менее на данный момент отсутсвуют доказательств в пользу более высокого качества идей, генерируемых группами индивидов. В последние годы широко распространился электронный мозговой штурм, позволяющий почти полностью устранить «боязнь оценки», т.к. он, помимо обеспечения анонимности членов, дает возможность решить другие проблемы традиционного мозгового штурма, таких как, например, «блокирование продуктивности» (участники группы представляют идеи по очереди, соответственно, эксперты ожиданая своей очереди могут передумать или испугаться публично оглашать свою идею, либо просто ее забывают. Мозговой штурм позволяет объединять в процессе поиска решений совершенно разных людей. В том случае, когда группе экспертов удается найти решение, участники этой группы часто становятся стойкими реализации этого решения. В данный момент метод эффективно применяется различными организациями с целью улучшения качества командной работы. 2,4,5,6].

Метод Дельфи

Метод Дельфи назван так в честь дельфийского оракула в Древней Греции. Метод был разработан О. Хельмером, математиком из корпорации «РЭНД», со своими коллегами.

Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» «Рэнд» в 1964 г. Объектами исследования явились: рост населения, автоматизация, научные прорывы, исследование космоса, возникновение и предотвращение войн, а также будущие системы вооружения. За прошешее время спектр прогнозируемых с помощью метода Дельфи процессов значительно расширился, однако наибольшее применение этот метод нашел в связанных с научно-техническим прогрессом областях. [6].

Метод Дельфи характеризуются чертами:

• · Анонимность мнений экспертов.
• · Регулируемая обработка, осуществляемая аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам.
• · Групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы.

Метод Дельфи — наиболее формален из всех методов экспертного прогнозирования и наиболее часто применяется в технологическом прогнозировании, данные которого используются, потом в планировании производства продукции и ее сбыта. Метод является групповым, т. е. в нем проводится индивидуальный опрос группы экспертов касательно их мнения о будущих событиях в различных областях, в которых ожидаются новые открытия. 2,5].

Опрос проводится с помощью специальных анкет анонимно, а полученные мнения сравниваются отдельными работниками, и обобщенные результаты вновь направляются экспертам. Таким образом члены экспертной группы, все еще сохраняя поддерживая анонимность, предлагают дальнейшие мнения о будущем. Этот процесс может быть повторен несколько раз («многотуровая процедура опроса»). После того как начинает появляющиеся мнения начинают свопадать, результаты применяется в качестве прогноза. Дельфийский метод относят к количественным методам групповых экспертных оценок.

Процедуру опроса по данному методу можно разделить на следущие этапы:[4,5].

Предварительный этап:

· Подбор экспертов (до двадцати человек).

Основной этап:

• · Постановка задачи — экспертам рассылают вопрос и предлагают его разделить на более мелкие вопросы. Организационная группа собирает наиболее часто встречающиеся и создает общий опросник.
• · Этот опросник рассылается экспертам. Им задается вопрос — можно ли добавить что-то еще? В итоге получают до двадцати вариантов ответов с дополнительной информацией. На основе всей полученой информации создается еще один опросник.
• · Дополненный опросник опять передается экспертам, которым надо дать свой вариант решения, а также ознакомиться с наиболее крайними точками зрения других экспертов. Они должны оценить проблему по аспектам: обеспеченность ресурсами, эффективность, в какой степени соответствует постановке задачи. Выявляются преобладающие мнения экспертов, а их точки зрения сближаются. Эксперты ознакомляются с предложениями тех людей, чьи мнения особенно выбиваются из общего потока. Затем эксперты могут менять мнение, и процедура повторяется.
• · Операции повторяются до тех пор, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Исследование причин появления различий в оценках позволяет определить упущенные аспекты проблемы и обратить внимание экспертов на вероятные последствия развития исследуемой проблемы. Обычно проводится три этапа, однако если мнения сильно различаются, то этапов может быть больше.

Аналитический этап:

· Производится проверка на согласованность мнений экспертной группы, анализируются выводы и разрабатываются конечные рекомендации.

Аналитическая группа статистически обрабатывает информацию, полученную от группы экспертов и по результатам произведенных расчетов эксперты смогут увидеть, как их мнение соотносится с мнением всей группы. Они также могут поменять свои мнения или же остановиться на прежних, но выдвинуть новые аргументы в пользу своей точки зрения. При этом также соблюдается анонимность экспертов. Таким образом проводится 2−3 тура. Результатом проведенных туров является весьма точная групповая оценка.

Вместе с тем у метода Дельфи существуют и недостатки: 1) субъективность мнений специалистов, участвующих в опросе, 2) метод не позволяет сталкивать в споре мнения экспертов и 3) требует высоких временных затрат.

Другие минусы метода связаны с малыми значениями времени, которые отведены эксперту на обдумывание вопроса. В таком случае он может согласиться с мнением большинства, дабы не объяснять, чем отличается его решение от остальных вариантов. Данные недостатки устраняются совершенствованием организации проведения экспертиз при помощи создания автоматизированных систем обработки результатов опроса. Реализуется такая система при помощи ЭВМ с внешними терминалами. Компьютер представляет задания экспертам, собирает и анализирует ответы, запрашивает, а также получает аргументации и другую важную информацию для подготовки ответов.

Помимо этого, некоторые специалисты полагают, что «требование обосновать свою точку зрения экспертам, чье мнение резко расходится с мнением большей части других экспертов может привести к усилению эффекта приспособления, а не уменьшить его, как это было изначально задумано». Тем не менее многие ученые утверждают, что дельфийский метод превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов. 2,4,5,6].

Метод AHP

Метод анализа иерархий (Аналитический иерархический процесс, AHP) является частью класса критериальных методов, получил широкое распространение и активно применяется по сей день, особенно в США. 2,3,6,7].

Структура модели принятия решения в методе AHP представляет из сабя граф, который включает:[3].

• · Набор альтернативных решений.
• · Главный критерий рейтингования решений.
• · Набор групп однотипных факторов, влияющих на рейтинг.
• · Множество направленных связей, указывающих на влияния решений, критерия и факторов друг на друга.

Обоснование вычислительных процедур метода производится при помощи теории неотрицательных матриц. Главным инструментом для сбора данных, является процедура парных сравнений. Психологические обоснования шкал сравнений основаны на результатах исследований реакций и стимулов. Анализ структуры модели, которой оперирует метод анализа иерархий, производится при помощи разработанных в теории графов процедур. Во время проведении процедуры согласования, а также при решении обратной задачи используются методы оптимизации. 2,3,6].

Метод AHP представляется более обоснованным путем решения многокритериальных задач в сложной обстановке с иерархическими структурами, включающими как осязаемые, так и неосязаемые факторы, чем подход, основанный на линейной логике. Применяя дедуктивную логику, исследователи проходят трудный путь построения тщательно осмысленных логических цепей только для того, чтобы в итоге, полагаясь на одну лишь интуицию, объединить различные умозаключения, полученные из этих дедуктивных посылок. Кроме того, подход, основанный на логических цепях, может не привести к наилучшему решению, так как в данном случае может быть потеряна возможность принятия компромиссов между факторами, лежащими в разных цепях логического мышления. 2,3].

Иерархия — это основной способ, при помощи которого можно подразделять всю совокупность исследуемых данных на кластеры и подкластеры. Основной задачей метода является оценка высших уровней иерархии, исходя из взаимодействия различных уровней, а не из непосредственной зависимости от элементов на этих уровнях. Применение метода для определения влияния инновационных управляющих воздействий (автоматизированная обучающая среда; интерактивное сетевое взаимодействие; направляемая самостоятельная познавательная деятельность; выездная сессия; автоматизированный документооборот) на результат учебной деятельности и вклад влияния каждого управляющего воздействия на итоговый результат, позволит повысить качество подготовки специалистов. Основной задачей является оценка значимости рассматриваемых управляющих воздействий. 3].

Для придания ясности, процесс подготовки принятия решения на всех этапах сопровождается количественным выражением таких категорий как: 1) желательность, 2) предпочтительность, 3) важность и т. д. [8,9].

Требуется получить рейтинг альтернатив, т. е каждой альтернативе поставить в соответствие приоритет. Притом приоритет тем выше, чем более предпочтительна альтернатива по избранному критерию. Принятие решений основывается на величинах приоритетов. 4,5,6].

Метод AHP является методологической основой для решения задач выбора альтернатив при помощи их многокритериального рейтингования. В настоящий момент этот метод вырос в широкий междисциплинарный раздел науки, имеющий строгие психологические и математические обоснования и многочисленные приложения.

Основное применение метода — поддержка принятия решений посредством иерархической композиции задачи и рейтингования альтернативных решений. Перечислим основные возможности метода AHP:[8,9].

• 1) Метод AHP позволяет производить анализ проблемы; при этом проблема принятия решения представлют в виде иерархически упорядоченных:
  • · Главного критерия рейтингования вероятных решений.
  • · Нескольких групп-уровней однотипных факторов, влияющих тем или иным образом на рейтинг.
  • · Группы вероятных решений.
  • · Совокупности связей, указывающих на взаимное влияние факторов и решений.
• 2) Метод также позволяет провести сбор данных по проблеме. В соответствие с результатами иерархической декомпозиции модель ситуации принятия решения имеет кластерную структуру. Набор возможных решений и все факторы, влияющие на приоритеты решений, разбиваются на относительно небольшие группы — кластеры. Разработанная в методе анализа иерархий процедура парных сравнений позволяет определить приоритеты объектов, входящих в каждый кластер. Для этого используется метод собственного вектора. Итак, сложная проблема сбора данных разбивается на ряд более простых, решающихся для кластеров.
• 3) Метод позволяет оценить противоречивость данных и минимизировать ее. С этой целью в методе анализа иерархий разработаны процедуры согласования. В частности, имеется возможность определять наиболее противоречивые данные, что позволяет выявить наименее ясные участки проблемы и организовать более тщательное выборочное обдумывание проблемы.
• 4) Метод позволяет провести синтез проблемы принятия решения. После того, как проведен анализ проблемы и собраны данные по всем кластерам, по специальному алгоритму рассчитывается итоговый рейтинг — набор приоритетов альтернативных решений. Свойства этого рейтинга позволяют осуществлять поддержку принятия решений. Например, принимается решение с наибольшим приоритетом. Кроме того, метод позволяет построить рейтинги для групп факторов, что позволяет оценивать важность каждого фактора.
• 5) Метод позволяет организовать обсуждение проблемы, способствует достижению консенсуса. Мнения, возникающие при обсуждении проблемы принятия решения, сами могут в данной ситуации рассматриваться в качестве возможных решений. Поэтому метод анализа иерархии можно применить для определения важности учета мнения каждого участника обсуждения.
• 6) Метод позволяет оценить важность учета каждого решения и важность учета каждого фактора, влияющего на приоритеты решений. В соответствии с формулировкой задачи принятия решения величина приоритета напрямую связана с оптимальностью решения. Поэтому решения с низкими приоритетами отвергаются как несущественные. Как отмечено выше, метод позволяет оценивать приоритеты факторов. Поэтому, если при исключении некоторого фактора приоритеты решений изменяются незначительно, такой фактор можно считать несущественным для рассматриваемой задачи.
• 7) Метод позволяет оценить устойчивость принимаемого решения. Принимаемое решение можно считать обоснованным лишь при условии, что неточность данных или неточность структуры модели ситуации принятия решения не влияют существенно на рейтинг альтернативных решений.

В рамках метода анализа иерархий не существует общих правил для формирования структуры модели принятия решения, что является отражением реальной ситуации принятия решения, т.к. для одной и той же проблемы всегда имеется целый спектр мнений. Метод позволяет учесть это обстоятельство при помощи построения дополнительной модели для согласования различных мнений, при помощи определения их приоритетов. Таким образом, метод позволяет учитывать «человеческий фактор» при подготовке принятия решения. Это одно из важных достоинств данного метода перед другими методами принятия решений.

Сбор данных для поддержки принятия решения осуществляется главным образом с помощью процедуры парных сравнений, однако результаты могут быть весьма противоречивыми. Из-за этого возникает необходимость пересмотра информации для уменьшения количества противоречий. Обе эти процедуры зачастую становятся трудоемкими.

Также в рамках метода AHP отсутствуют средства проверки на достоверность данных. Этот важный недостаток ограничивает возможности применения метода, тем не мене он применяется в основном тогда, когда в принципе не может быть объективных данных, а основыми мотивами для принятия решения являются предпочтения людей. Если сбор данных проведен с помощью опытных экспертов и в данных отсутствуют существенные противоречия, то качество таких данных признается удовлетворительным.

Работы по подготовке принятия решений зачастую слишком сложны для выполнения одним человеком, поэтому модель, составленная с помощью метода AHP, всегда имеет кластерную структуру. Применение данного метода позволяет разбить большую задачу, на несколько более мелких задач, благодаря чему для подготовки принятия решения можно привлечь работающих независимо друг от друга экспертов, которые могут даже не знать ничего о характере принимаемого решения, что отчасти способствует сохранению. Именно благодаря этому шагу получается сохранить в тайне информацию о процессе подготовки решения.

Метод отражает естественный ход человеческого мышления и дает более общий подход, чем метод логических цепей. Он дает не только дает способ выявления наиболее предпочтительного решения, но и позволяет количественно выразить степень предпочтительности посредством рейтингования. Это способствует полному и адекватному выявлению предпочтений лица, принимающего решение. Кроме того, оценка меры противоречивости использованных данных позволяет установить степень доверия к полученному результату. 2,3,6,9].