Методы социологического исследования

Экспертные методы исследования

В социологических исследованиях широко применяются методы, основанные на знаниях и интуиции экспертов. Эксперт — «это специалист в области науки, техники, искусства и т. д., исследующий вопрос, решение которого требует специальных знаний. Другими словами, это лицо (группа лиц), компетентное в исследуемом вопросе, т. е. имеющее или могущее по тем или иным основаниям иметь специальные знания об объекте и способное его оценивать, а также имеющее опыт решения сходных задач»^[1].

Исследование социальных процессов, проводимое при помощи экспертов, называется социальной экспертизой. Социальная экспертиза — это «проводимое специалистами (экспертами) исследование, включающее диагностику состояния социального объекта, установление достоверности информации о нем и окружающей его среде, прогнозирование его последующих изменений и влияния на другие социальные объекты, а также выработку рекомендаций для принятия управленческих решений и социального проектирования в условиях, когда исследовательская задача труднореализуема» ^{[2]. Результат экспертизы — экспертная оценка.}

Обращение к экспертам возможно на различных этапах прикладного исследования: на подготовительном этапе — для уточнения сущности проблемы и описания проблемной ситуации, на этапе сбора информации — для получения информации, которую невозможно собрать, используя другие методы, на этапе анализа данных, полученных другими методами, — для их интерпретации и разработки рекомендаций. Экспертные методы могут быть самостоятельным способом сбора информации в исследовании или дополнительным.

Можно выделить четыре основные функции экспертных методов в социологических исследованиях: оценка состояния; оценка причин явления или процесса; прогноз тенденций развития социальных процессов; выработка форм и методов решения социальной проблемы.

В зависимости от характера организации работы экспертов принято выделять два вида экспертизы: индивидуальную и групповую. Индивидуальная

экспертиза основана на изучении мнений экспертов, полученных независимо друг от друга. С помощью индивидуальной экспертизы можно получить уникальную информацию, отражающую мнение отдельных экспертов. Опыт, интуиция, знания помогают специалисту решать многие проблемы, возникающие в ситуациях риска и неопределенности, предвидеть возможные направления и последствия развития в будущем, производить оценку значимости факторов. Особенности индивидуальной экспертизы:

• 1. Простота организации.
• 2. Дешевизна (по сравнению с групповой экспертизой).
• 3. Позволяет исключить возможность влияния экспертов на мнение друг

друга.

4. Отсутствие проблем межличностного взаимодействия в группе.

При решении сложных проблем один специалист нс в состоянии учесть все факторы и взаимосвязи между ними или оценить вероятности большого числа альтернатив. Выработка сложных решений в ситуации неопределенности или составление полноценного прогноза требует участия группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Групповая экспертиза — «это комплекс методов исследования параметров исследуемого объекта, основанный на принципах организации коллективной мыследеятельности с использованием технологии экспертного опроса» '.

В. В. Лихачева выделяет ряд положительных особенностей групповой экспертизы:

• 1. Возможность разностороннего анализа количественных и качественных аспектов сложных проблем, например, прогнозов в области экономической и социальной деятельности, для обоснования которых нет адекватной информации, а также выбора предпочтительной альтернативы с учетом комплекса качественно различных факторов.
• 2. Взаимодействие между специалистами позволит компенсировать смещение оценок отдельных членов группы — и сумма информации, имеющейся в распоряжении группы специалистов-экспертов, будет больше, чем информация любого члена группы.
• 3. Сумма факторов, которые имеют отношение к данной проблеме и могут быть рассмотрены группой специалистов, как правило, больше или, по крайней мере, так же велика, как сумма факторов, которые может учесть отдельный эксперт.^[3]
• 4. Мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т.с. две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы на ряд вопросов, чем два индивидуума.
• 5. Коллективная ответственность позволяет специалистам принимать более рискованные решения, и интервал оценок, полученных от группы экспертов, включает в себя истинную оценку.
• 6. Мыслительная деятельность человека обладает определенными характеристиками, к числу которых относится так называемый стиль (например, преобладание у индивидуума образных или словесно-логических компонентов мышления). Каждый человек обладает определенным стилем, следовательно, решает задачи одного типа лучше, а задачи другого — хуже. Сочетание индивидуумов, обладающих разными стилями, позволяет повысить надежность решения задач.

Одновременно с положительными особенностями групповым оценкам присущи известные недостатки:

• 1. Мнения специалистов даже в одной узкой области могут расходиться, а следовательно, не исключено, что на один и тот же вопрос можно получить от специалистов одного профиля различный ответ. Болес того, и однозначность ответов не является гарантией их обоснованности: во всяком случае нет способа проверить это в момент проведения экспертизы.
• 2. Количество неверной информации у группы экспертов будет большим или, по крайней мере, таким же, как и у одного из них.
• 3. Существует ряд причин психологического порядка, которые могут привести к искажениям и к смещениям групповых оценок.
• 4. Группа может оказывать влияние на отдельных ее членов, заставляя их соглашаться с мнением большинства, хотя они не уверены в правильности этого мнения. Это особенно важно учитывать при прогнозировании, поскольку прогнозы не влекут за собой немедленных действий или существенной ответственности.
• 5. В группах, где нет руководителя, имеется возможность доминирования наиболее настойчивого индивидуума, игнорирующего аргументы остальных членов группы.
• 6. Сложность организации групповой работы и относительная дороговизна.

Основные требования к групповой экспертной оценке заключаются в следующем:

• а) приемлемое гладкое распределение оценок, полученных от экспертов, указывающее на независимость их мнений. В случае многомодального распределения должна быть установлена причина, почему различные эксперты поразному интерпретируют одну и ту же проблему;
• б) групповая надежность, означающая, что две групповые оценки по определенной проблеме, данные двумя одинаковыми подгруппами, выбранными случайным образом, будут близкими. Корреляция по ряду таких оценок должна быть высокой

Рассмотрим основные этапы проведения экспертизы:

• 1) формулирование цели экспертизы и разработка процедуры опроса;
• 2) формирование группы специалистов-аналитиков;
• 3) отбор и формирование группы экспертов;
• 4) проведение опроса;
• 5) анализ и обработка информации, полученной от экспертов;
• 6) синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения их в форму, удобную для принятия решения.

Работу по отбору экспертов обычно начинают с определения областей, которые затрагивают решение данной проблемы. Затем составляется список лиц, компетентных в этих областях. Список может быть составлен на основе формальных критериев: род занятий, стаж работы и уровень квалификации. При необходимости учитываются также уровень и характер образования, возраст и др. Кроме того, можно воспользоваться техникой, которая получила образное название «метод снежного кома». Он основан на методе репутаций — каждый кандидат в эксперты называет несколько человек, которых он считает экспертом в данном вопросе. Тс, в свою очередь, также называют несколько имен, и эта процедура повторяется до тех пор, пока в список перестанут попадать новые кандидаты.

Этот список служит основой для отбора кандидатов в эксперты. На его основе производится отбор экспертов, которые будут принимать участие в исследовании. «К наиболее важным характеристикам эксперта, наличие которых целесообразно учитывать в ходе персонального отбора, относятся: креативность — способность самостоятельно решать творческие задачи; эвристичность — умение видеть или создавать неочевидные „сценарии“; интуиция — способность делать заключения об исследуемом объекте без осознания логики (причинно-следственных связей) его формулирования; независимость — умение противопоставлять групповым мнениям собственное; универсальность — способность видеть проблему с различных точек зрения»^[4][5].

Центральный среди всех критериев отбора экспертов — их компетентность. Для се определения применяются два метода: самооценка экспертов и коллективная оценка авторитетности экспертов.

Наиболее простая и удобная форма самооценки экспертов — совокупный индекс, рассчитанный на основании оценки экспертами своих знаний, опыта и способностей по ранговой шкале с позициями «высокий», «средний», «низкий». Первой позиции приписывается числовое значение 1, второй — 0,5, третьей — 0. В таком случае совокупный индекс — коэффициент уровня компетентности эксперта вычисляется по формуле:

где k 1 — числовое значение самооценки экспертом уровня своих теоретических знаний, к 2 — числовое значение самооценки практического опыта, к з — числовое значение самооценки способности к прогнозу.

Коэффициент уровня компетентности может изменяться от 1 (полная компетентность, т. е. оценочные значения коэффициентов k i= кг = к з =1) до 0 (полная некомпетентность, т. е. к |= кг= к з=0).

Обычно в группу экспертов принято включать тех, у кого индекс компетентности не менее среднего (0,5) и выше (до 1). Получить первичные числовые значения самооценки (k_h к ₂, к ₃) для расчета индекса компетентности экспертов можно при помощи вопроса табличной формы.

Таблица 1.

Как Вы оцениваете уровень Вашей «приобщенности» к проблемам построения правового государства?

(Отметьте, пожалуйста, крестиком соответствующую оценку в строке напротив каждой из трех перечисленных характеристик).

Исходя из числовых значений оценок, обозначенных крестиками в клетках таблицы, рассчитаем коэффициент уровня компетентности эксперта по проблемам построения правового государства:

Полученное число свидетельствует о том, что уровень компетентности эксперта по исследуемому вопросу выше среднего.

При отборе экспертов методом самооценки возникает проблема ее завышения. Однако, как отмечают специалисты, «опыт многочисленных экспертиз и у нас и за рубежом показывает, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других».

Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты. Чаще всего это ученые, творческие деятели, известные политики, экономисты.

Рассмотрим метод коллективной оценки на примере формирования группы экспертов «. Предположим, у нас есть список из десяти экспертов. Мы просим каждого из них выделить пять наиболее компетентных коллег. На основании ответов построим табл. 2.

Таблица 2.

Взаимные оценки экспертов

• 1 Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки в принятии плановых решений. М., 1976. С. 35.
• 2 Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки в принятии плановых решений. М., 1976. С. 42−43.

Обозначим в ней номерами от / до 10 в нервом столбце тех, кого выбирают, а в первой строке тех, кто выбирает. В клетках таблицы число 1 обозначает выбор, тире — отсутствие выбора, 0 — указывает на то, что никто сам себя не назвал.

В последнем столбце таблицы приводится сумма «голосов», которую получил каждый эксперт. Эти числа принимаются в качестве веса мнений о соответствующем эксперте. Потом ими заменяются единицы в таблице (по столбцам), в результате чего получится ранжированный ряд оценок уровня компетентности всех десяти экспертов:

Таблица 3.

Уточненные взаимные оценки экспертов.

Таким образом, если мы хотим сформировать группу из пяти наиболее компетентных экспертов, то, соотнеся оценки в последнем столбце с номерами экспертов в первом столбце, должны будем зачислить в нес экспертов под номерами 7, 5, 2, 9, 4

Кроме компетентности экспертов существенное значение для групповой экспертизы имеют следующие факторы:

1. Число экспертов в группе. Уменьшение числа экспертов ведет к снижению точности оценки, поскольку на групповую оценку излишнее влияние оказывает оценка каждого из экспертов. В то же время при очень большом чис-^[6]

ле экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, однако далеко не всегда оказываются ошибочными.

• 2. Соответствие целей экспертов целям экспертизы. Необходимо выявить потенциально возможные цели экспертов, противоречащие целям экспертизы, т. е. наличие причин, которые могут повлиять на сознательное смещение групповой оценки в направлении, желательном для данного эксперта либо для группы экспертов. Рекомендуется исключать из рассмотрения те события, в результатах которых эксперты лично заинтересованы.
• 3. Группа не должна состоять из представителей одной узкой специальности, так как в этом случае их мнение будет в определенной степени тенденциозным.
• 4. Система стимулирования работы экспертов.
• 5. Тренировка и обучение кандидатов в эксперты. Можно организовать эксперимент-репетицию, в процессе которой проигрывать отдельные элементы предстоящей экспертизы с помощью двух или нескольких групп, одна из которых составлена из кандидатов в эксперты, а другая, контрольная, — из лиц, наиболее информированных в отношении исследуемой проблемы

Для работы с экспертами применяются разнообразные методы экспертной оценки: экспертное интервью, метод сценариев, численная (балльная) оценка, морфологический метод, метод Дельфи и др.

Экспертное интервью проводится обычно в форме свободного или полуструктурированного интервью. Первая его особенность заключается в том, что эксперт высказывает мнение и оценки по поводу различных аспектов исследуемой проблемы, вариантов прогноза развития ситуации, а также по поводу жизнедеятельности других людей. Вторая связана с особенностями процедуры отбора экспертов, которая исключает возможность использования случайных типов выборки. Поэтому использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительности выборки). Исходя из сказанного, исследования, в которых экспертное интервью является основным методом сбора информации, имеют качественный характер. Третья особенность экспертного интервью связана техникой и методикой исследования. Некоторые технические и методические приемы, широко используемые в массовых опро-^[7]

сах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Поскольку они должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью, нет никакой нужды применять в экспертной анкете косвенные и контрольные вопросы, тесты или какиелибо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента. Более того, их использование может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова — активный участник исследования. Попытка скрыть от него цель исследования, превратив тем самым в пассивный источник информации, чревата потерей его доверия к организаторам '.

Метод сценариев — это метод подготовки и согласования представлений.

0 проблеме или анализируемом объекте, изложенных в письменном виде. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, развернутые во времени. Однако позднее обязательное требование временных координат было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы и предложения по ее решению или по развитию системы, независимо от того, в какой форме он представлен. Как правило, на практике предложения для подготовки подобных документов пишутся экспертами вначале индивидуально, а затем формируется согласованный текст.

Сценарий предусматривает не только содержательные рассуждения, помогающие не упустить детали, которые невозможно учесть в формальной модели (в этом собственно и заключается основная роль сценария), но и содержит, как правило, результаты количественного технико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подготавливающая сценарий, пользуется обычно правом получения необходимых справок от предприятий и организаций, необходимых консультаций.

Роль специалистов по системному анализу при подготовке сценария — помочь привлекаемым ведущим специалистам соответствующих областей знаний выявить общие закономерности системы; проанализировать внешние и внутренние факторы, влияющие на ее развитие и формирование целей; определить источники этих факторов; проанализировать высказывания ведущих специалистов в периодической печати, научных публикациях и других источниках научно-технической информации; создать вспомогательные информационные фонды (лучше автоматизированные), способствующие решению соотвстст;

л вующей проблемы .^[8][9]

Численная оценка предполагает использование количественных методов обработки и анализа результатов экспертной оценки. Она может производиться в форме балльной оценки, ранжирования, нормирования, различных видов упорядочения и т. д. Численная оценка — «метод решения задач, основанный на использовании суждений специалистов (экспертов). Сущность экспертного метода — в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы (или как основание для выбора оптимального варианта из имеющихся альтернатив)» '.

Морфологический метод. Термином «морфология» в биологии и языкознании определяется учение о внутренней структуре исследуемых систем. В систематизированном виде методы морфологического анализа сложных проблем были разработаны швейцарским астрономом Ф. Цвики, и долгое время морфологический подход к исследованию и проектированию сложных систем был известен под названием метода Цвики.

Основная идея морфологического подхода — систематически находить наибольшее число, а в пределе — вес возможные варианты решения поставленной проблемы или реализации системы путем комбинирования основных (выведенных исследователем) структурных элементов системы или их признаков. При этом система или проблема может разбиваться на части разными способами и рассматриваться в различных аспектах.

Отправными точками морфологического исследования Ф. Цвики считает:

• 1) равный интерес ко всем объектам морфологического моделирования;
• 2) ликвидацию всех ограничений и оценок до тех пор, пока нс будет получена полная структура исследуемой области;
• 3) максимально точную формулировку поставленной проблемы.

Кроме этих общих положений, Цвики предложил ряд отдельных способов.

(методов) морфологического моделирования^[10].

Метод Дельфи, или метод «дельфийского оракула», получил свое название от древнегреческого города Дельфы, известного еще до нашей эры как центр предсказаний. Чаще всего он используется в прогностических исследованиях. Этот метод был разработан в 1964 г. сотрудниками научноисследовательской корпорации РЭНД О. Хелмером и Т. Гордоном. ^[11]

Сущность метода заключается в последовательном анкетировании мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих возможности вступать друг с другом в непосредственный контакт и получающих информацию о заключениях других лишь по их письменным отчетам.

Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений '.

Существуют различные разновидности метода. «В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с помощью анкет-вопросников, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами. Вопросники от тура к туру могут уточняться. Для снижения таких факторов, как внушение или приспособление к мнению большинства, иногда требуется, чтобы эксперты обосновали свою точку зрения, но это не всегда приводит к желаемому результату, а напротив, может усилить эффект приспособляемости. В наиболее развитых методиках экспертам присваивают весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок»^[12][13].

Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, например контактом экспертов с ЭВМ. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. Использование статистических методов для определения группового ответа осуществляется так, чтобы уменьшить статистический разброс индивидуальных оценок и получить групповой ответ, в котором правильно отражено мнение каждого эксперта.

Если анонимность опроса является способом уменьшения влияния отдельных доминирующих экспертов, то регулируемая обратная связь позволяет снизить шумы, под которыми понимается влияние индивидуальных и групповых интересов, не связанных с решаемыми проблемами.

¹ Рой О. М. Исследования социально-экономических и политических процессов. СПб.: ПиКроме того, введение обратной связи вносит элемент объективности и делает оценки более надежными.

Проведение опроса в несколько туров, в течение которых экспертов информируют о результатах предыдущих этапов опроса (т.с. осуществляется ряд последовательных итераций) и предлагают в ряде случаев обосновать свое мнение, позволяет уменьшить колебания в индивидуальных ответах, ограничивает внутригрупповые колебания и имеет несомненные преимущества по сравнению с простым статистическим объединением индивидуальных мнений с помощью средних.

Общие требования к методу Дельфи:

• 1) поставленные вопросы должны допускать возможность выражения ответа в виде числа;
• 2) эксперты должны располагать достаточной информацией для того, чтобы дать оценку;
• 3) ответ на каждый из вопросов (оценка) должен быть обоснован экспертом.

Основные средства повышения объективности результатов при применении «Дсльфи"-мстода — использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов.

Процедура проведения опроса заключается в следующем. Опрос проводится в четыре тура. Во время каждого тура эксперт должен выразить свое мнение в виде числа на подготовленной заранее шкале оценок.

Во время первого тура эксперты должны дать оценку событиям, перечень которых разработан аналитиками. Эксперты также могут пополнить или сократить этот перечень.

После первого тура опросов аналитики производят статистическую обработку полученных оценок, которая заключается в уточнении перечня событий и в анализе характеристик ряда, т.с. в расчете медианы и квартилей.

После первого тура каждому эксперту сообщается значение медианы и размах между крайними квартилями. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т. е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возражения, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки. С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого тура опроса.

После проведения второго тура повторяется процедура статистической обработки оценок, результаты которой вновь сообщаются экспертам. Вес участники экспертизы во время второго тура должны обосновать свои оценки. Их просят учесть возражения и прокомментировать.

После третьего тура опроса и соответствующей статистической обработки оценок экспертов, чьи оценки вновь не вошли в интервал между крайними квартилями, просят выдвинуть контраргументы в пользу своих оценок.

На четвертом и последнем этапе экспертизы все мотивировки вновь доводятся до сведения участников экспертизы, имеющих последнюю возможность пересмотреть свои ответы. Медиана этих окончательных ответов и принимается за оценку, наиболее близкую к единому мнению группы. Если оказывается, что эксперты приходят к согласию раньше, например, после второго тура, то проводить четыре тура опросов нет необходимости.

Основные результаты использования метода Дельфи заключаются в следующем. Типичным для первого тура опроса является широкий разброс индивидуальных ответов. По мере применения интеракции и обратной связи сходимость индивидуальных ответов увеличивается. В большинстве случаев групповой ответ, определяемый как медиана окончательных индивидуальных ответов, становится точнее.

Выявление преобладающих суждений с помощью метода Дельфи позволяет сблизить точки зрения экспертов. Вместе с тем метод не направлен на достижение единого мнения, поскольку учитывается, что, несмотря на сближение оценок, различие будет существовать и в конце опроса.

Метод Дельфи в настоящее время используется как при долгосрочном прогнозировании, так и для изучения ряда экономических и социальных проблем. Перспективность этого метода для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности, особенно в сочетании с другими аналитическими методами, несомненна.

Вместе с тем метод имеет и некоторые недостатки, среди которых следует отметить необходимость значительных затрат времени на процедуру экспертизы, а также невозможность прямого столкновения мнений экспертов, что не всегда стимулирует генерирование идей, возникающее при личных контактах специалистов К экспертным методам также часто относят ряд эвристических методов типа мозговая атака (с разновидностями — мозговой штурм, конференция идей, коллективная генерация идей (КГИ)), синектика, деловые игры.^[14]

• [1] 2 Луков В. А. Социальное проектирование: Учеб, пособие. М.: Изд-во Моек, гуманит.-социальн. академии: Флинта, 2003. С. 182.
• [2] Там же. С. 173.
• [3] Рой О. М. Исследования социально-экономических и политических процессов: Учебникдля вузов. СПб.: Питер, 2004. С. 363.
• [4] Лихачева В. В. Математическая статистика и метол экспертных оценок. Владивосток, 2002.С. 54−56.
• [5] Боришполец К. П. Методы политических исследований. М., 2005. С. 121.
• [6] Горшков М. К. Шереги Ф. Э. Прикладная социология. М., 2003. С. 141−144.
• [7] Лихачева В. В. Математическая статистика и метод экспертных оценок. Владивосток, 2002.С. 62−63.
• [8] Горшков М. К., Шсреги Ф. Э. Прикладная социология. М., 2003. С. 145.
• [9] Игнатьева А. В., Максимцов М. М. Исследование систем управления: Учеб, пособие длявузов. М.: ЮНИТИ-ДАНА, 2000. С. 65−66.
• [10] 2 Социальный менеджмент: Учебник / Под ред. Д. В. Валового. М.: ЗАО «Бизнес школа «Интел — Синтез», Академия труда и социальных отношений, 2000. С. 382.
• [11] Игнатьева А. В., Максимцов М. М. Исследование систем управления. М.: ЮНИТИ-ДАНА, 2000. С. 71−72.
• [12] тер, 2004. С. 261.
• [13] Игнатьева А. В., Максимцов М. М. Исследование систем управления. М., 2000. С. 69.
• [14] Лихачева В. В. Математическая статистика и метод экспертных оценок. Владивосток, 2002.С. 64−68.