Технология экспертной оценки качества

Отбор экспертов

Принцип отбора не является обоснованным, если наблюдается одна из следующих ситуаций:

• 1. некомпетентность всех или части экспертов по предмету экспертизы;
• 2. возможная заинтересованность всех или части экспертов в определенном решении;
• 3. отсутствие в экспертной группировке специалистов, способных рассмотреть объект с определенной стороны, существенной для его оценки;
• 4. квалиметрическая некомпетентность — отсутствие навыков участия в работе экспертной группы;
• 5. отсутствие стремления всех или части экспертов принять активное участие в работе.

Способы отбора экспертов делятся на две группы:

• 1. способы определения первоначального круга экспертов (кандидатов в эксперты). Результаты заносятся в банк данных.
• 2. способы отбора экспертов из числа этих кандидатов для участия в конкретной экспертизе.

Способы определения кандидатов в эксперты Способы назначения

1) Непосредственное назначение заказчиком экспертизы Членов экспертной группы назначает ответственное лицо (руководитель организации), по распоряжению которого проводится экспертиза, лично в экспертизе он не участвует.

Достоинства:

• § в число экспертов попадают в основном специалисты, заинтересованные в проведении экспертизы и склонные к коллективной работе;
• § руководитель обязательно назначает авторитетных лиц, решение которых не вызовет сильных возражений у других сотрудников;
• § решение такой экспертной группы будет авторитетно для самого заказчика.

Основной недостаток:

• § эксперт, зная руководителя, может выражать не подлинное суждение, а суждение, соответствующее ожиданиям руководителя.
• 2) Назначение по выбору эксперта руководителя группы

Руководитель организации назначает только одно лицо — ведущего эксперта. Затем ведущий эксперт подбирает членов экспертной группы, ориентируясь на собственные неформальные критерии. Затем весь состав экспертной группы утверждается приказом руководителя.

Достоинства:

• § удается собрать специалистов, хорошо сработавшимися между собой;
• § в экспертной группе не будет лишних людей, что позволит сэкономить средства и время.

Недостатки:

• § в экспертную группу войдут специалисты одной научной школы, склонные к одностороннему подходу к решению проблемы экспертизы, совпадающему с подходом руководителя группы;
• § руководитель экспертной группы почти наверняка не сможет привлекать к работе экспертов выше себя по служебному положению. Авторитетность этой группы в глазах заказчика будет зависеть только от авторитетности ведущего эксперта.
• 3) Назначение комиссии, состоящей из руководителей экспертных групп

В организации могут проводиться экспертизы примерно одного и того же назначения. Создается постоянная комиссия из руководителей экспертных групп. Перед очередной экспертизой руководители экспертных групп независимо друг от друга составляют списки кандидатов в эксперты. В экспертную группу включают тех, которые названы большинством руководителей.

Достоинства:

• § в экспертную группу привлекаются необходимые специалисты различного профиля, обеспечивается многосторонность анализа проблемы;
• § перед каждой экспертизой экспертную группу формируют заново, отбирая тех экспертов, которые лучше знают конкретную проблему;
• § личная ответственность эксперта повышена, так как он ожидает критику со стороны представителей других школ. Это обеспечивает взаимный контроль результатов.

Недостатки:

• § продуктивность работы экспертной группы может оказаться невысокой из-за противоречий во взглядах у представителей разных школ. На устранение этих противоречий может уйти значительное время.
• § могут возникнуть трудности со сбором экспертов в одну группу из-за плохой психологической совместимости друг с другом.

Документальные показатели Документальные способы основаны на использовании показателей, хранящихся в отделе кадров организации.

Основные документальные показатели: стаж работы, возраст, ученая степень, количество научных трудов, изобретений, частота участия в конференциях, количество премий и поощрений по результатам работы и др.

1) Отбор по критерию максимальной авторитетности В экспертную группу отбирают специалистов, имеющих наилучшие документальные показатели.

Достоинства:

• § созданная экспертная группа обладает максимальной авторитетностью в глазах высшей администрации;
• § независимость суждений экспертов от мнения начальства.

Недостатки:

• § трудно добиться согласования оценок в случае появления разногласий;
• § мала вероятность попадания в экспертную группу инициативных специалистов, способных решать задачи нетрадиционными методами;
• § получила распространение практика покупки дипломов, преподнесения ученых степеней в качестве подарков и т. д.
• 2) Отбор по условию полноты охвата проблем

Предварительно специалист по организации групповой экспертизы путем консультаций выделяет в объекте экспертизы стороны, анализ которых требует участия представителей разных специальностей. По документальным данным сотрудников организатор производит набор требуемых специалистов.

Достоинства:

• § осуществляется всестороннее рассмотрение объекта экспертизы;
• § по документальным характеристикам удается найти экспертов узкого и широкого профиля. Участие первых обеспечивает подробность анализа, участие вторых — увязку между собой оценок различных свойств объекта.

Недостатки:

• § ввиду невозможности привлечь многих специалистов одного профиля подход некоторых экспертов может быть односторонним;
• § возможна несовместимость некоторых экспертов в группе ввиду их несработанности;
• § не исключено, что организаторы допустят решающую ошибку при выборе совокупности тех сторон, с которых следует рассматривать объект.

Способы взаимных рекомендаций.

1) Способ «снежного кома».

Вначале опрашивают одного специалиста по объекту экспертизы. Он должен назвать других лиц, которые по его мнению должны войти в состав экспертной группы. Эти специалисты вновь должны назвать возможных экспертов. Постепенно круг взаимных рекомендаций замыкается: все потенциальные эксперты оказываются названными.

Достоинство: способ позволяет найти коллектив сработавшихся сотрудников независимо от служебного положения. Такая экспертная группа может провести наиболее глубокий анализ качества.

Недостатки: качество резервный квалиметрия эксперт.

• § иногда этот способ приводит к слишком большому численному составу экспертной группы. Приходится при опросе вводить правило остановки, либо отбирать тех экспертов, которые рекомендованы большинством;
• § односторонний подход к решаемой квалиметрической задаче (все эксперты принадлежат к одной школе).
• 2) Способ взаимных выборов

Способ отличается от предыдущего тем, что одновременно с формированием полного списка потенциальных экспертов каждый эксперт знакомится со всем имеющимся на момент опроса списком и отмечает тех кандидатов, с которыми он хотел бы сотрудничать, и тех, сотрудничать с которыми он считал бы нецелесообразным.

При этом возможно образование в списке двух и более подгрупп, в этом случае для экспертизы следует использовать представителей одной подгруппы или проводить работу с каждой подгруппой в отдельности. При этом могут сильно отличаться результаты.

Основной недостаток: лишь некоторые кандидаты в эксперты знакомятся со всем списком, большинство специалистов получает список на стадии его формирования и не могут в полной мере выразить свой выбор.

Способы выдвижения.

1) Выдвижение экспертов коллективами подразделений Выдвижение специалистов может быть проведено коллективами подразделений данных организаций путем открытого или тайного голосования.

Таким способом могут быть отобраны эксперты, пользующиеся всеобщим доверием и уважением независимо от их служебного положения и не обязательно более квалифицированных.

Как показывает опыт, такие эксперты коммуникабельны и хорошо работают в составе экспертной группы. Применяют способ в тех случаях, когда требуется учет факторов, связанных с моралью и этикой. Например: оценка качества работы подразделений с целью премирования лучших экспертов.

Недостаток: узость области применения. Экспертизу, требующую обширных знаний, такая экспертная группа выполнить не может.

2) Выдвижение экспертов заинтересованными организациями (способ «кота в мешке»).

Если решение проблемы экспертизы требует участия представителей различных организаций в разных городах, то выбор экспертов по документальным данным становится практически невозможным.

Для привлечения специалистов обращаются к руководству соответствующей организации с просьбой о командировании представителей с указанием на те характеристики экспертов, которые желательны для участия в данной экспертизе.

Этот способ приводит к появлению в составе экспертной группы специалистов с трудно совместимыми позициями, каждый из них стремится к достижению тех или иных целей, поставленных перед ним руководством.

3) Способ максимального соответствия Встречаются ситуации, когда члены экспертной группы должны отражать не собственную точку зрения, а позицию определенной категории населения. Целью такой экспертизы является выявление отношения населения (отношение населения к появлению новой продукции или введению нового вида услуг, отношение к сносу и возведению зданий, отношение к изменению природной среды). Цель такой экспертизы — выявить отношение населения к тем или иным решениям.

Предварительно составляется классификация контингента населения по социальным группам, которые могут иметь отличную от других групп позицию по отношению к объекту экспертизы. Эта классификация вручается всем работникам организации, которая проводит экспертизу. Каждый сотрудник должен указать своих коллег, наиболее способных имитировать позицию определенной социальной группы населения.

Трудности способа: При подготовке анкет для опроса при самой классификации групп населения. При рациональной классификации и хорошей организационной работе метод дает хорошо обоснованную оценку.

Достоинство: меньшие затраты времени и средств, чем при использовании социологического метода.

4) Способ «фокус-групп».

Фокус-группа — это 7−10 человек, проводящих дискуссию по заранее составленному плану и направленную на выявление суждений представителей различных социальных групп по квалимитрическому вопросу.

В отличие от способа максимального соответствия фокус-группу формируют из числа представителей общественных организаций, заинтересованных в решении вопроса.

Так как к экспертизе привлекаются лица, не знакомые с такой формой работы, то формирование группы и работа с ней требуют хорошей подготовки организатора.