Оценка государственных политик: основные виды и области применения

Фаза оценивания, как составная часть процесса проектирования, принятия и реализации политического решения, должна дать ответы на следующие ключевые вопросы: каким образом можно оценить и замерить успех и эффективность данного решения; кто уполномочен осуществлять оценивание и в каких целях; какие компоненты реализованного решения были успешны, а какие нет; способствовала ли реализация данного решения поставленным целям, и в какой степени; существуют ли способы повышения эффективности данного решения?

Вопросы терминологии В государственном секторе оценивание обычно осуществляется под маркой таких видов деятельности, как «аудит», «инспекция», «мониторинг», «политическое планирование», «политический анализ», «программный анализ» и «приклад-нос исследование» .

Что касается негосударственного сектора, наиболее близкой смежной профессией здесь является управленческий консалтинг. Управленческая традиция в политическом оценивании приобретает выраженную ориентацию на измерение производительности (performance) организации либо программы. Для этого направления характерно заимствование и адаптация технических методов и приемов, более характерных для анализа качества менеджмента в частном секторе.

Традиционно к оцениванию прибегают для того, чтобы убедиться, что государственные средства используются на заявленные политические цели, а также для повышения общественной осведомленности и прозрачности в отношении деятельности государственных организаций. Клиентами такого рода оценивания, как правило, выступают высокие политические инстанции, осуществляющие надзор за деятельностью административных структур, а также (косвенно) широкая общественность. За такими исследованиями закрепился англоязычный термин summative evaluation (подводящее итоги, обобщающее оценивание).

На практике не менее значимым оказывается обращение к оцениванию в целях улучшения деятельности организаций или реализуемых ими программ путем выявления и решения конкретных управленческих, организационно-технических, финансовых, кадровых и иных проблем. Приоритетной аудиторией такого рода оценивания являются, прежде всего, менеджеры программ; на практике, — поскольку круг сторон, способных оказывать значимое воздействие на ход реализации программ, значительно шире, — в данную аудиторию следует включать также сотрудников организаций, лиц, принимающих политические решения, бюджетных аналитиков и других, от кого так или иначе зависит данный процесс, даже если они достаточно удалены от уровня «программного менеджмента» .

Такого рода оценивание получило название formative evaluation (формирующее, содействующее оценивание)^[1].

В этом качестве оценивание призвано обеспечить ряд значимых управленческих потребностей^[2]:

• — в информации. Оценивание призвано информировать управленцев, а также других заинтересованных лиц, но поводу хода реализации, общих итогов, достоинств и недостатков, а также практического вклада оцениваемых проектов и программ в решение определенных проблем либо в достижение заявленных целей. Управленцам, как правило, не хватает информации для оценки всего «портфеля» их проектов и всего спектра их усилий и достижений;
• — в отчетности. Фактор отчетности играет особую роль в государственном секторе. Оценивание позволяет произвести отчет за освоенные бюджетные средства, и в ряде случаев может содействовать организациям в наращивании их ресурсных возможностей за счет демонстрации убедительных успехов;
• — в управленческом совете. Оценивание способно внести непосредственный вклад в принятие решений, в особенности, когда речь идет о долгосрочных видах деятельности, где продолжение финансирования может зависеть от результатов предыдущих усилий. Это предполагает синхронизацию процесса оценивания с регламентом принятия решений, вводя дополнительные временные ограничения, характерные для деятельности политического аналитика в целом. Профессиональная шутка при этом гласит: «Оценки делаются либо слишком рано, чтобы быть основанными на исчерпывающих данных и фактах, либо слишком поздно, чтобы повлиять на принятие решений». Задача оценщика при этом заключается в предоставлении наиболее строгой и обоснованной информации в тот момент времени, когда требуется практически значимый совет;
• — в обучении и совершенствовании. Оценивание обеспечивает механизм, посредством которого лица, принимающие решения, менеджеры, бенефициарии программы и другие заинтересованные стороны приобретают знания по поводу качества и производительности оцениваемой программы, необходимые для поиска путей улучшения и совершенствования своей деятельности. Оценивание способствует движению по этому пути, предоставляя свидетельства успеха или неуспеха, а также анализ обстоятельств, повлекших такие результаты, и воздействуя на мотивацию участников, косвенно побуждая их соответствовать критериям качества, заданным в процессе оценивания.

По основанию временной ориентации принято выделять следующие виды оценивания:

• — текущее оценивание (in-term), именуемое также промежуточным оцениванием (mid-term), которое осуществляется в процессе имплементации программы с целью выработки рекомендаций в отношении ее следующей фазы;
• — оценивание в реальном времени (real-time), которое осуществляется на протяжении всего цикла жизнедеятельности программы для обеспечения постоянного контроля за ее прогрессом и результатами;
• — итоговое оценивание (ex post), которое осуществляется после завершения программы);
• — ретроспективное оценивание, ориентированное на долгосрочныевозможно, непредвиденные — последствия программы и осуществляющееся спустя годы после ее завершения;
• — предвосхищающее оценивание (ex ante) — оценка ожидаемых, прогнозируемых результатов политических решений; имеет отношение к более ранним этапам аналитического процесса, связанным с прогнозированием, оценкой и выбором альтернатив, и в силу этого скорее относится к категории estimation, чем evaluation.

Вопросы практики Каждый из названных видов оценивания обладает своими преимуществами и недостатками.

Текущее оценивание ограниченно анализом незавершенных усилий и редко способно оценить воздействие программы, однако обеспечивает своевременный совет для принятия решения.

Итоговое оценивание нередко появляется слишком поздно, чтобы повлиять на принятие решения, однако предоставляет более полную информацию, но поводу результатов и воздействий программы.

Оценивание в реальном времени часто оказывается более дорогостоящим, а также направленно в своем анализе на программу как на целостный процесс, в противоположность конкретным управленческим проблемам, однако является ценным источником информации на всех стадиях реализации программы.

Наконец, ретроспективное оценивание способно охватить долгосрочные аспекты реализации программы, однако — в связи с динамическим характером политического процесса — такая информация редко получает практическое применение.

Следует заметить, что па практике многие оценочные проекты включают в себя элементы нескольких из названных видов.

Политическое оценивание может осуществляться на различных уровнях:

• — политический уровень, на котором происходит оценивание комплекса политических решений и механизмов, регулирующих процессы отбора, финансирования и менеджмента определенных видов деятельности или программ;
• — " портфельный" уровень, на котором происходит сравнительное оценивание качества и продуктивности определенного спектра видов деятельности, программ или организаций;
• — программный уровень, на котором происходит оценивание качества и продуктивности отдельно взятой программы или вида деятельности;
• — проектный уровень, на котором происходит оценивание качества и продуктивности отдельных проектов.

На практике оценивание нередко пронизывает несколько уровней. Программное оценивание, например, обычно включает в себя оценку отдельных проектов, а также более широкую, сравнительную перспективу, связанную со смежными программами и видами деятельности.

В зависимости от того, по чьей инициативе и чьими руками осуществляется оценочная процедура, принято разделять^[3]:

• — внутреннее оценивание, которое инициируется руководством и осуществляется штатными сотрудниками оцениваемой организации/программы),
• — внешнее оценивание, которое инициируется надзирающими инстанциями или заинтересованными сторонами — группами интересов, инвесторами, клиентами — и осуществляется специалистами, представляющими инициатора.

В концептуальном отношении данное разделение может показаться малосодержательным, однако в практическом плане различия между двумя видами оценивания оказываются более чем существенными, о чем будет сказано ниже.

Традиция системного анализа предлагает типологию, основанную на различных аспектах взаимоотношений между оцениваемой системой и внешней средой (рис. 9.2). Г. Брувер и П. ДеЛеон выделяют три типа оценивания:

• — оценка реакции (response evaluation) — анализ реакции системы на воздействия внешней среды через «вход» (input) — вызовы, проблемы, возможности, требования, ресурсы и т. д.;
• — оценка процесса (process evaluation) — анализ структурных и операциональных аспектов внутренней системной «конверсии», т. е. процесса преобразования внешних «входов» в управленческие решения и действия («выходы» — output);
• — оценка воздействия (impact evaluation) — анализ изменения внешней среды под воздействием решений и действий системы.

Рис. 9.2. Виды оценки в категориях системного анализа.

Брувер и ДеЛеон справедливо отмечают, что комплексная экспертиза организации или программы предполагает анализ всех трех аспектов: действительно, «возможно ли реалистически сопоставить результаты программы (output) с заявленными целями — что представляет собой предмет оценки производительности (performance evaluation) — не имея ясного понимания внутренней каузальной структуры „черного ящика“, осуществляющего конверсию первого во второе? Это особенно справедливо по отношению к тем, кто заинтересован в повышении производительности — что является первичным обоснованием при проведении оценивания» .

Наконец, в реальной практике политический аналитик может столкнуться с теоретически слабо артикулированным, но от этого не менее значимым различием между формальным и неформальным оцениванием.

Формальное оценивание есть элемент публичной политики, фиксируемый в официальных документах, отчетах и стенограммах, документальной хронике и информационных сюжетах масс-медиа. Коллизии, связанные с осуществлением формального оценивания, порой выливаются в пикеты и акции протеста, РR-мероприятия и драматические заявления, громкие отставки и внеплановые госпитализации. Формальное оценивание носит строгий методологический, институализированный характер, ему посвящены образовательные программы и тренинги, учебные и методические пособия, включая настоящую главу учебника, который читатель держит в своих руках. Вопрос, в какой мере формальное оценивание оказывает реальное влияние на процесс принятия политических решений, остается в значительной степени дискуссионным.

Неформальное оценивание относится к призрачному миру теневой политики, скрытой от любопытных глаз. Его методы — конфиденциальные беседы, телефонные и «нетелефонные» разговоры, деловые ланчи и клубные встречи; его площадки — гольф-клубы и охотничьи угодья, престижные курорты, пятизвездочные отели и разнообразные «коридоры власти»; наконец, его участники — «источники, пожелавшие остаться неназванными». Подоплека и коллизии, связанные с осуществлением неформального оценивания, редко становятся достоянием гласности, судить о них можно, но таким косвенным признакам, как списки состава приглашенных и очередность рукопожатия, брошенные вскользь реплики и едва заметные жесты, мимика лица и другие, неквантифицируемые факты политической жизни. Однако результаты неформального оценивания выливаются во вполне осязаемые указы, постановления и решения органов государственной власти. Неформальное политическое оценивание происходит ежедневно и ежечасно на всех уровнях и во всех сегментах политической системы, и единственный источник знания об этой стороне политической реальности — личный профессиональный опыт политического аналитика.

Важно запомнить!

Способы и методы оценивания государственных организаций/программ претерпели за последние десятилетия определенную эволюцию. Рост доступности и расширение навыков применения компьютеров способствовали внедрению многих оценочных процедур в практику деятельности всех уровней государственной власти.

С конца 1970;х гг. в практике программного оценивания произошел сдвиг от долгосрочных политических исследований к более актуальным, краткосрочным, ориентированным на прикладные проблемы организационного менеджмента, проектам^[4].

Эта тенденция нашла отражение в докладе американской Счетной Палаты (General Accounting Office — GAO): «В целом, краткосрочные, малобюджетные, внутренние исследования и доклады нетехнического содержания — как правило, инициированные по запросу высшего руководящего звена организации или программных менеджеров — возросли как в абсолютном выражении, так и в пропорции к общему объему исследований; крупномасштабные, долгосрочные, внешние исследования и технические по содержанию доклады показали противоположную динамику»^[5].

Для ориентированных на показатели производительности менеджеров наибольшую пользу представляют три краткосрочные, относительно недорогие методики оценивания: установление оцениваемости (evaluability assessment), мониторинг производительности (performance monitoring) и качественное оценивание (qualitative evaluation). Хотя каждая из этих методик может применяться как для актуальных, так и для долгосрочных результатов программы, они характеризуются как «краткосрочные» потому, что позволяют представить оценочные результаты быстрее, в сравнении с методиками, основанными па экспериментальном или квазиэкспериментальном дизайне^[6].

• [1] См.: Brewer С, DcLeon P. The Foundations of Policy Analysis; Dunn W. N. Public Policy Analysis: An Introduction, Upper Saddle River, N.J.: Prentice-Hall, 1981.
• [2] Performance and Credibility: Developing Excellence in Public and Nonprofit Organisations / ed. by J. S. Wholey, M. A. Abramson, C. Bellavita. Lexington, MA: Heath, 1986.
• [3] См.: Utilising Evaluation: Concepts and Measurement Techniques / ed. by J. Ciarlo. Beverly Hills, CA: Sage, 1981.
• [4] См: Patton M. Q. Qualitative Evaluation Methods. Beverly Hills, CA: Sage. 1980: Patron M. Q. Utilization-Focused Evaluation / 2nd ed. Beverly Hills, CA: Sage, 1986.
• [5] U. S. General Accounting Office. Federal Evaluation: Fewer Evaluation Units, Reduced Resources, Different Studies from 1980. PEMD-87−9. Washington. D.C.: U. S. General Accounting Office, 1987. P. 2.
• [6] См.: Evaluation Practice in Review. New Directions for Program Evaluation / ed. by H. S. Bloom, R.J. Lights. San Francisco: Jossey-Bass, 1987.