Основные требования к критериям (показателям) эффективности

Важно, чтобы при оценке эффективности программы результаты были обоснованными, т. е. показатели измеряли то, что ожидалось от программы. В первую очередь необходимо ответить на вопрос: что же подразумевается под эффективностью программы? Игнорирование этого тривиального на первый взгляд вопроса может вызвать трудности при разработке ряда критериев, которые могли бы быть использованы для оценки результатов программы. Обоснованность критериев — один из способов оценки веса полученных показателей. Необходимо, чтобы предложенные критерии соотносились друг с другом. Такого рода «соотношения» часто называют коэффициентом обоснованности или уровнем корреляции между показателями. Если корреляция близка к единице, то предложенные показатели хорошо соотносятся, если же корреляция равна нулю, соотношение плохое.

Другой способ оценки обоснованности показателей — анализ конструктивной обоснованности, которая сильно зависит от теоретических аргументов. Необходимо проанализировать связь между показателями в данном регионе, полученными в ходе реализации программы, с показателями в других регионах, где проводились похожие программы. Важно использовать теоретический материал со сведениями о том, какие показатели свидетельствовали бы об эффективности данной программы.

Наряду с обоснованностью надежность является одной из важнейших характеристик любого показателя. Она особенно важна, когда для анализа ситуации используются различные анкеты, опросники и интервью. Очень сложно правильно оценить, чем руководствуется человек, отвечая на предложенные вопросы. Возможно, в определенный момент времени его ответ зависит от душевного состояния или настроения, что, несомненно, окажет влияние на результаты опроса.

Существует несколько способов проверки надежности полученных в результате исследования данных. Во-первых, можно перепроверить сведения путем проведения повторного опроса. Во-вторых, надо убедиться в том, что оценки экспертов справедливы. Для этого следует разработать шкалу для оценки показателей, чтобы результаты реализации программы оценивались по сравнимым критериям.

Все показатели оценки должны иметь свою направленность, т. е. необходимо заранее установить, как должны измениться параметры. Другими словами, надо знать, как могут измениться показатели в ходе реализации программы, какое изменение можно считать положительным, а какое отрицательным.

Восприимчивость к изменениям — другое важное качество любого показателя. Чтобы полученные данные оказались надежными и точными, надо тщательно прорабатывать вопросы для интервью и анкет. Варианты ответов должны быть как можно более многогранными, т. е. если в предложенной анкете будут всего два или три варианта ответа, то восприимчивость к изменениям во мнениях будет низкая. Для того чтобы получить более полную картину ситуации надо давать людям возможность полностью выразить свое мнение и отношение к происходящему.

Вопросы должны касаться актуальных событий, которые происходят либо в настоящее время, либо произошли в недалеком прошлом.

При разработке системы оценки эффективности программы не следует завышать ожидаемые показатели: они должны быть реалистичны и достижимы.

Методические указания Минэкономразвития России по разработке и реализации государственных программ Российской Федерации устанавливают следующие требования к показателям (индикаторам) государственных программ:

• — адекватность: показатель должен очевидным образом характеризовать прогресс в достижении цели или решении задачи и охватывать все существенные аспекты достижения цели или решения задачи подпрограммы;
• — точность: погрешности измерения нс должны приводить к искаженному представлению о результатах реализации подпрограммы;
• — объективность: не допускается использование показателей, улучшение отчетных значений которых возможно при ухудшении реального положения дел; используемые показатели должны в наименьшей степени создавать стимулы для исполнителей подпрограммы, подведомственных им ФОН В и организаций к искажению результатов реализации подпрограммы;
• — достоверность: способ сбора и обработки исходной информации должен допускать возможность проверки точности полученных данных в процессе независимого мониторинга и оценки подпрограммы;
• — однозначность: определение показателя должно обеспечивать одинаковое понимание существа измеряемой характеристики как специалистами, так и конечными потребителями услуг, включая индивидуальных потребителей, для чего следует избегать излишне сложных показателей и показателей, не имеющих четкого, общепринятого определения и единиц измерения;
• — экономичность: получение отчетных данных должно проводиться с минимально возможными затратами; применяемые показатели должны в максимальной степени основываться на уже существующих процедурах сбора информации;

сопоставимость: выбор показателей следует осуществлять исходя из необходимости непрерывного накопления данных и обеспечения их сопоставимости за отдельные периоды и с показателями, используемыми для оценки прогресса в реализации сходных (смежных) подпрограмм, а также с показателями, используемыми в международной практике;

— своевременность и регулярность: отчетные данные должны поступать со строго определенной периодичностью и с незначительным временным лагом между моментом сбора информации и сроком ее использования (для использования в целях мониторинга отчетные данные должны предоставляться не реже одного раза в год).

Для того чтобы оценить эффективность программы, например, нацеленной на развитие определенного региона, необходимо регулярно проводить мониторинг социальных настроений местных жителей. Это очень важно, потому что социальный аспект программы оценить всегда гораздо сложнее, чем экономический. При составлении анкет или вопросов для интервью следует руководствоваться следующими правилами.

• 1. Использовать простой язык.
• 2. Вопросы должны касаться только тех проблем, о которых респонденты хорошо осведомлены.
• 3. Вопросы должны быть конкретные.
• 4. Необходимо избегать вопросов, которые подразумевают ответы «да» или «нет» .
• 5. Не следует использовать отрицание в вопросах.
• 6. Вопросы должны быть развернутые, чтобы люди знали, о чем именно их спрашивают.
• 7. Необходимо учитывать культурные и этнические различия.
• 8. Надо быть готовыми к тому, что с определенными группами респондентов могут возникнуть трудности (откажутся участвовать в опросах общественного мнения).

Кроме проведения интервью и анкетирования для сбора данных при проведении оценки используются следующие инструменты: анализ конкретных ситуаций, использование фокус-групп, наблюдение, анализ письменных документов.

Анализ конкретных ситуаций представляет собой сбор информации на основе описания некоторой «истории», имеющей непосредственное отношение к осуществлению программы. Такое описание включает использование разнообразных источников — документов, интервью, наблюдений — и предоставляет дополнительный ресурс для интерпретации решений и событий. Однако анализ конкретных ситуаций имеет ограниченный характер, его проведение требует специальных навыков и много времени.

Фокус-группы представляют собой целевые группы, члены которых осведомлены об исследуемой теме, а специально организованные дискуссии с которыми позволяют сопоставить взгляды и мнения участников программы с концепциями, отраженными в прогнозируемых программных результатах. Использование фокус-групп позволяет лучше узнать конкретный опыт, когда респонденты излагают свои взгляды и мнения о программе в привычной для них обстановке. Однако этот инструмент сбора данных требует много времени и может быть дорогостоящим.

Наблюдение бывает внешним и включенным, когда наблюдатель на время становится участником происходящего, дает описательную информацию о контексте и наблюдаемых изменениях с позиции участника событий. Качество данного инструментария сильно зависит от навыков наблюдения и ведения записей, при этом возможна неоднозначная интерпретация результатов.

Анализ письменных документов, т. е. баз данных, отчетов, корреспонденции может помочь обоснованию восприятия ситуации респондентами и не требует больших затрат, однако может занять много времени.