Методы и инструменты проведения оценки

РефератПомощь в написанииУзнать стоимостьмоей работы

Контекстные методы применяются к конкретной местности, роду деятельности и социальной обстановке в целях изучения глубинных вопросов. Контекстные исследования включают в себя этнографические методы, такие как включенное наблюдение, интервью. Использование открытых вопросов предназначено для захвата восприятия и позволяет дополнить комплексный анализ часто не поддающихся количественной оценке… Читать ещё >

Методы и инструменты проведения оценки (реферат, курсовая, диплом, контрольная)

При проведении оценки необходимо определить методы и инструменты, которые будут использоваться для достижения поставленных задач оценки. Характер социально ориентированных программ предполагает, что в большинстве случаев оценка будет включать сочетание количественных и качественных методов. Методы, используемые в оценке деятельности, также могут быть использованы в оценке постфактум^[1].

На практике, как и в случае индикаторов, выделяют количественные и качественные методы исследования. Термины «качественные» и «количественные» исследования отсылают к типу данных, полученных в исследовании.

Количественные исследования генерируют данные в виде чисел, а качественные исследования, как правило, в текстовых формах. Для того чтобы получить различные типы данных, качественные и количественные исследования используют различные методы. Случайный выборочный опрос производит количественные данные, которые могут быть статистически проанализированы с целью измерения, агрегирования, моделирования и прогнозирования поведения и отношений.

В общих областях научных исследований чаще используют контекстные методы для более качественного толкования информации, они выступают в качестве поддержки контроля результатов и анализа данных. Этот аспект контроля с участием стейкхолдеров (бенефициаров программ) предназначен установить собственные аналитические рамки и предложить альтернативу регулированию сверху. В отличие от индивидуального наблюдения и обсуждений, совместные исследования фокусируются на общественном мнении. Проведение совместных исследований^[2] использует набор методов для лучшего понимания извне местного контекста при соблюдении определенных этических принципов.

В основном комбинированные методы используются в оценке бедности^[3], на которой можно адаптировать и применять эти методы в конкретной конструкции воздействия. При рассмотрении путей сочетания количественных и качественных методов и данных важно быть в курсе их сравнительных преимуществ.

В процессе проектирования и полевых этапов оценки воздействия методов интеграции и данных включают в себя ряд этапов или итераций между качественными и количественными исследованиями. Отдельные шаги в этом длительном процессе могут включать^[4]:

1) опрос, который используется для выбора качественных данных;
2) опрос, который определяет приоритетные вопросы;
3) анализ выявляет пробелы в знаниях, которые должны быть заполнены путем опроса;
4) опросы, чтобы предсказать более точно, какие вопросы и какие варианты имеют большое значение для реципиентов содействия международному развитию (СМР);
5) качественный анализ определяет, что является контекстной информацией и то, что не должно быть предметом стандартизации количественными методами;
6) выводы из качественных и количественных исследований помогают определить основы выборки;
7) качественный анализ помогает определить надлежащую стратификацию последующего разукрупнения и анализа таблиц.

Методы оценки могут быть классифицированы в соответствии индикаторами, разработанными ОЭСР, которые были описаны ранее.

Для оценки релевантности — определения того, насколько программа КСО соответствует приоритетам ее бенефициаров, используется логическая матрица. Она позволяет рассмотреть наиболее подходящий и приемлемый способ сбора данных для каждого из вопросов, определенных в плане оценки^[5].

Построение логической матрицы. Основой для построения системы оценки является логическая матрица — таблица, в которой представлена рабочая структура проекта (программы), основанная на анализе ситуации и проблем, проведенном на этапе разработки проекта (программы). Логическая матрица в краткой форме отражает логическую последовательность задач по достижению намеченных результатов проекта (программы): мероприятия, промежуточные результаты, конечные результаты и цель, а также индикаторы и способы верификации для измерения успешности выполнения этих задач, основные допущения. Рабочая структура проекта (программы), как правило, представляется в виде стандартной логической матрицы. Тщательно проработанная логическая матрица отражает информационные потребности проекта (программы). Так, задачи и информационные потребности проекта (программы) во время проведения краткосрочной программы будут иметь абсолютно другую логическую структуру и задавать совершенно иные требования к оценке, нежели в случае реализации проекта (программы) долгосрочного развития.

На практике оценки часто применяется схема SMART, в том числе и для выбора показателей. Критерии SMART могут быть полезны при выборе показателей, которые должны быть «конкретными, измеримыми, достижимыми, актуальными и отслеживаемыми»^[6]. Для приведения результатов методик к единому обобщенному результату могут выстраиваться простые ранжирования (рейтинги)^[7].

Параметр эффективности, как уже было упомянуто, устанавливает, насколько эффективно используются финансовые, трудовые ресурсы и материалы для достижения результатов. Критерий определяет воздействие затрат и сравнивает альтернативные подходы. При измерении эффективности к числу основных методов анализа можно отнести: корреляционный анализ основных вводных и основных результатов; методы регрессии (метод разности разностей, модель с фиксированными эффектами).

Так, метод разности разностей {difference-in-difference^) основан на взятии разности между контрольной группой и группой, которая подверглась воздействию, а также взятием разности во времени — до и после обследования.

Параметр результативности оценивает, в какой степени достигнуты предполагаемые результаты. В основу оценки ложатся задачи и показатели, перечень которых приводится в логической матрице. Результативность оценивается преимущественно эконометрическими методами. В частности, используются:

• динамический анализ панельных данных для понимания взаимосвязей между конкретными политическими явлениями в течение времени и намеченных результатов в плане экономического развития;
• кластерный анализ для определения конкретных факторов, связанных с экономическим и социальным ростом (в сравнении с аналогичными проектами и программами);
• модели с фиксированными эффектами для определения отношения между двумя зависимыми переменными (ВНП на душу роста населения и индекс развития человеческого потенциала) и ряда страновых и отраслевых переменных, связанных с политическими и неполитическими факторами.

Параметр воздействия оценивает, в какой степени оказывается влияние. Сравнительные методы используются, чтобы понять, что происходит в отсутствие вмешательства; теоретические методы объясняют, почему воздействие произошло. При использовании часто сочетаются качественные и количественные методы. Оценка использует как первичные, так и вторичные источники данных и различные методы сбора данных.

При определении устойчивости экологических и социальных проектов измеряется то, как долго сохранится благоприятное воздействие по завершении поддержки. Критерий используется для оценки портфолио проекта и программы на этапе проекта. К его методам относятся проведение интервью, оценка ответов по шкале, проверка ответов по доступным источникам.

[1] OECD DAC Principles For The Evaluation Of Dcvleopment Assistance. URL: http://www.occd.org/dac/evaluation/daccriterialorevaluatingdevelopmcntassistance.htm.
[2] Метод исследования, в котором взаимодействуют и помогают друг другу исследователи и те, среди которых ведется данное исследование.
[3] Poverty & Social Impact Analysis (PSIA). URL: http://www.worldbank.org/en/events/2015/03/18/poverty-social-impact-analysis-psia-learning-event-tackling-difficult-issues-in-policy-reform-evidence-from-europe-and-central-asia.
[4] Merten: s D. M., Wilson Л T. Program Evaluation Theory and Practice: A ComprehensiveGuide. N. Y.: The Guilford Press, 2012.
[5] Promoting Pro-Poor Growth. Practical Guide To Ex Antepovertv Impact Assessment. OECD, 2007.
[6] Quality Standards forDevelopment Evaluation. URL: http://www.oecd.org/development/evaluation/qualitystandards.pdf.
[7] Guidance For Conducting Terminal Evaluations of UNDP. Supported, Gef-FinancedProjects, UNDP 2012; Guidance For Conducting Midterm Reviews of UNDP Supported, Gef-Financed Projects, UNDP 2014. 1 Impact Evaluation in Practice. URL: http://www.worldbank.org/pdt.

Показать весь текст

Заполнить форму текущей работой