Теоретические аспекты и состояние задачи валидизации количественных показателей измерения коррупции

Важнейший аспект измерения коррупции, которая представляет собой один из доминантных факторов современного политического процесса и одну из базовых институциональных характеристик современного государства, состоит в оценке достоверности количественных показателей ее состояния (распространения) в государстве и возможных ограничений их использования в качестве исходных эмпирических данных в экономических, политологических и иных предметно-ориентированных исследованиях.

Исходя из того что коррупция — это латентное явление, а для обеспечения достоверности исследования латентного признака требуется оценка валидности, т. е. соответствия данному признаку используемых для его отражения и измерения показателей^[1], то неотъемлемым этапом количественных измерений коррупции должен быть анализ валидности известных и часто используемых индексов коррупции.

Тот факт, что в большинстве государствоведческих исследований показателей коррупции используются экспертные оценки, опросы представителей бизнеса и социологические опросы населения, создает ряд методологических проблем, касающихся валидности и надежности показателей коррупции.

Под валидностью понимается степень соответствия измерительного инструмента (в данном случае — показателя коррупции, полученного на основе экспертных оценок и/или опросов общественного мнения) измеряемому явлению (латентному уровню коррупции). Показатель коррупции следует признать валидным, если он измеряет именно коррупцию, а не иное, пусть даже близкое явление. В ходе опросов общественного мнения, проводимых по сопоставимым анкетам, валидность может нарушаться из-за того, что одни и те же понятия могут иметь разное значение, обусловленное культурным контекстом, из-за чего люди в странах со схожим уровнем коррупции могут давать ему различные оценки. Еще одним источником проблем для валидности показателей коррупции является методика агрегирования экспертных оценок и опросов экспертов. Чаще всего на практике используются индексы, т. е. составные показатели, определенным образом агрегирующие числовые значения, полученные из разных источников. Выбор методики агрегирования далеко не нейтрален и может существенным образом сказываться на результатах измерения.

Несмотря на очевидную практическую значимость исследования валидности, на сегодняшний день не существует единого подхода к ее изучению. Это связано, по всей видимости, с двумя факторами. Во-первых, с большим числом потенциальных источников нарушений валидности (это и проблемы агрегирования, и когнитивные особенности восприятия информации, и взаимозависимость ошибок измерения у разных показателей, входящих в состав индекса, и др.). Во-вторых, со сложностью исследования валидности, обусловленной зачастую латентным характером истинного измеряемого признака.

Впервые вопрос об измерении валидности был поставлен американскими психологами в 1940;х гг., когда Дж. Гилфорд сформулировал один из первых подходов к определению и измерению валидности: «В самом широком смысле слова тест валиден для измерения всего, с чем он коррелирует»^[2]. В дальнейшем этот несколько упрощенный подход к пониманию валидности стал усложняться, что привело к возникновению разнообразных видов валидности. В 1954 г. Американская психологическая ассоциация предложила типологию валидности, включающую в себя^[3]:

• • содержательную валидность, характеризующую, насколько полно построенный индекс описывает латентную переменную;
• • конструктную валидность, отражающую корреляции рассматриваемого индекса с другими индексами, оценивающими одну и ту же латентную переменную;
• • согласованную валидность, показывающую степень взаимосвязи индекса с некоторым другим показателем той же самой латентной переменной, для которого факт его валидности уже установлен;
• • предсказательную валидность, свидетельствующую о способности индекса предсказывать значения латентной переменной.

Предложенная Американской психологической ассоциацией типология вызвала большую дискуссию в научной среде. В 1955 г. Л. Кронбах вместе с П. Милем опубликовали обзорную статью, в которой отметили, что понятия предсказательной и согласованной валидности подразумевают наличие уже проверенных валидных показателей, относительно которых текущий будет проверен на валидность^[4]. Однако наличие подобных индикаторов является большой редкостью в социальных науках — именно поэтому авторы выдвинули на первое место конструктную валидность, для проверки которой не накладывается строгих ограничений на наличие уже валидного индикатора. Впрочем, как отметили авторы, проверка конструктной валидности осмысленна лишь тогда, когда в профессиональном сообществе сформировалось общепринятое понимание смысла и содержания измеряемой латентной переменной^[5].

В работе Л. Кронбаха и П. Миля предложено также проверять валидность не только с помощью коэффициентов корреляции, но и используя факторный анализ^[6]. Через несколько лет, в 1959 г., Д. Кэмпбэл и Д. Фиске предложили два подхода к измерению конструктной валидности: дискриминантную и сходящуюся валидизации^[7].

Дискриминантная валидизация — это проверка того, действительно ли индексы, измеряющие принципиально разные латентные переменные, имеют низкую взаимосвязь (корреляцию). В то время как сходящаяся валидизация — это, наоборот, проверка наличия сильной взаимосвязи между показателями одной и той же латентной переменной.

Дискуссия о типах валидности привела к тому, что с 1960—1970;х гг. использование конструктной валидности в исследованиях стало доминирующим. Ряд исследователей (Дж. Левингср, Р. МакДональд, Л. Шепард) даже стали фактически отождествлять валидность вообще с конструктной валидностью^[8].

Рассмотренная дискуссия о понятии валидности развивалась в первую очередь в профессиональной среде психологов, поскольку им чаще всего приходится использовать опросные данные для измерения сложных латентных категорий. Политологическое же сообщество заинтересовалось проблемой валидизации измерений лишь в конце XX в. и до сих пор в значительной мере опирается на теоретические разработки психологов.

Другим свойством эмпирического показателя, требующим проверки, является надежность. Как отмечают Б. Зумбо и А. Рупп, «надежность — это вопрос о качестве данных, в то время как валидность — это вопрос о качестве получаемых выводов»^[9]. Выражаясь более точно, надежность — это характеристика того, насколько схожими будут результаты многократного применения одной и той же методики к измерению не меняющегося во времени объекта. Например, насколько согласованными будут значения некоторого индекса, если его рассчитать по двум независимым друг от друга выборкам респондентов или экспертов? Если индекс совершенно надежен, то значения должны полностью совпадать. Достижимо ли это в реальности? Для индексов, опирающихся на опросные данные, ответ будет, по всей видимости, отрицательным, поскольку любая статистика, рассчитанная на основе выборочных данных, характеризуется случайной ошибкой. Однако величина этой ошибки будет различаться в зависимости, например, от объема выборки или иных характеристик опроса. Задача исследователя коррупции — подобрать такие индикаторы, которые обладали бы наибольшей надежностью.

В отличие от изучения валидности, зачастую требующего соотнесения эмпирического показателя с латентной категорией и потому представляющего теоретические и практические затруднения, исследование надежности показателя менее противоречиво и опирается на описание его случайной изменчивости в терминах дисперсии (стандартного отклонения). Ниже мы используем методы моделирования структурными уравнениями для одновременного измерения и валидности, и надежности индексов коррупции.

Моделирование структурными уравнениями является мощным методом исследования валидности и надежности, интегрирующим в себе факторный и регрессионный анализ. Тем не менее его вычислительная сложность обусловливает достаточно существенные требования к анализируемым данным, что ограничивает его применимость в работе со страновыми данными (существенной проблемой, например, может быть малое число наблюдений, не содержащих пропуски ни по одному из индикаторов). Возможно, в этом кроется причина недостаточной востребованности моделирования структурными уравнениями в предшествующих исследованиях валидности индексов коррупции.

Исследование валидности индексов коррупции имеет на сегодняшний день относительно непродолжительную историю. Косвенно вопрос о валидности индекса восприятия коррупции затронул Д. Трисман, проанализировав связь между наблюдениями индекса за несколько лег^[10]. Получив высокие коэффициенты корреляции, автор сделал первоначальный вывод в пользу валидности индекса восприятия коррупции. Кроме того, автор изучил корреляцию этого индекса с другим индексом восприятия коррупции, измеренным организацией «Бизнес Интернэшнл» (Business International).

Заметим, однако, что высокая корреляция, выявленная Д. Трисманом, может быть вызвана самой методологией определения индекса восприятия коррупции, так как наблюдения на будущий год формировались до 2012 г. с учетом оценок индекса в прошлом году. Кроме того, анализа корреляций недостаточно для измерения валидности: даже за высокой корреляцией могут скрываться существенные различия в поведении индексов.

Отдельное исследование, посвященное непосредственно анализу валидности индикаторов коррупции, было проведено П. Вильхельмом^[11]. Автор исходил из того, что уровень коррупции может быть измерен тремя показателями: показателем избыточного регулирования бизнеса государством, долей черного рынка от реального ВВП и индексом восприятия коррупции — и утверждал, что индекс восприятия коррупции можно считать валидным в том случае, если он будет обладать сильной линейной связью с другими показателями коррупции. В результате рассмотрения коэффициентов корреляции между тремя вышеперечисленными индексами автор пришел к выводу о том, что все показатели коррупции являются валидными и могут использоваться для предсказания экономических последствий коррупции. Показатели избыточного регулирования бизнеса государством и доля черного рынка, однако, представляются довольно узкими и недостаточными измерениями коррупции, а значит, индекс восприятия коррупции был проверен на валидность в очень узкой области экономики. Следовательно, данный вывод не может быть перенесен на другие типы коррупции. Методологический недостаток использования исключительно корреляций для выявления валидности мы уже отмечали выше.

Л. Лангбайн и С. Кнак в 2010 г. проверили на валидность все шесть компонент индекса качества государственного управления Всемирного банка и индекс восприятия коррупции^[12]. В теории индикаторы качества государственного управления измеряют одну, довольно широкую латентную переменную с помощью шести различных характеристик. Авторы предполагают, что если все индикаторы являются валидными, то каждый из них будет измерять свой концепт, оставаясь при этом каузально связанным с остальными индексами. В случае если индексы не валидны, то тогда нельзя утверждать, что каждый из них измеряет какой-то аспект качества государственного управления, а значит, несколько индикаторов качества государственного управления можно заменить па какой-то один, например на индекс контроля коррупции. Для проверки индикаторов на конструктную валидность авторы использовали широкий круг статистических методов (корреляционный анализ, метод главных компонент, путевой анализ и подтверждающий факторный анализ), что является сильной стороной исследования. Л. Лангбайн и С. Кнак пришли к выводу о том, что все индикаторы оценивают какую-то общую латентную переменную, однако нельзя утверждать того, что каждый из них измеряет определенный концепт, следовательно, использование всех или нескольких индикаторов качества государственного управления представляется необоснованным и может привести к ошибочным результатами. Авторы также пришли к выводу о том, что индекс восприятия коррупции необходимо расценивать как более широкий показатель восприятия качества государственного управления, а не только лишь коррупции. Наконец, очевидно, что изучение взаимосвязи индекса восприятия коррупции с индексами качества государственного управления нельзя назвать проверкой валидности ИВК как показателя коррупции.

Одновременно с предшествующим исследованием К. Ко и А. Самайдар рассмотрели валидность семи индексов коррупции: индекса восприятия коррупции, измеряемого организацией «Трансперенси Интернешнл»; индекса контроля коррупции, измеряемого Всемирным банком; коррупционного компонента политического риска, измеряемого в рамках проекта «Международный справочник страновых рисков»; индекса взяткодателей, измеряемого организацией «Трансперенси Интернешнл»; международного опроса преследования правонарушений (International Crime Victimization Survey), проведенного Институтом исследований межрегиональных преступлений и правосудия Организации Объединенных Наций; и, наконец, Всемирного обзора ценностей^[13]. С помощью корреляционного анализа авторы пришли к выводу о том, что индексы коррупции практически никак не соотносятся с данными опросов населения. Этот вывод, однако, практически ничего нс говорит о валидности индексов — во многом потому, что восприятие коррупции населением может сильно отличаться от восприятия экспертами. Более того, исследователь, анализирующий отдельно соответствие индексов экспертным или общественным опросам, ничего не может сказать о валидности индекса, часто потому, что каждый из опросов может быть сильно смещен.

Больший содержательный (но не методологический) интерес представляет вывод авторов о сходящейся валидности индекса контроля коррупции и индекса восприятия коррупции, выявленной путем изучения корреляции между индексами с 1996 по 2006 г. Авторы также обратили внимание на более слабую валидность коррупционной компоненты Международного справочника о страновых рисках.

Наконец, Ю. Нисневич и Д. Стукал использовали широкий круг статистических методов для изучения валидности трех индексов: индекса восприятия коррупции «Трансперенси Интернешнл»; индекса контроля коррупции Всемирного банка и индекса взяточничества «Трансперенси Интернешнл»^[14]. Авторы продемонстрировали валидность индексов восприятия и контроля коррупции. Однако недостатком работы является использование ограниченного набора показателей, не отражающего всей палитры используемых в политологии индексов коррупции.

Исходя из выше изложенного, была разработана и реализована методика проверки валидности и надежности всех наиболее часто используемых в различных государствоведческих исследованиях индексов коррупции на основе применения широкого круга математико-статистических методов.

• [1] Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: Издательство"Весь Мир", 1997. С. 100.
• [2] Guilford J. Р. New standards for test evaluation // Educational and PsychologicalMeasurement. 1946. Vol. 6. № 5. P. 429.
• [3] American Psychological Association. Technical recommendations for psychological testsand diagnostic techniques// Psychological Bulletin. 1954. № 51. P. 215—217.
• [4] Cronbach L.J., Meehl Р. Е. Conctruct Validity in Psychological Tests // PsychologicalBulletin. 1955. Vol. 52. № 4. P. 282.
• [5] Op. cit. P. 291−292.
• [6] Op. cit. P. 286.
• [7] Campbell D. T., Fiske W. Convergent and Discriminant Validation By the Multitrait-Multimethod Matrix // Psychological Bulletin. 1959. Vol. 56. № 2. P. 81 — 105.
• [8] LoevingerJ. Objective tests as instruments of psychological theory // Psychological Reports. Monograph Supplement. 1957. № 3. P. 689; McDonald Test Theory: A Unified Treatment. London: Lawrence Erlbaum Associates, 1999. P. 199; Shepard L. Evaluating test validity //Review of research in education / L. Daring-Hammond (ed.). Washington, D. C.: AmericanEducational Research Association, 1993. Vol. 19. P. 415.
• [9] Zumbo B. D., Rupp A. A. Responsible Modeling of Measurement Data for AppropriateInferences: Important Advances in Reliability and Validity Theory // The SAGE Handbook ofQuantitative Methodology for the Social Sciences. Thousand Oaks, CA: Sage Press, 2004. P. 77.
• [10] Treisman D. The Causes of Corruption: A Cross-National Study //Journal of PublicEconomics. 2000. Vol. 73. № 3. P. 399−457.
• [11] Wilhelm Р. G. International Validation of the Corruption Perceptions Index: Implicationsfor business ethics and entrepreneurship education //Journal of Business Ethics. 2002. Vol. 35.№ 3. P. 177−189.
• [12] Langbein L., Knack S. The Worldwide Governance Indicators: Six, One, or None? //The Journal of Development Studies. 2010. Vol. 46. № 2. P. 350—370.
• [13] Ко К., Samajdar A. Evaluation of international corruption indexes: Should we believe themor not? // The Social Science Journal. 2010. Vol. 47. P. 508—540.
• [14] Нисневич IO. А., Стукал Д. К. Валидность измерений коррупции в публичной сферев исследованиях международных организаций.