Полевой этап исследования

Прежде чем анализировать документальные материалы по существу, социолог вынужден проделать утомительную работу поиска в документе индикаторов (признаков) ключевых понятий исследования.

Владимир Ядов. Социологическое исследование Получению результатов предшествует собственно социологическое поле — сбор информации, обработка, и только после этого — написание отчета. Чаще всего широкой научной общественности становится известна именно последняя стадия. Методические работы, воспроизводящие и объясняющие инструментарий исследования, его средства и способы добывания научного знания, рассчитаны, как правило, на более узкую аудиторию профессионалов, издаются малыми тиражами и быстро становятся библиографической редкостью. Вот почему возникает необходимость обсудить некоторые проблемы профессиональной кухни контент-аналитика. Формулировка задач, которые поставил перед собой исследователь, тесно увязывается в самом исследовании с теми способами получения социологической информации, которые мыслятся самим автором как наиболее адекватные. Образно говоря, социологический инструментарий — это та узда, которой сдерживается воображение социолога. Ставя перед собой определенную задачу, он должен примерить ее на способы решения.

Далее в рассуждениях автора должен появиться сам объект исследования: исследователь описывает этот объект — информационный источник в определенных границах его деятельности, обосновывая отбор единиц наблюдения.

Следующий шаг — составление кода и инструкции к нему. Эти документы разрабатываются в тесном взаимодействии со специалистом, который будет осуществлять обработку полученной информации на компьютере. Чем в большей степени построение документа с исходной информацией будет соответствовать правилам ввода информации в компьютер, правилам ее дальнейшей агрегации, тем меньше затрат потребуется на этой стадии.

После составления кода требуется проверка кода на соотносимость результатов (reliability). Исследователь предлагает для анализа по данному коду один и тот же текст нескольким кодировщикам и проверяет, однообразно ли они используют код и насколько сходятся их результаты^[1]. Другой вариант — повторно дать закодировать этот же текст нескольким кодировщикам по истечении определенного промежутка времени. Цель — посмотреть на анализ, так сказать, во времени и пространстве.

Все необходимые поправки и изменения, которые еще можно будет предусмотреть в коде и в инструкции к нему, следует делать именно на этой стадии. Как только начнется работа большого коллектива кодировщиков над текстами, вошедшими в выборку, поправки будут означать сбой в работе. Инструкции напечатаны, кодировщики проинструктированы — работу придется начинать заново^[2].

Так, в исследовании российской прессы на предмет ее отношения к лидерам и фракциям Госдумы инструкция содержала примеры текстов из реальных газет, содержащих разные оценки: «Пока же преимущество в искусстве ведения судебного спора явно на стороне президентско-правительственной команды. Во-первых, она хорошо подобрана и в ней четко распределены роли. Впереди официальные представители — Сергей Шахрай, Юрий Батурин и Олег Кутафин. Все трое — юристы со степенями, хорошо освоившие приемы публичного спора. И психологическая уравновешенность у них тоже на высоте»^[3] — позитивная оценка С. Шахрая как лидера определенной фракции.

" Кроме Егора Гайдара, предстоящие выборы могут примести большое разочарование и Жириновскому и его ЛДПР. Некогда мощнейшей партии сегодня симпатизирует лишь 6,6 процента голосов. Очевидно, имиджу Жириновского не помог пролитый в сражении с Б. Немцовым апельсиновый сок. Да и в целом скандальностью наших людей теперь удивить крайне трудно, хотя тяга к ярким личностям остается"^[4] — негативная оценка В. Жириновского и его фракции.

Мы специально привели эти примеры — некоторые кодировщики оценили второй пример как сбалансированную оценку Жириновского. Недаром в итоге оказалось, что средняя степень совпадения мнений кодировщиков в той части исследования, которая касалась фиксации оценок, равнялась 87% (76% - сбалансированные оценки, 89% - позитивные, 91% - нейтральная подача, 92% - негативные оценки). И это при том, что процент совпадения решений кодировщиков по количеству материалов и абзацев с интересующими исследователя субъектами достигал 94−96%. Чтобы представить себе детализацию проблем в тексте инструкции, приведем ее начало: «Кодировщик читает всю газету целиком, чтобы не пропустить упоминания интересующих исследование субъектов (объектов) анализа, которые перечислены на карточке для кодировки. Кодировка начинается с того, что выписываются дата и помер газетного выпуска и число материалов с упоминаниями. После того как на отдельном листке выписаны заголовки всех материалов, где встретились эти упоминания, чтобы не упустить ни одного из них, приступаем к анализу каждого из этих материалов. Для этого требуется более скрупулезное, внимательное, чем на первой стадии, чтение каждого из этих материалов». И далее подробно объясняется каждая характеристика, даются примеры, объясняются способы фиксации результатов (если обработка результатов ручная) и т. д.

Более сложная процедура оценки работы с кодом — это проверка результатов на их обоснованность (validity)^[5].

Общая идеология, связанная с проблемой обоснованности в социологических методах (в специальной литературе можно встретить и языковую кальку валидность), выражается в том, что исследователь предоставляет проверяемые доказательства, что именно, какую характеристику он измеряет.

Хрестоматийным примером в таких случаях является аналогия с часами. Исправные, неостанавливающиеся часы — надежный инструмент регистрации времени. Если же мы не знаем, по какому часовому поясу выставлены эти часы, то их точные показания для нас бесполезны: мы не знаем, какое время, что именно они измеряют. Результаты, полученные при помощи часов как инструмента, необоснованны^[6]. Результаты анализа текста будут считаться обоснованными, если методика анализа замеряет в массиве текста то, что предполагалось замерять.

Американский специалист в области контент-анализа У. Даниельсон приводит такой пример. Допустим, вы фиксируете заметки, которые определяете как информацию о преступлениях, но действительно ли эта информация помещается для того, чтобы повествовать о преступлениях? Исследователь, отвечая на вопрос, должен обосновать свое определение преступления и такой заметки. Ему придется сказать, что в эту группу он относит происшествия, которые расцениваются юридическими властями, или общественностью, или, наконец, прессой как криминалистические по природе, а нс как шалости подростков или результат паники. Главный принцип — отсутствие разрыва между категориальной сеткой и эмпирической действительностью.

В наборе характеристик метода мы находим следующее ограничение: анализ работает только с открытым (manifest) содержанием^[7]. Контент-анализ не может работать на значениях и смыслах скрытого плана, он будет оперировать тем содержанием, которое на поверхности, он работает с теми текстами, где вероятность одинакового понимания смысла очень высока. И это не случайно. Содержание СМК является массовым в том числе и потому, что оно рассчитано на максимально одинаковое понимание. В этом его природа. И анализ содержания как методика его изучения снимает именно этот уровень значений. Поэтому и нужны тесты на обоснованность кода: что понимается кодировщиками под значением текста и что говорит нам об алгоритме декодирования значения инструкция.

Полевая стадия исследования как никакая другая связана с организационными моментами: этапы исследования, сроки исполнения, способы обработки, исполнители, финансовые затраты. Зависимость содержательных характеристик и финансовых затрат огромна. Средства адресуются конкретным проектам. Обоснование исследования — некоторая гарантия финансирования. Многие проекты защищают свое право на существование на конкурсной основе. Программа исследования тут вполне способна показать товар лицом.

• [1] В профессиональной литературе термин «reliability» переводится также как надежность и устойчивость. Обсуждение общих проблем соотносимости/надежности см.: Anastasi A. Psychological Testing. N.Y.: McMillan, 1961; Gairett H. Statistics in Psychology and Education. N.Y.: Logmans, 1955; обсуждение применения методик в контент-анализе см.: Jams 1., Fadner К. Janowitz М. The Reliability of a Content Analysis Technique // Public Opinion Quarterly. 1943. Vol. 7. № 2.
• [2] Cm.: Lasswell H. et al. The Pollitically Significant Content of the Press: Coding Procedures // Journalism Quarterly. 1942. Vol. 19. № 1. P. 12−21.
• [3] Авторов Чеченской республики пока не нашли // Известия. 1995. 13 июля.
• [4] Аркадий Вольский встретился… // Комсомольская правда. 1995. 1 июля.
• [5] См.: Janis I. The Problem of Validating Content Analysis // Lasswell Н., Leites N. et al. Language of Politics: Studies in Quantitative Semantics. Rev. ed. Cambridge, Mass.: The Μ. I.T. Press, 1965.
• [6] См.: Горбунов H. Обоснованность, надежность и переносимость вопросников // Труды по социологии. Вып. 2. Тарту: Тартуский Государственный университет, 1972. С. 195−221; Allen R. Personality Assessment Procedures. N. Y.: Harper, 1958; Cattell R., Warburton F. Objective Personality and Motivation Tests. Chicago: University Illinois Press, 1967.
• [7] Лассвелл употреблял этот термин по контрасту со скрытым, подразумеваемым (latent) содержанием и определял его так: «Мы расцениваем содержание как открытое, если слова интерпретируются так, как они понимаются большинством носителей данного языка» (см.: La.sswell Н. The Uses of Content Analysis Data in Studying Social Change // Science and Culture. 1967. Vol. 33. № 4. P. 163).