Качество и организация социологических исследований

Проблема качества результатов исследования

Качество результатов, получаемых в ходе исследования — это соответствие определенным нормам и правилам научно-исследовательской деятельности. Оно зависит от достоверности источника информации и надежности инструмента для сбора социологических данных.

Достоверность определяется источниками информации, в качестве которых может выступать респондент (при сборе информации опросными методами или методом наблюдения), а также документ (при использовании метода анализа документов).

В различных методах сбора социологической информации есть свои особенности обеспечения достоверности данных. Принято считать, что информация наиболее достоверна, когда она получена путем анализа объективных данных (анализ документов) или от компетентных респондентов (экспертный опрос).

Рассмотрим пример обеспечения достоверности данных при использовании метода анкетного опроса. В данном случае необходимо выполнить два условия:

• 1) респондент должен быть способен дать информацию по интересующей социолога проблеме (т.е. человек должен обладать определенными знаниями или быть участником событий, мнение о которых выясняется);
• 2) у респондента должно быть желание передать социологу эту информацию.

Способность людей дать необходимую информацию обеспечивается правильным отбором респондентов. Это зависит от определения объекта исследования в программе социологического исследования и от способа отбора респондентов в выборочную совокупность. Выборка должна быть репрезентативной, т. е. должна воспроизводить основные характеристики генеральной совокупности. В ходе исследования необходим контроль за отбором респондентов: экспертная оценка выбора объекта исследования и обоснования выборки, использование параллельной выборки, контроль за заменой респондентов во время опроса (опрос опрашиваемых, сверка данных паспортички с основанием выборки).

Оценивая познавательные возможности метода опроса, польский социолог 3. Гостковский классифицирует всю совокупность изучаемых этим методом явлений на пять групп в зависимости от степени достоверности получаемой информации. При этом достоверность данных связывается в значительной степени с психологическими факторами опроса. Рассмотрим эти группы в порядке убывания достоверности.

К первой группе относятся такие явления, как информированность опрашиваемых, уровень их знаний по различным проблемам. В опросах этой группы используются тесты или вопросы экзаменационного типа. Такого рода данные считаются весьма достоверными при условии, что определение уровня информированности не грозит респондентам неприятностями, не нарушает их психологический комфорт (не затрагивает их профессиональных секретов или их личного престижа, самооценок и т. п.).

Ко второй группе относятся явления и факты, внешние по отношению к респондентам, имеющие нейтральный характер по отношению к их психологическому самочувствию. Опыт социологических опросов позволяет отнести к этой группе вопросы о месте и дате рождения, о числе детей, о месте работы, о пользовании различными видами транспорта, о времени окончания школы и т. п. При ответах на подобные вопросы возможны искажения случайного характера, не нарушающие достоверность данных о выборочной совокупности в целом. Но в этой группе возможны такие систематические ошибки, если формулировка вопроса не учитывает психологических характеристик респондента, таких, как возможности памяти или понимание смысла вопроса.

К третьей группе относятся такие явления, как оценки и предпочтения опрашиваемых по поводу различных видов поведения, предметов потребления и т. п. Такого рода предпочтения изучаются в опросах, посвященных конъюнктуре спроса, предвыборным кампаниям, предпочтениям в сфере досуга. Конечной целью таких опросов является, как правило, прогноз фактического поведения людей на основании данных о предпочтениях. Степень успешности прогнозов бывает весьма различной. Но отличительной особенностью этих исследований является возможность их контроля фактическими данными: о фактическом числе проданных товаров, о числе голосов, поданных за различных кандидатов, и т. п. Специализированные исследования последних лет показывают, что связь установок, предпочтений и ориентации людей с их фактическим поведением опосредуется сложными социально-психологическими механизмами саморегуляции личности.

Четвертую группу явлений, изучаемых методом опроса, составляют мнения социальных общностей о сложных социальных и социальнопсихологических проблемах. Это вопросы о жизненных ценностях, идейных убеждениях, о принципах социального устройства, о приоритетах внутренней и внешней политики государства и т. п. Эмпирические данные, получаемые в таких опросах, подвержены воздействию наибольшего числа смещающихся факторов: давление социальных стереотипов, абстрактная терминология в формулировках вопросов, сложные опосредованные связи предмета опроса с повседневной практикой респондентов и, как следствие, низкая информированность о существе проблемы и т. п.

Разработка вопросников для таких исследований должна быть особенно тщательной, основанной на предварительных пробных интервью, имеющих свободный, углубленный характер. В массовых опросах вопросам о мнениях должны сопутствовать вопросы и тесты, определяющие уровень информированности опрашиваемых.

Наконец, пятая группа явлений, при изучении которых получение достоверных данных особенно проблематично, это так называемые «острые» факты, события, формы поведения. Предметом опросов этой группы выступают социально неодобряемые формы поведения, мнения, отличающиеся от общепринятых и т. п. Достоверные ответы на вопросы подобного содержания противоречат материальным интересам респондентов, их представлениям о допустимых границах откровенности в общении с посторонними лицами, нормам поведения, принятым в обществе или в той социальной группе, к которой принадлежит респондент. К этой группе относятся вопросы о незаконных доходах, об алкоголизме, наркомании, проституции, мелких хищениях на производстве, взяточничестве и коррупции и т. п. Данные опросов об отношении к этим явлениям содержат единодушное их осуждение и готовность бороться с ними. Однако получение личностных самооценок опрашиваемых, информации об их референтных группах либо их ближайшем окружении требует контроля другими методами (анализ документов, различные формы наблюдения). В некоторых случаях применение массовых опросов вообще нецелесообразно из-за невозможности получить достоверные данные.

Итак, респондент может быть информирован в той или иной степени о необходимых явлениях или процессах, но необходимо, чтобы он еще и поделился с социологом своими знаниями, оценками и т. п. Особенность опросных методов заключается в том, что содержание информации зависит нс только от уровня информированности респондента, но и от его установок, желаний, настроения. Человек может отказаться от сотрудничества. Можно уговорить респондента заполнить анкету, но в этом случае достоверность снижается, так как информация считается наиболее достоверной, когда она является рефлекторнодобровольной.

Вторым слагаемым качества социологической информации, кроме достоверности, является надежность измерения различных социальных характеристик. Инструментами могут быть анкета, бланк интервью, карта наблюдения, карта контент-анализа. «Понятие надежности измерения правомерно относить именно к инструменту, с помощью которого производится измерение, но не к самим данным, подлежащим измерению. В отношении данных, как и заключительных выводов из исследования, правильнее говорить, что они достоверны (или относительно достоверны) и потому, что фиксированы надежным инструментом» '.

В 1928 году Гэлопп в своей диссертации сделал вывод, что надежность информации обусловлена эффективностью формы и содержания вопроса, а также его структуры.

Если говорить о методе опроса, то надежность информации обеспечивается множественностью, многообразием вопросов, позволяющих изучить явление с разных сторон различными способами, а также соблюдением определенных правил к построению вопросов (смысловая определенность, нейтральность формулировок, сбалансированность шкал и т. д.).

Существует несколько способов повышения надежности инструмента:

• 1. Экспертный анализ программы социологического исследования (теоретической, эмпирической интерпретации понятий и т. д.).
• 2. Экспертный анализ инструмента как нестандартизованный, так и с помощью специальных стандартных методик (например, методика Масловой).
• 3. Пилотаж, целью которого является апробация инструмента. Он проводится методом интервью примерно пятидесяти человек, но не на выборке, а на схожем объекте. В ходе пилотажного исследования анализируются полученные распределения, а также реакция респондентов при заполнении анкеты. Первоначальный вариант анкеты дорабатывается.
• 4. Опрос анкетеров и интервьюеров о ходе опроса и реакции респондентов.
• 5. Методический эксперимент (вопрос на одну и ту же тему задается в разных формах).

Исследователи выделяют некоторые особенности достоверности и надежности в анализе документов. Применяя этот метод, необходимо учитывать два аспекта: достоверность документа (подлинность) и достоверность информации, содержащейся в нем.

Существует также проблема отбора документов, специалисты считают, что лучше использовать несколько независимых источников.

Информация, полученная методом анализа документов, в целом считается более достоверной, чем информация, полученная другими методами (она объективна, составлена специалистами). Информация статистического характера считается более достоверной, чем информация из личных документов (писем, сочинений, автобиографий, дневников). Однако и статистические данные могут быть недостоверными, следовательно, основанные на них выводы будут ошибочными. Факторы, влияющие на достоверность:

• — характер информации (описание событий считается достовернее их оценки),
• — способ получения информации,
• — намерения, которыми руководствуется автор,
• — основания для классификации статистических данных,
• — социальный контекст.

В. А. Ядов считает, что достоверность личных документов обеспечивается следующими условиями:

• Внешний традиционный анализ. Информация достоверна, если:

сообщение не затрагивает интересов автора, сообщение наносит определенный ущерб автору, в документе содержатся общеизвестные сведения, содержатся факты, не существенные для автора, содержатся сведения, к которым автор относится недоброжелательно.

• Внутренний традиционный анализ. Информация достоверна, если:

нет расхождения между словами автора и реальностью, текст логичен и непротиворечив '.

Надежность информации при использовании метода анализа документов зависит от инструмента и от кодировщика. Способы повышения надежности инструмента те же, что и в опросных методах. Кодировщик может повлиять на искажение информации в силу невнимательности, усталости. Чтобы избежать этого, прибегают к способу параллельной кодировки.

При использовании метода наблюдения достоверность информации зависит от ее носителя (человека, за которым наблюдают). Считается, что невербальные элементы поведения более достоверны, чем вербальные. Надежность инструмента обеспечивается теми же способами, что и при опросе. Работа наблюдателей контролируется путем сопоставления данных наблюдения разными наблюдателями.