Ошибка выборки. 
Ошибка выборки

Качество социологической информации может снизить множество факторов: неправильно сформулированные анкетные вопросы, не так выбранный метод исследования, пропущенные ответы в анкетах, нечетко спланированная выборка и др.

Практика эмпирических исследований — зарубежных и отечественных, фундаментальных и прикладных — свидетельствует, что ошибки, в том числе при составлении выборки, встречаются почти в каждом исследовании. Другой вопрос — значимые или незначимые смещения такого рода. А поскольку ошибки, накладки и смещения происходят всегда, то для специалистов, занятых контролем и ремонтом выборки, работа всегда найдется. Да и саму эту область методической науки преждевременная старость не ожидает. Не только в науке, но и в любой другой сфере профессия контролеров и ремонтников всегда была хлебной и престижной.

Контролем выборки будем называть процесс научного сравнения генеральной и выборочной совокупностей, выявление степени их расхождения, обнаружение причин отклонения и разработку возможных способов устранения погрешностей. В узком смысле — это уравнивание выборочных и генеральных распределений социально-демографических характеристик респондентов.

Под ремонтам выборки надо понимать сам процесс устранения погрешностей, т. е. расхождения двух совокупностей, теми способами, методами и инструментами, которые предлагает методическая наука.

Таким образом, второй прием выступает практической реализацией первого, аналитического, а оба они составляют два обязательных этапа проведения социологического исследования.

Часто контроль выборки употребляют в расширенном значении, включая в него также ремонт выборки. В этом случае говорят о широком понимании ремонта выборки как первичной статистической обработки данных, включающей коррекцию: а) выборочной совокупности; б) распределений социально-демографических характеристик респондентов; в) резко выделяющихся и пропущенных ответов, а также взвешивание исходных данных. Указанные виды коррекции призваны отремонтировать самое главное — выборку исследования, повысить степень ее репрезентативности. Почему это главное? Анкета может быть исключительно интересной, глубокой и содержательной, но запустили ее на плохом массиве, т. е. нерепрезентативной выборке. Усилия всего коллектива пошли насмарку, так как цена такой информации почти нулевая. Вот почему в рассматриваемых ниже видах коррекции, даже если они касаются заполнения анкеты и к выборке имеют вроде бы косвенное отношение, фокус внимания один-единственный — выборка.

Основная цель ремонта выборки — повышение качества уже собранной информации. Процедура ремонта выборки включает несколько операций.

Коррекция выборочной совокупности. Далеко не всегда отобранные респонденты, по самым разным обстоятельствам, могут или желают отвечать на вопросы. Кто-то заболел или уехал в срочную командировку, другой отказывается по идейным соображениям или не способен отвечать в силу умственной недостаточности. Кого-то трудно застать дома, хотя анкетер приходил к нему не единожды.

Возникает проблема замены респондентов, которая может быть решена с помощью нескольких методов: выбор следующего по списку респондента (например, следующего номера в телефонном справочнике), использование первоначальной выборки больших размеров и формирование повторной выборки. В последнем случае, если процент ответов оказался намного ниже, чем ожидалось, основа выборки расширяется за счет дополнительных имен, найденных, например, случайным образом. Самым эффективным способом считается поиск эквивалентной замены. Если, к примеру, в вашу выборку попал работающий пенсионер такой-то национальности и овдовевший, то желательно подыскать ему в качестве замены другого пенсионера сходного возраста, национальности, овдовевшего и работающего. Нередко подобный способ превращается в трудои времязатратное мероприятие. Если список генеральной совокупности невелик и найти замену не удается, следует отказаться от эквивалентного метода и перейти к другому.

Коррекция распределений демографических характеристик респондентов. Если по окончании исследования в паспортичке вашего исследования получилось, что у вас, к примеру, перебор женщин, людей с высшим образованием или пожилых людей в сравнении с теми процентными долями, которые они имеют в генеральной совокупности, то можно применить три способа: 1) удалить те группы респондентов, которые оказались представлены в избыточном количестве; 2) доопросить те группы, которые оказались представленными в недостаточном количестве; 3) математически повысить значение ответов, представленных недостаточно, или снизить — представленных избыточно. Но сначала желательно выяснить, а влияет ли то и другое на содержание ответов. Может быть, все можно оставить и так.

Взвешивание исходных данных — математический способ повышения или понижения значения ответов конкретной группы респондентов (например, незамужних сельских женщин в возрасте от 30 до 45 лет). Взвешивание означает присваивание каждому респонденту определенного веса (коэффициента, на который нужно умножить все мнения-ответы одного или группы респондентов ради восстановления репрезентативности). По мнению А. Балабанова41, взвешивание — единственный способ восстановления репрезентативности в панельных исследованиях без потери точности. Поскольку способов взвешивания существует очень много, то перед социологом возникают достаточно непростые методологические проблемы, которые без соответствующей подготовки и знаний решить невозможно. Весовые коэффициенты можно определять по-разному, а сам процесс присвоения коэффициентов почти невозможно контролировать со стороны, другим исследователям. Самый простой способ — численность конкретной социально-демографической группы, например подростков от 13 до 17 лет, из генеральной совокупности (N) делят на количество респондентов, представляющих данную возрастную группу (п), полагая, что один респондент представляет мнение V человек генеральной совокупности.

Сотрудники Института социологии АН СССР А. А. Давыдов и А. О. Крыштановский в свое время установили любопытные факты42. Оказывается, демографические признаки респондентов почти никак не связаны с ответами об удовлетворенности работой и жизнью, оценкой темпов перестройки, одобрением деятельности политических лидеров, оценкой внешнеполитических событий и т. д. Другими словами, мужчины и женщины одинаково отвечают на вопросы об удовлетворенности жизнью или о политических событиях. Для этих индикаторов перевзвешивание проводить не нужно. Если же одна характеристика, например пол, тесно связана со всеми содержательными вопросами или разные вопросы связаны с различными характеристиками, то коррекцию придется делать по схеме, описанной в пособии.

Специалисты ВЦИОМ обеспечивают при анализе данных тщательный ремонт выборки, чтобы минимизировать отклонения, возникшие на этапе полевых работ. Особенно сильные смещения наблюдаются по параметрам пола и возраста.

Коррекция резко выделяющихся ответов респондентов. При опросе иногда попадаются такие ответы респондентов, которые резко выделяются на общем фоне. Причины могут быть самые разные: респондент неправильно понял вопрос анкеты, у него оригинальные взгляды на мир или попросту решил подшутить над учеными. Могут быть и другие причины. Но вернуться к нему и переспросить уже нельзя. В таком случае, особенно если анкет много, бракованный экземпляр лучше удалить из общего массива.

Коррекция пропущенных ответов. Пропуски чаще всего возникают в открытых и табличных вопросах. Самый простой способ коррекции — исключить их или всю анкету из научного анализа. При пропуске не содержательного вопроса, а того, что имеется в паспортичке, поступают так. Если социально-демографические характеристики не связаны с содержательными ответами, то анкете с пропущенными значениями следует присвоить наиболее часто встречающиеся в выборке социально-демографические характеристики либо определить их случайным образом или пропорционально (если таких анкет много). Если же связь есть, то следует определить, к ответам какой группы (например, мужчин или женщин) ближе ответы в анкете, где графа «пол» не указана, и внести этот признак44.

Если данных получено много, то ремонт выборки может осуществляться за счет сокращения выборочной совокупности. Это, по мнению А. А. Давыдова и А. О. Крыштановского, наиболее рациональный подход к ремонту выборки, поскольку данная стратегия не опирается ни на какие дополнительные допущения. Если объем выборки незначителен, то для ее ремонта нужно принимать ряд дополнительных допущений, которые не следуют из собранного материала и истинность которых трудно проверить.

Переформирование выборки осуществляется тогда, когда проверка показала, что выборка не представляет совокупность в целом. В этом случае выбираются новые респонденты, и они добавляются к ранее использованной выборке, пока не достигается удовлетворительный уровень репрезентативности.

Далеко не все социологи, организующие эмпирическое исследование, включают данные о контроле и ремонте выборки в его «паспортичку». Так, среди 300 исследований, содержавшихся в Банке данных ИС АН СССР на 1988 г., лишь в десяти осуществлялся ремонт выборки45. Для сравнения отметим: за рубежом ремонт выборки уже давно стал распространенным методом повышения качества социологической информации.

Раньше причины отставания таились в отсутствии вычислительной техники, специализированного программного обеспечения, методических пособий, недостаточной квалификации исследователей. Сегодня есть и техника, и нужные программы, но проблема не решена. Видимо, ее нельзя свести лишь к техническим аспектам.

На практике ошибка выборки определяется путем сравнения известных характеристик генеральной совокупности с выборочными средними. В социологии при обследованиях взрослого населения чаще всего используют данные переписей населения, текущего статистического учета, предшествующих опросов на том же объекте. В качестве контрольных параметров обычно применяются социально-демографические признаки (пол, возраст, национальность, семейное положение). Поскольку сравнение своих и чужих данных можно сделать по завершении исследования, такой способ контроля называется апостериорным, т. е. осуществляемым после опыта. ошибка выборка социологический информация Например, институт Дж. Гэллапа, использующий выборки объемом 1500 чел., контролирует репрезентативность по имеющимся в национальных цензах данным о распределении населения по полу, возрасту, образованию, доходу, профессии, расовой принадлежности (белый — цветной), месту проживания, величине населенного пункта46. В исследованиях, проводимых ВЦИОМ, надежность выборочных данных определяется методом апостериорного контроля. В анкету мониторинга обязательно включают несколько вопросов, по которым имеется надежная информация в Госкомстате РФ. К ним обычно относятся пол, возраст, образование, тип поселения, семейное положение, сфера занятости, должностной статус респондента. Четыре показателя — пол, возраст, образование и место жительства респондента используются для выделения контролируемых групп при определении весов опрошенных — они должны соответствовать аналогичным группам в генеральной совокупности47. Поскольку из официальной статистики известно, сколько в России мужчин и женщин, то легко сравнить по этим цифрам данные мониторинга и определить погрешность.

В обследованиях Центра «Социо-Экспресс» Института социологии РАН репрезентативность всероссийской выборки (проектный объем 2 тыс. чел.) контролируется по региональным пропорциям численности населения, пропорциям между городским и сельским населением, пропорциям между населением указанных типов населенных пунктов. Опрос производится методом формализованного интервью по месту жительства. В основе размещения выборки лежат десять экономико-географических зон, в каждой из которых выделяются крупные города (численностью свыше 500 тыс. населения), средние города (50—500 тыс.), малые города (до 50 тыс.) или поселки городского типа, а также сельские населенные пункты. Авторы полагают, что предельная ошибка их выборки не превышает 3%48.

Эффективным контролем выборки и вообще качества данных в исследовании служит публикация ключевых характеристик исследования, прежде всего методического инструментария. Если автор исследования скрывает информацию, указывая на коммерческую тайну, то обязательно должно возникнуть подозрение в его нечистоплотности. Как справедливо замечает А. Балабанов, все методики измерений, даже в сфере маркетинговых исследований и масс-медиа, давно известны, они абсолютно открыты и не могут являться объектом коммерческой тайны. Более того, отсутствие данных о методике измерений является нарушением всех имеющихся в мире соглашений, в частности о медиаизмерениях.