Логический контроль анкеты

Вновь созданная анкета всегда нуждается в контрольной проверке самыми разными способами на соответствие методическим критериям. Часть вопросов доступна логическому контролю на уровне экспертных оценок, а другие вопросы требуют эмпирической, экспериментальной проверки в специализированном пробном исследовании. Как правило, логический анализ и пробное исследование образуют две последовательные процедуры. Их цель — оценить качество разработанной методики опроса.

Логический контроль анкеты, позволяющий проверить ее на соответствие научным критериям качества, проводится в самом конце — по окончании компоновки анкеты.

Логический контроль — это соотнесение каждого вопроса анкеты, ее композиции и организационных решений по проведению опроса со списком нормативных требований. Он проводится либо самим автором, либо членами специальной экспертной комиссии (совета).

Правильно организованный логический контроль строится по двум осям декартовой системы координат, в сумме дающим четыре квадрата (рис. 8.3).

Рис. 83. Координатная система логического контроля анкеты

Ось X можно назвать параметром «часть — целое». Она представляет собой контроль правильности формулировки вопросов и правильность компоновки всей анкеты, ее композиции.

Ось Y можно назвать параметром «логическое — психологическое». Она представляет собой контроль соответствия каждого вопроса логическим и психологическим критериями.

На вертикальной оси Y (параметр «логическое — психологическое») каждый вопрос проверяется по следующим критериям.

• 1. Не забыты ли (если они нужны) такие варианты ответов, как «не знаю», «затрудняюсь ответить», «не помню», «не думал об этом» и т. п., дающие возможность респонденту уклониться от ответа, когда он сочтет это нужным?
• 2. Не следует ли добавить к некоторым закрытым вопросам позицию «другие ответы» со свободными строчками для дополнительных высказываний респондентов?
• 3. Относится ли вопрос ко всей совокупности опрашиваемых или только к некоторой части этой совокупности? (В последнем случае добавляют вопрос-фильтр.)
• 4. Достаточно ли объяснена респонденту техника заполнения вопроса?
• 5. Нет ли логического несоответствия между смыслом формулировки вопроса и шкалой измерения?
• 6. Содержатся ли в формулировке вопроса слова, термины, которые могут быть непонятны опрашиваемым? Как их заменить, не нарушая смысла вопроса?
• 7. Не превышает ли вопрос компетентности опрашиваемого? (Если такое подозрение есть, нужен контрольный вопрос-фильтр на поверку компетентности.)
• 8. Не превышает ли вопрос возможностей памяти опрашиваемых?
• 9. Не слишком ли многочисленны варианты ответов на вопрос? Если это так, то нужно расчленить список на тематические блоки и вместо одного вопроса сделать блок вопросов.
• 10. Не задевает ли вопрос самолюбия респондента, его достоинства, престижных представлений?
• 11. Не вызовет ли вопрос отрицательных эмоций у опрашиваемого (опасения за последствия опроса, неприятные ассоциации, печальные воспоминания и другие негативные эмоциональные состояния, нарушающие психологический комфорт ситуации опроса)?

На вертикальной оси Y (параметр «логическое — психологическое») композиция анкеты в целом проверяется на соответствие следующим критериям.

• 1. Соблюдается ли принцип расположения вопросов от наиболее простых в начале анкеты к наиболее сложным в середине и простым в конце?
• 2. Нет ли влияния предшествующих вопросов на последующие?
• 3. Отделены ли смысловые блоки вопросов «переключателями внимания», обращениями к респонденту, информирующими о начале следующего блока?
• 4. Снабжены ли вопросы-фильтры указателями-переходами для разных групп респондентов?
• 5. Нет ли скоплений однотипных вопросов, вызывающих ощущение монотонности и утомления у респондента?
• 6. Нет ли нарушений в верстке и графическом оформлении анкеты? (Перенос части вопроса на другую страницу, неразлинованные таблицы, «слепой» текст анкеты, недостаточное место для ответов на открытые вопросы и т. п.)

Эти странные опросы… В период Великой Депрессии 30-х rr. XX в. в США кому-то пришло в голову провести социологический опрос. Американцам, уставшим от голода, холода, безработицы и бандитизма, задавали единственный вопрос: «Скажите, мы, американцы, великий народ?» И засучили американцы рукава и начали работать, рядом с белым встал негр, богатый объединился с бедным.

На горизонтальной оси А" (параметр «часть — целое») каждый вопрос проверяется, но следующим критериям¹.

• 1. Какова искомая информация данного вопроса (индикат)?
• 2. Обеспечивает ли формулировка вопроса его индикаторную функцию, даст ли он искомую информацию? Не произойдет ли замены индикаторов?
• 3. Не следует ли предусмотреть возможность уклониться от ответа?
• 4. Относится ли данный вопрос ко всей совокупности опрашиваемых или только к некоторой ее части? Не следует ли добавить вопросы-фильтры или другие указатели адресатов?
• 5. Не является ли вопрос внушающим, т. е. содержит ли он установки исследователя по поводу социально одобряемых ответов?
• 6. Соответствуют ли варианты ответов в закрытом вопросе смыслу основной формулировки вопроса? Обеспечена ли основная задача вопроса перечнем вариантов ответов?
• 7. Нет ли в формулировке вопроса сложных слов, смысл которых будет непонятен или неизвестен респондентам?
• 8. Не содержится ли здесь слов или выражений, допускающих неоднозначное понимание?
• 9. Достаточно ли проста для восприятия синтаксическая конструкция вопроса? Нельзя ли ее упростить, сделать более четкой?

• 10. Не слишком ли многочисленны варианты ответов в закрытом вопросе, не стоит ли расчленить их на тематические блоки?
• 11. Не предъявляет ли вопрос завышенные требования к памяти респондента?
• 12. Не является ли вопрос «острым» для респондентов, связанных с социальным или психологическим «табу»? Не задевает ли он самолюбие респондента, интимные стороны его жизни?
• 13. Соответствует ли смысл вопроса и его содержание компетентности и информированности опрашиваемых, уровню их обыденных представлений, житейской практике?
• 14. Является ли вопрос достаточным для получения необходимой информации? Не нужно ли добавить контрольные вопросы на искренность и логическую непротиворечивость?

Неискренность — результат редактирования респондентами своих «истинных» ответов с учетом идеального образа «Я», жизненных целей, мотивов и интересов¹.

Перечень такого рода вопросов — своеобразный методический «тест», обеспечивающий контроль качества каждого вопроса. Технически он осуществляется так. Первый вариант: в тексте анкеты рядом с каждым вопросом записываются номера тех критериев (или их сокращенные обозначения), по которым данный вопрос получил замечание. Второй вариант: рядом с каждым критерием выписываются номера вопросов, получивших замечания по данному критерию. Результатом такого анализа будет комплексная оценка каждого вопроса по всем названным критериям. Вся совокупность вопросов разделится на три группы в зависимости от возможности их доработки. Первая группа — вопросы, признанные пригодными для использования в опросе без дальнейшей проверки и доработки. К ним относятся не получившие замечаний и те вопросы, где замечания доступны редактуре без экспериментальной проверки. Вторая группа — вопросы, либо получившие небольшое количество замечаний, либо имеющие грубые логические и методические просчеты и признанные непригодными к использованию. Они подлежат выбраковке. Третья группа — вопросы, нуждающиеся в экспериментальной или зондажной проверке в пробном исследовании. По поводу каждого (или большинства) из них необходимо знать, какие их методические характеристики будут проверяться в пробном исследовании. В зависимости от этого ставятся конкретные задачи и процедуры для пробного исследования. Рассмотрим несколько примеров.

• Существует опасение, что некоторые слова непонятны. В пробном исследовании проводится тестирование респондентов, но списку этих слов. Если потенциально непонятных слов мало, то их содержание проверяется дополнительными вопросами в устной форме во время пробного исследования. Кроме того, понимание языка анкеты контролируется также методом наблюдения во время пробного опроса, когда анкетер фиксирует все случаи непонимания прямо в анкете вместе с вопросами.

Социологический практикум Определите по приведенному ниже фрагменту научной статьи, правильно ли и достаточно ли полно дано описание методической части эмпирического исследования.

В проведенном в 2009 г. исследовании методом анкетирования участвовали 1100 респондентов. В г. Магнитогорске опрошено 500 человек, в средних и малых городах (Троицк, Миасс, Сибай, Белорецк, Межгорье, Верхнеуральск, Карталы и др.) — 400, в сельских районах (Агаповский, Брединский, Троицкий, Верхнеуральский, Кизильский, Абзслиловский, Белорецкий и др.) — 200. В исследовании приняли участие 50,2% женщин и 49,8% мужчин: 48,7% респондентов заняты на предприятиях, 16,6% являются служащими, 13,8% работают по найму в частном бизнесе, 4,5% — пенсионеры, 4% — студенты, 3,9% — домохозяйки, 3,7% — безработные, 3,4% — предприниматели^[1].

• • Проверяется соответствие вариантов ответов в закрытом вопросе языку и системе представлений опрашиваемых, уровню их информированности. В пробном исследовании «подозреваемые» вопросы задаются в открытой форме, а затем полученные ответы сравниваются с «кабинетными» вариантами и производится доработка. При этом никакую проверку нельзя заменить использованием «полузакрытой» формы вопроса. Среди социологов распространено мнение, что «кабинетный» вариант вопросов не нуждается в апробации, если к нему добавить вариант «другое мнение». Неявно предполагается, что все недостающие варианты допишет респондент. Однако практика показывает, что дополнений бывает очень мало. Респонденты подбирают варианты из предложенного списка даже в тех случаях, когда последний не соответствует их личному мнению.
• • Существует сомнение по поводу формы вопроса: ставить ли его в открытой или закрытой форме, какую выбрать шкалу (трех-, пяти-, семичленную), сделать ли вопрос в виде теста на незавершенное предложение, либо в виде картотеки? В таком случае после логического обоснования формы вопроса, надо провести экспериментальную проверку отобранных вариантов, сравнить результаты и выбрать наиболее пригодный.
• • Возникли сомнения в однозначности восприятия смысла вопроса. Здесь надо заранее продумать, какой (какие) дополнительный вопрос следует задать респонденту, чтобы проверить понимание смысла вопроса и ответа. Обычно достаточно попросить респондента прокомментировать или пояснить свой ответ.

Социальные факты. Один из основателей социологии Эмиль Дюркгейм утверждал, что социальные факты следует объяснять только при помощи других социальных фактов. Что это значит? Самоубийства, изменение престижа профессий, миграцию, социальное восхождение, неравенство, бедность, как и любой другой факт, попадающий в поле зрения социолога, необходимо объяснять лишь при помощи того, что происходит в обществе, а не в теле, душе, морали или космосе.

Так, Эмиль Дюркгейм установил, что уровень самоубийств очень различался между европейскими странами и между социальными группами внутри одной страны. Причину не удалось найти в разнице климатических условий или расовом факторе. Ее нашли в социальной интеграции чувства принадлежности к своей ipyiine, сплоченности. И вот выяснилось — уровень самоубийств ниже у католиков, культивирующих единство, чем у протестантов, развивавших индивидуализм, у женатых, чем у холостых, у имевших детей, чем у бездетных. Социальная интеграция, интенсивность социальных связей — это социальный факт.

Результатом логического контроля анкеты выступает совокупная оценка ее качества, которая характеризуется числом полученных замечаний по различным критериям. В зависимости от него все вопросы анкеты сортируются, и отбраковываются те из них, которые содержат очевидные методические просчеты, не поддающиеся исправлению. Их целесообразно заменить на вопросы, имеющие иное методическое решение. Сам по себе логический контроль качества вопросов анкеты служит подготовительной процедурой для разработки задач пилотажного (пробного) исследования.

Окончательный вердикт качеству всей анкеты выносит пилотажное (пробное) исследование. Оно вскрывает все недочеты анкеты, и особенно в составлении вопросов. Один из верных показателей непригодности вопроса — большая доля не ответивших или затруднившихся ответить на него. Значение данного показателя интерпретируется в зависимости от познавательной задачи вопроса. Если изучается распространенное явление, о котором должны знать все или подавляющее большинство людей, а доля затруднившихся ответить высока, то это свидетельство методической погрешности в составлении вопроса. А если измеряется информированность опрашиваемых о достаточно редком явлении и доля неответивших или затруднившихся ответить высока, то вполне можно заключить, что вопрос соответствует поставленной задаче.

Логические требования к разработке вопросов дополняются комплексом требований социально-психологического характера, которые учитывают такие особенности опрашиваемых, как их информированность, специфика жизненной ситуации, память, навыки самоанализа, умение устно и письменно характеризовать свои мысли, чувства, отношение к опросу и желание сообщить необходимую социологу информацию¹.

Следует отметить, что логические и социально-психологические ошибки чаще всего сопутствуют друг другу. Например, ошибки, связанные с превышением информированности респондентов о предмете опроса, как правило, встречаются в вопросах, где нечетко определена познавательная задача. В них, кроме того, встречаются и научно-теоретические понятия, которые нуждаются в эмпирической интерпретации, вследствие чего нарушается требование соответствия научного языка опрашиваемым.

Пример 8.5.

Логически ошибочный вопрос: «Знаете ли вы, как фактически изменились технико-экономические показатели вашей деятельности за последние 12 месяцев?».

¹ См.: Методическое пособие социолога-практика (Словарь-справочник) / под ред. Д. А. Шевченко, А. И. Кравченко.

Подобный вопрос имеет усложненную логическую структуру. Фактически это блок из трех вопросов, каждый из которых имеет свой предмет (производительность труда, фондоотдача, качество продукции), по поводу которого требуется получить мнение респондента. Самооценка фиксируется по трехчленной шкале, причем, в обобщенном виде (за последние 12 месяцев). Зрительно формулировка логического задания респонденту оказывается как бы разорванной. Чтобы получить целостное впечатление, респонденту приходится трижды «воссоединять» вводную часть вопроса со второй ее частью. Например: «Знаете ли вы как фактически изменилась производительность вашего труда (в натуральных стоимостных показателях) за последние 12 месяцев?»; «Знаете ли вы, как фактически изменилась фондоотдача ???» и т. д.

Табличная конструкция вопроса сильно усложняет восприятие его смысла и, следовательно, ответ на него. Она употребляется чаще всего при интервьюировании. Для обученного интервьюера не представляет труда воспроизвести табличную конструкцию в виде трех самостоятельных вопросов (он устно повторяет их), а ответы зафиксировать в таблице. Это существенно экономит затраты бумаги на тиражирование анкет. Однако при анкетировании подобный прием (несмотря на его всеобщую распространенность) увеличивает число ошибок и ведет к формальным ответам.

Табличный вопрос — типичный пример некритического переноса научной терминологии в язык анкеты. Чтобы этого не случилось, надо использовать речевые эквиваленты для технических терминов типа «натуральные стоимостные показатели», «фондоотдача», «деятельность» и т.н. В терминах научного языка ставится только исследовательская задача, но не анкетный вопрос.

«Соломенные опросы» (straw polls) — самый ранний тип массового анкетного исследования, проводившийся почтово-прессовым способом и позволявший в короткие сроки и за небольшую цену получить информацию по самым разным вопросам, прежде всего политическим.

Понимание языка анкеты проверяется пробным исследованием с помощью постановки открытых вопросов и тестов па информированность. Поскольку респондент должен самостоятельно формулировать ответы, то сразу обнаруживается непонимание им смысла вопроса или отдельных слов. Тогда респондент задает вторичные уточняющие вопросы либо просит разъяснить смысл вопросов. Тесты на информированность состоят из списков слов, которые могут быть непонятными опрашиваемым по предложению автора анкеты. Респондентов просят в письменной или устной форме объяснить значение этих слов.

Полученные ответы разбиваются на три группы: совершенно правильные, частично правильные, совсем неправильные. Критерием оценки правильности ответа служит определение слова, данное в толковом словаре. Полученные оценки владения респондентами исследуемым списком терминов служат основанием для их использования или замены.

Следует отметить, что универсальных рецептов, но разработке словаря анкет не существует. В каждой исследовательской ситуации социолог заново определяет соответствие разработанного инструментария социально-психологическим требованиям.

Одним из требований к формулировке вопросов выступает учет нормативных представлений респондента о «запретных» темах (социологические и психологические «табу»). Нарушение приводит к тому, что на такие вопросы многие не отвечают либо дают недостоверную информацию. Это могут быть вопросы о социально неодобряемом поведении (нарушениях дисциплины, плохом качестве работы, употреблении спиртных напитков, конфликтах на работе или в семье), вопросы об интимных сторонах личной жизни, вопросы, связанные с нарушением положительной самооценки человека или необходимостью давать негативные оценки близким людям.

Выявляются «табу-вопросы» в пробном исследовании. В исследовании образа жизни было установлено, что вопрос о жизненных планах на ближайшее пятилетие, нейтральный для молодежи и лиц среднего возраста, оказался острым для людей преклонного возраста и с плохим здоровьем^[2].

• [1] См.: Мустаева Ф. А. Семья в условиях финансово-экономического кризиса //Социс. 2010. № 7. С. 66−68.
• [2] См.: Методическое пособие социолога-практика (Словарь-справочник) / под ред.Д. А. Шевченко, А. И. Кравченко.