Комиссия Фредерика Мостеллера

Через несколько дней после выборов журнал «BusinessWeek» опубликовал фотографии отцов-основателей; под фотографиями было написано: «Джордж Гэллап… Арчибальд Кроссли… Элмо Роупер пытаются объяснить…» и далее крупно: «почему электоральные опросы были ошибочными»¹⁰⁵.

Это было интересно многим, и прежде всего, членам профессионального сообщества полстеров. С одной стороны, электоральные прогнозы ввиду очевидной возможности проверить их качество предоставляют уникальную возможность для тестирования измерительного инструмента. С другой стороны, ошибки, допущенные при определении электоральных намерений, могут обладать универсальной природой и присутствовать при измерениях всех видов установок. Здесь профессионалам впервые предстояло провести тщательную экспертизу использовавшейся ими технологии опросов.

Через восемь дней после президентских выборов Американской ассоциацией исследователей общественного мнения был создан Комитет по анализу предвыборных опросов и прогнозам, в который вошли представители многих организаций, изучавших политические установки и потребительские предпочтения. Гэллап, Кроссли и Роупер согласились сотрудничать с этим комитетом и предоставить ему необходимую информацию. 11 ноября была образована группа по анализу материалов, отражающих все стадии и процедуры выработки электорального прогноза. Ее возглавил молодой, но опытный статистик, профессор Гарвардского университета Фредерик Мостеллер. Общий контроль над работой группы осуществлялся признанными уже в то время специалистами Самуэлем Стауффером и Самуэлем Уилксом (Samuel Stanly Wilks, 1906;1964). Работа проводилась быстро, 27 декабря 1948 года отчет был завершен и представлен Комитету по анализу предвыборных опросов и прогнозам¹⁰⁶.

Были выделены две группы причин возникновения погрешностей: первая — ошибки выборки и интервьюирования, вторая — ошибки прогнозирования. Оказалось, что среди опрошенных был некоторый избыток респондентов, окончивших колледж, и нехватка тех, кто имел лишь школьное образование. Кроме того, эксперты рекомендовали использовать вопросы-фильтры для более четкого отделения тех, кто будет участвовать в выборах, от тех, кто не будет. Ошибки прогнозирования связывались с допущениями относительно поведения тех, кто на момент последнего опроса не принял решение о голосовании, и гипотезами о возможных сдвигах в избирательных намерениях на завершающей стадии избирательной кампании.

Однако и после завершения группой Мостеллера своей работы оставалось множество вопросов: частных — о причинах погрешностей электоральных прогнозов и общих — о путях развития исследований общественного мнения и совершенствования опросной технологии. В первой половине февраля 1949 года важнейшие аспекты этой тематики были вынесены на конференцию, состоявшуюся в родном для Гэллапа Университете Айовы. Организовал конференцию профессор Норман Мейер (Norman Charles Meier, 1893−1967), чей краткий курс социальной психологии студент Гэллап слушал в 1924 году. По-видимому, студенту понравился предмет и то, как он излагался, а преподавателю — отношение студента к занятиям: его знаниям была дана оценка «А». На протяжении многих лет Мейер занимался психологией искусства, но одновременно в середине 1930;х годов он начал сотрудничать с Гэллапом в области измерения политических установок.

Время проведения этого научного форума, перечень обсуждавшихся вопросов, состав участников — все вместе сделало изданную по итогам конференции книгу важнейшим документом по истории опросов общественного мнения¹⁰'. Следует подчеркнуть и то, что на этой конференции Кроссли и Гэллап впервые высказали свое понимание причин погрешностей в электоральных прогнозах 1948 года и отношение к выводам группы Мостеллера.

Первым на заседании, посвященном причинам расхождения между результатами опросов и итогами выборов, выступил Кроссли¹⁰⁸. Прежде всего он сообщил, что «его организация не осуществляет опросы постоянно, и общий доход от всех опросов, проведенных по заказам газет после 1936 года, определенно меньше, чем доход, поступающий от сотрудничества с одним заказчиком, которое, между прочим, началось 2 ноября 1948 года и будет завершено ранней весной». И далее: «Мы не проводим сейчас политические опросы и не планируем их проведение в будущем. Но мы относимся с огромным интересом к использованию опросных приемов при исследовании рынка»¹⁰⁹. Таким образом, Кроссли обосновал свою заинтересованность в обстоятельном анализе погрешностей измерения и прогнозирования.

Далее Кроссли сказал:

«Результаты опроса, проведенного за три недели до выборов и рассмотренные с учетом более ранних интервью, показали, что Трумэн имел 44,8 процента ожидавшихся голосов и происходил медленный рост его поддержки. Он получил 49,5 процентов голосов тех, кто голосовал за президента. 1,4 процента избирателей не голосовали ни за одного из кандидатов»¹¹⁰.

По оценкам Кроссли, в выборах должен был участвовать 51 миллион человек, в действительности общее число голосовавших было 49,4 миллиона¹¹¹. Он обозначил центральную тему обсуждения:

«Различие между нашей оценкой доли тех, кто решил голосовать за Трумэна, и долей электората, действительно голосовавшего за него, составило 4,7 процента. Перед нами сейчас стоят два вопроса:

• — какая часть этих 4,7 процентов составляет ошибку?
• — что было причиной ошибки?"¹¹².

Ссылаясь на анализ группы Мостеллера, Кроссли отметил, что за две недели, остававшиеся до выборов, Трумэн увеличил долю своего электората на 2−3 процента. Таким образом, заключал он, ошибка прогноза сокращалась до 1,7−2,7 процентов. При этом он склонялся к показателю 1,7.

Эксперты, напоминал Кроссли, указали следующие причины погрешностей в предсказании итогов выборов:

• 1. Допущение, что не решившие, за кого голосовать, будут голосовать в целом так же, как те, кто в момент опроса знал, за кого он проголосует; это могло привести к ошибке в 1,5 процента.
• 2. Формулировки использованных вопросов.
• 3. Недопредставленность в выборке сельского населения.
• 4. Тот факт, что выборка недостаточно хорошо отражала распределение электората по уровню дохода; это могло привести к погрешности в 1,5 процента.

Кроссли далеко не во всем был согласен с этими выводами. Вопервых, говорил он, трудно просчитать, как могли голосовать те, кто на момент финального опроса не определился с выбором. Не видел он и доказательств того, что принятое им допущение могло повлечь погрешность в 1,5 процента. Во-вторых, по мнению Кроссли, не было оснований полагать, что формулировки вопросов могли привести к погрешности измерения. В-третьих, он был готов согласиться с критикой своей выборки, но не находил в материалах комиссии доказательств того, что использованный тип выборки мог привести к заметным погрешностям в финальном опросе: «Слово „квота“ сейчас предается анафеме, а слово „вероятность“ объявляется священным»¹¹³. Но, объяснял он, в маркетинговых исследованиях используются разные типы выборок, и он не видит преимуществ одного типа перед другим. Вероятностная выборка и более дорогая, и более трудоемкая. Если ее реализовать не в полной мере, это ведет к крупным ошибкам, поэтому при необходимости выбора между плохой вероятностной и хорошо спланированной и организованной стратифицированной выборкой следует предпочесть последнюю.

В целом Кроссли считал, что 2-процентная погрешность вполне допустима в случае выборочного опроса, и все произошедшее он связывал с ранним прекращением опросов¹¹⁴. Он полагал, что за оставшееся до дня голосования время не может произойти серьезных изменений в электоральных установках. Свое выступление Кроссли завершил словами: «Это не ошибка на пути полстеров, которые до сих пор не определили, как корректировать стратификацию населения непосредственно перед голосованием. Это — вызов. Но как бы то ни было, я не думаю, что мы не ответим на этот вызов до конца своей жизни»¹¹⁵.

Выступление Гэллапа было одновременно и своеобразным отчетом о сделанном за последние годы; ведь два десятилетия назад он окончил Университет Айовы и никогда не порывал с ним связи. Гэллап призывал адекватно воспринимать возможности опросов, что делало бы более спокойным и обоснованным отношение к событиям ноября 1948 года. Свое выступление Гэллап начал так:

«Качество выборки, или опроса по стратифицированному принципу, в 1948 году нужно рассматривать в сравнении с 1935 годом, когда были заложены основания для постоянных опросов. В течение этого периода было проведено 512 электоральных прогнозов, в разработке которых участвовало около 20 организаций, работающих в 12 демократических странах. Только в нашей стране за 14 прошедших лет было сделано 446 прогнозов.

Средняя ошибка этих прогнозов, включая сделанный в ходе опроса 1948 года, равна приблизительно 4 процентам. …Победители были верно предсказаны в более чем восьми случаях из десяти. Это статистика, которой мы все можем гордиться. Вероятно, как сказал один из ранее выступавших, ни в одной из областей поведение человека не может быть предсказано с такой степенью точности. Ошибки, которые допустили организации, проводившие опрос в 1948 году, на мой взгляд, заключались в том, что я назвал бы ошибками в умозаключениях, но не в базовых процедурах. Эти ошибки были порождены, в определенной мере, отсутствием опыта в новой области"¹¹⁶.

Весьма образно Гэллап объяснил сложившееся в обществе представление о возможностях новой технологии изучения общественного мнения: «Благодаря нам у населения создалось представление, что опросы достигли абсолютного совершенства. Как кто-то сказал, люди начали думать, что мы можем ходить по воде. Но мы сами не знали об этом…»¹¹⁷.

Далее Гэллап рассказал, что им было сделано для создания у общества адекватного представления о возможностях опросных методов. Так, в апреле 1948 года он подготовил документ для Американской статистической ассоциации, в котором детально описал, с какой точностью проводились опросы в прошедшие годы. И добавил: «Всегда существует опасность, что население начнет предъявлять такие требования к точности предсказаний по материалам опросов, которые организации, проводящие опрос, не способны удовлетворить…»¹¹⁸. Этот документ был опубликован в виде брошюры, размножен и разослан в течение избирательной кампании всем членам конгресса, Американской ассоциации исследователей общественного мнения и политическим обозревателям газет и радио.

Кроме того, для августовского номера журнала «Cosmopolitan Magazine» Гэллап написал статью «Насколько точными являются опросы?», в которой отмечал: «Как ни странно, но одна из наших проблем заключается в том, что люди думают, будто опросы являются более точными, чем это есть на самом деле. Мы ожидаем достаточно точный прогноз исхода выборов в ноябре, но не можем надеяться, что попадем в „яблочко“. Точность до трех-четырех процентов будет вполне удовлетворительной… учитывая возможности опросов»¹¹⁹.

Это позволило Гэллапу утверждать, что сделанное Кроссли и другими аналитиками общественного мнения в 1948 году соответствовало обоснованным ожиданиям: «…чтобы предсказать с уверенностью результаты выборов, в которых участвовал мистер Трумэн прошедшей осенью, потребовался бы метод со средней погрешностью много меньше одного процента! Это слишком высокое требование к опросной технологии при нынешнем уровне ее развития»¹²⁰.

По мнению Гэллапа, использовавшаяся им опросная технология, хотя и содержала погрешности измерения, не могла привести к ошибкам прогнозирования. Было проинтервьюировано обоснованное количество людей с низким доходом. Объемы выборок были достаточными, чтобы обеспечить необходимую точность. Эксперименты показали и отсутствие большой ошибки интервьюирования.

Ошибку прогноза Гэллап прежде всего объяснял трудностями, связанными с оценкой изменений в установках, которые могут произойти в заключительные моменты избирательной кампании, и с определением уровня участия населения в выборах. Последнее, говорил Гэллап, является собственно проблемой Америки, где участие в выборах не является обязательным, как в Англии или Франции.

Прошло более полувека после фиаско-1948. За это время технология опросов и методика прогнозирования значительно усовершенствовались. Однако построение электоральных прогнозов во многом остается проблематичным.