Случайные и систематические ошибки

Уменьшение случайных ошибок при возрастании объема выборки и независимость систематических ошибок от величины массива. Сколько человек нужно опросить для получения репрезентативных данных? Примеры из практики исследовании. Почему предвыборный прогноз «Literary Digest» 1936 г. оказался ошибочным?

Ошибки выборки подразделяются на два типа. Случайные ошибки уменьшаются при возрастании объема выборочной совокупности. Так кубик при достаточно большом числе бросаний будет падать примерно равное количество раз на каждую грань. При нескольких бросаниях он может показать преимущественное выпадение, например «шестерки». Тогда мы говорим, что число наблюдений слишком мало, чтобы судить о неслучайности выпадения «шестерок». Но если «шестерки» выпадают постоянно при сотнях и тысячах бросаний, мы говорим: крайне маловероятно, чтобы это происходило случайно. Таким образом, случайная ошибка — это вероятность того, что выборочная средняя выйдет (или не выйдет) за пределы заданного интервала. При случайном отборе следует неукоснительно соблюдать следующую заповедь: критерии доступа к единицам исследования должны быть независимы от изучаемых переменных.

Чудесное свойство случайных ошибок уменьшаться при возрастании объема выборочной совокупности делает бессмысленными обследования огромных массивов, которые предпринимаются чаще всего с целью произвести впечатление на профессионально неподготовленного заказчика.

Даже национальные выборки достаточно малы. Первая национальная выборка в США, спроектированная в 1935 г. тогда только начинавшим карьеру «поллстера» Джорджем Гэллапом старшим, насчитывала 1327 человек и пропорционально отражала основные группы населения. Одной из наиболее важных тем общественного мнения тогда, в 1930-е гг., было возобновление запрета на производство и продажу спиртных напитков. Чтобы установить вариацию выборочной средней, обусловленную величиной массива, выборка была случайным образом разбита на три примерно равных по численности группы7. Посмотрим на распределение опрошенных в первой подвыборке (табл. 5.3).

Таблица 5.3

Отношение американцев к возобновлению запрета на спиртные напитки, опрос Дж. Гэллапа, 1935 г., первая подвыборка: 442 человека

Аналогичные результаты Гэллап получил во второй и третьей подвыборках примерно такой же величины. Каждая из них показывала некоторое отклонение от общей выборочной средней, и, если проанализировать подвыборки накопленным итогом, можно установить степень приближения результатов малых выборок к результатам большой. Мысленная экстраполяция совершенно точно указывает предел точности выборочной средней — это генеральная средняя. Но и на промежуточных стадиях видно, что подвыборочные средние отклоняются от параметров большой национальной выборки незначительно (табл. 5.4).

Таблица 5.4

Отношение американцев к возобновлению запрета на спиртные напитки, опрос Дж. Гэллапа, 1935 г., три подвыборки накопленным итогом, %

Третья строка таблицы показывает значения, полученные в проектной выборочной совокупности, — они ненамного отличаются от средней и малой подвыборок. А изменятся ли выборочные параметры при увеличении объема? Чтобы узнать это, Гэллап провел дополнительные обследования той же генеральной совокупности выборками нарастающего объема таким образом, что величина максимальной из них составила 12 494 человека. Каковы же результаты расширения выборки почти в десять раз (табл. 5.5)?

Таблица 5.5

Отношение американцев к запрету спиртных напитков в дополнительных выборках большего объема, опрос Дж. Гэллапа, 1935 г., %

Мы видим, что самое большое расхождение между данными по двенадцатитысячной выборке и другим выборкам меньшего объема составляет два процентных пункта (по признаку несогласия с запретом спиртного). Отсюда следует, что в обследовании отношения американцев к запрету спиртного выборка может состоять из 442, равно как и из 12 494 человек, а результаты будут практически одинаковыми.

В практике массовых опросов относительная несущественность количества обследованных для получения точных результатов демонстрировалась неоднократно. Надо заметить, что предвыборные опросы — вероятно, единственная область социологических обследований, в которых выборочные параметры получают незамедлительное подтверждение либо опровержение: параметры генеральной совокупности обнаруживают себя сразу же после подсчета голосов. В остальных обследованиях такой возможности нет, генеральная совокупность ничем себя не показывает. В получении точных данных при минимальной выборке и проявляется мастерство «поллстера».

В лаборатории по исследованию общественного мнения Принстонского университета, которой руководил Хэрви Кентрил, изучались предпочтения избирателей штата Нью-Йорк. Шел 1942 г. За неделю до выборов один интервьюер, разъезжая по штату, опросил 200 человек. Они распределились в соответствии с плотностью населения в различных зонах территории штата (табл. 5.6).

Таблица 5.6

Распределение выборочной совокупности в обследовании избирателей штата Нью-Йорк, опрос X. Кентрила, 1942 г., абс.

Продолжение

Респонденты были распределены также по расовой принадлежности, экономическому положению, возрасту. Эти переменные и определили структуру выборки. Избирательные предпочтения ньюйоркцев оказались следующими: за Дьюи собирались проголосовать 115 человек, за Беннета — 72, за Альфанжа — 12 и за Амстера — 1. Ошибка предсказания победы Дьюи составила 5%, средняя ошибка трех лидирующих кандидатов — 3,3% (табл. 5.7).

Таблица 5.7

Данные опроса выборочной совокупности численностью 200 человек и результаты выборов в штате Нью-Йорк, опрос X. Кентрила, 1942 г., %

Выборка Кентрила минимальна, зато точность его данных была всего на один процентный пункт меньше, чем в опросе «Нью-Йорк дейли ньюс», где численность опрошенных составила48 тыс. человек. Американский институт общественного мнения (Дж. Гэллап) основывал тогда свой прогноз на обследовании 2500 человек, и ошибка составила 1,3 процентных пункта8. Результаты неплохие.

Итак, даже очень маленькая выборка при условии, что она хорошо распределена в генеральной совокупности, может быть вполне репрезентативной. Чем больше объем выборки, тем выше точность ее результатов, однако очевидно, что огромная выборка не гарантирует стопроцентного попадания. Плохо распределенная выборка в десять миллионов человек хуже, чем хорошо распределенная выборка в сто человек.

Со времени своего создания в 1935 г. Американский институт общественного мнения провел сотни предвыборных опросов. Средняя ошибка репрезентативности в 1936—1940гг. составляла 5,6 процентных пункта, в 1940—1944 гг. — 3,4, в 1944—1947 гг. — 2,6. В 1944 г. прогноз Гэллапа на президентских выборах был выполнен с точностью до 1,8 процентных пункта, а средняя ошибка по 48 штатам составила 2,5. В 1950—1958 гг. ошибка прогноза была 1,7 процентных пункта, в 1960—1968 гг. — 1,5, в 1970—1978 гг. — 1,19.

Второй тип ошибок выборки — систематические ошибки. Это неконтролируемые перекосы в распределении выборочных наблюдений, которые приводят к «утере» проектируемого объекта исследования. В отличие от случайных систематические ошибки распределяются вокруг средней неравномерно, при возрастании объема выборки не уменьшаются. Число опрошенных здесь уже не имеет значения, потому что фактическая генеральная совокупность — та, что соответствует выборке, уже «уехала» от проектируемой, а исследователь продолжает надеяться на репрезентативность. Систематические ошибки в отличие от случайных не поддаются предварительному контролю.

Осенью 1936 г. в истории социологических исследований произошло событие, радикально изменившее представления о построении выборки для массовых опросов. В первые десятилетия XX в. американские газеты и журналы соревновались за то, чтобы стать выразителями общественного мнения. Журнал «Литерэри Дайджест» проводил «соломенные опросы» перед выборами с 1925 г. и никогда не ошибался. Рассылались миллионы почтовых бюллетеней — тем, кто числился в телефонных справочниках и списках автовладельцев. Система работала хорошо до тех пор, пока избиратели со средними и высокими доходами голосовали в равной степени и за демократов, и за республиканцев. И наоборот: избиратели с низкими доходами были склонны голосовать за любого кандидата.

С началом «Нового курса» американский электорат стал резко стратифицироваться: люди с доходами выше среднего, придерживавшиеся демократических взглядов, переменили их на республиканские, а те, кто принадлежал к малодоходным группам, стали симпатизировать демократической партии.

В 1936 г. на пост президента США претендовали Франклин Рузвельт — демократ и Альфред Лэндон — республиканец. Журнал «Литерэри Дайджест» разослал по почте десять миллионов бюллетеней — была охвачена примерно треть американских семей. Вернули бюллетени 2 376 523 человека. Очевидно, выборка «Литерэри Дайджест», состоящая из владельцев телефонов и автомобилей, была обречена на смещение в пользу республиканцев. Так и получилось. Предвыборный опрос показал, что за Лэндона собираются проголосовать 57% избирателей, а за Рузвельта — 43%. На выборах же победил Рузвельт с результатом 62,5%, а за Лэндона было подано 37,5% голосов.

К этому времени службы Дж. Гэллапа, Э. Роупера и А. Кроссли уже давно вели эксперименты с выборочными опросами. В частности, Гэллап в 1935 г. установил сдвиг политических ориентации состоятельных избирателей вправо, а бедных — влево. В 1936 г. он обнаружил, что большинство владельцев телефонов предпочитают Лэндона Рузвельту, в то время как только 18% получающих пособие собираются голосовать за Лэндона. 12 июля 1936 г., когда началась предвыборная кампания, Гэллап опубликовал статью с предупреждением об ошибке «Литерэри Дайджест», который, как считал автор, по всей вероятности, предскажет победу Лэндона над Рузвельтом со счетом 56: 44. Гэллап получил этот прогноз, разослав по почте всего 3 тыс. бюллетеней. Он подробно проанализировал причины возможной ошибки. В ответ в «Литерэри Дайджест» была опубликована сердитая статья, где редактор писал: «Никогда и никто еще не предсказывал результаты наших опросов еще до того, как они начались... Нашему доброму статистическому другу (имелся в виду Гэллап. — Г. Б.) можно было бы напомнить, что эти старомодные методы обеспечивают «Дайджесту» правильные прогнозы с точностью до одной сотой процента»10.

Основной источник систематической ошибки вопросе «Литерэри Дайджест» — использование для определения адресов респондентов телефонных справочников и регистрационных книг владельцев автомобилей. Естественно, выборка сместилась в сторону «верхних» слоев социальной структуры. Владельцы телефонов и автомобилей — группы, в значительной степени пересекающиеся, — и составили реальный объект исследования, в то время как проектируемый объект отождествлялся с электоратом США. В итоге сформировалась выборка из респондентов, избирательные предпочтения которых отличались от предпочтений среднего американца. Средневыборочные значения оказались смещенными в сторону более состоятельных и образованных слоев населения.

Эти социально-структурные параметры имели определяющее влияние на распределение доверия к Рузвельту среди электората. Проводимый президентом с 1932 г. «Новый курс» был основан на вмешательстве государства в сферу свободного предпринимательства, антимонопольной политике и защите интересов низших слоев населения, в том числе расширение избирательных прав для иммигрантов. Немаловажным фактором, обусловившим размежевание позиций избирателей, был и процесс крупных корпораций против Рузвельта в Верховном суде, который был выигран «капиталистами» в 1936 г. Это способствовало его популярности среди низших классов. Да и сам облик Рузвельта — человека, с молодых лет прикованного к инвалидной коляске, но сумевшего стать выдающимся политиком, импонировал демократическому большинству. Оптимальное размещение выборки в таких условиях было несовместимо с «уклоном» в сторону богатых. Этот «уклон» значительно усилился по причине пренебрежения со стороны аналитиков «Литерэри Дайджест» к динамике электоральных предпочтений в различных социальных стратах.

В предыдущих опросах «Литерэри Дайджест» анкеты рассылались тем же группам и прогнозы оправдывались, но в 1936г. не были учтены два исключительно важных обстоятельства: во-первых, дифференциация избирательных установок в зависимости от уровня доходов — эта тенденция усилилось с приходом в 1932 г. в Белый дом президента Рузвельта; во-вторых, значительное расширение избирательного ценза. Новые контингента электората в основном принадлежали к беднейшим классам — они и предпочитали видеть Рузвельта на посту президента.

Метод исследования — почтовый опрос — также усугубил ошибку. Вероятность возврата вопросника по почте была и остается намного выше у людей с высоким образованием и доходами выше среднего, а те, кто не возвратил заполненный вопросник, как правило, принадлежали к низшим классам. Поэтому, если бы даже поллстеры из «Литерэри Дайджест» использовали списки избирателей, а не телефонные справочники, выборка все равно оказалась бы смещенной в сторону богатых и образованных.

Против «Литерэри Дайджест» работал и фактор времени. Состоятельные и более образованные люди обычно определяют «своего» кандидата на президентских выборах еще летом и, вообще, заранее имеют по этому поводу обоснованную позицию, а «простые» люди ничего заранее не умышляют. «Литерэри Дайджест» опрашивал миллионы преуспевающих американцев как раз в начале сентября, когда богатые уже определились в своем выборе, а бедные еще нет. Ошибочно предполагалось, что полученная картина сохранится до ноября, в том числе сохранится и доля тех, кто не мог сказать ничего определенного. К осени ситуация стала меняться. Количество определившихся в своем «нет» Рузвельту осталось относительно стабильным, зато подгруппа не имеющих мнения начала резко сокращаться и перетекать в «да» Рузвельту. Так величайшая по объему выборка в истории массовых опросов оказалась ошибочной, и инцидент показал, что главное для репрезентативности — не объем, а хорошее размещение единиц отбора.

«Каждая единица имеет равный шанс попасть в выборку» — первый принцип выборочной процедуры. Тогда же, в июле 1936 г., молодые и еще неизвестные поллстеры (так стали называть тех, кто проводит массовые опросы, в отличие от социологов), опросив несколько тысяч человек, точно предсказали победу Рузвельту. С этого времени начался институциональный период в истории обследований общественного мнения. Институты Гэллапа, Роупера и Харриса к началу 1960-х гг. уже были международными корпорациями.