Схема эксперимента

Для чего нужна контрольная группа? Три способа выравнивания контрольной и экспериментальной групп. Задачи, решаемые экспериментом: сравнение, манипулирование, контроль, генерализация. Три условия экспериментального вывода: временная последовательность, ковариация, контроль «третьего» фактора. Определения внутренней и внешней валидности. Типичные нарушения внешней валидности: отсутствие репрезентативности и искусственно созданная экспериментальная ситуация.

Всякое человеческое действие, предпринятое для достижения определенного результата, — это эксперимент, более или менее успешный. Задача науки заключается в том, чтобы установить точные правила экспериментирования и применять их для достижения заданных параметров. Объектом эксперимента для социолога являются люди и социальные общности — часто их реакция на «научное» вмешательство оказывается непредсказуемой, во всяком случае для экспериментатора.

Логика экспериментального метода была разработана английским социологом и моралистом Джоном Стюартом Миллем, жившим в XIX в. Милль установил пять логических схем индуктивного вывода, одна из которых — «метод различия» — являет собой классическую схему эксперимента.

Схема эта довольно проста. Сначала берутся две совокупности (два объекта) и выравниваются по значимым признакам. Иначе говоря, нужно сделать так, чтобы группы практически не различались. Конечно, они не могут не различаться вовсе. Поэтому внимание экспериментатора сосредоточивается на значимых признаках, т. е. на тех, которые могут оказать влияние на результаты эксперимента.

Например, изучая воздействие телепередачи на политические установки зрителей, исследователь должен убедиться, что возраст испытуемых в различных группах варьирует незначительно. Почему возраст? Потому что из предшествующих исследований известно, что возраст влияет на политические установки. Следовательно, этот признак подлежит контролю. Несколько по-иному оценивается, например, численность блондинов, брюнетов или шатенов. Обычно такого рода параметрами при изучении политических установок пренебрегают, почему-то не считая их значимыми. Чем больше параметров учитывает исследователь, тем надежнее эксперимент.

Затем начинается полевой или лабораторный этап эксперимента. Иногда утверждается, что это самый главный этап — собственно эксперимент. Такое суждение опрометчиво. Успех или провал эксперимента зависит прежде всего от того, насколько тщательно проработаны его идеальная схема, план проведения и ожидаемые результаты. Лабораторное (полевое) исследование не должно сталкиваться с «нештатными» ситуациями, т. е. ситуациями, не предусмотренными предварительно разработанным планом. Если это происходит, полевую работу надо немедленно прекратить и вернуться к проектированию исследования. Неудача исследования заключается отнюдь не в отрицательном результате — иногда он имеет большее значение, чем Положительный, — а в получении ничего не означающих данных.

Предположим, что все идет «штатно» и мы находимся на полевом этапе эксперимента. Здесь одна группа объектов подвергается воздействию экспериментальной переменной. Все, кто работает в «опытных» науках, делают примерно одно и то же. Химик подвергает вещество воздействию реактива и затем наблюдает, как оно меняет цвет. Физик нагревает газы с целью продемонстрировать их расширение при нагревании. Агробиолог охлаждает семена и затем фиксирует динамику роста яровых (правда, потом это оказывается ошибкой). Социолог показывает студентам учебный фильм и констатирует усвоение материала.

На этом эксперимент не заканчивается. Чтобы убедиться в том, что данные результаты возникли вследствие воздействия именно экспериментальной переменной, а не какой-либо иной, следует сопоставить параметры экспериментальной группы с параметрами группы, где никаких воздействий не применялось. Различие между этими параметрами и есть результат воздействия экспериментальной переменной. Если различие нулевое или несущественное, мы констатируем отсутствие связи. Если применение экспериментальной переменной значительно изменяет распределение изучаемого признака, имеются основания предполагать причинную связь между ними. Такова общая схема, которая лежит в основании более сложных планов эксперимента.

Классический проект проверки гипотез предполагает работу с двумя объектами: экспериментальным и контрольным. Это не значит, что все экспериментаторы обязаны работать с двумя объектами. Естественные науки XIX в. не знали такого разделения объектов. Впервые экспериментальную и контрольную группы стали выделять в начале XX в.

В социологии и социальной психологии в качестве объектов выбираются группы, идентичные по составу. Экспериментальной группой называется та группа, к которой «применяется» изучаемая независимая переменная; контрольная группа остается вне экспериментального воздействия.

Экспериментальная и контрольная группы должны быть практически идентичными. Идентичность экспериментальной и контрольной групп достигается двумя способами. Первый способ — попарное выравнивание объектов по значимым переменным, установленным до проведения экспериментальных операций. Выравнивание можно осуществить путем подбора для каждого объекта экспериментальной группы идентичного объекта в контрольной группе. Например, если в экспериментальную группу входит мужчина 40 лет с высшим гуманитарным образованием, в контрольной группе должен быть его «двойник» с такими же параметрами. Очевидно, подбор «двойников» возможен лишь при очень ограниченном числе переменных. В противном случае комплектование групп превращается в неразрешимую задачу.

Второй, более доступный, метод выравнивания групп основан на выравнивании частотных распределений, а не каждой пары в отдельности. Например, экспериментатор обеспечивает 30-процентную долю испытуемых с высшим образованием и в той, и в другой группе. Аналогичные выравнивания осуществляются и по другим признакам, а отдельные испытуемые уже не контролируются. Разумеется, в данном случае не достигается высокого сходства между группами, но комплектование групп намного облегчается.

Третий способ обеспечения идентичности экспериментальной и контрольной групп — случайное распределение объектов по группам. Чаще всего такой способ называют рандомизацией. В отличие от выравнивания рандомизация, как предполагается, устраняет систематические различия между группами по всем признакам, а не только контролируемым исследователем.

Для осуществления рандомизации массив надо как следует перемешать и разделить равновероятно. Данный способ особенно предпочтителен в тех случаях, когда у исследователя нет уверенности, что различия между группами контролируются по значимым переменным. А такой уверенности нет никогда. Обеспечить равновероятное распределение контингента на две группы не так просто, как это кажется. Каждый объект должен иметь одинаковую вероятность попасть в экспериментальную и контрольную группы, поэтому рекомендуется осуществлять отбор с помощью таблицы случайных чисел либо жребия.

Для определения эффекта, производимого экспериментальной переменной, осуществляются несколько замеров и в той, и в другой группах. Предварительный замер — претест — производится до того, как экспериментальная группа подвергнется воздействию изучаемой переменной. При этом различия между значениями зависимой переменной в контрольной и экспериментальной группах должны быть минимальными. После того как экспериментальная группа подверглась воздействию определенного стимула, осуществляются замеры в обеих группах. Если значение зависимой переменной в экспериментальной группе статистически значимо отличается от значения претеста и превышает (статистически значимо) значение претеста в контрольной группе, делается вывод (с указанием вероятности случайной ошибки), что переменная-стимул связана с переменной-реакцией. Таким образом, гипотеза принимается (как неопровергнутая, а не как подтвержденная) или опровергается.

Пример экспериментальной проверки гипотезы — исследование влияния мнения учителей об интеллектуальном развитии учеников на интеллектуальное развитие учеников. Исследование проведено Р. Розенталем и Л. Джейкобсом1. Экспериментаторы предположили, что ученики, способности которых оцениваются учителями более высоко, действительно обнаруживают большие успехи. Гипотеза проверялась на материале обследования учеников средней школы в районе, где жили преимущественно бедные. Все ученики прошли тестирование по уровню интеллектуальности (использовалась невербальная техника тестирования). Затем с результатами тестирования ознакомили учителей: им сообщили имена детей, обнаруживших большие способности. На самом деле имена «вундеркиндов» были выбраны случайным порядком. Таким образом, экспериментальная группа состояла из «ожидаемых» вундеркиндов, а остальные дети составляли группу контрольную. Ожидания учителей являли собой экспериментальную переменную, а интеллектуальное развитие детей — зависимую переменную. Через год тест был повторен и обнаружились значимые различия: развитие детей экспериментальной группы было выше, чем в контрольной.

Несмотря на внешнюю убедительность, эксперимент не доказывает, что интеллектуальное развитие детей обусловлено именно «эффек

Таблица 6.1

Схема экспериментального проекта

том Пигмалиона». Вполне возможны и альтернативные объяснения. Имея дело с людьми, совершенно невозможно избежать реактивного эффекта, когда изучаемый признак неотделим от процедуры замера.

Социологические исследования, в которых независимая и зависимая переменные выделяются путем группировки данных, нельзя назвать экспериментом в полном смысле слова. Однако анализ результатов поддается методам, применяемым при управляемом экспериментальном воздействии.

Обычно результатом неуправляемых социологических экспериментов с естественной возникающей независимой переменной является мера корреляции между признаками. При достаточно высокой корреляции гипотеза о неслучайном характере связи не отвергается. Низкая корреляция также не является решающим аргументом в пользу отсутствия причинной зависимости. Лучше всего использовать анализ корреляций для поиска тесных зависимостей, а уже потом выбирать из них гипотезы, требующие дополнительной валидизации.

Чтобы избежать нерелевантных воздействий («шума»), исследователи нередко прибегают к косвенным, квазиэкспериментальным признакам. Вряд ли целесообразно спрашивать посетителей музея, нравятся ли им импрессионисты (конечно же, нравятся). Вместо этого социологи пытаются замерить степень истертости лакового покрытия полов у художественных полотен, считающихся знаменитыми. Самые популярные книжки — не те, о которых идет разговор респондента и интервьюера, а имеющие совершенно затрепанный вид библиотечные экземпляры приключенческих и любовных романов. Методическое требование формулируется вполне отчетливо: экспериментальная переменная не должна привносить существенные изменения в объект и обязана быть незаметной.

С помощью сравнения устанавливается, влечет ли за собой изменение значения независимой переменной изменение значения переменной зависимой. Например, если существует связь между некоторым методом преподавания и степенью усвоения материала студентами, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию переменной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.

Иными словами, чтобы установить ковариацию, значения зависимой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где применялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой экспериментальный план невозможен.

Распределение испытуемых по группам — довольно сложная этическая и методическая проблема. Если проинформировать человека, что он включен в контрольную группу, это может повлиять на результат эксперимента. Нетрудно предугадать, какой эффект вызовет переход половины класса в отдельное помещение. Если не сообщать испытуемым о замысле исследования, возникают некоторые этические сложности, связанные с тем, что личность становится объектом манипуляции. В большинстве случаев испытуемый не должен ничего знать об истинных исследовательских гипотезах. Поэтому в полевой работе, как правило, предусматривается «легенда», маскирующая истинные намерения экспериментатора. Даже если испытуемый знает, что находится под наблюдением, он не должен догадываться, какая задача на самом деле решается в эксперименте. Демаскировка равнозначна срыву полевой работы.

Этические проблемы, возникающие в социологическом экспериментировании, не более серьезны, чем аналогичные проблемы в медицине и биологии. Манипулирование людьми, обращение с ними, как с материалом, — неизбежный факт исследовательской работы. Конечно, здесь возможны злоупотребления, но где их нет?

В отличие от естественных и технических наук в социологии отсутствуют теоретические схемы, являющиеся основанием для оценки значимости переменных. Когда инженер проверяет надежность прибора на стенде, он знает, что окраской корпуса в большинстве случаев можно пренебречь. Иное дело — живые респонденты, для которых могут оказаться весьма существенными параметрами как раз те, которые не воспринимаются серьезно исследователем. Например, если в хорошо подобранной экспериментальной группе окажется несколько энтузиастов, результаты экспериментирования нельзя считать «чистыми» вне зависимости от темы исследования.

Из сказанного следует, что проконтролировать все значимые переменные невозможно, но необходимо. Поэтому исследователь создает измерительные конфигурации, исходя из своих теоретических представлений.

С помощью сравнения устанавливаются лишь различия между группами, но вопрос о зависимости признаков остается открытым. Манипуляция с экспериментальными объектами позволяет включить в научный вывод суждение о причинной зависимости между переменными. Со времен Дэвида Юма известно, что причинность не может быть выведена с помощью одного только рассудка и опирается на привычку — суждение, находящее свои основания в практическом, вненаучном опыте. Экспериментирование заключается в манипуляциях, которые вызывают соответствующие изменения в объекте. Здесь отчетливо прорисовывается критерий зависимости / независимости: зависимая переменная всегда реагирует на внесение изменений в независимую переменную. Однако объект может изменяться под влиянием и иных, альтернативных факторов.

Известно также, что «после этого — не по причине этого». Предшествование по времени является необходимым, но недостаточным условием причинения. Нужна еще уверенность в том, что причини лежит именно в данной, а не в иной переменной. Поскольку имеется практически бесконечное число возможных причин, повлиявших на изменения, такая уверенность никогда не достигается. Исследователь может лишь проверить гипотезу и не отвергнуть ее.

В лабораторных условиях можно манипулировать переменными и осуществлять замеры до и после изменений. В естественной обстановке манипулировать обстоятельствами чаще всего невозможно. В последнем случае говорить о причинности особенно рискованно.

Контроль — третья задача экспериментального проекта. Она направлена на устранение постороннего («третьего») фактора, влияющего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.

Ф. Чэпин сравнивал экспериментальную группу семей — тех, кого переселили в новые квартиры, с контрольной группой — теми, кто остался жить в трущобах. Он изучал изменения в жизненном укладе обитателей трущоб, которые происходят под влиянием переселения семей в дома общественного сектора. Основной вывод исследования опирался на установленный факт: в экспериментальной группе уровень жизни значительно повысился. Отсюда следовало заключение, что проекты общественной застройки обусловливают положительные изменения в образе жизни людей. Однако этот вывод недостаточно обоснован, поскольку семьи, переселившиеся в новые дома, изначально отличались от семей контрольной группы. Вероятно, экспериментальная и контрольная группы различались по типу занятости, уровню образования, величине семьи, в конце концов, по установкам. Все эти «третьи» факторы следовало контролировать до того, как сделан вывод о влиянии переселения на образ жизни семей.

Для более или менее уверенного утверждения о причинной зависимости между переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности: причина предшествует следствию, только после применения экспериментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утверждение о причинной связи не может не опираться на установленную тесную корреляцию. В практике статистического оценивания разработаны критерии и допущения, считающиеся приемлемыми для такого рода утверждений. Например, считается достаточной вероятность ошибки 5 шансов из 100.

Предположим, что один признак предшествует другому и между ними наблюдается тесная статистическая связь. Однако утверждать о причинной связи преждевременно. Следует соблюсти третье условие — самое сложное: не должно быть иного правдоподобного альтернативного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том, что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.

Но эксперимент — довольно локальное событие. Он ограничен временем, местом, материалом и иными внешними обстоятельствами. А можно ли распространить полученные во внутренне валидном эксперименте выводы на иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема генерализации — четвертой экспериментальной задачи, завершающей цикл сравнения, манипулирования и контроля. Предположим, студенты тестируются в лаборатории по поводу их эмоционального отношения к политическим терминам. Сохранится ли их отношение к этим терминам вне аудитории? А если вместо студентов экспериментировать с рабочими? Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней валидности — возможности обобщения, генерализации полученного заключения.

Ошибки внешней валидности связаны с двумя причинами. Первая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установлено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.

Если, например, в экспериментальную группу были набраны добровольцы (т. е. люди, обнаруживающие активную положительную установку на беседу с интервьюером), то полученные данные вряд ли репрезентативны для массового опроса, где часто встречаются респонденты, не расположенные к многообразным ответам. Риск ошибки, обусловленный нарушением внешней валидности, значительно возрастает. В идеальном случае экспериментальная и контрольная группы должны формироваться методом случайного отбора, чтобы они могли репрезентировать генеральную совокупность2. Однако дело это слишком трудоемкое и дорогостоящее.

Внешняя валидность отсутствует и в тех случаях, когда план эксперимента основан на искусственных допущениях. В знаменитом эксперименте Музафера Шерифа по формированию групповых норм испытуемые должны были оценить расстояние до точечного источника света, находясь в полной темноте. Поскольку трудно предположить, что в реальной жизни люди часто обсуждают автокинетический эффект, внешняя валидность эксперимента Шерифа остается под вопросом.

В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Закон Ньютона-Кеплера, связывающий силу притяжения тел с их массами и расстояниями между ними, обладает практически универсальной внешней валидностью. Подтверждение внешней валидности достигается путем многочисленного воспроизведения эксперимента в новых условиях.

Проблемы внутренней валидности логически разрешимы посредством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования. «Если имеется внутренне валидный план,... — пишет Д. Кэмпбелл, — то эффект продемонстрирован только для тех конкретных условий, которые оказались общими для экспериментальной и контрольной групп, т. е. для предварительно обследованных групп, включающих лиц определенного возраста, интеллекта, социальноэкономического статуса, географического региона, взятых в определенный исторический момент, приданной ориентации светил, определенном атмосферном давлении, уровне гамма-излучения и т. д.»3.