Статистический вывод в случае множественной регрессии: F-тест

Полученные нами к настоящему времени результаты регрессии представляют собой достаточно полное описание исследуемых (п = 55) журналов, однако статистический вывод помог бы нам обобщить этот случай на идеализированную популяцию подобных им журналов. Вместо того чтобы просто констатировать тот факт, что увеличение на один процент числа читателей-мужчин приводит к уменьшению тарифа на размещение рекламы в среднем на $124, можно сделать статистический вывод относительно большой генеральной совокупности журналов такого типа, из которой вполне могли бы быть извлечены имеющиеся данные, и попытаться выяснить, существует ли в действительности какая-либо взаимосвязь между полом читателей журнала и тарифами на рекламу, или коэффициент регрессии, равный -$124, можно объяснить просто случайностью. Может ли быть так, что обнаруженное нами влияние процента читателей-мужчин на стоимость рекламы – это просто случайное число, а не свидетельство наличия систематической взаимосвязи? Ответ на этот вопрос можно получить с помощью статистического вывода.

Чтобы не усложнять пример, предположим, что мы располагаем случайной выборкой из намного большей генеральной совокупности. Допустим также, что эта генеральная совокупность характеризуется линейной взаимосвязью со случайностью, представленной моделью множественной линейной регрессии, в соответствии с которой наблюдаемое значение Y определяется взаимосвязью в генеральной совокупности плюс нормально распределенная случайная ошибка. Предполагается также, что эти случайные ошибки для разных наблюдений (элементарных единиц наших данных) не зависят друг от друга.

Модель множественной регрессий для генеральной совокупности:

Y = (α + β1X1 + β2Х2 + ... + βkXk ) + ε

= (взаимосвязь в генеральной совокупности) + случайность,

где ε характеризуется нормальным распределением со средним значением 0 и постоянным стандартным отклонением σ, причем эта случайность является независимой для каждого из наблюдений (элементарных единиц данных).  

Взаимосвязь в генеральной совокупности определяется k + 1 параметрами: α представляет сдвиг (или постоянный член) для генеральной совокупности, a β1, β2,…, βk являются коэффициентами регрессии для генеральной совокупности, которые показывают среднее влияние каждой из Х- переменных на У (в данной генеральной совокупности), при условии, что все остальные Х- переменные остаются неизменными. Если бы вы имели данные обо всей генеральной совокупности, то полученные вами с помощью метода наименьших квадратов коэффициенты регрессии ничем не отличались бы от соответствующих коэффициентов, описывающих связь в генеральной совокупности. Как правило, однако, полученный методом наименьших квадратов сдвиг а является лишь статистической оценкой α, а полученные методом наименьших квадратов коэффициенты регрессии b1, b2, ..., bk представляют лишь статистические оценки β1, β2,…, βk соответственно. Существуют, конечно же, ошибки, обусловленные процессом оценивания, поскольку выборка намного меньше всей генеральной совокупности.

Значима ли модель? Статистический вывод начинается с F-теста, целью которого является выяснение, объясняют ли Х- переменные значимую часть вариации Y. F-тест используется как «входные ворота» в статистический вывод: если этот тест значим, следовательно, связь существует и можно приступать к ее исследованию и объяснению. Если этот тест незначим, то мы имеем дело с набором не связанных между собой случайных чисел – объяснять, в сущности, нечего. Помните, что, когда вы принимаете нулевую гипотезу, это считается слабым заключением. Вы не доказали, что взаимосвязи нет: вам просто не хватает убедительных доводов в пользу наличия такой взаимосвязи. Взаимосвязь вполне может существовать, но из-за случайности или малого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Нулевая гипотеза для F-теста утверждает, что в генеральной совокупности между Х- переменными и Y прогнозирующая взаимосвязь отсутствует. Иначе говоря, Y является чисто случайной величиной и значения Х- переменных не оказывают на Y никакого влияния. Если посмотреть на модель множественной линейной регрессии, то это утверждение означает, что Y = α + ε, что может иметь место в том случае, если все коэффициенты регрессии в генеральной совокупности равны 0.

Альтернативная гипотеза F-теста утверждает, что в генеральной совокупности между Х- переменными и Y существует определенная прогнозирующая взаимосвязь. Таким образом, переменная Y уже не является чисто случайной величиной и должна зависеть по крайней мере от одной из Х- переменных. Иными словами, альтернативная гипотеза утверждает, что по крайней мере один из коэффициентов регрессии не равен 0. Обратите внимание: вовсе не обязательно, чтобы каждая из Х- переменных влияла на Y – достаточно, чтобы влияла хотя бы одна из них.

В F-тесте используются следующие статистические гипотезы:

H0 : β1 = β2 = ... = βk = 0;

H1 : по крайней мере один из коэффициентов регрессии β1, β2, ... , βk  ¹ 0.

Выполнить F-тест проще всего, отыскав в результатах работы компьютерной программы подходящее р-значение и интерпретировав результирующий уровень значимости. Если р-значение больше, чем 0,05, то полученный результат не является значимым. Если же это р-значение меньше, чем 0,05, то полученный результат является значимым. Если р < 0,01, тогда полученный результат является высоко значимым, и т.д.

Еще один способ выполнения F-теста заключается в сравнении значения R2 (процент вариации Y, который объясняется Х- переменными) со значениями из таблицы критических значений R2 для подходящего уровня тестирования (например, 5%). Если значение R2 оказывается достаточно большим, тогда регрессия считается значимой, т.е. удалось объяснить больше, чем просто случайную величину вариации Y. Эта таблица индексирована по п (количество наблюдений) и k (количество Х- переменных).

Традиционный способ выполнения F-теста интерпретировать несколько сложнее, но он всегда дает тот же результат, что и таблица критических значений R2. Классический F-тест, как правило, выполняется путем вычисления Fстатистики и сравнения ее с критическим значением из F-таблицы для соответствующего уровня тестирования. При этом используются два разных числа степеней свободы: число степеней свободы k1 (количество Х- переменных, предназначенных для объяснения Y или количество параметров в уравнении регрессии минус единица, т.е. k1 = m – 1) и число степеней свободы k2 = n – m (где. n – количество наблюдений в выборке, а m – количество параметров в уравнении регрессии).

В то же время Fстатистика является излишним усложнением, поскольку значение R2 можно проверить непосредственно. Более того, R2 имеет более непосредственную интерпретацию, чем Fстатистика, поскольку R2 говорит о той части вариации Y, которая учитывается (или объясняется) Х- переменными, тогда как F не имеет столь простой и непосредственной интерпретации в терминах исходных данных. Какой бы подход – F или R2 – вы ни использовали, ответ (о значимости или не значимости) всегда будет одним и тем же на любом уровне тестирования.

Почему же по традиции используется более сложная Fстатистика, в то время как вместо нее можно было бы обратиться к тесту R2, допускающему более удобную и непосредственную интерпретацию? Возможно, все объясняется именно сложившейся традицией, а возможно, и тем, что уже давно и с успехом на практике применяются именно F-таблицы. Использование осмысленного числа (такого как R2) позволяет глубже понять исследуемую ситуацию и выглядит предпочтительнее, особенно когда речь идет о сфере бизнеса.

Результат F-теста (решение принимается на основе р-значения)

Если р-значение больше, чем 0,05, значит, соответствующая модель не является значимой (вы принимаете нулевую гипотезу о том, что Х- переменные не помогают прогнозировать Y). Если р-значение оказывается меньше, чем 0,05, значит, соответствующая модель является значимой (вы отвергаете нулевую гипотезу и принимаете альтернативную гипотезу о том, что Х- переменные помогают прогнозировать Y).

Результат F-теста (решение принимается на основе R2)

Если значение R2 меньше, чем критическое значение в таблице R2, значит, соответствующая модель не является значимой.. Если значение R2 больше, чем критическое значение в таблице R2, значит, соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения.

Результат F-теста (решение принимается на основе критерия F)

Если значение F оказывается меньше, чем критическое значение в F-таблице, значит, соответствующая модель не является значимой. Если значение F оказывается больше, чем критическое значение в F-таблице,- соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения или R2.

Помните, что статистический смысл термина «значимый» несколько отличается от его обыденного смысла. Когда вы находите значимую модель регрессии, то знаете, что взаимосвязь между Х- переменными и Y оказывается сильнее, чем обычно можно было бы ожидать от чистой случайности. Другими словами, в этой ситуации можно говорить о наличии определенной взаимосвязи. Эта взаимосвязь может быть сильной или полезной в том или ином практическом смысле (а может, и не быть таковой) – эти вопросы требуют специального рассмотрения, – но она достаточно сильна, чтобы не выглядеть как чистая случайность.

Если вернуться к нашему примеру с тарифами на размещение рекламы в журналах, то соответствующее уравнение прогнозирования действительно объясняет значимую долю отклонения в тарифах, на что указывает в результатах работы компьютерной программы р-значение 0,000000 справа от значения F, равного 62,843. В табл. 1 содержится часть результатов работы компьютерной программы, приведенных в предыдущей лекции.

Таблица 1. Результат множественной регрессионного анализа тарифов на размещение рекламы в журналах