Мультиколлинеарность: не слишком ли схожи между собой объясняющие переменные?

Когда какие-то из объясняющих Х- переменных слишком схожи между собой, у вас может возникнуть проблема мультиколлинеарности, поскольку множественная регрессия не в состоянии отличить влияние одной переменной от влияния другой переменной. Последствия мультиколлинеарности могут быть статистическими или вычислительными.

1. Статистические последствия  мультиколлинеарности  связаны с трудностями  проведения  статистических  тестов для  отдельных коэффициентов регрессии вследствие увеличения стандартных ошибок. Результатом может быть невозможность объявить ту или иную Х- переменную значимой даже в том случае, если эта переменная (сама по себе) имеет сильную взаимосвязь с У.

2. Вычислительные  последствия  мультиколлинеарности  связаны  с трудностями в организации вычислений на компьютере, вызванными "неустойчивостью  вычислений".  В  крайних случаях  компьютер  может пытаться выполнить деление на нуль и, таким образом, неудачно завершить анализ данных.  Хуже того,  компьютер может завершить анализ  и выдать бессмысленные и неверные результаты. Деление на нуль невозможно с математической точки зрения: например, результат выполнения 5/0 является неопределенным. Однако из-за небольших ошибок округления в процессе вычислений компьютер может разделить не 5 на 0, а 5,0000000000968 на 0,0000000000327. В этом случае, вместо того чтобы остановиться и сообщить об ошибке, компьютер использует в дальнейших вычислениях бессмысленный и огромный результат такого деления: 152 905 198 779,72.

Мультиколлинеарность может порождать проблемы, а может и не порождать их, – все зависит от конкретных целей выполняемого вами анализа и степени мультиколлинеарности. Небольшая или средняя мультиколлинеарность обычно не  представляет  проблемы.   Очень  сильная  мультиколлинеарность (например, включение одной и той же переменной дважды) всегда будет представлять проблему и может приводить к серьезным ошибкам (вычислительные последствия). К счастью, если вашей целью является в основном предсказание или прогнозирование У, сильная мультиколлинеарность может не представлять серьезного препятствия, поскольку качественная программа множественной регрессии может и в этом случае делать оптимальные прогнозы У (по методу наименьших квадратов), основанные на всех Х- переменных. Однако если вы хотите использовать индивидуальные коэффициенты регрессии для выяснения того, как каждая из Х- переменных влияет на У, то статистические последствия мультиколлинеарности, по-видимому, вызовут определенные проблемы, ввиду того что эти влияния невозможно отделить друг от друга. В табл. 1 подытоживается влияние мультиколлинеарности на результаты регрессионного анализа.

Таблица 1. Влияние мультиколлинеарности на регрессию