Оценка параметров уравнения множественной регрессии (МР).

Оцениваются, как и в парной регрессии, методом наименьших квадратов (МНК). При его применении строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии.

Так, для уравнения y=a+b1*x1+b2*x2+…+bp*xp+E  система нормальных уравнений составит:

∑y=n*a+b1*∑x1+b2*∑x2+…+bp*∑xp,

∑y*x1=a*∑x1+b1*∑x1^2+b2*∑x1*x2+…+bp*∑xp*x1,

………………………………………………

∑y*xp=a*∑xp+b1*∑x1*xp+b2*∑x2*xp+…+bp*∑xp^2.

Ее решение может быть осуществлено методом определителей:

a=∆a/∆,  b1=∆b1/∆, …bp=∆bp/∆.

Где ∆ - определитель системы;   ∆a, ∆b1,… ∆bp - частные определители

При этом:

            n          ∑x1            ∑x2   ….  ∑xp

            ∑x1     ∑x1^2        ∑x2*x1… ∑xp*x1

∆=       ∑x2     ∑x1*x2      ∑x2^2  …  ∑xp*x2            

                      …………………………….

            ∑xp     ∑x1*xp      ∑x2*xp ….∑xp^2 

a ∆a, ∆b1…∆bp получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Возможен иной подход к определению параметров, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

ty=B1*tx1+B2*tx2+…+bp*txp+E

Где   ty, tx1…txp -стандартизованные переменные: ty=(y-y cp)/σy,    tx1=(xi-xi cp)/σx1,

для которых среднее значение равно нулю: ty cp = txi =0,

a ср. квадратическое отклонение равно единице: σty= σtx =1;

β - стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению МР в стандартизованном масштабе, после соответствующих  преобразований получим систему нормальных уравнений вида

Ryx1=B1+B2*Rx2x1+B3*Rx3x1+…+Bp*Rxpx1,

Ryx2=B1*Rx2x1+B2+B3*Rx3x2+…+Bp*Rxpx2,

…………………………………………………………..

Ryxp=B1*Rxpx1+B2*Rxpx2+B3*Rx3xp+…+Bp.

Решая ее методом определителей, найдем параметры – стандартизованные коэффициенты регрессии  (В-коэффициенты). Они показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор хi изменится на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и  нормированные, стандартизованные коэффициенты регрессии Вi сравнимы между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать  при отсеве факторов  - из модели исключаются факторы с наименьшим значением Вj