Методы, предполагающие линеаризацию целевой функции

В основе методов оценки параметров эконометрической модели, предполагающих линеаризацию целевой функции, т. е. суммы квадратов ошибки модели S2(a, х) по переменным a0, a1,...,aп, лежат свойства ее градиента ÑS2, согласно которым направление этого вектора в произвольной многомерной точке пространства параметров a0j, a1j,...,aпj   указывает направление наибольшего роста функции S2(a, х) в этой точке. Соответственно противоположный вектор указывает на направление наибольшего уменьшения (наискорейшего спуска).

Здесь следует подчеркнуть, что направление наискорейшего спуска в некоторой точке пространства параметров не обязательно указывает на точку оптимума функции S2. Однако двигаясь в этом направлении, можно попасть в следующую точку, в которой направление движения уточняется. А результате последовательность точек должны привести к искомому решению.

Градиент целевой функции S2(a, х) в произвольно выбранной исходной (нулевой) точке пространства параметров a00, a10,..., aп0   может быть определен на основе ее разложения в ряд Тейлора первого порядка:

где S02=S2(a0, х) – значение суммы квадратов ошибки модели в точке пространства ее параметров a0; – первая производная функции S2(a, х)  по параметру ai  в точке a0; ai – ai0 – прирост i-го параметра.

Координаты вектора –ÑS2(a0, х), сформированного на основании составляющих правой части выражения (11.25) как

определяют направление наискорейшего спуска (направление оптимального движения к точке минимума S2(a, х) по оценкам параметров эконометрической модели).

Прямое использование выражения (11.26) при определении “оптимальных” оценок  a0, a1,..., aп, минимизирующих сумму квадратов ошибок модели, лежит в основе метода наискорейшего спуска. Согласно этому методу оптимальные оценки находятся на основе итеративной процедуры расчетов последовательности таких оценок a0, a1,..., aj, в которой каждая следующая оценка лежит на направлении наискорейшего спуска, определенного в предыдущей точке.

Направление движения, например, из начальной точки a0 указывает единичный вектор, определяемый следующим выражением:

Например, если для модели с двумя параметрами a0 и a1 градиент функции S2(a00, a10) равен

ÑS2(a0)=3Ja00–2Ja10,

то соответствующий единичный вектор определяется как

и соответственно пропорции приростов значений параметров Da0(1) и Da1(1) должны быть равны

На практике оценку ai(j), i=0,1,...,п согласно методу наискорейшего спуска определяют с помощью выражения, аналогичного (11.19)

ai(j)=ai(j –1)+hi(j)×Dai(j),                                (11.28)

где hi(j) – множитель, оптимизирующий размер прироста параметра j-м шаге расчетов.

Некоторые недостатки метода наискорейшего спуска обусловлены зависимостью направления движения от формы поверхности S2(a). Поскольку направление “наискорейшего спуска” в каждой точке пространства параметров a указывает не на место расположения минимума суммы квадратов ошибки, а лишь на направление ее наибольшего убывания в этой точке, то в случае “неправильных” (существенно отличающихся от “шарообразных”) форм поверхности S2(a) метод наискорейшего спуска “выбирает” достаточно продолжительный маршрут движения к оптимуму.

Для ускорения этого движения Макуардт предложил комбинированный (компромиссный) метод оценки параметров эконометрической модели, объединяющий идеи методов Гаусса-Зайделя и наискорейшего спуска. В его основе лежат два следующих замечания. Во-первых, вектор приростов параметров на j-м  шаге расчетов по методу наискорейшего спуска можно представить в следующем виде:

Во-вторых, заметим, что производные функции S2(a(j–1)) по своим аргументам a0j–1, a1j–1,..., aпj–1  равны компонентам вектора       (Хj–1¢·gj–1) из правой части выражения (11.22):

где zi(j–1) – i-я компонента вектора Хj–1¢×gj–1, полученная на j-м шаге расчетов.

С учетом (11.29) вектор приростов параметров на j-м шаге расчетов находится как

где – константа.

Сопоставим выражения (11.22) и (11.31). Получим

Макуардт объединил оба выражения из (11.32) в одно:

где Е – единичная матрица, и предложил выбирать множитель l(j), регулирующий длину прироста параметров j-м шаге расчетов, исходя из свойств функции S2(a(j –1)). Логика такого выбора определяется следующими соображениями. Если матрица  плохо обусловлена, где, напомним, матрица  в данном случае определена выражением (11.20), то l(j)  должно быть выбрано достаточно большим и в этом случае приросты параметров в большей степени соответствуют их оценкам, полученным по методу наискорейшего спуска. При хорошей обусловленности матрицы , свидетельствующей о быстрой сходимости метода Гаусса-Зайделя, значение l(j)  выбирается относительно небольшим. Промежуточные значения l(j) характеризуют направление движения к минимуму, полученное как комбинация направлений, определенных с помощью методов Гаусса-Зайделя и наискорейшего спуска.

В окрестности минимума метод Макуардта, как и другие методы, уменьшает длину прироста параметров.

Заметим, что методы, основанные на линеаризации суммы квадратов ошибки эконометрической модели, также как и другие итеративные методы поиска оптимальных оценок ее параметров, могут привести к решению, соответствующему локальному оптимуму. Для определения глобального минимума необходимо, как и в случае других методов, решить задачу оценки с использованием разных вариантов исходных точек a0, соответствующих разным участкам допустимой области существования искомых значений параметров.