Запишите постановку задачи применения метода наименьших квадратов.

Рассмотрим один из методов, позволяющих проанализировать и обработать данные, полученные в результате эксперимента (таблица 10.1). Пусть в результате измерений получена таблица зависимости одной величины  от другой

Необходимо найти формулу , выражающую таблично заданную зависимость аналитически. Применение интерполяции в данном случае нецелесообразно, т.к. значения  в узлах получены экспериментально и поэтому являются сомнительными (в ходе эксперимента возникает неустранимая погрешность, обусловленная неточностью измерений). Кроме того, совпадение значений в узлах не означает совпадения характеров поведения исходной и интерполирующей функции. Поэтому необходимо найти такой метод подбора эмпирической формулы, который не только позволяет  найти саму формулу, но и оценить погрешность подгонки.

     Постановка задачи. Найдем функцию заданного вида

                                                      (10.1)

которая в точках  принимает значения как можно более близкие к табличным значениям  Практически вид приближающей функции можно определить визуально: по таблице 10.1 строится точечный график функции, а затем проводится кривая, по возможности наилучшим образом отражающая характер расположения точек (рис.10.1).

                                    Рис.10.1                                   

По полученной кривой устанавливается вид приближающей функции (обычно из числа простых по виду аналитических функций: линейная, степенная, экспоненциальная или показательная, логарифмическая, гипербола, дробнорациональная и т.д.).

Заметим, что формула (10.1), называемая эмпирической формулой или уравнением регрессии  на  , позволяет находить значения функции  для нетабличных значений  , «сглаживая» результаты измерений величины  .

Из рисунка 10.1 видно, что для каждого значения   экспериментальное  и расчетное  значения различаются на некоторую величину  , называемую абсолютной разностью. Потребовав, чтобы сумма квадратов абсолютных разностей для всех точек была минимальной, найдем оптимальные параметры функции  : если выполняется условие

                               (10.2)

где , то считается, что функция  подобрана наилучшим образом.

Рассмотрим все изложенное выше на примере линейной регрессии.

     10.2 Линейная регрессия

Будем искать приближающую функцию в виде:

Абсолютная разность  для   определяется следующим образом:

формулу (10.2) перепишем в виде:

Рассматриваемая сумма является функцией с двумя параметрами  

Задача сводится к отысканию минимума этой функции. Используем необходимое условие экстремума:

т.е.              

                                                                          (10.3)

Решив систему двух уравнений с двумя неизвестными относительно параметров  и , получим

конкретный вид искомой функции  

Опуская математические выкладки, запишем выражения для искомых параметров:

                                                                          (10.4)

Рассчитав значение , получим величину среднеквадратичной ошибки рассматриваемого приближения.

     Замечание: найденные значения   и  определяют точку

экстремума .

Используя неравенство Коши-Буняковского можно доказать, что в этой точке функция принимает минимальное значение (см. ).

Как видно из рассмотренного примера, изменение количества параметров не приведет к искажению сущности самого подхода, изменится лишь количество уравнений в системе (10.3) (для   параметров соответственно будет записано   уравнений).