Метод наименьших квадратов. Метод наименьших квадратов (мнк). Пример
 Скачать 337.46 Kb.
|
|
Метод наименьших квадратов (МНК). Пример. Экспериментальные данные о значениях переменных х и у приведены в таблице. В результате их выравнивания получена функция Используя метод наименьших квадратов , аппроксимировать эти данные линейной зависимостью y=ax+b (найти параметры а и b). Выяснить, какая из двух линий лучше (в смысле метода наименьших квадратов) выравнивает экспериментальные данные. Сделать чертеж. Суть метода наименьших квадратов (МНК). Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных а и b принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов. Таким образом, решение примера сводится к нахождению экстремума функции двух переменных. Вывод формул для нахождения коэффициентов. Составляется и решается система из двух уравнений с двумя неизвестными. Находим частные производные функции по переменным а и b, приравниваем эти производные к нулю. Решаем полученную систему уравнений любым методом (например методом подстановки илиметодом Крамера) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК). При данных а и b функция принимает наименьшее значение. Доказательство этого факта приведено ниже по тексту в конце страницы . Вот и весь метод наименьших квадратов. Формула для нахождения параметра a содержит суммы , , , и параметр n - количество экспериментальных данных. Значения этих сумм рекомендуем вычислять отдельно. Коэффициент b находится после вычисления a. Пришло время вспомнить про исходый пример. Решение. В нашем примере n=5 . Заполняем таблицу для удобства вычисления сумм, которые входят в формулы искомых коэффициентов. Значения в четвертой строке таблицы получены умножением значений 2-ой строки на значения 3-ей строки для каждого номера i . Значения в пятой строке таблицы получены возведением в квадрат значений 2- ой строки для каждого номера i . Значения последнего столбца таблицы – это суммы значений по строкам. Используем формулы метода наименьших квадратов для нахождения коэффициентов а и b. Подставляем в них соответствующие значения из последнего столбца таблицы: Следовательно, y = 0.165x+2.184 - искомая аппроксимирующая прямая. Осталось выяснить какая из линий y = 0.165x+2.184 или лучше аппроксимирует исходные данные, то есть произвести оценку методом наименьших квадратов. Оценка погрешности метода наименьших квадратов. Для этого требуется вычислить суммы квадратов отклонений исходных данных от этих линий и , меньшее значение соответствует линии, которая лучше в смысле метода наименьших квадратов аппроксимирует исходные данные. Так как , то прямая y = 0.165x+2.184 лучше приближает исходные данные. Графическая иллюстрация метода наименьших квадратов (мнк). На графиках все прекрасно видно. Красная линия – это найденная прямая y = 0.165x+2.184, синяя линия – это , розовые точки – это исходные данные. Для чего это нужно, к чему все эти аппроксимации? Я лично использую для решения задач сглаживания данных, задач интерполяции и экстраполяции (в исходном примере могли бы попросить найти занчение наблюдаемой величины y при x=3 или при x=6 по методу МНК). Но подробнее поговорим об этом позже в другом разделе сайта. К началу страницы Доказательство. Чтобы при найденных а и b функция принимала наименьшее значение, необходимо чтобы в этой точке матрица квадратичной формы дифференциала второго порядка для функции была положительно определенной. Покажем это. Дифференциал второго порядка имеет вид: То есть Следовательно, матрица квадратичной формы имеет вид причем значения элементов не зависят от а и b . Покажем, что матрица положительно определенная. Для этого нужно, чтобы угловые миноры были положительными. Угловой минор первого порядка . Неравенство строгое, так как точки несовпадающие. В дальнейшем это будем подразумевать. Угловой минор второго порядка Докажем, что методом математической индукции. 1. Проверим справедливость неравенства для любого значения n, например дляn=2. Получили верное неравенство для любых несовпадающих значений и 2. Предполагаем, что неравенство верное для n. - верное. 3. Докажем, что неравенство верное для n+1. То есть, нужно доказать, что исходя из предположения что - верное. Поехали. Выражение в фигурных скобках положительно по предположению пункта 2), а остальные слагаемые положительны, так как представляют собой квадраты чисел. Этим доказательство завершено. Вывод : найденные значения а и b соответствуют наименьшему значению функции , следовательно, являются искомыми параметрами для метода наименьших квадратов. |