Метод наименьших квадратов

Размещено на http://www.allbest.ru/

Введение

Метод наименьших квадратов имеет большое применение во многих областях, так как это один из методов оценки величин по результатам измерений, содержащим случайные ошибки. Он часто оказывается полезным при обработке наблюдений.

Также, метод наименьших квадратов используется как составная часть некоторой более общей проблемы. Например, при необходимости проведения аппроксимации наиболее часто употребляется именно метод наименьших квадратов. На этом подходе основаны: регрессионный анализ в статистике, оценивание параметров в технике и т.д.

Цель исследования: рассмотреть метод наименьших квадратов как применение теорем поиска экстремума функций многих переменных.

Задачи исследования:

1. Рассмотреть метод наименьших квадратов, линейную парную регрессию;

2. Вывести формулы для нахождения коэффициентов линейной парной регрессии;

3. Доказать, что найденная функция принимает минимальное значение, если коэффициенты являются решениями системы.

Методы исследования:

1. Теоретические методы:

· Изучение специализированной литературы.

· Анализ исследователей предшественников

2. Эмпирическая методология:

· Решение математических задач на практике.



1. Метод наименьших квадратов

1.1 История появления метода наименьших квадратов

До начала XIX в. учёные не имели определённых правил для решения системы уравнений, в которой число неизвестных меньше, чем число уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Гауссу (1795) принадлежит первое применение метода, а Лежандр (1805) независимо открыл и опубликовал его под современным названием (фр. Mйthode des moindres quarrйs). Лаплас связал метод с теорией вероятностей, а американский математик Эдрейн (1808) рассмотрел его теоретико-вероятностные приложения.

Метод распространён и усовершенствован дальнейшими изысканиями Энке, Бесселя, Ганзена и других. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но зато даёт наиболее вероятные значения. Он получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть величины, по которым судят о степени точности выводов.

Работы А. А. Маркова в начале XX века позволили включить метод наименьших квадратов в теорию оценивания математической статистики, в которой он является важной и естественной частью. Усилиями Ю. Неймана, Ф.Дэвида, А. Эйткена, С. Рао было получено немало важных результатов в этой области. Метод наименьших квадратов был доминирующей темой математической статистики. В некоторых аспектах он имел такое же значение для статистики, как метод расчета для математики в предыдущем столетии. «Доказательства» метода показали направление для развития теории статистики; руководством для применения высших методов стали справочники, объясняющие использование названного метода, а дискуссии вокруг приоритетности его открытия сигнализировали об осознании интеллектуальным обществом значения метода. Подобно математическому методу расчета данный «расчет наблюдений» не возник из ничего, а исследование его премудростей и потенциала заняло более столетия. На протяжении практически всего этого времени статистические методы вместе называли «комбинацией наблюдений». Данная фраза охватывает ключевое составляющее метода наименьших квадратов и описывает концепцию, эволюция которой задавала темп его развития.

1.2 Сущность метода наименьших квадратов

Пусть -- набор неизвестных переменных (параметров), -- совокупность функций от этого набора переменных. Задача заключается в подборе таких значений , чтобы значения этих функций были максимально близки к некоторым значениям . По существу речь идет о «решении» переопределенной системы уравнений в указанном смысле максимальной близости левой и правой частей системы. Сущность МНК заключается в выборе в качестве «меры близости» суммы квадратов отклонений левых и правых частей . Таким образом, сущность МНК может быть выражена следующим образом:

В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Если система переопределена, то есть, говоря нестрого, количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор в смысле максимальной близости векторов и или максимальной близости вектора отклонений к нулю (близость понимается в смысле евклидова расстояния)

1.3 Понятие и определение метода наименьших квадратов

Метод наименьших квадратов -- один из методов регрессионного анализа, использующийся для нахождения оценок параметров регрессии, основанный на минимизации суммы квадратов всех остатков.

Регрессионный (линейный) анализ -- статистический метод исследования зависимости между зависимой переменной и одной или несколькими независимыми переменными . Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные -- критериями. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Основная идея данного метода состоит в том, что в качестве критерия точности решения задачи рассматривается сумма квадратов ошибок, которую стремятся свести к минимуму. При использовании этого метода можно применять как численный, так и аналитический подход.

В частности, в качестве численной реализации метод наименьших квадратов подразумевает проведение как можно большего числа измерений неизвестной случайной величины. Причем, чем больше вычислений, тем точнее будет решение. На этом множестве вычислений (исходных данных) получают другое множество предполагаемых решений, из которого затем выбирается наилучшее. Если множество решений параметризировать, то метод наименьших квадратов сведется к поиску оптимального значения параметров.

В качестве аналитического подхода к реализации МНК на множестве исходных данных (измерений) и предполагаемом множестве решений определяется некоторая функциональная зависимость (функционал), которую можно выразить формулой, получаемой в качестве некоторой гипотезы, требующей подтверждения. В этом случае метод наименьших квадратов сводится к нахождению минимума этого функционала на множестве квадратов ошибок исходных данных.

Зачастую отклонения измерений от точного значения бывают как положительными, так и отрицательными. При определении средней погрешности измерений простое суммирование может привести к неверному выводу о качестве оценки, поскольку взаимное уничтожение положительных и отрицательных значений понизит мощность выборки множества измерений. А, следовательно, и точность оценки. Для того чтобы этого не произошло, и суммируют квадраты отклонений. Даже более того, чтобы выровнять размерность измеряемой величины и итоговой оценки, из суммы квадратов погрешностей извлекают квадратный корень.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Мы выполняем регрессионный анализ, используя выборку наблюдений, где и - выборочные оценки истинных (генеральных) параметров, и , которые определяют линию линейной регрессии в популяции (генеральной совокупности).



2. Аппроксимация функций с помощью метода наименьших квадратов

2.1 Основные понятия и определения аппроксимации функции

Метод наименьших квадратов применяется при обработке результатов эксперимента для аппроксимации (приближения) экспериментальных данных аналитической формулой.

Разберемся для начала, что же такое аппроксимация функции.

Аппроксимацией (приближением) функции называется нахождение такой функции (аппроксимирующей функции) , которая была бы близка заданной. Критерии близости функций могут быть различные.

В случае если приближение строится на дискретном наборе точек, аппроксимацию называют точечной или дискретной.

В случае если аппроксимация проводится на непрерывном множестве точек (отрезке), аппроксимация называется непрерывной или интегральной. Примером такой аппроксимации может служить разложение функции в ряд Тейлора, то есть замена некоторой функции степенным многочленом.

Наиболее часто встречающим видом точечной аппроксимации является интерполяция - нахождение промежуточных значений величины по имеющемуся дискретному набору известных значений.

Пусть задан дискретный набор точек, называемых узлами интерполяции, а также значения функции в этих точках. Требуется построить функцию , проходящую наиболее близко ко всем заданным узлам. Таким образом, критерием близости функции является .

В качестве функции обычно выбирается полином, который называют интерполяционным полиномом.

В случае если полином един для всей области интерполяции, говорят, что интерполяция глобальная.

В случае если между различными узлами полиномы различны, говорят о кусочной или локальной интерполяции.

Найдя интерполяционный полином, мы можем вычислить значения функции между узлами, а также определить значение функции даже за пределами заданного интервала (провести экстраполяцию).

Конкретный вид формулы выбирается, как правило, из физических соображений. Такими формулами могут быть:

(2.1)

и другие.

Сущность метода наименьших квадратов состоит в следующем. Пусть результаты измерений представлены таблицей:

Будем считать, что вид аппроксимирующей зависимости выбран, и ее можно записать в виде:

(2.2)

где - известная функция, - неизвестные постоянные параметры, значения которых надо найти. В методе наименьших квадратов приближение функции (2.2) к экспериментальной зависимости считается наилучшим, если выполняется условие

(2.3)

то есть суммa квадратов отклонений искомой аналитической функции от экспериментальной зависимости должна быть минимальна.

Заметим, что функция называется невязкой.

Так как невязка

то она имеет минимум. Необходимым условием минимума функции нескольких переменных является равенство нулю всех частных производных этой функции по параметрам. Таким образом, отыскание наилучших значений параметров аппроксимирующей функции (2.2), то есть таких их значений, при которых минимальна, сводится к решению системы уравнений:

(2.4)

Методу наименьших квадратов можно дать следующее геометрическое истолкование: среди бесконечного семейства линий данного вида отыскивается одна линия, для которой сумма квадратов разностей ординат экспериментальных точек и соответствующих им ординат точек, найденных по уравнению этой линии, будет наименьшей.

2.2 Нахождение параметров линейной функции

Пусть экспериментальные данные надо представить линейной функцией:

Требуется подобрать такие значения и , для которых функция

(2.5)

наименьший квадрат регрессия аппроксимация

будет минимальной. Необходимые условия минимума функции (3.4) сводятся к системе уравнений:



(2.6)

После преобразований получаем систему двух линейных уравнений с двумя неизвестными:

(2.7)

решая которую, находим искомые значения параметров и .

Определяем значение параметров:

(2.8)

Для вычисления коэффициентов необходимо найти следующие составляющие:



(2.9)

Тогда значение параметры будут определены как:

(2.10)



3. Применение МНК

3.1 Области применения МНК

МНК широко используется в различных областях. Например, в теории вероятностей и математической статистике метод используется для определения такой характеристики случайной величины, как среднее квадратичное отклонение, определяющей ширину диапазона значений случайной величины. В математическом анализе и различных областях физики, использующих для вывода или подтверждения гипотез, МНК применяют, в частности, для оценки приближенного представления функций, определенных на числовых множествах, более простыми функциями, допускающими аналитические преобразования.

Еще одно применение этого метода - отделение полезного сигнала от наложенного на него шума в задачах фильтрации.

Ещё одна область применения МНК - эконометрика. Здесь данный метод настолько широко используется, что для него были определены некоторые специальные модификации. Метод наименьших квадратов основан на ряде предпосылок относительно природы данных и результатов построения модели. Основные из них - это четкое разделение исходных переменных на зависимые и независимые, некоррелированность факторов, входящих в уравнения, линейность связи, отсутствие автокорреляции остатков, равенство их математических ожиданий нулю и постоянная дисперсия. Эмпирические данные не всегда обладают такими характеристиками, т.е. предпосылки МНК нарушаются. Применение этого метода в чистом виде может привести к таким нежелательным результатам, как смещение оцениваемых параметров, снижение их состоятельности, устойчивости, а в некоторых случаях может и вовсе не дать решения. Для смягчения нежелательных эффектов при построении регрессионных уравнений, повышения адекватности моделей существует ряд усовершенствований МНК, которые применяются для данных нестандартной природы.

Большинство задач эконометрики, так или иначе, сводится к решению систем линейных эконометрических уравнений, описывающих поведение некоторых систем - структурных моделей. Основной элемент каждой такой модели - временной ряд, представляющий собой набор некоторых характеристик, значения которых зависят как от времени, так и от ряда других факторов. При этом может наблюдаться соответствие между внутренними (эндогенными) характеристиками модели и внешними (экзогенными) характеристиками. Это соответствие выражается обычно в виде систем линейных экономических уравнений. Характерной особенностью таких систем является наличие взаимосвязей между отдельными переменными, которые с одной стороны, усложняют ее, с другой - переопределяют. Что является причиной появления неопределенности при выборе решения таких систем. Дополнительным фактором, усложняющим решение таких задач, является зависимость параметров моделей от времени.

Основная цель задач эконометрики - идентификация моделей, то есть определение структурных взаимосвязей в выбранной модели, а также оценивание ряда ее параметров. Восстановление зависимостей во временных рядах, составляющих модели, может быть выполнено, в частности, с помощью как прямого МНК, так и некоторых его модификаций, а также ряда других методов. Специальные модификации МНК при решении таких задач специально развиты для разрешения тех или иных проблем, возникающих в процессе численного решения систем уравнений. В частности, одна из таких проблем связана с наличием исходных ограничений на параметры, которые нужно оценивать. Например, доход частного предприятия может быть потрачен на потребление или на его развитие. Следовательно, сумма частей данных двух видов затрат заведомо равна 1. В систему эконометрических уравнений эти части могут входить независимо друг от друга. Следовательно, можно оценить различные виды трат с помощью МНК, без учета исходного ограничения, а затем подкорректировать полученный результат.

3.2 Примеры использования МНК для линейной функции

Пример 1.

Экспериментальные данные о значениях переменных х и у приведены в таблице.

В результате их выравнивания получена функция. Используя метод наименьших квадратов, аппроксимировать эти данные линейной зависимостью(найти параметры и ). Выяснить, какая из двух линий лучше (в смысле метода наименьших квадратов) выравнивает экспериментальные данные. Сделать чертеж.

Решение:

В нашем примере n=5. Заполняем таблицу для удобства вычисления сумм, которые входят в формулы искомых коэффициентов.

	0	1	2	4	5	12
	2.1	2.4	2.6	2.8	3	12.9
	0	2.4	5.2	11.2	15	33.8
	0	1	4	16	25	46

Значения в четвертой строке таблицы получены умножением значений 2-ой строки на значения 3-ей строки для каждого номера i.

Значения в пятой строке таблицы получены возведением в квадрат значений 2-ой строки для каждого номера i.

Значения последнего столбца таблицы - это суммы значений по строкам.

Используем формулы метода наименьших квадратов для нахождения коэффициентов а и b. Подставляем в них соответствующие значения из последнего столбца таблицы:

Следовательно, - искомая аппроксимирующая прямая.

Осталось выяснить какая из линий или лучше аппроксимирует исходные данные, то есть произвести оценку методом наименьших квадратов.

На графиках все прекрасно видно. Красная линия - это найденная прямая y = 0.165x+2.184, синяя линия - это, розовые точки - это исходные данные.



Оценка погрешности метода наименьших квадратов.

Для этого требуется вычислить суммы квадратов отклонений исходных данных от этих линий и , меньшее значение соответствует линии, которая лучше в смысле метода наименьших квадратов аппроксимирует исходные данные.

Так как , то прямая y = 0.165x+2.184 лучше приближает исходные данные.

Пример 2.

Аппроксимировать таблично заданную функцию по пяти заданным точкам полиномом первой степени или построить линейную зависимость с помощью метода наименьших квадратов.

	0	1	2	3	4
	0	1	2	3	4
	0	1	2	2	3.5

Решение:

1. запишем нормальную систему для - полинома первой степени:

где N = 5 - количество точек.

2. Вычислим все необходимые суммы: N=5,

Таким образом, подставляя числовые значения сумм в нормальную систему и решая ее, относительно неизвестных получаем, что



Заключение

В результате проведённых действий можно утверждать, что найденные с помощью нормальной системы уравнений коэффициенты линейной парной регрессии являются наилучшими среди всех других. Чтобы это выяснить, действительно, необходимо было рассмотреть метод наименьших квадратов и применить теоремы поиска экстремума функций многих переменных. Также был приведен пример линейной регрессии, построен её график, в котором прямая является «ближайшей» к точкам данных наблюдений.

Метод наименьших квадратов может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функцией. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Сегодня этот способ представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники. Ведь этот метод применяется именно к преобразованным данным и позволяет получать оценки, которые обладают не только свойством несмещенности, но и имеют меньшие выборочные дисперсии, что является важным условием для науки и техники.



Список использованных источников

1. Колмогоров А.Н. «Основные понятия теории вероятностей»_2009 г.

2. Вентцель Е. «Теория вероятностей»_С_2010, 4-е изд.

3. Письменный Д.Т. «Конспект лекций по теории вероятностей, математической статистике и случайным процессам».3-е изд.(2010 г.)

4. Тутубалин В.Н. «Теория вероятностей и случайных процессов». (2009 г.)

5. В. Н. Тутубалин Университетский учебник, серия «Прикладная математика и информатика. Теория вероятности» (2008 г.)

6. Н.Д. Выск «Теория вероятностей и математическая статистика», учебное пособие (2011 г.)

7. Габор Секей. «Парадоксы в теории вероятностей и математической статистике» (1990 г.)

Использованные интернет ресурсы:

1. URL: http://www.vevivi.ru/best/Klassicheskii-metod-naimenshikh-kvadratov-ref108272.html

2. URL: http://www.okultur.narod.ru/Lections/MethodsForecasting.pdf

3. URL:http://fb.ru/article/32814/gde-primenyaetsya-metod-naimenshih-kvadratov

Размещено на Allbest.ru

...