Метод наименьших квадратов
Характеристика метода наименьших квадратов, применяемого для оценки неизвестных параметров регрессионных моделей по выборочным данным, основанного на минимизации суммы квадратов остатков регрессии. Пример его использования в случае линейной зависимости.
| Рубрика | Математика |
| Вид | реферат |
| Язык | русский |
| Дата добавления | 20.05.2013 |
| Размер файла | 48,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
Российский химико-технологический университет им. Д.И. Менделеева
Реферат на тему:
«Метод наименьших квадратов».
Выполнил: Цыреторов Соёл, гр. ТМ-22
Москва, 2013г.
Метод наименьших квадратов (МНК, OLS, Ordinary Least Squares) -- один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Метод основан на минимизации суммы квадратов остатков регрессии.
Необходимо отметить, что собственно методом наименьших квадратов можно назвать метод решения задачи в любой области, если решение заключается или удовлетворяет некоторому критерию минимизации суммы квадратов некоторых функций от искомых переменных. Поэтому метод наименьших квадратов может применяться также для приближённого представления (аппроксимации) заданной функции другими (более простыми) функциями, при нахождении совокупности величин, удовлетворяющих уравнениям или ограничениям, количество которых превышает количество этих величин и т. д.
Если некоторая физическая величина зависит от другой величины, то эту зависимость можно исследовать, измеряя y при различных значениях x. В результате измерений получается ряд значений:
x1, x2,..., xi,,..., xn;
y1, y2,..., yi,,..., yn.
По данным такого эксперимента можно построить график зависимости y = ѓ(x). Полученная кривая дает возможность судить о виде функции ѓ(x). Однако постоянные коэффициенты, которые входят в эту функцию, остаются неизвестными. Определить их позволяет метод наименьших квадратов. Экспериментальные точки, как правило, не ложатся точно на кривую. Метод наименьших квадратов требует, чтобы сумма квадратов отклонений экспериментальных точек от кривой, т.е. [yi - ѓ(xi)]2 была наименьшей.
На практике этот метод наиболее часто (и наиболее просто) используется в случае линейной зависимости, т.е. когда
y = kx или y = a + bx.
Линейная зависимость очень широко распространена в физике. И даже когда зависимость нелинейная, обычно стараются строить график так, чтобы получить прямую линию. Например, если предполагают, что показатель преломления стекла n связан с длиной л световой волны соотношением n = a + b/л2, то на графике строят зависимость n от л-2.
Рассмотрим зависимость y = kx (прямая, проходящая через начало координат). Составим величину ц - сумму квадратов отклонений наших точек от прямой
.
Величина ц всегда положительна и оказывается тем меньше, чем ближе к прямой лежат наши точки. Метод наименьших квадратов утверждает, что для k следует выбирать такое значение, при котором ц имеет минимум
или (1)
Вычисление показывает, что среднеквадратичная ошибка определения величины k равна при этом
, (2)
где - n число измерений.
Рассмотрим теперь несколько более трудный случай, когда точки должны удовлетворить формуле
y = a + bx (прямая, не проходящая через начало координат).
Задача состоит в том, чтобы по имеющемуся набору значений xi, yi найти наилучшие значения a и b.
Снова составим квадратичную форму ц, равную сумме квадратов отклонений точек xi, yi от прямой
и найдем значения a и b, при которых ц имеет минимум
;
.
.
Совместное решение этих уравнений дает
(3)
. (4)
Среднеквадратичные ошибки определения a и b равны
(5)
. (6)
При обработке результатов измерения этим методом удобно все данные сводить в таблицу, в которой предварительно подсчитываются все суммы, входящие в формулы (1)-(6).
Пример 1. Исследовалось основное уравнение динамики вращательного движения е = M/J (прямая, проходящая через начало координат). При различных значениях момента M измерялось угловое ускорение е некоторого тела. Требуется определить момент инерции этого тела. Результаты измерений момента силы и углового ускорения занесены во второй и третий столбцы таблицы 1.
Таблица 1
|
n |
M, Н · м |
е, c-1 |
M2 |
M · е |
е - kM |
(е - kM )2 |
|
|
1 |
1.44 |
0.52 |
2.0736 |
0.7488 |
0.039432 |
0.001555 |
|
|
2 |
3.12 |
1.06 |
9.7344 |
3.3072 |
0.018768 |
0.000352 |
|
|
3 |
4.59 |
1.45 |
21.0681 |
6.6555 |
-0.08181 |
0.006693 |
|
|
4 |
5.90 |
1.92 |
34.81 |
11.328 |
-0.049 |
0.002401 |
|
|
5 |
7.45 |
2.56 |
55.5025 |
19.072 |
0.073725 |
0.005435 |
|
|
? |
- |
- |
123.1886 |
41.1115 |
- |
0.016436 |
По формуле (1) определяем:
.
Отсюда
.
Для определения среднеквадратичной ошибки воспользуемся формулой (20)
регрессионный модель линейный квадрат
= 0.005775 кг-1 · м-2.
По формуле
(где Дx, Дy, Дz,... - доверительные интервалы при заданных доверительных вероятностях (надежностях) для аргументов x, y, z,.... Следует иметь в виду, что доверительные интервалы Дx, Дy, Дz,... должны быть взяты при одинаковой доверительной вероятности P1 = P2 =... = Pn = P) имеем
;.
SJ = (2.996 · 0.005775)/0.3337 = 0.05185 кг · м2.
Задавшись надежностью P = 0.95, по таблице коэффициентов Стьюдента для n = 5, находим t = 2.78 и определяем абсолютную ошибку ДJ = 2.78 · 0.05185 = 0.1441 ? 0.2 кг · м2.
Результаты запишем в виде: J = (3.0 ± 0.2) кг · м2;
Размещено на Allbest.ru
...Подобные документы
Вероятностное обоснование метода наименьших квадратов как наилучшей оценки. Прямая и обратная регрессии. Общая линейная модель. Многофакторные модели. Доверительные интервалы для оценок метода наименьших квадратов. Определение минимума невязки.
реферат [383,7 K], добавлен 19.08.2015Основные задачи регрессионного анализа в математической статистике. Вычисление дисперсии параметров уравнения регрессии и дисперсии прогнозирования эндогенной переменной. Установление зависимости между переменными. Применение метода наименьших квадратов.
презентация [100,3 K], добавлен 16.12.2014Оценка неизвестных величин по результатам измерений, содержащим случайные ошибки, при помощи метода наименьших квадратов. Аппроксимация многочленами, обзор существующих методов аппроксимации. Математическая постановка задачи аппроксимации функции.
курсовая работа [1,9 M], добавлен 12.02.2013Аппроксимация и теория приближений, применение метода наименьших квадратов для оценки характера приближения. Квадратичное приближение таблично заданной функции по дискретной норме Гаусса. Интегральное приближение функции, которая задана аналитически.
реферат [82,0 K], добавлен 05.09.2010Знакомство с уравнениями линейной регрессии, рассмотрение распространенных способов решения. Общая характеристика метода наименьших квадратов. Особенности оценки статистической значимости парной линейной регрессии. Анализ транспонированной матрицы.
контрольная работа [380,9 K], добавлен 05.04.2015Статистическое описание и выборочные характеристики двумерного случайного вектора. Оценка параметров линейной регрессии, полученных по методу наименьших квадратов. Проверка гипотезы о равенстве средних нормальных совокупностей при неизвестных дисперсиях.
контрольная работа [242,1 K], добавлен 05.11.2011Изучение аппроксимации таблично заданной функции методом наименьших квадратов при помощи вычислительной системы Mathcad. Исходные данные и функция, вычисляющая матрицу коэффициентов систему уравнений. Выполнение вычислений для разных порядков полинома.
лабораторная работа [166,4 K], добавлен 13.04.2016Исследование точности прогнозирования случайного процесса с использованием метода наименьших квадратов. Анализ расхождения между трендом и прогнозом, последующая оценка близости распределения расхождений наблюдений и распределения сгенерированного шума.
курсовая работа [1,0 M], добавлен 29.01.2010Исследование вопросов построения эмпирических формул методом наименьших квадратов средствами пакета Microsoft Excel и решение данной задачи в MathCAD. Сравнительная характеристика используемых средств, оценка их эффективности и перспективы применения.
курсовая работа [471,3 K], добавлен 07.03.2015Неопределенный интеграл. Объем тела вращения. Эмпирическая формула. Сходимость ряда. Вычисление объема тела, образованного вращением вокруг оси ОХ фигуры, ограниченной линиями. Исследование на условную сходимость по признаку Лейбница.
контрольная работа [25,8 K], добавлен 27.05.2004Постановка задачи аппроксимации методом наименьших квадратов, выбор аппроксимирующей функции. Общая методика решения данной задачи. Рекомендации по выбору формы записи систем линейных алгебраических уравнений. Решение систем методом обратной матрицы.
курсовая работа [77,1 K], добавлен 02.06.2011Расчеты с помощью метода наименьшего квадрата для определения мольной теплоёмкости. Составление с помощью метода программирования системы нелинейных уравнений. Получение в среде Mathcad уравнения, максимально приближенного к экспериментальным данным.
лабораторная работа [469,6 K], добавлен 17.06.2014Понятие интерполяционного многочлена Лагранжа как многочлена минимальной степени, порядок его построения. Решение и оценка остаточного члена. Нахождение приближающей функции в виде линейной функции, квадратного трехчлена и других элементарных функций.
курсовая работа [141,5 K], добавлен 23.07.2011Определение частных производных первого и второго порядков заданной функции, эластичности спроса, основываясь на свойствах функции спроса. Выравнивание данных по прямой методом наименьших квадратов. Расчет параметров уравнения линейной парной регрессии.
контрольная работа [99,4 K], добавлен 22.07.2009Механизм и основные этапы нахождения необходимых параметров методом наименьших квадратов. Графическое сравнение линейной и квадратичной зависимостей. Проверка гипотезы о значимости выборочного коэффициента корреляции при заданном уровне значимости.
курсовая работа [782,6 K], добавлен 19.05.2014Определение коэффициентов элементарных функций: линейной, показательной, степенной, гиперболической, дробно-линейной, дробно-рациональной. Использование метода наименьших квадратов. Приближённые математические модели в виде приближённых функций.
лабораторная работа [253,6 K], добавлен 05.01.2015Прямолинейные, обратные и криволинейные связи. Статистическое моделирование связи методом корреляционного и регрессионного анализа. Метод наименьших квадратов. Оценка значимости коэффициентов регрессии. Проверка адекватности модели по критерию Фишера.
курсовая работа [232,7 K], добавлен 21.05.2015Основные методы измерения деревьев. Наука о математических методах систематизации. Определение дисперсии случайной величины. Выборочное исправленное среднее квадратическое отклонение. Метод наименьших квадратов. Свойства параболической регрессии.
курсовая работа [840,1 K], добавлен 15.06.2011История открытия магических квадратов; элементарные принципы их построения. Линейный метод построения магических квадратов порядка n. Описание методов Москопула, альфила и Баше. Особенности построения магических квадратов четного и нечетного порядков.
курсовая работа [992,4 K], добавлен 24.07.2014Градиентные уравнения и уравнения в вариациях, функционалы метода наименьших квадратов. Численное решение градиентных уравнений: полиномиальные системы, метод рядов Тейлора и метод Рунге-Кутта. Числовые модели осциллирующих процессов в живой природе.
реферат [221,4 K], добавлен 10.08.2010
