Обобщенный метод наименьших квадратов
Метод наименьших квадратов как один из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным. Определение эффективности использования процедур Кохрейна-Оркатта, Хилдрета-Лу и Дарбина.
| Рубрика | Математика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 02.02.2019 |
| Размер файла | 387,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Е. С. Дубейко, О. Н. Канева, Д. Ч. Абдильдинова
Омский государственный технический университет, г. Омск, Россия
В работе был изучен и реализован обобщенный метод наименьших квадратов, проведены численные эксперименты.
Ключевые слова: аппроксимация, интерполяция, регрессионный анализ, регрессия, метод наименьших квадратов, матрица ковариаций.
Метод наименьших квадратов (МНК) является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным[1].
(1)
Если нарушается одно из условий применимости МНК - условие отсутствия автокорреляции, то есть случайные величины еi(ошибки)зависимы друг от друга, то следует применять обобщенный метод наименьших квадратов.
Обобщенный метод наименьших квадратов метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщенный МНК сводится к минимизации «обобщенной суммы квадратов» остатков регрессии , где вектор остатков, симметрическая положительно определенная весовая матрица. Обычно обобщённым методом наименьших квадратов называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.
Проблема применения обобщённого МНК заключается в неизвестности ковариационной матрицы случайных ошибок. Поэтому на практике используют доступный вариант обобщенного МНК, когда вместо V используется её некоторая оценка. Рассмотрено три процедуры [2]:
1) Процедура Кохрейна-Оркатта.
2) Процедура Хилдрета-Лу.
3) Процедура Дарбина.
Если случайные ошибки модели связаны авторегрессионной зависимостью первого порядка , то не учитывая первые наблюдения, преобразование заключается в следующем: из текущих значений переменных отнимаются предыдущие и умножаются на величину r. Величина r- это коэффициент автокорреляции при первом лаге.
(2)
Преобразование (2) называется авторегрессионным преобразованием. Для первых наблюдений применяется поправка Прайса - Уинстена - данные первых наблюдений умножаются на величину . Случайная ошибка полученной модели по предположению есть белый шум. Дальнейшее применение обычного метода наименьших квадратов позволит получить качественные оценки данной модели.
Процедура Кохрейна-Оркатта
Шаг 1. Оценка исходной модели методом наименьших квадратов и получение остатков модели.
Шаг 2. Оценка коэффициента автокорреляции остатков модели (формально её можно получить также как МНК-оценку параметра авторегрессии во вспомогательной регрессии остатков ).
Шаг 3. Авторегрессионное преобразование данных (с помощью оцененного на втором шаге коэффициента автокорреляции) и оценка параметров преобразованной модели обычным МНК.
Оценки параметров преобразованной модели и являются оценками параметров исходной модели, за исключением константы, которая восстанавливается делением константы преобразованной модели на 1-r. Процедура может повторяться со второго шага до достижения требуемой точности.
Процедура Хилдрета - Лу
В данной процедуре производится прямой поиск значения коэффициента автокорреляции, которое минимизирует сумму квадратов остатков преобразованной модели. А именно задаются значения r из возможного интервала (-1;1) с некоторым шагом. Для каждого из них производится авторегрессионное преобразование, оценивается модель обычным МНК и находится сумма квадратов остатков. Выбирается тот коэффициент автокорреляции, для которого эта сумма квадратов минимальна. Далее в окрестности найденной точки строится сетка с более мелким шагом и процедура повторяется заново. Процесс овторяться заново до достижения требуемой точности.
Процедура Дарбина
Используя авторегрессионное преобразование
. (3)
Раскрыв скобки и перенеся лаговую зависимую переменную вправо получим
. (4)
Введем обозначения
, , .
огда получим следующую модель:
, (5)
которую необходимо оценить с помощью обычного МНК.
При этом полученная оценка коэффициента автокорреляции может быть использована для авторегрессионного преобразования и применения МНК для этой преобразованной модели для получения более точных оценок параметров.
Была реализована программа на языке С#. Программа реализует три процедуры: Кохрейна-Оркатта, Хилдрета-Лу и Дарбина, а также применяет обычный метод наименьших квадратов. Входные данные, которые будут использоваться для вычислений, получают из файла формата csv. Одна строка таблицы - это она строка файла. Файл должен состоять из двух столбцов, первый - значения независимой переменной Х, второй - значения зависимой переменной Y.
На основании имеющихся данных строится график зависимостиX и Y. Выбираем вид функции регрессии: линейная или квадратичная. Далее по рассмотренным выше алгоритмам после выбора необходимой процедуры производим вычисления. На рисунках 1 - 3 показаны результаты работы программы для каждой отдельной процедуры.
Рисунок 1 - Результат работы программы для процедуры Кохрейна-Оркатта
Рисунок 2 - Результат работы программы для процедуры Хилдрета-Лу
Рисунок 3 - Результат работы программы для процедуры Дарбина
Выходными данными являются параметры функции регрессии, среднеквадратическая ошибка MSE, средняя ошибка аппроксимации MAPI и коэффициент детерминации R2. Оценки MSEи R2 необходимы для исследования качества полученной модели, а оценка MAPI - точности прогнозной модели. Построенное уравнение регрессии можно считать удовлетворительным, если величина MAPIне превышает 8-10%.
Были проведены численные эксперименты, которые позволили сделать вывод об эффективности использования этих процедур на наборах данных, в которых присутствует автокорреляция.
метод наименьший квадрат регрессионный
Библиографический список
1) Дрейпер, Н. Прикладной регрессионный анализ[Текст]: пер. с англ. Ю. П. Адлером, В. Г. Горским. / Н. Дрейпер, Г. Смит. - книга 2, 2-е изд. - М. :Финансы и статистика, 2012. - 304 с.
2) Грачева, М. В. Моделирование экономических процессов [Текст]: учеб. пособие. / М. В. Грачева, Л. Н. Фадеева, Ю. Н. Черемных. - М.: Юнити, 2005. - 351 с.
Размещено на Allbest.ru
...Подобные документы
Вероятностное обоснование метода наименьших квадратов как наилучшей оценки. Прямая и обратная регрессии. Общая линейная модель. Многофакторные модели. Доверительные интервалы для оценок метода наименьших квадратов. Определение минимума невязки.
реферат [383,7 K], добавлен 19.08.2015Основные задачи регрессионного анализа в математической статистике. Вычисление дисперсии параметров уравнения регрессии и дисперсии прогнозирования эндогенной переменной. Установление зависимости между переменными. Применение метода наименьших квадратов.
презентация [100,3 K], добавлен 16.12.2014Оценка неизвестных величин по результатам измерений, содержащим случайные ошибки, при помощи метода наименьших квадратов. Аппроксимация многочленами, обзор существующих методов аппроксимации. Математическая постановка задачи аппроксимации функции.
курсовая работа [1,9 M], добавлен 12.02.2013Изучение аппроксимации таблично заданной функции методом наименьших квадратов при помощи вычислительной системы Mathcad. Исходные данные и функция, вычисляющая матрицу коэффициентов систему уравнений. Выполнение вычислений для разных порядков полинома.
лабораторная работа [166,4 K], добавлен 13.04.2016Аппроксимация и теория приближений, применение метода наименьших квадратов для оценки характера приближения. Квадратичное приближение таблично заданной функции по дискретной норме Гаусса. Интегральное приближение функции, которая задана аналитически.
реферат [82,0 K], добавлен 05.09.2010Неопределенный интеграл. Объем тела вращения. Эмпирическая формула. Сходимость ряда. Вычисление объема тела, образованного вращением вокруг оси ОХ фигуры, ограниченной линиями. Исследование на условную сходимость по признаку Лейбница.
контрольная работа [25,8 K], добавлен 27.05.2004Исследование вопросов построения эмпирических формул методом наименьших квадратов средствами пакета Microsoft Excel и решение данной задачи в MathCAD. Сравнительная характеристика используемых средств, оценка их эффективности и перспективы применения.
курсовая работа [471,3 K], добавлен 07.03.2015Прямолинейные, обратные и криволинейные связи. Статистическое моделирование связи методом корреляционного и регрессионного анализа. Метод наименьших квадратов. Оценка значимости коэффициентов регрессии. Проверка адекватности модели по критерию Фишера.
курсовая работа [232,7 K], добавлен 21.05.2015Исследование точности прогнозирования случайного процесса с использованием метода наименьших квадратов. Анализ расхождения между трендом и прогнозом, последующая оценка близости распределения расхождений наблюдений и распределения сгенерированного шума.
курсовая работа [1,0 M], добавлен 29.01.2010Метод Гаусса, метод прогонки, нелинейное уравнение. Метод вращения Якоби. Интерполяционный многочлен Лагранжа и Ньютона. Метод наименьших квадратов, интерполяция сплайнами. Дифференцирование многочленами, метод Монте-Карло и Рунге-Кутты, краевая задача.
курсовая работа [4,8 M], добавлен 23.05.2013Понятие интерполяционного многочлена Лагранжа как многочлена минимальной степени, порядок его построения. Решение и оценка остаточного члена. Нахождение приближающей функции в виде линейной функции, квадратного трехчлена и других элементарных функций.
курсовая работа [141,5 K], добавлен 23.07.2011Постановка задачи аппроксимации методом наименьших квадратов, выбор аппроксимирующей функции. Общая методика решения данной задачи. Рекомендации по выбору формы записи систем линейных алгебраических уравнений. Решение систем методом обратной матрицы.
курсовая работа [77,1 K], добавлен 02.06.2011Расчеты с помощью метода наименьшего квадрата для определения мольной теплоёмкости. Составление с помощью метода программирования системы нелинейных уравнений. Получение в среде Mathcad уравнения, максимально приближенного к экспериментальным данным.
лабораторная работа [469,6 K], добавлен 17.06.2014Преобразование коэффициентов полиномов Чебышева. Функции, применяемые в численном анализе. Интерполяция многочленами, метод аппроксимации - сплайн-аппроксимация, ее отличия от полиномиальной аппроксимации Лагранжем и Ньютоном. Метод наименьших квадратов.
реферат [21,5 K], добавлен 27.01.2011Статистическое описание и выборочные характеристики двумерного случайного вектора. Оценка параметров линейной регрессии, полученных по методу наименьших квадратов. Проверка гипотезы о равенстве средних нормальных совокупностей при неизвестных дисперсиях.
контрольная работа [242,1 K], добавлен 05.11.2011Градиентные уравнения и уравнения в вариациях, функционалы метода наименьших квадратов. Численное решение градиентных уравнений: полиномиальные системы, метод рядов Тейлора и метод Рунге-Кутта. Числовые модели осциллирующих процессов в живой природе.
реферат [221,4 K], добавлен 10.08.2010Закон больших чисел. Нахождение точечных оценок. Построение неизвестной дисперсии погрешности измерений. Выборочная функция распределения. Теорема Ляпунова и распределение Стьюдента. Вычисление доверительных интервалов. Построение интервальных оценок.
курсовая работа [4,3 M], добавлен 18.12.2011Интерполяция (частный случай аппроксимации). Аппроксимация функцией. Метод наименьших квадратов. Из курса математики известны 3 способа задания функциональных зависимостей: аналитический, графический, табличный.
реферат [70,4 K], добавлен 26.05.2006Основные методы измерения деревьев. Наука о математических методах систематизации. Определение дисперсии случайной величины. Выборочное исправленное среднее квадратическое отклонение. Метод наименьших квадратов. Свойства параболической регрессии.
курсовая работа [840,1 K], добавлен 15.06.2011Особенности метода аппроксимации табулированных функций. Рассмотрение преимуществ работы в среде математической программы Mathcad. Метод наименьших квадратов как наиболее распространенный метод аппроксимации экспериментальных данных, сферы применения.
курсовая работа [1,2 M], добавлен 30.09.2012
