Оценка адекватности модели и существенности параметров линейной регрессии
Дисперсионный анализ в математической статистике как самостоятельный инструмент статистического анализа, его понятие и применение в эконометрике как вспомогательного средства для изучения качества регрессионной модели. Линейный коэффициент корреляции.
| Рубрика | Математика |
| Вид | лекция |
| Язык | русский |
| Дата добавления | 25.04.2015 |
| Размер файла | 147,4 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Лекция. Оценка адекватности модели и существенности параметров линейной регрессии
Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции , который можно рассчитать по следующим формулам:
. (1.6)
Линейный коэффициент корреляции находится в пределах: . Чем ближе абсолютное значение к единице, тем сильнее линейная связь между факторами (при имеем строгую функциональную зависимость).
Иногда показателям тесноты связи можно дать качественную оценку (шкала Чеддока):
|
Количественная мера тесноты связи |
Качественная характеристика силы связи |
|
|
0,1 - 0,3 |
Слабая |
|
|
0,3 - 0,5 |
Умеренная |
|
|
0,5 - 0,7 |
Заметная |
|
|
0,7 - 0,9 |
Высокая |
|
|
0,9 - 0,99 |
Весьма высокая |
Функциональная связь возникает при значении равном 1, а отсутствие связи -- 0. При значениях показателей тесноты связи меньше 0,7 величина коэффициента детерминации всегда будет ниже 50 %. Это означает, что на долю вариации факторных признаков приходится меньшая часть по сравнению с остальными неучтенными в модели факторами, влияющими на изменение результативного показателя. Построенные при таких условиях регрессионные модели имеют низкое практическое значение.
Но следует иметь в виду, что близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При другой (нелинейной) спецификации модели связь между признаками может оказаться достаточно тесной.
Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака:
, (1.7)
где ,.
Соответственно величина характеризует долю дисперсии , вызванную влиянием остальных, не учтенных в модели, факторов.
После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.
Проверить значимость уравнения регрессии - значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной.
Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют среднюю ошибку аппроксимации:
. (1.8)
математический дисперсионный статистика эконометрика
Средняя ошибка аппроксимации не должна превышать 8-10%.
Оценка значимости уравнения регрессии в целом производится на основе -критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.
Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной от среднего значения раскладывается на две части - «объясненную» и «необъясненную»:
,
где - общая сумма квадратов отклонений; - сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений); - остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов.
Схема дисперсионного анализа имеет вид, представленный в таблице 1.1 ( - число наблюдений, - число параметров при переменной ).
Таблица 1.1
|
Компоненты дисперсии |
Сумма квадратов |
Число степеней свободы |
Дисперсия на одну степень свободы |
|
|
Общая |
||||
|
Факторная |
||||
|
Остаточная |
Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину -критерия Фишера:
. (1.9)
Фактическое значение -критерия Фишера (1.9) сравнивается с табличным значением при уровне значимости и степенях свободы и . При этом, если фактическое значение -критерия больше табличного, то признается статистическая значимость уравнения в целом.
Для парной линейной регрессии , поэтому
. (1.10)
Величина -критерия связана с коэффициентом детерминации , и ее можно рассчитать по следующей формуле:
. (1.11)
В парной линейной регрессии оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка: и .
Стандартная ошибка коэффициента регрессии определяется по формуле:
, (1.12)
где - остаточная дисперсия на одну степень свободы.
Величина стандартной ошибки совместно с -распределением Стьюдента при степенях свободы применяется для проверки существенности коэффициента регрессии и для расчета его доверительного интервала.
Для оценки существенности коэффициента регрессии его величина сравнивается с его стандартной ошибкой, т.е. определяется фактическое значение -критерия Стьюдента: которое затем сравнивается с табличным значением при определенном уровне значимости и числе степеней свободы . Доверительный интервал для коэффициента регрессии определяется как . Поскольку знак коэффициента регрессии указывает на рост результативного признака при увеличении признака-фактора (), уменьшение результативного признака при увеличении признака-фактора () или его независимость от независимой переменной () (см. рис. 1.3), то границы доверительного интервала для коэффициента регрессии не должны содержать противоречивых результатов, например, . Такого рода запись указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже ноль, чего не может быть.
Рис. 1.3. Наклон линии регрессии в зависимости от значения параметра .
Стандартная ошибка параметра определяется по формуле:
. (1.13)
Процедура оценивания существенности данного параметра не отличается от рассмотренной выше для коэффициента регрессии. Вычисляется -критерий: , его величина сравнивается с табличным значением при степенях свободы.
Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции :
. (1.14)
Фактическое значение -критерия Стьюдента определяется как .
Существует связь между -критерием Стьюдента и -критерием Фишера:
. (1.15)
В прогнозных расчетах по уравнению регрессии определяется предсказываемое значение как точечный прогноз при , т.е. путем подстановки в уравнение регрессии соответствующего значения . Однако точечный прогноз явно не реален. Поэтому он дополняется расчетом стандартной ошибки , т.е. , и соответственно интервальной оценкой прогнозного значения :
,
где , а - средняя ошибка прогнозируемого индивидуального значения:
. (1.16)
Рассмотрим пример. По данным проведенного опроса восьми групп семей известны данные связи расходов населения на продукты питания с уровнем доходов семьи.
Таблица 1.2
|
Расходы на продукты питания, , тыс. руб. |
0,9 |
1,2 |
1,8 |
2,2 |
2,6 |
2,9 |
3,3 |
3,8 |
|
|
Доходы семьи, , тыс. руб. |
1,2 |
3,1 |
5,3 |
7,4 |
9,6 |
11,8 |
14,5 |
18,7 |
Предположим, что связь между доходами семьи и расходами на продукты питания линейная. Для подтверждения нашего предположения построим поле корреляции.
Рис. 1.4.
По графику видно, что точки выстраиваются в некоторую прямую линию.
Для удобства дальнейших вычислений составим таблицу.
Таблица 1.3
|
, % |
||||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
|
1 |
1,2 |
0,9 |
1,08 |
1,44 |
0,81 |
1,038 |
-0,138 |
0,0190 |
15,33 |
|
|
2 |
3,1 |
1,2 |
3,72 |
9,61 |
1,44 |
1,357 |
-0,157 |
0,0246 |
13,08 |
|
|
3 |
5,3 |
1,8 |
9,54 |
28,09 |
3,24 |
1,726 |
0,074 |
0,0055 |
4,11 |
|
|
4 |
7,4 |
2,2 |
16,28 |
54,76 |
4,84 |
2,079 |
0,121 |
0,0146 |
5,50 |
|
|
5 |
9,6 |
2,6 |
24,96 |
92,16 |
6,76 |
2,449 |
0,151 |
0,0228 |
5,81 |
|
|
6 |
11,8 |
2,9 |
34,22 |
139,24 |
8,41 |
2,818 |
0,082 |
0,0067 |
2,83 |
|
|
7 |
14,5 |
3,3 |
47,85 |
210,25 |
10,89 |
3,272 |
0,028 |
0,0008 |
0,85 |
|
|
8 |
18,7 |
3,8 |
71,06 |
349,69 |
14,44 |
3,978 |
-0,178 |
0,0317 |
4,68 |
|
|
Итого |
71,6 |
18,7 |
208,71 |
885,24 |
50,83 |
18,717 |
-0,017 |
0,1257 |
52,19 |
|
|
Среднее значение |
8,95 |
2,34 |
26,09 |
110,66 |
6,35 |
2,34 |
- |
0,0157 |
6,52 |
|
|
5,53 |
0,935 |
- |
- |
- |
- |
- |
- |
- |
||
|
30,56 |
0,874 |
- |
- |
- |
- |
- |
- |
- |
Рассчитаем параметры линейного уравнения парной регрессии . Для этого воспользуемся формулами (1.5):
;
.
Получили уравнение: . Т.е. с увеличением дохода семьи на 1000 руб. расходы на питание увеличиваются на 168 руб.
Как было указано выше, уравнение линейной регрессии всегда дополняется показателем тесноты связи - линейным коэффициентом корреляции :
.
Близость коэффициента корреляции к 1 указывает на тесную линейную связь между признаками.
Коэффициент детерминации (примерно тот же результат получим, если воспользуемся формулой (1.7)) показывает, что уравнением регрессии объясняется 98,7% дисперсии результативного признака, а на долю прочих факторов приходится лишь 1,3%.
Оценим качество уравнения регрессии в целом с помощью -критерия Фишера. Сосчитаем фактическое значение -критерия:
.
Табличное значение (, , ): . Так как , то признается статистическая значимость уравнения в целом.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитаем -критерий Стьюдента и доверительные интервалы каждого из показателей. Рассчитаем случайные ошибки параметров линейной регрессии и коэффициента корреляции
:
,
,
.
Фактические значения -статистик: , , . Табличное значение -критерия Стьюдента при и числе степеней свободы есть . Так как , и , то признаем статистическую значимость параметров регрессии и показателя тесноты связи. Рассчитаем доверительные интервалы для параметров регрессии и : и . Получим, что и .
Средняя ошибка аппроксимации (находим с помощью столбца 10 таблицы 1.3; ) говорит о хорошем качестве уравнения регрессии, т.е. свидетельствует о хорошем подборе модели к исходным данным.
И, наконец, найдем прогнозное значение результативного фактора при значении признака-фактора, составляющем 110% от среднего уровня , т.е. найдем расходы на питание, если доходы семьи составят 9,85 тыс. руб.
(тыс. руб.)
Значит, если доходы семьи составят 9,845 тыс. руб., то расходы на питание будут 2,490 тыс. руб.
Найдем доверительный интервал прогноза. Ошибка прогноза
,
а доверительный интервал ():
.
Т.е. прогноз является статистически надежным.
Теперь на одном графике изобразим исходные данные и линию регрессии:
Рис. 1.5.
Размещено на Allbest.ru
...Подобные документы
Проверка адекватности линейной регрессии. Вычисление выборочного коэффициента корреляции. Обработка одномерной выборки методами статистического анализа. Проверка гипотезы значимости с помощью критерия Пирсона. Составление линейной эмпирической регрессии.
задача [409,0 K], добавлен 17.10.2012Статистическое описание и выборочные характеристики двумерного случайного вектора. Оценка параметров линейной регрессии, полученных по методу наименьших квадратов. Проверка гипотезы о равенстве средних нормальных совокупностей при неизвестных дисперсиях.
контрольная работа [242,1 K], добавлен 05.11.2011Построение многофакторной корреляционно-регрессионной модели доходности предприятия: оценка параметров функции регрессии, анализ факторов на управляемость, экономическая интерпретация модели. Прогнозирование доходности на основе временных рядов.
дипломная работа [5,1 M], добавлен 28.06.2011Составление математической модели для предприятия, характеризующей выручку предприятия "АВС" в зависимости от капиталовложений (млн. руб.) за последние 10 лет. Расчет поля корреляции, параметров линейной регрессии. Сводная таблица расчетов и вычислений.
курсовая работа [862,4 K], добавлен 06.05.2009Построение уравнения регрессии. Оценка параметров линейной парной регрессии. F-критерий Фишера и t-критерий Стьюдента. Точечный и интервальный прогноз по уравнению линейной регрессии. Расчет и оценка ошибки прогноза и его доверительного интервала.
презентация [387,8 K], добавлен 25.05.2015Знакомство с уравнениями линейной регрессии, рассмотрение распространенных способов решения. Общая характеристика метода наименьших квадратов. Особенности оценки статистической значимости парной линейной регрессии. Анализ транспонированной матрицы.
контрольная работа [380,9 K], добавлен 05.04.2015Методика и основные этапы расчета параметров линейного уравнения парной регрессии с помощью программы Excel. Анализ качества построенной модели, с использованием коэффициента парной корреляции, коэффициента детерминации и средней ошибки аппроксимации.
лабораторная работа [22,3 K], добавлен 15.04.2014Общее понятие о дисперсионном анализе, его сущность и значение. Использование INTERNET и компьютера для проведения дисперсионного анализа, особенности работы в среде MS Excel. Примеры применения однофакторного и двухфакторного дисперсионного анализа.
курсовая работа [820,4 K], добавлен 17.02.2013Оценка надежности аналитической методики. Дисперсионный анализ результатов опытов и аппроксимация результатов эксперимента. Расчет линейного уравнения связи. Определение полного квадратного уравнения. Вычисление типа и объема химического реактора.
курсовая работа [229,2 K], добавлен 06.01.2015Основные задачи регрессионного анализа в математической статистике. Вычисление дисперсии параметров уравнения регрессии и дисперсии прогнозирования эндогенной переменной. Установление зависимости между переменными. Применение метода наименьших квадратов.
презентация [100,3 K], добавлен 16.12.2014Функциональные и стохастические связи. Статистические методы моделирования связи. Статистическое моделирование связи методом корреляционного и регрессионного анализа. Проверка адекватности регрессионной модели.
курсовая работа [214,6 K], добавлен 04.09.2007Дисперсионный анализ. Применение дисперсионного анализа в различных задачах и исследованиях. Дисперсионный анализ в контексте статистических методов. Векторные авторегрессии. Факторный анализ.
курсовая работа [139,8 K], добавлен 29.05.2006Алгоритм построения ранговой оценки неизвестных параметров регрессии. Моделирование регрессионных зависимостей с погрешностями, имеющими распределения с "тяжёлыми" хвостами. Вычисление асимптотической относительной эффективности рангового метода.
курсовая работа [1,2 M], добавлен 05.01.2015Прямолинейные, обратные и криволинейные связи. Статистическое моделирование связи методом корреляционного и регрессионного анализа. Метод наименьших квадратов. Оценка значимости коэффициентов регрессии. Проверка адекватности модели по критерию Фишера.
курсовая работа [232,7 K], добавлен 21.05.2015Анализ исследований в области лечения диабета. Использование классификаторов машинного обучения для анализа данных, определение зависимостей и корреляции между переменными, значимых параметров, а также подготовка данных для анализа. Разработка модели.
дипломная работа [256,0 K], добавлен 29.06.2017Классификация взаимосвязи явлений, различаемых в статистике, их разновидности и характеристика, отличительные признаки. Сущность коэффициента парной корреляции, его особенности и методика оценки достоверности, применение доверительных интервалов.
реферат [1,3 M], добавлен 30.04.2009Понятие, виды, функции средней величины и значение метода средних величин статистике. Особенности уравнения тренда на основе линейной зависимости. Парные и частные коэффициенты корреляции. Сущность предела нахождения среднего процента содержания влаги.
контрольная работа [42,8 K], добавлен 07.12.2008Создание математической модели движения шарика, подброшенного вертикально вверх, от начала падения до удара о землю. Компьютерная реализация математической модели в среде электронных таблиц. Определение влияния изменения скорости на дальность падения.
контрольная работа [1,7 M], добавлен 09.03.2016Понятие доверительного интервала, сущность и определение критерия согласия Пирсона. Особенности точечного оценивания неизвестных параметров, основные требования к оценкам и статистикам. Характеристика классической линейной модели регрессионного анализа.
дипломная работа [440,4 K], добавлен 23.07.2013Метод планирования второго порядка на примере В3-плана. Получение и исследование математической модели объекта в виде полинома второго порядка. Статистический анализ полученного уравнения и построение поверхностей отклика. Расчет коэффициентов регрессии.
курсовая работа [128,4 K], добавлен 18.11.2010
