Оценка регрессионных уравнений

Размещено на http://www.allbest.ru/

ОЦЕНКА РЕГРЕССИОННЫХ УРАВНЕНИЙ

Содержание

1. Ошибки регрессионных уравнений

2. Оценки коэффициентов уравнений регрессии

3. Остаточная дисперсия и ее анализ

4. Взаимокоррелирующие аргументы. Выбор аргументов в уравнении регрессии при их взаимной корреляции в лесном хозяйстве

1. Ошибки регрессионных уравнений

Установить наличие связи между зависимой и независимой (независимыми) переменными, конечно, важно, но недостаточно. В наше время исследователь, вооруженный современным компьютером, имеющим мощное программное оснащение (например, систему «MathCAD») за несколько минут получает коэффициенты заданного уравнения. Сегодня для исследования на первый план выходит задача оценки и интерпретации полученных уравнений. Вызвано это тем, что все регрессионные уравнения дают некоторое приближение к тому закону или закономерности, которая существует в природе. Уравнение регрессии характеризует эту закономерность с некоторыми ошибками. Они вызваны в основном недостатками в экспериментальном материале, а иногда и невысоким качеством модели.

Может оказаться, что выборка не охватывает все особенности изучаемого явления, бывают ошибки измерений, на величину исходных данных влияют случайные причины и т.д. Но бывают ошибки и иного рода. Мы не всегда знаем причинно-следственную связь изучаемых явлений, иногда неправильно подбираем форму связи, выражаемую конкретным уравнением. Например, немецкий ученый проф. Продан еще в 60-е годы прошлого века отметил, что уравнение параболы второго порядка у = а+bх+сх², которое в то время часто использовали для описания хода роста древостоев по высоте, является слишком “жестким”: оно занижает значения высот в молодом возрасте и завышает их для спелых и перестойных древостоев. Поэтому очень важно установить, насколько вычисленная линия регрессии достоверна, т.е. найти основную ошибку регрессионного уравнения.

2. Оценки коэффициентов уравнений регрессии

Подобно коэффициенту корреляции и ряду других статистических показателей, коэффициент регрессии всегда определяется на основе выборочной совокупности. Значит, он является выборочным показателем, само же конкретное уравнение регрессии также может быть названо выборочным. Уравнение истинной линии регрессии будет выглядеть следующим образом:

у = + х

Параметры а и b выборочного уравнения регрессии служат для оценки истинных значений и , т.е. их значений в генеральной совокупности.

Нулевой гипотезой является отсутствие связи, т.е. признание того, что коэффициент регрессии (b) не отличаются от нуля. Для того, чтобы иметь право отбросить нулевую гипотезу, необходимо установить достаточную достоверность этого коэффициента _b по отношению _b к t критерию Стьюдента, что может быть сделано путем сопоставления b с его ошибкой

_b/t = b _р / _b). (15.1)

О достоверности b можно судить по величине ошибки _b, а также оценить и степень близости b к .

Поскольку в определении линии регрессии участвуют два параметра а и b, следует отдельно рассмотреть, как могут они варьировать в выборочных совокупностях, взятых из одной и той же генеральной совокупности.

Теоретическая линия регрессии обычно расположена под большим или меньшим углом по отношению к оси абсцисс. Этот угол определяется величиной (коэффициентом) b. В геометрическом смысле b есть тангенс угла между линией регрессии и осью абсцисс (или ординат - если рассматривать вторую линию регрессии). При отсутствии регрессии b =0. Тогда линия регрессии у по х должна идти горизонтально по отношению к оси абсцисс, а линия регрессии х по у - вертикально. Место их пересечения соответствует средним значениям обоих признаков. Таким образом, каждая линия регрессии обязательно пройдет через точку К (рисунок 15.1), координаты которой , .

Рисунок 15.1 Доверительные границы для выборочной линии регрессии АВ

Это важно для понимания возможной колеблемости линии регрессии. Так как b имеет ошибку _b, то, очевидно, значения выборочных b могут находиться в границах, определяемых этой ошибкой. Это значит, что угол наклона линии регрессии может быть или большим, или меньшим.

Как показано на рисунке 15.1, линия регрессии АВ пересекает точку К и имеет угол наклона по отношению к горизонтали ВКК₁. Но истинная линия регрессии заключена внутри пары углов, образованных пересечением линий А₁В₁ и А₂В₂. Если углы В₁К и В₂К построены по верхней и нижней границам b с учетом только одной ошибки, то вероятность нахождения истинной линии регрессии в этих границах равна 0,68.

Однако уравнение регрессии имеет еще свободный член а. Он определяет величину отрезка, отсекаемого на оси у линией регрессии АВ. Величина а также имеет свои границы колеблемости, поэтому линия регрессии при том же значении b, т.е. при том же угле наклона ее к оси абсцисс, может проходить или несколько ниже линии АВ, или несколько выше. Так как надо учитывать оба параметра уравнения регрессии, то установление доверительных границ для линии регрессии не так просто. В общем можно считать, что границы доверительного интервала представляют собой кривые линии типа гипербол (линии MN и ОР на рисунке 15.1). Это значит, что по мере отдаления от средней точки (, ) они расширяются. Крайние точки, по которым строится линия регрессии, обладают большей ошибкой.

Однако при проведении специальных опытов можно добиться достаточно больших n на всех частях интервала изменений х (или соответственно у) и принять, что дисперсия отдельных значений у (или х) будет примерно одинаковой на всех частях интервала. В таком случае можно применять сравнительно простые методы для оценки достоверности коэффициента и линии регрессии.

Основой для определения возможной вариации линии регрессии является сумма квадратов отклонений фактических значений у_i от вычисленных теоретически _i по тем же значениям ряда х_i.

Формула для определения основной ошибки регрессии у по х, т.е. у х (если регрессия х по у, то записывается х у) следующая

(15.2)

(15.3)

Здесь N-2 - число степеней свободы. В данном случае число степеней свободы определяется как N -2, потому что при вычислении отклонений используются две величины у_i и _i, а не одна, как это делалось при анализе вариационного ряда, когда число степеней свободы определялось как N -1.

Поясним изложенное примером вычисления основной ошибки регрессионного уравнения прямой, описывающей зависимость изменения высоты от диаметра в молодых сосновых древостоях. Исходные данные приведены в таблице 15.1.

Таблица 15.1 - Диаметры и высоты в молодых древостоях сосны

Уравнение прямой, соответствующее данным таблицы 15.1. равно

у = 1,9+0,8 х (15.4)

Подставив значения из табл. 15.1 в (15.2) и (15.3), получим

Здесь величина имеет такое же значение как и в вариационном ряду. В пределах одной отклонения распределяются вверх и вниз от линии регрессии в 68% случаев. В 95% они лежат в пределах 2, а в 99,7% случаев отклонения от теоретической линии регрессии составляют величину 3, т.е. в нашем примере это 0,942 м. Пределы изменения _i при разной величине основного отклонения (1, 2, 3) показаны в графах 7-9 таблицы 15.1. На рисунке 15.2 наглядно видна математическая сущность основной ошибки регрессии - это та зона, ограниченная сверху и снизу значениями, соответствующими , 2 и 3, внутри которой с заданной вероятностью могут располагаться искомые величины в генеральной совокупности.

Рисунок 15.2 Математическая сущность основной ошибки регрессии

Мы помним из предыдущей главы, что коэффициент регрессии R_p = r. По данным таблицы 15.1. вычисляем величины r, _у и _х (таблица 15.2).

Таблица 15.2 - Вычисление статистик распределения и связи по исходным данным таблицы 15.1.

_х =

_y =

r =

Тогда R_p = 0,985

Теперь найдем ошибку коэффициента регрессии

Небольшая величина ошибки говорит о достоверности линии регрессии.

Это проверяется по формуле

t =

По специальным таблицам t-критерия Стьюдента (приложение Е) находим, что критическая величина t при числе степеней свободы 9 равна 5,04 при р=0,001, т.е. вычисленное значение t превышает р при 0,001. Поэтому нулевая гипотеза о том, что коэффициент регрессии в генеральной совокупности () равен 0, должна быть отброшена.

Вычисленное уравнение достоверно.

3. Остаточная дисперсия и ее анализ

Для корректного решения вопроса об адекватности принятой модели, описывающей некоторую закономерность, недостаточно знать ее основную ошибку и определить значимость коэффициентов уравнения. Очень большое значение имеет анализ остаточной дисперсии. Правда, часто этот анализ биологи и лесоводы не делают, т.к. он труден. Просто предполагается, что остаточные величины, которые выходят за пределы уравнения регрессии, т.е. те значения х_i, что вызваны случайными причинами (их обычно называют просто остатками) распределены нормально и не влияют на результат. Но при строгом исследовании, которое и должны выполнять выпускники университета, делать анализ остатков необходимо. Опишем эту работу в интерпретации К. Е. Никитина и А. З. Швиденко.

Для названного анализа рассмотрим три величины, а именно , где = (у_i -), здесь - общее среднее зависимой переменной у, т.е. - сумма квадратов отклонений у_i от средней.

,

здесь _i - значения у_i, вычисленные по уравнению регрессии, т.е. - сумма квадратов отклонений, обусловленных регрессией у по х.

,

т.е. - остаточная сумма квадратов отклонений, объясняемая иными причинами, чем зависимость у от х. Эти три суммы квадратов отклонений находятся в соотношении

= + (15.5)

Это выражение представляет разложение общей суммы квадратов отклонений на две составляющие: обусловленную регрессией и остаточную, объясняющуюся иными причинами, чем зависимость у от х. Очевидно, что чем наша модель лучше описывает изучаемую зависимость, тем меньшей должна быть остаточная сумма квадратов и тем ближе к единице коэффициент детерминации r²=/. Поэтому в основу оценки уравнения регрессии может быть положен анализ дисперсий с учетом того, что сумме соответствует N -1 степень свободы, - имеет одну степень свободы, поскольку является единственной функцией от у_i, а имеет N -2 степени свободы, так как в соответствии с (15.5) (N -1)=( N -2)+1. Сумма квадратов отклонений, деленная на число степеней свободы, дает соответствующую оценку дисперсии, еще именуемый средний квадрат отклонений.

Обозначим оценку дисперсии, обусловленной регрессией, через . Если применяемая модель адекватна, то = ², в противном случае > ². Оценка остаточной дисперсии =/( N -2). Если в генеральной совокупности связь между величинами х и у линейна, то является несмещенной оценкой дисперсии ² ошибок _i или, что то же самое, дисперсии величины , обозначенной через . Если связь нелинейна, т.е. модель выбрана неверно, то последнее утверждение неверно. Исходная таблица для анализа линейного уравнения регрессии имеет вид (таблица 15.3).

Таблица 15.3 - Исходные данные для анализа дисперсий регрессионного уравнения

При названных выше предпосылках регрессионного анализа и при условии, что истинный коэффициент регрессии ₁=0, отношение

(15.6)

подчиняется F-распределению с 1 и N -2 степенями свободы. Если расчетное значение F превышает табличное F_1- [1; (N -2)], то гипотезу Н₀ : ₁ =0 отклоняют с уровнем значимости . Табличную величину F берут из приложения Ж.

Предположив, что линейная модель адекватна, можно вывести формулы основных ошибок коэффициентов b₀ и b₂ и уравнения регрессии в целом, а также построить доверительные интервалы для истинных ₀ и ₁. Применив формулу основной ошибки функций нескольких случайных величин, можно получить

, (15.7)

где - оценка дисперсии ², т.е. величина m_b1 зависит как от остаточной дисперсии, так и от суммы .

Отсюда следует, что для увеличения надежности выборочного коэффициента регрессии следует брать по возможности больший интервал х_max -x_min.

Доверительные интервалы для ₁ имеют вид

b₁ - t_1-/2 (N -2) m_{b1 1} b₁ + t_1-/2 (N -2) m_b1, (15.8)

где t_1-/2 (N -2) - табличное значение t для двустороннего уровня значимости и при числе степеней свободы k= N -2.

Для проверки гипотезы Н₀ : ₁ =_* против альтернативы Н₀ : _{1 *} достаточно убедиться, что _* находится в доверительном интервале (15.8), если же это не так, то альтернативную гипотезу отвергают.

Основную ошибку b₀ находят из формулы

. (15.9)

доверительные интервалы

b₀ - t_1-/2 (N -2) m_{b1 0} b₀ + t_1-/2 (N -2), (15.10)

а проверку гипотезы Н₀ : ₀ =^* против Н : ₀ ^* проводят аналогично коэффициенту регрессии b₀.

Основная ошибка уравнения линейной регрессии у = есть ошибка каждого расчетного значения , т.е. условного среднего для некоторого х_k. Ее определяют по формуле

Если х_k =, то ошибка имеет наименьшее значение и возрастает при увеличении разности х_k - . Основная ошибка уравнения регрессии указывает ту зону, которая в 68 случаях из 100 накрывает истинное значение _k. Удвоенная ошибка соответствует приближенно доверительной вероятности 0,95 и т.д.

Для примера при проведении описанных расчетов возмем исходные данные, показанные в таблице 15.4. Для определения суммы квадратов воспользуемся следующими формулами

Приведенные формулы получены непосредственными преобразованиями соответствующих сумм квадратов.

Таблица 15.4 - Исходные данные для регрессионного анализа

Вычисленное значение F-критерия равно 148,31 / 1,556 = 95,3. Если =0,05, F_0,05 при числе степеней свободы 1 и 9 (приложение Ж) равно 5,12, следовательно F_выч>F_табл, то гипотезу Н₀ : ₁ =0 отвергают с уровнем значимости =0,05.

Вычислим основные ошибки (15.7) и (15.8) и доверительные интервалы для =0,05 при 5%-ном уровне значимости. Для нахождения соответствующих t-коэффициентов получаем m_b1=(1,556/236,97)^1/2 =0,081; 0,791-0,081 2,26 ₁ 0,791+0,081 2,26, или 0,608 ₁ 0,974, т.е. с вероятностью 0,95 истинный коэффициент регрессии находится между 0,608 и 0,974. Если взять для проверки альтернативную гипотезу со значением _* из этого интервала, то такая Н не может быть отклонена. Аналогичные рассуждения относительно b₀ предоставляем студентам для самостоятельного решения.

Ранее рассматривался коэффициент детерминации r², вычисляемый (если линейная модель верна) как отношение суммы квадратов, обусловленной регрессией, к общей сумме квадратов и измеряющий ту часть изменчивости зависимой переменной у, которая определяется зависимостью у от х. В нашем примере r² =148,31/162,31 = 0,913, т.е. на 91% изменчивость у зависит от изменения х.

Соответствие модели исходным данным можно оценить по графику, нанеся исходные точки и вычисленное уравнение регрессии. Для линейного уравнения с одной переменной такой путь вполне приемлем, но если модель сложная (много переменных, сложный вид зависимости), то для суждения об адекватности требуются объективные статистические критерии. Обычно для этой цели применяют F-критерий. Следует подчеркнуть, что во всех случаях, когда имеется возможность проверить адекватность, эта процедура необходима. регрессия лесной хозяйство корреляция

Если модель адекватна, то остаточная сумма квадратов объясняется только дисперсией ошибок ₁ ²; в противном случае дополнительно включает сумму квадратов, порожденную неадекватностью, т.е. сумму квадратов расстояний между вычисленным и истинным уравнением регрессии. Для адекватной модели различие между оценкой

дисперсии неадекватности и оценкой дисперсии ошибок ² объясняется только случайными причинами, т.е. отношение

F = (15.14)

должно быть незначимым при выбранном уровне значимости. Для применения (15.14) необходима оценка ², которая, как правило, неизвестна. Вычислить ее можно только в тех случаях, когда есть параллельные наблюдения при х_i; тогда разброс y_ij при одинаковых i дает оценку дисперсии ², так как все остальные влияния, кроме случайной изменчивости _i, исключаются. Поэтому сумму квадратов, по которой оценивают ², называют суммой квадратов, связанной с чистой ошибкой, мы ее обозначим через .

Анализ остатков, полученных для различных моделей, позволяет выбрать наилучшую модель. Основные вопросы, на которые должен быть получен ответ следующие:

1) подтверждение нормальности распределения остатков;

2) постоянство дисперсии ² и независимость ее от величины х_i;

3) адекватность модели на всех отрезках интервала изменения зависимой переменной или возможность ее улучшения добавлением нелинейных членов.

Остатки можно исследовать при помощи специальных критериев. Однако вполне достаточные результаты дает графический анализ, использующий общий график остатков (для суждения о нормальности _i), графики зависимости остатков от х_i, _i и др. Если модель адекватна, то точки _i должны располагаться в полосе, параллельной оси абсцисс на графиках зависимости _i от х_i и у_i (или _i). Некоторая субъективность заключений при этом, понятно, остается. В настоящее время полные лицензионные программы матобеспечения для ПК включают анализ остатков. Поэтому эту процедуру надо обязательно применять при проведении регрессионного анализа. Про необходимость проведения анализа остатков в своих работах неоднократно упоминают проф. О.А. Атрощенко, А.З. Швиденко и др.

4. Взаимокоррелирующие аргументы. Выбор аргументов в уравнении регрессии при их взаимной корреляции в лесном хозяйстве

Если мы определяем функцию от нескольких аргументов, то надо знать как влияет каждый аргумент, его значимость, что мы разобрали выше. Но остается вопрос о необходимом количестве аргументов. На первый взгляд может показаться, что чем больше аргументов, тем точнее вычисление функции, так как учитывается большее количество влияющих факторов.

Например, если мы изучаем зависимость высоты дерева от качества условий местопроизрастания, то можем взять в качестве аргумента количество физической глины в горизонтах А₁, С. Если же эти аргументы дополним процентом гумуса в горизонтах А₁ и А₂, то прогноз функции будет точнее. Можем добавить увлажненность, скажем записать глубину уровень грунтовых вод (УГВ), что даст еще большее уточнение. Но бесконечно добавлять аргументы нельзя. Во-первых, это просто сложно реализуется, особенно на стадии эксперимента. Главное же - аргументы могут быть взаимно коррелированы. Так, если у нас УГВ расположен на глубине 1,0 м, то нет смысла брать процент влаги в горизонте С. Эти два аргумента взаимозависимы. Такое же явление мы наблюдаем в ранее приведенном примере по определению коэффициента формы q₂. Ранее использовали выражение q₂ = f(H,Д), но позже (после исследований Ф.П. Моисеенко) поняли, что достаточно будет принять q₂ = f(H).

Все дело здесь в том, что аргументы в уравнении регрессии не должны коррелировать друг с другом. Так УГВ и процент физической глины в горизонте А, если и коррелируют, то слабо. Поэтому применение их обоих оправдано. Но уже увлажненность горизонта С прямо зависит от УГВ. Взаимно коррелируют диаметр и высота дерева.

Применение множественного регрессионнного анализа предполагает наличие некоррелированных аргументов. В случае, если аргументы регрессии коррелированы, что часто бывает в лесоводственных исследованиях, то коэффициенты, стоящие при них (а, b, ... ) определяются в зависимости друг от друга и тоже коррелированы. Корреляция между коэффициентами регрессии искажает оценку индивидуального изменения каждого аргумента на величину функции. Это значит, что вычисленные коэффициенты а, b, ... не определены строго, а могут взаимно изменяться: увеличивается а, тогда уменьшается b и т.д.

Взаимосвязь между аргументами находится через внутреннюю меру определенности d_bH = 1 - (1 - r_ji), которая лежит в пределах от 0 до 1. Здесь r_ji - коэффициент корреляции между аргументами j и i.

При увеличении d_bH возрастает неопределенность относительно коэффициентов регрессии. Границу для d_bH, где интерпретация отдельных факторов еще возможна, определяют из условий задачи и сути изучаемого явления. При d_bH 0,5 коэффициенты регрессии искажены не очень сильно и поддаются интерпретации.

Выбор конкретных аргументов в уравнении регрессии определяется из условий задания. В первую очередь делается логический анализ и выбираются те аргументы, которые лучше соответствуют биологическим и лесоводственным особенностям и законам. Среди выбранных аргументов, если они взаимокоррелированы, оставляют те, где большие частные коэффициенты корреляции х - у₀. Два аргумента, корреляция между которыми больше чем 0,5, не должны быть в одном уравнении. Без ущерба для результата вычислений один из них опускается.

Размещено на Allbest.ru