Регрессионный анализ

Размещено на http://www.allbest.ru/

1. Сущность регрессионного анализа. Регрессионные модели

Рассмотренные в предыдущей главе корреляционные уравнения являются частным случаем более общего вида вероятностных связей, которые выражаются методами регрессионного анализа. Поясним его суть. Пусть у нас имеется некоторая функция y = f(x). Она может приобретать разные выражения в зависимости от того, что подразумевается под f(x). Например, уже известное нам выражение уравнения прямой у = а + bх или уравнение параболы второго порядка у = а + bх + сх2, или гиперболы у = а + b / х и т.д.

Для обозначения разных связей в биологической статистике, т.е. в биометрии английским ученым Ф. Гальтоном предложен термин регрессия. Смысл этого термина состоит в том, что коррелирующие пары в биологических объектах, обнаруживающие в потомствах отклонения от средней линии, определяющей корреляцию признаков совокупности, имеют тенденцию возврата к этой средней, если только действуют одни случайные причины. В дальнейшем мы будем пользоваться этим термином как более общим, говоря об уравнениях стохастической связи между случайными величинами.

Регрессионные модели - это уравнения стохастической связи вида у = f(x), где f(x) может быть выражено в любом виде.

Корреляционные модели - частный случай регрессионных, когда связь носит прямолинейный характер.

Регрессионные модели обычно используют для выражения разного рода связей в лесной таксации, лесоводстве и в других лесных дисциплинах. Чаще всего они применяются для нахождения общей зависимости по экспериментальным данным. В этом случае выведенное уравнение служит для выравнивания материала, полученного при постановке опыта. При этом сохраняется главная тенденция изменения функции в зависимости от изменения аргументов, и устраняются случайные отклонения. Такое уравнение удобно использовать для получения величин функции через равный шаг аргумента, хотя в опытном материале этот равный шаг не всегда выдерживается. Например, нам удобнее, изучая ход роста древостоев, иметь данные через 10 лет: в 10, 20, 30, ... 100 лет, а наши пробные площади имеют возраст 9, 22, 29, 44, 57, ... 102 года. Поэтому необходимо найти промежуточные значения в 10, 20, 30 лет по данным замеров пробных площадей, что обычно называют сглаживанием опытных данных.

2. Методы определения вида регрессионных уравнений и их параметров

При обработке опытных данных очень часто приходится решать задачу, в которой необходимо исследовать зависимость одной физической или биологической величины у от другой физической или биологической величины х. Например, зависимость продуктивности древостоя от количества осадков и средних температур, размеров лося от величины его следа, объема дерева от количества физической глины в почвенных горизонтах А1, А2, В1, С, коэффициента формы ствола от его высоты и т.д.

Пусть производится опыт с целью исследования зависимости величины у от величины х, которая в общем случае может быть записана в виде

у = f(x).

Вид этой зависимости и требуется определить из опыта.

Допустим, что мы исследуем зависимость видового числа древостоя (Fq) от его средней высоты (Н). В результате опыта получен ряд экспериментальных точек (х1, у1), (х2, у2), ....., (хn, уn) , которые приведены в таблице 1. По данным таблицы 14.1 построен график изменения переменной величины у(Fq) пр разных независимых переменных х(Н) (рисунок 1). На нем показана связь рассматриваемого видового числа (зависимая переменная - у) от высоты Н (независимая переменная - х). Эта зависимость обычно выражается уравнением гиперболы

.

Таблица 1 - Средние видовые числа (Fg) древостоя ели в зависимости от средней высоты (Н)

Н	6	8	10	12	14	16	18	20	22	24	26	28	30	32	34	36
Fg•0,001	615	568	541	522	509	495	492	486	482	476	472	469	467	465	464	463

Рисунок 1 - График изменения видового числа древостоя ели в зависимости от средней высоты

Так как проводимые в ходе опыта измерения связаны с ошибками случайного характера, то обычно экспериментальные точки на графике имеют некоторый разброс относительно общей закономерности. В силу случайности ошибок измерения этот разброс или уклонения точек от общей закономерности также являются случайными.

Следовательно, задача состоит в такой обработке экспериментальных данных, при которой по возможности точно была бы отражена тенденция зависимости у от х и возможно полнее исключено влияние случайных, незакономерных уклонений, связанных с погрешностями опыта. Такая задача является типичной для практики и называется задачей сглаживания экспериментальной зависимости.

Очень часто бывает так, что вид зависимости у = f(x) до опыта известен из физических, биологических или лесоводственных соображений, связанных с существом решаемой задачи. Тогда на основании опытных данных требуется определить только некоторые параметры этой связи, которые входят в нее линейно, или по другой модели. Например, известно, что зависимость диаметра и высоты в молодняках до 10 - 15 лет можно выразить уравнением прямой.

Встречаются и более сложные случаи. Так, запас древесины (М) в лесном насаждении определяют через сумму площадей сечений стволов на высоте 1,3 м (G), среднюю высоту (Н) и видовое число (F) по формуле M=G·H·F. Только G достаточно просто вычислить непосредственно, измерив диаметры стволов. Среднюю высоту определяют после измерения 12 -15 деревьев (D и H у каждого) по связи H = f(D). Эта связь выражается полиномами разных степеней, логарифмической кривой и другими моделями, которые подбирают по виду их графиков. Видовое число вычисляют по моделям F=f(H), которые описывается простой или усложненной гиперболой. Подобных примеров в лесном хозяйстве множество.

Конечно, если вид связи хотя бы приблизительно известен, это упрощает и облегчает работу по проведению регрессионного анализа. Если же вид связи неизвестен, то его надо установить хотя бы ориентировочно, руководствуясь логической верификацией и профессиональными знаниями. В обычных задачах лесного хозяйства часто бывает достаточно построить график и сопоставить его с графиками известных функций. Последние в большом количестве представлены в специальных альбомах. Иногда (для недостаточно очевидных явлений) приходится перебирать ряд известных моделей или выводить новые. Последнее в лесном хозяйстве происходит редко и доступно лишь ученым с хорошей профессиональной лесоводственной и математической подготовкой. В числе таких наших ученых можно назвать А.З. Швиденко, О.А. Атрощенко, В.В. Севастьянова, В.В. Кузмичева, В.П. Машковского, В.Б. Гедых, В.А. Усольцева, из старшего поколения К.Е. Никитина, В.С. Чуенкова, А.Г. Мошкалева, В.В. Антанайтиса, Я.А. Юдицкого, Н.Т. Воинова и других.

Некоторые уравнения связи относительно просты, другие же отличаются повышенной сложностью с участием нескольких независимых переменных. Например, для нахождения текущего прироста древостоя в качестве независимых переменных для определенной древесной породы должны использоваться такие показатели как возраст, полнота, класс бонитета (высота) и иные аргументы.

При решении описанных задач, когда вид зависимости у = f(x) известен, применяют различные методы нахождения параметров таких уравнений, т.е. коэффициентов а, b, с, ... . Наиболее общий подход разработан здесь русским математиком Пафнутием Львовичем Чебышевым (1821-1894), создателем петербургской научной школы математиков. Он создал теорию наилучшего приближения функций с помощью многочленов. Хотя метод Чебышева наиболее подходит для решения названных задач, но он сложен и используется редко, в основном профессиональными математиками. В Белорусском НИИ лесного хозяйства его использовал в 1971 г. Н.Т. Воинов (1934-1988), работавший впоследствии доцентом в ГГУ им. Ф.Скорины, для описания кривых, характеризующих образующую древесного ствола осины.

Более прост метод чисел Чебышева, но он требует равных интервалов между опытными данными, т.е. интервалы между

х1, х2, х3, ... хn =k

должны быть одинаковы (k), что можно обеспечить в опыте очень редко. Чаще всего, для нахождения коэффициентов регрессионных уравнений используют метод наименьших квадратов.

3. Метод наименьших квадратов

Метод наименьших квадратов применяется для решения различных задач, связанных с обработкой результатов опыта. Наиболее важным приложением этого метода является решение задачи сглаживания экспериментальной зависимости, т.е. изображения опытной функциональной зависимости аналитической формулой. При этом метод наименьших квадратов не решает вопроса о выборе общего вида аналитической функции, а дает возможность при заданном типе аналитической функции у = f(x) подобрать наиболее вероятные значения для параметров этой функции.

Сущность метода наименьших квадратов при решении поставленной задачи заключается в следующем.

Пусть получено n экспериментальных точек с абсциссами

х1, х2, ..., хn

и соответствующими им ординатами

у1, у2, ..., уn

Зависимость у от х, изображаемая аналитической функцией,



у = f(x), (1)

которая обычно полностью не совпадает с экспериментальными значениями уi во всех n точках. Это означает, что для всех или некоторых точек разность

i = уi - f(xi) (2)

будет отлична от нуля.

Требуется подобрать параметры функции (1) таким образом, чтобы сумма квадратов разностей (2) была наименьшей, т.е. требуется обратить в минимум выражение

z = (3)

Таким образом, при методе наименьших квадратов приближение аналитической функции у = f(x) к экспериментальной зависимости считается наилучшим, если выполняется условие минимума суммы квадратов отклонений искомой аналитической функции от экспериментальной зависимости.

Следует заметить, что выражение (3) представляет собой полином второй степени относительно неизвестных параметров. Эти неизвестные параметры в зависимость у = f(x) входят линейно, и выражение (3) не может принимать отрицательных значений. Поэтому существуют такие значения неизвестных параметров, при которых функция (3) достигает минимума, и этот минимум в зависимости от значений хi и уi будет положительным или равным нулю.

При решении многих практических задач функциональную зависимость у от х ищут в виде

у = (4)

где f1(х), f2(x), ....., fm(x) - известные функции,

а1, а2, ....., аm - неизвестные параметры.

Так, например, при исследовании колебательных процессов функциями fk(х) (k=1, 2, ..., m) являются тригонометрические функции

fk(х) = соs kx, fk(х) = sin kx.

При исследовании во многих областях техники, а также в лесном хозяйстве часто встречаются степенные функции

fk(x) = xk-1 (k = 1, 2, ..., m).

Есть и другие виды функций. Обычно гипотезу о виде требуемой функции принимают, анализируя по экспериментальным данным их графическое изображение и сравнивая его с графиками различных функций, которые приводятся в специальных альбомах.

Таким образом, fk(x) в равенстве (4) являются известными элементарными функциями аргумента х.

Исходя из принципа наименьших квадратов, мы должны подобрать такие значения неизвестных параметров а1, а2, ..., аm, при которых обращается в минимум выражение

z = (5)



Выражение (5) является функцией неизвестных параметров аk, поэтому для отыскания минимума этой функции нужно согласно правилам дифференциального исчисления найти частные производные функции z по всем параметрам аk (k = 1, 2, ..., m) и приравнять их нулю:

(6)

Подставляя в систему (6) опытные значения хi и уi, мы получим систему m линейных уравнений относительно неизвестных параметров аk, решение которой может быть получено с помощью определителей или последовательным исключением неизвестных.

Рассмотрим применение метода наименьших квадратов, когда для изображения экспериментальной зависимости выбрана парабола второго порядка

у = ах2 + bх + с.

Пусть в результате независимых опытов получено n значений величины у:

у1, у2, ..., уn,

соответствующих значениям величины х:



х1, х2, ..., хn.

Для определения неизвестных параметров а, b и с методом наименьших квадратов составляем сумму квадратов отклонений искомой аналитической функции от наблюдаемых значений в данных точках

z = (7)

Дифференцируя функцию (7) по неизвестным параметрам а, b, и с и приравнивая производные к нулю, получим следующую систему уравнений:

(8)

или несколько преобразовав уравнения (8), получим систему уравнений:

(9)



Система (9) представляет собой систему трех линейных уравнений относительно неизвестных параметров а, b и с. Решая систему (9) с помощью определителей третьего порядка или последовательным исключением неизвестных, мы и получим значение параметров а, b и с по методу наименьших квадратов.

Здесь приведен метод наименьших квадратов в строгой математической форме, что для студентов университета, изучающих курс высшей математики: матанализ, дифференциальное и интегральное исчисление, вполне понятно.

Но желательно показать и более наглядную форму вычисления коэффициентов уравнений с помощью наименьших квадратов. Для этого приведем следующий пример, где для простоты вычислим коэффициенты для уравнения прямой у = а+bх. Возьмем пример, приводимый Н. Н. Сваловым (1977), который представляет собой зависимость длины корней сеянца сосны от протяженности его стволика. Измеренные величины сведем в таблице. 2.

Таблица 2 - Зависимость длины корней от высоты ствола сеянцев сосны

Показатели	Величины, см
Длина корней (у)	4	4	5	5	5	6	6	6	7	7
Длина стволиков (х)	3,0	3,1	3,5	3,5	4,1	3,5	4,0	5,0	5,0	5,3

Графически это изображено на рисунке 2



Рисунок 2 - Регрессия длины корней на длину стволиков всходов сосны

регрессионный уравнение ель корень

Здесь десять точек А1, А2, ..., А10, изображенных на рисунке. 2, имеют соответственно абсциссы Х1, Х2, ..., Х10, и ординаты У1, У2, ..., У10. Проведем визуально для целей рассмотрения метода искомую теоретическую прямую с уравнением = а + bХ, где - теоретические (выравненные) ординаты.

Интересующие нас разности между теоретическими и экспериментальными ординатами будут такими:

(10)

При этом di будут иметь и положительные и отрицательные значения. Вследствие этого, в сумме они могут компенсировать друг друга, так что может оказаться весьма малой или даже равной нулю, хотя отдельные отклонения будут и большими.

Мы имеем дело с двумя признаками, для каждого из которых может быть найдено среднее квадратическое отклонение, обозначаемое соответственно символами у и х. В данном случае (в регрессионном анализе) нас интересуют отклонения вариант не от средней ряда, а от выравненных значений , или от линии регрессии. Эти отклонения обозначают уyx. Подстрочные значки читают: “игрек по икс”. Они означают, что находят разности уyx величины у для соответствующих значений х. Как и при вычислении среднего квадратического отклонения , для исключения влияния знаков будем находить сначала средние квадраты . Таким образом, решение поставленной задачи по нахождению теоретической регрессии (в нашем случае линейной) сводится к получению такой линии, для которой сумма квадратов отклонений всех экспериментальных значений уi от вычисленных i является наименьшей, отсюда и название метода.

Для нахождения минимума или в более подробной записи суммы

(а+bXi-Yi)2 (11)

по правилам дифференциального исчисления надо приравнять нулю частные производные от формулы (11) по а и по b.

Получим уравнения

2 (а+bХi-Уi) = 0 (12)

2 (а+bХi-Уi) Хi = 0 (13)

Сокращая обе части этих уравнений на 2, раскрывая скобки и замечая, что а+а+ ... +а = Nа (N - число наблюдений или исходных уравнений), получим:

Nа + bХi - Уi = 0, аХi + b - Хi Уi = 0.



Вынося в суммах общие множители а и b за знак суммы и перенося последние члены в правую часть, получим уравнения:

(14)

Суммы распространены на все i от 1 до n. В полной записи следовало бы, например, вместо Хi написать . В дальнейшем в целях упрощения записи не указываются пределы для , а также и подстрочный знак i при переменных х, у, означающий “любое” х, у. Это было сделано при написании формулы для = () / N, которая сведена до выражения = ( Х) / N. При таком условии уравнения (14), которые называют нормальными, будут:

(15)

Для нахождения коэффициентов а и b необходимо иметь конкретные значения N, х, х2, у, ху.

При вычислении показателей корреляции между длиной стволиков х и корней у указанные суммы получим из таблицы 14.3, построенной на базе таблицы 2.

Таблица 3 - Исходные данные для вычисления показателей корреляции длины корней и высоты сеянцев сосны

№ п/п	1	2	3	4	5	6	7	8	9	10	?
Длина корней (х)	4	4	5	5	5	6	6	6	7	7	55
Высота сеянцев (у)	3,0	3,1	3,5	3,5	4,1	3,5	4	5	5	5,3	40
х2	16	16	25	25	25	36	36	36	49	49	313
у2	9	9,61	12,25	12,25	16,81	12,25	16	25	25	28,09	227

Здесь имеем: N=10; х=55; х2=313; у=40; ху=227.

Следовательно, нормальные уравнения в конкретном виде будут:

10а+55b=40 (16)

55а+313b=227 (17)

Поделив все члены на коэффициенты при b, равные 55 и 313, получим:

0,1757а+b = 0,7252 (18)

0,1818а+b = 0,7273 (19)

Вычитая уравнение (18) из (19), имеем 0,0061а = 0,0021, откуда а=0,344. Подставляя а в уравнение (3), получим b= 0,665.

Уравнение регрессии будет таким: = 0,344+0,665х.

Рассмотренный способ решения нормальных уравнений называют способом исключения. Преимущество этого способа состоит в его универсальности, т.е. применимости для регрессий любой формы и для любого числа коэффициентов.

Из (15) можно получить и другие уравнения и способ их решения. Выражение (15) преобразуется, если перенести начало отсчета х и у в точку О () (рисунок 3), которую называют центром распределения. В качестве значений исследуемых признаков при таком рассмотрении регрессии принимают не сами значения вариант х и у, а центральные отклонения их от своих средних , т.е. =xi - и y =уi - .



Рисунок 3 - Регрессия длины корней на длину стволиков всходов сосны

Благодаря указанной замене, имеем:

x = (х+) = х + = х +N (20)

Но так как из формулы средней величины = xi / N, N= xi, то очевидно, что в равенстве (20) х=0. Аналогично и у=0, если подобные действия провести для переменной y.

Из (20)

x2=(х+)2=(х2+2 х+2) = х2+2х+N2 =х2+N2 (21)

xy=(х+)(у+)=(ху+у+х+)==ху+у+х+N)=ху+N (22)

Подставив выражения (20), (21) и (22) в уравнение (15) получим

(23)

Умножив (16) на и вычитая из (17), получим одно нормальное уравнение

b х2 = ху (24)

Из (24) следует b = ( ху) / х2 (25)

Величина b называется коэффициентом регрессии. Она показывает, на сколько единиц принятой меры изменяется у при изменении х на единицу ее меры.

Принимая во внимание общее уравнение линейной регрессии у=а+bх, имеем в частном случае при х=,

=а+b (26)

Из этого уравнения получим выражение для а=-b (27)

Этот способ нахождения коэффициентов уравнения называется способом определителей. Алгоритм этого способа следующий.

Пусть имеем исходное уравнение

=+bх, где х=Х-. (28)

Нормальное уравнение здесь следующее: b х2 = ху, b = ( ху) / х2. При уравнении у=а+bх, где х - варианты в первоначальных единицах измерения, нормальные уравнения будут

(см. 15)

Определитель D = N х2 - (х)2 (29)

а = (у х2 -х ху) / D, (30)

b = (N ху -х у) / D, (31)

Применим метод определителей для нахождения коэффициентов а, b в регрессии длины стволиков сосны на длину корней. Исходные данные помещены в таблице 1. Они следующие:

N=10; =5,5; =4,0; х2=10,50; у2=6,26; ху=7,0.

Исходное уравнение =+bх (14.28), нормальное уравнение будет b х2 = ху, откуда b=( ху) / ( х2) = 7,0 / 10,50 = 0,667.

= 4,0+0,667 х. Заметим, что в качестве переменной здесь участвуют отклонения вариант х от средней . Если требуется найти выражение регрессии с вариантами х и у, следует поставить в исходное уравнение (14.28) вместо х его значение (х-).

Получим =+b(х - ) (32)

Для нашего примера имеем

=4,0+0,667(х-5,5)

=0,332+0,667х.

Сравнивая результат с полученным ранее другим способом решения (способ исключения постоянных), видим их практически полное совпадение.

4. Вычисление значений зависимого признака на основе уравнений регрессий в лесном хозяйстве

Уравнение регрессии дает возможность найти значения , которые называют вычисленными или выравненными (иногда - наиболее вероятными значениями).

Для примера с сеянцами сосны, применяя уравнение =0,332+0,667 х, для х: 4, 5, 6, 7 см, получим , соответственно равные 3,0; 3,7; 4,3 и 5,0 см; или наиболее точно: 3,000; 3,667; 4,334; 5,001 см. Вычисленные значения следует понимать как выравненные (усредненные) с помощью регрессии величины у, которые наиболее близки к истинным значениям этой величины при данных х, если бы истинные значения были найдены по большому числу наблюдений. На этом основании обоснованно считать и наиболее вероятными значениями величины у.

Чаще всего, величины, которые вычислены по уравнениям регрессии, представляют собой общую закономерность для некоторой совокупности. Например, разрабатывая таблицы хода роста для основных лесообразующих пород Беларуси, В. Ф. Багинским были выведены различные уравнения, описывающие связи таксационных показателей: H=f(A); D=f(A); G=f(H); F=f(H) и т. д.

Так, для березовых древостоев зависимость величины суммы площадей сечений деревьев на высоте 1,3 м (Уq) от средней высоты (Н) описана уравнением

,

где Н - высота древостоя в пределах от 5 до 32 м. Для вычисления средних видовых чисел древостоя (F) использовано уравнение

Решая это уравнение, т. е. подставляя последовательно значения Н, равные 5, 6, 7, …,32 м, получили следующие величины . (таблица 2)



Таблица 2 - Величины и F для березовых древостоев, вычисленные по уравнениям регрессии

H, м	УG, м2	F
8	15,1	0,521
10	17,4	0,497
12	19,6	0,481
14	21,7	1,469
16	23,7	0,460
18	25,6	0,453
20	27,4	0,448
22	29,1	0,443
24	30,6	0,440
26	32,1	0,437
28	33,4	0,434
30	34,6	0,432

Приведенные величины являются средними для совокупности всех березовых древостоев Беларуси. Для отдельных насаждений отклонения могут достигать 4 - 5%, но уже для совокупности в 5 - 10 выделов (участков однородного березового древостоя) отклонения не выходят за пределы 1 - 1,5%.

Поэтому при таксации лесного фонда лесничества и лесхоза, где однородных выделов обычно не меньше 50 - 100 для лесничества или 300 - 700 для лесхоза, общая ошибка определения при отсутствии систематических отклонений составит незначительную величину 0,1 - 0,3%, а видового числа еще меньше.

Подобным образом в лесном хозяйстве используется большинство данных, полученных по уравнениям регрессии.

Размещено на Allbest.ru

...