Свойства коэффициента корреляции

1. Задачи корреляционного анализа:

а) определяет степень связи двух и более признаков;

б) определяет факторы оказывающее наибольшее влияние на результирующий признакY.

2. Задачи регрессионного анализа:

а) устанавливает форму зависимости (для случая парной регрессии - убывающая или возрастающая);

б) определяет вид функции регрессии;

в) оценивает неизвестные значения зависимой переменной Y (можно воспроизвести значение Y при заданных значениях X внутри рассматриваемого интервала (интерполяция) и вне интервала (экстраполяция)).

Ход рассуждений, постановка задачи, получаемые результаты в корреляционном и регрессионном анализе различны, но очень часто эти два вида анализа проводятся параллельно на одном и том же массиве исходных данных.

Корреляция

Существует много методов оценки величины выборочного коэффициент корреляции.

1. В случае парной зависимости (рассматривается зависимость между двумя признаками) вычисляется коэффициент корреляции Пирсона:

где x, y - наблюдаемые значения признаков X и Y соответственно,

- Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

среднее наблюдаемых значений признака

X,,

j - номер столбца корреляционной таблицы,

- среднее наблюдаемых значений признака Y, i - номер строки корреляционной таблицы,

- среднее квадрата наблюдаемых значений признака X,

- среднее квадрата наблюдаемых значений признака Y,

- среднее пар наблюдаемых значений признаков X и Y,

Пример

Найти выборочный коэффициент корреляции, воспользовавшись выражением, если корреляционная таблица имеет вид:

Воспользуемся для вычисления формулой:

а) определим - среднее наблюдаемых значений признака X:

б) определим - среднее наблюдаемых значений признака Y:

в) определим среднее значение квадрата X (пользуемся данными из корреляционной таблицы):

г) определим среднее значение квадрата Y:

д) вычислим среднее значение произведения XY:

е) вычислим выборочный коэффициент корреляции:

Замечание. В примере определен коэффициент корреляции по данным имеющейся выборки (поэтому он и называется выборочным). Но нельзя с уверенностью заключить, что генеральная совокупность так же имеет коэффициент корреляции отличный от нуля. Поэтому, после вычисления выборочного коэффициента корреляции, прежде чем делать вывод о коэффициенте корреляции генеральной совокупности, проводят проверку статистической гипотезы H₀: r_xy=0, конкурирующая гипотеза H₁: r_xy?0. Если нулевая гипотеза отвергается, то коэффициент корреляции значим (т.е. значимо отличается от нуля), и признаки X и Y коррелированны, т.е. связаны линейной зависимостью.

Если принимается нулевая гипотеза, то выборочный коэффициент корреляции незначим иX, Y некоррелированы, т.е. не связаны линейной зависимостью.

Проверка гипотезы проводится по t-критерию Стьюдента, число степеней свободы определяется как k=n-2. Формула для нахождения расчетного значения критерия имеет вид:

Поскольку конкурирующая гипотеза имеет вид r_xy?0 - критическая область двухсторонняя.

Для рассмотренного примера (n=200):

Зададимся уровнем значимости б=0,05 и найдем по таблице t_крит= 1,96 (двухсторонняя критическая область).

17,256>1,96 (t_расч>t_крит), следовательно гипотеза H₀ о незначимости коэффициента корреляции отвергается. Коэффициент корреляции является значимым (при заданном уровне значимости), X и Y связаны линейной зависимостью.

2. Использование коэффициента парной корреляции неявно предполагает нормальное распределение генеральных совокупностей, из которых производится выборка. Если вид распределения совокупностей неизвестен, то используют меру связи, которая не требует нормальности выборок, например, коэффициент ранговой корреляции Спирмена:

где - квадраты разности рангов,

n - число наблюдений (число пар рангов).

Пример

Двум аналитикам было предложено проранжировать сотрудников фирмы в соответствии с их вкладом в работу фирмы. Аналитики представили отчет:

Совпадают ли мнения аналитиков? Какова корреляция между двумя рядами оценок?

Т.к. закон распределения оценок неизвестен, воспользуемся коэффициентом ранговой корреляции Спирмена.

Определим разности оценок, их квадраты и суммы:

Согласно коэффициенту ранговой корреляции Спирмена между мнениями аналитиков существует связь. Проверим, является ли эта связь действительно значимой. Для проверки выдвинем гипотезу H₀: коэффициент корреляции не является статистически значимым, т.е.r_s=0.

В задачах такого рода, при пользуются распределением Стьюдента с числом степеней свободы н=n-2=10-2=8. Зададимся уровнем значимости б=0,05 и найдем по таблицеt_крит= 2,31 (двухсторонняя критическая область).

Расчетное значение критерия находим из выражения:

3,159>2,31 (t_расч>t_крит), следовательно гипотеза H₀ о незначимости статистической связи между мнениями аналитиков отвергается. Коэффициент корреляции является значимым (при заданном уровне значимости), мнения аналитиков существенно совпадают.

3. Регрессионный анализ

Слово «регрессия» обозначает возвращение, движение назад.

Термин «регрессия» был использован впервые в 1885 г. в работе английского антрополога Ф. Гамильтона, исследовавшего 928 взрослых детей и 205 их родителей и пришедшего к выводу о том, что имеет место «регресс» - чем выше родители, тем ниже их дети, поэтому проведенный анализ он назвал регрессионным. Хотя анализ, который он проводил, был скорее корреляционным, термин исторически прижился. Термин «корреляция» тоже был предложен Гамильтоном.

3.1 Основные понятия. Модель регрессии

Пусть имеется объект или процесс, который можно представить моделью типа «черный ящик»:

X - управляемые, независимые входные переменные,

Z - контролируемые, но неуправляемые входные переменные,

W - помехи, т.е. неуправляемые и неконтролируемые входные переменные,

Y - отклик, т.е. результативный признак, показатель (например, показатель качества управления

Исследование объекта (процесса) может проводится в двух режимах:

1. Пассивный эксперимент - фиксируются имеющиеся значения X и Z, и соответствующие им значения Y. Вопросы организации сбора данных не являются первостепенными, чем их больше, тем лучше. Обработка ведется методами классического регрессионного анализа.

2. Активный эксперимент - фактор X изменяется целенаправленно и фиксируется, Zи Y фиксируются. Имеет место «планирование эксперимента». Обработка данных ведется специальными методами регрессионного анализа. Метод существенно эффективнее пассивного эксперимента в смысле минимизации числа опытов и точности полученных выводов.

В результате обработки полученных экспериментальных данных составляется «регрессионная модель» - уравнение, связывающее Y, X и Z:

где - параметры модели объекта,

- случайная составляющая отклика, обусловленная наличием помех.

Результатам регрессионного анализа можно доверять, если выполняются следующие условия:

1. Случайная величина Y и ее ошибка подчиняются нормальному закону распределения.

2. Дисперсия случайной величины Y постоянна и не зависит от текущего значения y_i.

3. Результаты наблюдений y_i независимы и некоррелированы.

4. Входные переменные X, Z независимы, неслучайны и измеряются без ошибок.

Классическим методом оценивания коэффициентов уравнения регрессии является метод наименьших квадратов. Первое изложение элементов метода наименьших квадратов было дано в 1806 г. А.М. Лежандром в связи с вопросами вычисления космических орбит.

3.2 Задачи регрессионного анализа

1. Определение вида функциональной зависимости (вида регрессионной модели).

Различают следующие виды регрессионных моделей:

· Модель линейная относительно параметров регрессии

а) парная линейная модель

б) парная криволинейная модель (например ),

в) множественная линейная модель

г) множественная нелинейная модель (например,

д) ортогональная полиномиальная модель где - некоторые функции, например, ортогональные полиномы Чебышева.

· Модель нелинейная относительно параметров регрессии (например,).

Почти все эти модели могут быть построены с использованием метода наименьших квадратов. Выбор наилучшего уравнения регрессии из нескольких построенных моделей является неоднозначным. Для случая парной регрессии предварительный выбор уравнения регрессии обычно обосновывают графическим методом.

2. Вычисление коэффициентов регрессионной модели .

3. Проверка адекватности полученной модели.

3.3 Алгоритм корреляционно-регрессионного анализа

1. Исходя из целей и задач исследования, устанавливается какие признаки являются факторными (X_i), а какой результативным Y.

2. Проводится эксперимент, в котором определяются значения факторных и результирующего признаков.

3. Обосновывается модель уравнения регрессии. Для случая парной регрессии - обычно графическим методом.

4. Методом наименьших квадратов определяются параметры уравнения регрессии.

5. Определяется сила связи между изучаемыми признаками.

6. Оценивается значимость уравнения регрессии, его параметров и показателей силы связи.

4. Особенности практического применения регрессионных моделей

Одним из условий регрессионной модели является предположение о линейной независимости объясняющих переменных, т.е., решение задачи возможно лишь тогда, когда столбцы и строки матрицы исходных данных линейно независимы. Для экономических показателей это условие выполняется не всегда.

Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных, которая приводит к линейной зависимости нормальных уравнений.

Мультиколлинеарность может возникать в силу разных причин. Например, несколько независимых переменных могут иметь общий временной тренд, относительно которого они совершают малые колебания.

Существует несколько способов для определения наличия или отсутствия мультиколлинеарности.

Один из подходов заключается в анализе матрицы коэффициентов парной корреляции. Считают явление мультиколлинеарности в исходных данных установленным, если коэффициент парной корреляции между двумя переменными больше 0,8.

Другой подход состоит в исследовании матрицы Х'Х. Если определитель матрицы Х'Х близок к нулю, то это свидетельствует о наличии мультиколлинеарности.

Для устранения или уменьшения мультиколлинеарности используется ряд методов.

Наиболее распространенные в таких случаях следующие приемы: исключение одного из двух сильно связанных факторов, переход от первоначальных факторов к их главным компонентам, число которых быть может меньше, затем возвращение к первоначальным факторам.

Самый простой из них (но не всегда самый эффективный) состоит в том, что из двух объясняющих переменных, имеющих высокий коэффициент корреляции (больше 0,8), одну переменную исключают из рассмотрения. При этом какую переменную оставить, а какую удалить из анализа, решают в первую очередь на основании экономических соображений. Если с экономической точки зрения ни одной из переменных нельзя отдать предпочтение, то оставляют ту из двух переменных, которая имеет больший коэффициент корреляции с зависимой переменной.

Еще одним из возможных методов устранения или уменьшения мультиколлинеарности является использование стратегии шагового отбора, реализованную в ряде алгоритмов пошаговой регрессии.

Наиболее широкое применение получили следующие схемы построения уравнения множественной регрессии: метод включения факторов и метод исключения - отсев факторов из полного его набора.

В соответствии с первой схемой признак включается в уравнение в том случае, если его включение существенно увеличивает значение множественного коэффициента корреляции, что позволяет последовательно отбирать факторы, оказывающие существенное влияние на результирующий признак даже в условиях мультиколлинеарности системы признаков, отобранных в качестве аргументов из содержательных соображений. При этом первым в уравнение включается фактор, наиболее тесно коррелирующий с Y, вторым в уравнение включается тот фактор, который в паре с первым из отобранных дает максимальное значение множественного коэффициента корреляции, и т.д. Существенно, что на каждом шаге получают новое значение множественного коэффициента (большее, чем на предыдущем шаге); тем самым определяется вклад каждого отобранного фактора в объясненную дисперсию Y.

Вторая схема пошаговой регрессии основана на последовательном исключении факторов с помощью t - критерия. Она заключается в том, что после построения уравнения регрессии и оценки значимости всех коэффициентов регрессии из модели исключают тот фактор, коэффициент при котором незначим и имеет наименьший коэффициент t. После этого получают новое уравнение множественной регрессии и снова производят оценку значимости всех оставшихся коэффициентов регрессии. Если среди них опять окажутся незначимые, то опять исключают фактор с наименьшим значением t - критерия. Процесс исключения факторов останавливается на том шаге, при котором все регрессионные коэффициенты значимы.

Ни одна их этих процедур не гарантирует получения оптимального набора переменных. Однако при практическом применении они позволяют получить достаточно хорошие наборы существенно влияющих факторов.

При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6-7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а -критерий меньше табличного значения.

Особым случаем мультиколлинеарности при использовании временных выборок является наличие в составе переменных линейных или нелинейных трендов. В этом случае рекомендуется сначала выделить и исключить тренды, а затем определить параметры регрессии по остаткам.

Игнорирование наличия трендов в зависимой и независимой переменных ведет к завышению степени влияния независимых переменных на результирующий признак, что получило название ложной корреляции.

Большим препятствием к применению регрессии является ограниченность исходной информации, при этом наряду с указанными выше затрудняющими обстоятельствами (мультиколлинеарность, зависимость остатков, небольшой объем выборки и т.п.) ценность информации может снижаться за счет ее «засоренности», т.е. проявления новых обстоятельств, которые ранее не были учтены.

Резко отклоняющиеся наблюдения могут быть результатом действия большого числа сравнительно малых случайных факторов, которые в достаточно редких случаях приводят к большим отклонениям, либо это действительно случайные один или несколько выбросов, которые можно исключить как аномальные. Однако при наличии не менее трех аномальных отклонений на несколько десятков наблюдений приписывают это наличию одного или нескольких неучтенных факторов, которые проявляются только для аномальных наблюдений.

Наиболее распространенные в таких случаях следующие приемы: исключение одного из двух сильно связанных факторов, переход от первоначальных факторов к их главным компонентам, число которых быть может меньше, затем возвращение к первоначальным факторам.

Список литературы

1. Прохоренкова А.Т. Курс лекций по курсу «Теория вероятностей и математическая статистика».

2. Математическая статистика - Смоленск: НОУ ВПО «СИБП», 2009 - 96 с. (с. 66-82)

3. Орлова И.В., Половников В.А. Экономико-математические методы и модели: компьютерное моделирование: Учеб. пособие - М.: Вузовский учебник, 2007.

4. Эконометрика: Учебник / Под ред. И.И. Елисеевой. - 2-е изд.; перераб. и доп. - М.: Финансы и статистика, 2009. - 576 с.

5. Практикум по эконометрике: Учебное пособие / Под ред. Елисеевой И.И. - М.: Финансы и статистика, 2008 - 192с64. Орлова И.В. Экономико-математическое моделирование. Практическое пособие по решению задач / И.В. Орлова; ВЗФЭИ. - М.: Вузовский учебник, 2007. - 144 с.

6. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 2005.

7. Орлов А.И. Эконометрика: Учеб. пособие для вузов - М.: «Экзамен», 2008.

Размещено на Allbest.ru