Использование метода многомерного корреляционно-регрессионного анализа в информационных системах, создаваемых в интересах органов государственной власти

Размещено на http: //www. allbest. ru/

Использование метода многомерного корреляционно-регрессионного анализа в информационных системах, создаваемых в интересах органов государственной власти

Баранова Г.В.

Annotatіon

In given report is considered multivariate correlatively-regressiv analysis as one of the methods of the processing social-economic and public-political factors used in information-analytical system. They are Considered main positions of this method, possibility of its use in study and forecasting of the phenomenas and processes in the most different area of vital activity society.

Качественное решение задач информационно-аналитическими подразделениями во многом определяется методологией, математическим аппаратом применяемым при создании информационно-аналитических систем (ИАС). Особенно данный вопрос актуален при создании ИАС поддерживающих принятие решений в сфере управления социально-экономическим развитием, обеспечивающим мониторинг общественно-политической ситуации.

Вероятностный характер природы социально-экономических и общественно-политических процессов требует при их анализе поиска по возможности наиболее простой теоретической формы представления признаковых связей и статистической оценки надежности как самих их моделей, так и модельных параметров. Корреляционно-регрессионный анализ [1]является одним из наиболее широко распространенных и гибких приемов обработки статистических данных, характеризующих те или иные аспекты социально-экономических и общественно-политических сфер жизни общества.

Наиболее простой формой корреляционно-регрессионного анализа являются парная корреляция и парная регрессия. Многомерный анализ отличают процедуры обработки множественных характеристик, комплексно представляющих взаимосвязанные признаки (объекты). В множественном регрессионном анализе [1]:

- исследуется зависимость результативной величины - отклика (у) от нескольких независимых переменных - предикторов (Xj), т е

- выделяется понятие чистой регрессии - зависимости между некоторыми парами предикторов из их множества при условии нивелирования действия остальных предикторов;

- учитывается возможность наличия тесных связей (когда коэффициент корреляции превышает уровень 0,7-0,8) между парами предикторов, искажающих конечные результаты регрессионного анализа отклика. Это явление носит название мулътиколлинеарности, устраняется оно, как правило, одним из двух способов: один из пары предикторов, подверженных мультиколлинеарности, выводится из модели или заменяется другим новым предиктором - новым факторным признаком;

- существует необходимость установления определенного соотношения между числом наблюдаемых объектов и числом предикторов.

- принимается во внимание, что при числе предикторов, превышающем два, графическое изображение результатов регрессионного анализа становится невозможным и все выводы формируются в ходе формального решения аналитической задачи;

- в связи с тем, что в множественном корреляционно-регрессионном анализе (МКРА) определяется большое число параметров, проверке на достоверность подлежат не только регрессионная модель в целом, но и каждый из ее параметров, а также всевозможные парные и частные коэффициенты корреляции.

Основные положения методы множественного корреляционно-регрессионного анализа приведены ниже.

Парная корреляция. [2].

Коэффициенты парной корреляции используются для измерения силы линейных связей различных пар признаков из их множества. При этом учитывается, что связь каждой пары признаков находится под воздействием связей всех других признаков между собой и с признаками из данной пары.

Для множества признаков объектов матрицу парных корреляций R. получают в ходе следующих преобразований матрицы исходных данных X:

где - матрица стандартизованных значений, ее элементы получают из хij как

и

Частная корреляция.[2]. Коэффициенты частной корреляции также представляют линейные связи признаков, но при этом во внимание принимается чистая связь пары признаков при условии, что связи всех других признаков с признаками из данной пары не действуют, нивелированы. Элементы матрицы коэффициентов частной корреляции rij можно получить по данным известной матрицы парных корреляций R:

где Аij, Аii и Аjj - алгебраические дополнения к соответствующим элементам матрицы парных корреляций R.

Знак коэффициенту частной корреляции присваивается согласно знаку соответствующего коэффициента регрессии в линейной модели.

Коэффициент множественной корреляции R0 представляет собой численную характеристику силы связи отклика со всеми предикторами. Если известна матрица парных корреляций R, то

,

где - определитель матрицы парных корреляций;

- минор к матрице парных корреляций R.

В матрице R вычеркиваются строка и столбец, представляющие характеристики связи с j-м признаком, выступающим в качестве отклика.

Коэффициент множественной детерминации - численная характеристика доли вариации признака, объясненной вариацией всех предикторов:

Коэффициенты множественной корреляции и детерминации представляют собой оценки силы линейных связей изучаемых признаков.

Коэффициент неопределенности - численная характеристика доли вариации отклика, не поддающейся объяснению вариацией предикторов:

Регрессионные модели [1]. используются для представления формы связи изучаемых признаков.

Наиболее простым классом регрессионных моделей являются линейные:

.

Вектор параметров такой модели находят при условии минимизации ее ошибки. С использованием метода наименьших квадратов (МНК) легко выводится формула для определения множества параметрических значений : - выдвигается МНК-требование:

;

- переписывается МНК"-условие, заменив на произведение матрицы X и вектора В, т.е.

а

множество значений, представляется вектором У и получается

;

- выполняется операция умножения и дифференцируется полученное выражение относительно параметра В:

,

откуда

и

При определении вектора В матрица исходных данных может принимать вид или :

, .

Если в анализе используется матрица вида Х1, то в ходе решения регрессионного уравнения находят все кроме, а затем вычисляют как разность:

=,

где - среднее значение отклика;

- вектор средних значений предикторов

;

- неполный параметрический вектор,

.

Если в анализе используется матрица вида Х2, то одновременно находят все множество параметрических оценок, т.е. полный вектор В.

Регрессионное уравнение называют уравнением в натуральном масштабе. Его коэффициенты показывают, на сколько натуральных единиц изменится отклик при изменении значений соответствующего предиктора на одну единицу.

Кроме регрессии в натуральном масштабе, может быть построена регрессия в стандартизованном виде:

, ;

здесь коэффициенты регрессии показывают, на сколько средних квадратических отклонений изменится отклик при изменении соответствующего предиктора на одно среднее квадратическое отклонение. Построение регрессии в стандартизованном виде предполагает решение системы нормальных уравнений:

Вектор значений -коэффициентов определяется при известной матрице парных корреляций R как:

,

где - определитель матрицы парных корреляций или определитель матрицы системы нормальных уравнений;

- определитель матрицы системы, в которой столбец, включающий неизвестные параметры, заменяется свободными членами системы.

От стандартизованных коэффициентов регрессии всегда можно осуществить переход к коэффициентам в натуральном масштабе:

,

где - среднее квадратическое отклонение значений отклика ;

- среднее квадратическое отклонение значений соответствующего предиктора .

На основе значений рассчитывают частные и множественный коэффициенты детерминации:

- частные коэффициенты детерминации:

;

- коэффициент множественной детерминации:

.

Корреляционно-регрессионный анализ логично завершается оценкой достоверности полученной модели и ее параметрических характеристик, а затем интерпретацией результатов.[3],[1].

В общем числе критериальных оценок надежности МКРА выделяют следующие группы:

1. Статистические оценки надежности регрессионной модели в целом:

а) коэффициенты множественной детерминации и корреляции;

б) МSЕ - средний квадрат модельной ошибки;

в) МАРЕ - коэффициент аппроксимации, или средняя относительная величина модельной ошибки;

г) F- критерий Фишера.

2. Статистическая оценка надежности коэффициентов регрессии, которая производится при помощи критерия Стьюдента.

3. Статистические оценки достоверности коэффициентов корреляции:

а) Частные и парные коэффициенты корреляции проверяются при помощи критерия Стьюдента.

б) Коэффициент множественной детерминации (корреляции) оценивается с использованием F-критерия Снедекора.

Линейные модели отличаются простой интерпретируемостью и хорошо разработанными приемами оценивания коэффициентов регрессии. Обычно для них все три наиболее распространенных метода статистического оценивания - максимального правдоподобия, наименьших квадратов и моментов - дают оптимальные решения и соответственно приводят к оценкам, обладающим линейностью, эффективностью, несмещенностью. Принимая во внимание, что линейные регрессионные модели не могут с одинаково высокой степенью достоверности описывать многообразные процессы, происходящие в реальности, их дополняет большой класс нелинейных моделей. Однако чтобы избежать сложностей с определением параметрических оценок и интерпретацией регрессионных коэффициентов, такие модели стараются привести к линейному виду и находить их решение по формуле:

.

Благодаря своей разработанности и гибкости метод регрессионного анализа в настоящее время широко распространен в аналитической практике. Он становится также неотъемлемой частью или обычным логическим дополнением многих методов многомерной статистики: в факторном, дискриминантном анализе, методе канонических корреляций, многомерном шкалировании, кластерном анализе и т. д.

Изложенный метод находит широкое применение в исследовании и прогнозировании явлений и процессов в самых различных областях жизнедеятельности общества. Так на основе данного метода разработана методика определения индекса социальной напряженности в регионах России. По нашему мнению применение данного метода при анализе социально-экономических и общественно-политических процессов регионального уровня информационно-аналитическими подразделениями позволит повысить качество подготавливаемых ими материалов, и в конечном счете, повысить обоснованность и эффективность принимаемых решений должностными лицами органов государственной власти всех уровней. регрессионный множественный статистика

Дальнейшее развитие теории регрессионного анализа, прежде всего видится в разработке новых нелинейных форм, позволяющих с высокой степенью адекватности описывать реальные процессы; расклассификации многочисленных регрессионных моделей и методов их решения, ориентированной на конкретные группы исследовательских задач, определении перспектив использования регрессионного анализа в сочетании с другими методами статистического анализа.

Литература

1. Сошникова Л.А., Тамашевич В.Б., Уебе Г., Шефер М. Многомерный статистический анализ в экономике: Учеб. пособие для вузов/Под ред. проф. В.Н. Тамашевича. - М.: ЮНИТИ-ДАНА, 1999.-598 с.

2. Саркисян С.А., Каспин В.И., Лисичкин В.А., Минаев Э.С., Пасечкин Г.С. Теория прогнозирования и принятия решений. Под ред. С.А. Саркисяна. М., "Высш. Школа", 1977.

3. Гнурман В.Е. Теория вероятностей и математическая статистика. Изд. 4-е,доп. Учебное пособие для вузов. М., "Высш. Школа", 1972.

Размещено на Allbest.ru