Общая теория статистики

2. Если ко всем вариантам прибавить (отнять) постоянное число А, дисперсия не изменится (слайд 1.5.4.).

Доказательство: обозначим : ; (на основе свойств средней арифметической), тогда

.

Соответственно не изменится и среднее квадратическое отклонение.

3. Если все варианты умножить на постоянное число А, то дисперсия увеличится в А2 раз. Или (другими словами), постоянный множитель выносится за знак дисперсии возведенным в квадрат (слайд 1.5.5.).

Доказательство: обозначим ; - на основе свойств средней арифметической, тогда:

.

Соответственно стандартное отклонение увеличится в А раз.

4. Если все частоты умножить на постоянное число А, дисперсия от этого не изменится. Обозначим: , - на основании свойств средней арифметической, следовательно, дисперсия не изменится.

5. Дисперсия равна среднему квадрату за вычетом квадрата средней (слайд 1.5.6.).

Доказательство: , где

? средняя арифметическая из квадратов вариант;

? квадрат средней арифметической. Тогда:

.

6. Свойство минимальности дисперсии от средней (слайд 1.5.7.):

,

т.е. дисперсия от средней меньше, чем средний квадрат отклонений от любого числа А на величину .

Расчет дисперсии в совокупностях, разбитых на группы. Общая и частная дисперсии (слайд 1.5.8.).

Если рассчитывать дисперсию для интервального ряда (когда численность совокупности значительная - более 1000 единиц) по значениям середин интервалов (аналогично расчету средней арифметической для интервального ряда), то получится заниженная дисперсия совокупности, т.к. не будет учтена вариация внутри каждой группы (интервала). Значения признака конкретных единиц совокупности колеблются вокруг своей групповой средней. Групповые средние в свою очередь колеблются вокруг общей средней. Колебания вариант относительно общей средней т.о. складываются из колебаний вокруг групповой средней и колебаний групповых средних относительно общей средней. Схематически это можно изобразить так:

.

Вариацию внутри каждой группы можно измерить, исчислив дисперсию группы, которая называется групповой или частной дисперсией. Внутригрупповую вариацию в целом по совокупности можно оценить, рассчитав среднюю арифметическую из групповых дисперсий:

,

где F - вес группы.

Вариацию групповых средних относительно общей средней можно оценить, рассчитав так называемую межгрупповую дисперсию (факторную):

.

Совокупная вариация вариант относительно групповых средних и групповых средних относительно общей средней оценивается с помощью общей дисперсии:

.

Эта формула называется правилом сложения дисперсий.

Межгрупповая дисперсия (дисперсия групповых средних) показывает силу влияния группировочного признака на образование общей дисперсии. Если мы разделим дисперсию групповых средних на общую дисперсию, то получим показатель, который называется коэффициентом детерминации:

.

Коэффициент детерминации показывает, какая доля всей вариации признака обусловлена признаком, положенным в основание группировки (группировочным признаком).

Корень из коэффициента детерминации называется эмпирическим корреляционным отношением и показывает тесноту связи между группировочным и результативным признаками:

.

Дисперсия альтернативного признака (слайд 1.5.9.).

Количественно альтернативный признак обозначается нулем, если у данной единицы совокупности он отсутствует и единицей, если единица совокупности обладает признаком. Доля единиц совокупности, обладающий изучаемым альтернативным признаком в численности всей совокупности обозначается буквой p, а доля единиц, не обладающих признаком буквой q. Следовательно p+q=1. Тогда средняя альтернативного признака равна:

,

т.е. доле единиц совокупности, обладающих признаком.

Дисперсия альтернативного признака равна:

.

Относительные показатели вариации (слайд 1.5.10.).

Используя рассмотренные выше показатели вариации нельзя сравнить вариацию признаков в разных совокупностях, т.к. все они имеют размерность, являются абсолютными. Для целей сравнения вариации признаков в различных совокупностях используют безразмерные, относительные показатели, которые представляют собой отношение различных абсолютных показателей вариации к средней величине. Выражаются они, как правило, в процентах. Это:

? ? коэффициент осцилляции;

? ? относительное линейное отклонение;

? ? коэффициент вариации - он является основным, наиболее широко применяется;

? ? квартильное отклонение.

Стандартное отклонение ? часто используют в качестве критерия для оценки значения индивидуальных отклонений от средней и типичности данной единицы совокупности. Эта оценка называется нормированным отклонением:

и показывает во сколько раз ? индивидуальное отклонение больше среднего квадратического отклонения.

Нормированное отклонение используют также при расчете теоретических частот нормального распределения - в анализе рядов распределения. Разности ? индивидуальные отклонения в разных совокупностях несопоставимы, т.к. размерны, а выраженные в сигмах становятся сопоставимыми.

Анализ вариации в рядах распределения иногда необходимо дополнить показателями дифференциации. Это (слайд 1.5.11.):

? коэффициент фондовой дифференциации

,

где , ? средние, рассчитанные из 10% наибольших и наименьших значений признака соответственно (применяется для несгруппированных, первичных данных);

? коэффициент децильной дифференциации

?

применяется для сгруппированных данных.

Моменты распределения (1.5.12.).

К характеристикам вариационного ряда относится также целая система показателей, которые называются моментами распределения.

Общая формула момента k-того порядка:

,

где А - постоянная величина.

Если в качестве А взято любое произвольное число, моменты называются условными.

Если А=0 - получим систему начальных моментов:

.

При А= моменты будут центральными. Согласно свойству средней арифметической, центральный момент 1-го порядка равен 0:

.

Центральный момент второго порядка - это дисперсия.

Кроме этого, в статистике используются центральные моменты 3-го и 4-го порядков - для характеристики асимметрии и эксцесса распределения.

Т.к. в симметричных рядах все нечетные центральные моменты равны 0, то отличие момента 3-го порядка от 0 говорит об асимметрии распределения (слайд 1.5.13.). Если ? асимметрия правосторонняя, ? асимметрия левосторонняя. Чтобы характеристика асимметрии была безразмерной и допускала сравнение асимметрии в разных распределениях, ее нормируют по среднему квадратическому отклонению соответствующей степени (слайд 1.5.14.):

.

Полученный показатель называют нормированным моментом 3-го порядка. Если , то асимметрия считается существенной.

Эмпирически установлено, что для нормального распределения между центральными моментами 2-го и 4-го порядков существует зависимость:

,

а так как ? это дисперсия, то данное соотношение можно записать в следующем виде:

или .

Отклонение отношения от 3 применяют для характеристики эксцесса:

.

Если эксцесс положительный, то фактическое распределение будет более высоковершинным по сравнению с нормальным распределением. При отрицательном эксцессе фактическое распределение будет более пологим по сравнению с нормальным распределением.

Иногда применяют другие характеристики эксцесса (проще по расчету, но менее точные), например, коэффициент Линдберга:

,

где Р - процент числа вариант изучаемого ряда, находящихся в интервале на расстоянии половины среднего квадратического отклонения от средней, т.е. в интервале . Для нормального распределения доля таких единиц составляет 38,29%.

Взаимосвязанное использование всех основных характеристик вариационных рядов, по которым можно судить о центре группирования, о вариации признака в совокупности, о форме распределения, позволяет более детально изучить особенности и закономерности явлений.

Вопросы для самоконтроля

1. Какие группы показателей используют для характеристики особенностей рядов распределения?

2. Что представляет собой вариация признака и в чем состоит значение ее изучения?

3. Какие существуют показатели вариации и для каких целей они применяются?

4. Как рассчитать показатели вариации (колеблемости) признака?

5. В чем состоит значение относительных показателей вариации?

6. Математические свойства дисперсии и стандартного отклонения.

7. Правило сложения дисперсий.

8. Что характеризуют показатели дифференциации?

9. Какие существуют показатели формы распределения, что они характеризуют?

10. Каковы особенности кривой нормального распределения?

Тема 1.6 Методы анализа динамики социально-экономических явлений

С помощью рядов динамики (временных рядов) в статистике изучают изменения явлений во времени. Ряд динамики представляет собой множество значений признака какой-либо единицы совокупности, или какой-либо обобщающей характеристики совокупности, расположенных последовательно во времени. Т. о. каждому конкретному моменту или периоду ряда динамики соответствует определенная величина признака или другого показателя, которая называется уровнем ряда.

Ряд динамики может быть построен на основе абсолютных, относительных или средних величин, т.е. уровни ряда могут представлять собой абсолютные, относительные или средние величины.

Кроме того, в зависимости от показателей времени, соответствующих уровням ряда, динамические ряды могут быть моментными или интервальными. Между этими двумя видами динамических рядов имеются существенные различия.

В моментном ряду каждый уровень ряда - это величина, зафиксированная в конкретный момент времени. Уровни моментного ряда динамики не поддаются суммированию, т.е. полученная в результате суммирования величина не имеет смысла.

В интервальном ряду каждый уровень ряда представляет собой результат развития явления за определенный период времени. Сумма уровней интервального ряда имеет качественное содержание и может служить уровнем другого (более агрегированного) интервального ряда.

На моментные и интервальные делятся ряды динамики абсолютных величин. На их основе строятся ряды динамики относительных и средних величин.

К рядам динамики относительных величин относятся ряды, характеризующие темпы роста величины признака, изменение структуры, изменение показателей интенсивности.

Анализ динамических рядов основан в первую очередь на сопоставимости уровней ряда. Т.к. временные ряды характеризуют развитие явлений во времени, то с течением времени может измениться способ расчета показателей, служащих уровнями ряда; могут появиться различия в степени охвата явления наблюдением; могут измениться единицы измерения, счета и т.п. Поэтому ряды динамики перед анализом приводят к сопоставимому виду (например, используя смыкание рядов динамики).

Динамический ряд, также, как и вариационный можно охарактеризовать с помощью средней величины. Средний уровень ряда динамики рассчитывается различно для моментных и интервальных рядов (слайд 1.6.1.).

Для равноинтервального ряда динамики используется средняя арифметическая невзвешенная. Если интервалы не равны, то применяют среднюю арифметическую взвешенную, весами служат величины интервалов:

или ,

где n - число уровней ряда.

Для расчета среднего уровня в моментном ряду, используется формула средней хронологической:

,

или, что то же самое,

.

Эта формула используется, если между моментами регистрации признака равные промежутки времени.

В случае, если интервалы не равны, их величина используется в качестве весов:

.

Другие важнейшие характеристики динамического ряда (слайд 1.6.2.).

Для характеристики динамических рядов используется целая система абсолютных и относительных показателей.

Абсолютные показатели:

Абсолютный прирост ? разница между двумя уровнями динамического ряда. Этот показатель характеризует изменение уровня явления за определенный промежуток времени. Если из каждого данного k-го уровня ряда вычесть уровень, принятый за базу сравнения (как правило, начальный), то получим базисный абсолютный прирост:

.

Если из каждого k-го уровня вычитают предыдущий уровень, то получаются цепные абсолютные приросты:

.

Относительные показатели:

Коэффициенты роста ? отношение двух уровней динамического ряда.

Если каждый k-тый уровень относить к базисному уровню, то получатся базисные коэффициенты роста:

;

а если каждый k-тый уровень относить к предыдущему, то полученные коэффициенты роста будут цепными:

.

Коэффициенты роста, выраженные в процентах, называются темпами роста (Тр) , которые тоже могут быть цепными и базисными.

Между цепными и базисными коэффициентами роста существуют следующие соотношения:

? произведение цепных коэффициентов роста равно базисному коэффициенту роста последнего периода;

? отношение двух базисных коэффициентов роста равно цепному.

Коэффициенты (темпы) прироста Кпр (Тпр) можно получить, если вычесть из соответственного коэффициента (темпа) роста единицу (100%). Либо коэффициент прироста можно рассчитать как отношение базисного абсолютного прироста к уровню, принятому за базу сравнения. Коэффициенты (темпы) прироста также могут быть цепными и базисными.

Применяется еще один абсолютный показатель динамики - абсолютное значение 1%-та прироста. Это отношение абсолютного прироста к относительному приросту (темпу прироста). А т.к. темп прироста равен отношению базисного абсолютного прироста (умноженного на 100) к базисному уровню, то абсолютное значение 1% прироста равно базисному уровню, деленному на 100:

Абс. 1%

Т.о. расчет абсолютного значения 1% прироста имеет смысл только для цепной системы расчета показателей.

Средние из характеристик динамического ряда (слайд 1.6.3.).

Средний цепной абсолютный прирост характеризует среднюю скорость движения явления в единицу времени в пределах данного периода.

Рассчитывается, например, среднегодовой абсолютный прирост, как отношение суммы ежегодных приростов к числу лет в изучаемом периоде. Эта средняя также может быть рассчитана и на основе базисного абсолютного прироста за весь исследуемый период:

?

на основе цепных абсолютных приростов;

?

на основе базисного прироста.

Средний коэффициент роста характеризует среднюю интенсивность движения ряда динамики в пределах изучаемого периода. Рассчитывается он по формуле средней геометрической:

,

где m - число цепных коэффициентов роста.

Так как произведение цепных коэффициентов роста равно базисному коэффициенту роста последнего периода, то средний коэффициент роста можно рассчитать по следующей формуле:

,

где n - число уровней динамического ряда. m=n?1.

Средний темп роста - это средний коэффициент роста, выраженный в процентах.

Средний темп прироста - также показатель интенсивности движения ряда в пределах данного периода. Он характеризует относительную величину прироста (уменьшения).

Рассчитывается средний темп прироста, как средний темп роста минус 100. Аналогично средний коэффициент прироста равен среднему коэффициенту роста минус 100.

Сравнение хронологических средних показателей используется в статистическом анализе для количественной характеристики процесса опережения в развитии нескольких явлений. Коэффициент опережения обычно исчисляется на основе базисных коэффициентов или темпов роста, как отношение темпа роста по одному явлению к темпу роста по другому явлению (слайд 1.6.4.):

.

Коэффициент опережения можно рассчитать по среднегодовым (среднемесячным и т.п.) темпам роста:

.

Определение основной тенденции динамики.

В изучении рядов динамики важное место занимает выявление длительной тенденции ряда и получение обобщенных характеристик его движения, особенно при изучении рядов, подверженных значительным колебаниям под влиянием случайных или конъюнктурных причин.

Наметить тенденцию можно методом укрупнения периодов. Например, имея длительную динамику по месяцам, рассмотреть данные по годам. Сходен с методом укрупнения периодов метод скользящих средних. Например, есть динамический ряд, в котором 20 уровней. Разобьем его на группы по 4 уровня. Рассчитаем среднюю из первых 4-х уровней. Затем рассчитаем среднюю из 4-х последовательных уровней, начиная со 2-го, затем с 3-го и т.д. Аналогично скользящим средним, можно рассчитать скользящие суммы. Выбор периода (интервала) скольжения должен соответствовать периоду колебаний в данном динамическом ряду. Чем сильнее колеблется ряд, тем длиннее должны быть периоды для того, чтобы получить типичные средние. Однако, чем длительнее эти отдельные периоды, тем больше лет в начале и конце всего изучаемого периода, по которым плавный уровень (т.е. ряд скользящих средних) не может быть установлен.

В результате применения скользящей средней, получается ряд, который лучше, чем эмпирический выражает общую тенденцию. Но этот метод (как и другие перечисленные методы) не дает сводной числовой характеристики тенденции. Такую характеристику дает метод аналитического выравнивания динамических рядов, кроме того, он более четко выявляет закономерности развития явления.

Аналитическое выравнивание динамического ряда (слайд 1.6.5.).

Этот метод как бы сглаживает фактическую ломаную линию, изображающую динамику и получает плавную линию (тренд), характеризующую основную тенденцию.

Выравнивание производится способом наименьших квалратов, основное требование которого состоит в том, что сумма квадратов отклонений фактических значений уровней динамического ряда от исчисленных значений теоретического ряда является минимальной из числа всех возможных:

, где

у - фактические уровни ряда динамики;

уt - теоретические значения уровней.

В основу определения движения плавного уровня явления кладутся различного вида кривые или прямая (аппроксимирующие функции) в зависимости от того, какая закономерность свойственна динамике явления в изучаемом периоде. Если, например, есть основание считать, что в пределах изучаемого периода явление изменялось в абсолютном выражении равномерно (т.е. абсолютные цепные приросты примерно одинаковы), то в основу кладется линейная функция:

,

где t - порядковый номер года, либо другого отрезка, принятого для данного динамического ряда в качестве единицы времени.

В этом уравнении параметр а0 выражает уровень явления при t=0, т.е. это начальная ордината; параметр а1 показывает, на сколько в среднем увеличивается уровень ряда при увеличении t на единицу.

Тогда для линейной функции получаем по методу наименьших квадратов

.

Чтобы найти минимум данной функции с аргументами а0 и а1, необходимо взять две частных производных этого выражения по а0 и по а1, приравнять полученные производные к нулю, а затем определить а0 и а1:

,

из чего следует:

?

так называемая система нормальных уравнений, откуда (слайд 1.6.6.):

,

где n - количество наблюдений.

Т.к. в рядах динамики t являются показателями времени (дни, месяцы, годы и т.д.), то всегда можно им придать такие условные значения, чтобы их сумма равнялась нулю. Т.о., при система нормальных уравнений принимает вид:

, отсюда

.

Определив параметры а0 и а1, их подставляют в исходное уравнение , а затем, подставляя в это уравнение соответствующее значение t, получают теоретическое (выравненное) значение величины признака для данного года. Подстановкой соответствующего t можно получить прогноз для будущих периодов времени.

Если есть основание считать, что движение явления во времени ускорялось, либо, наоборот замедлялось, то пользуются уравнением кривой.

Наиболее часто в статистике в качестве аппроксимирующих нелинейных функций используются (слайд 1.6.7.):

? показательная ;

? гиперболическая ;

? парабола 2-го порядка .

Вопрос о выборе функции для аналитического ряда довольно сложен. Как правило, когда приблизительно равны цепные приросты цепных приростов и т.д., следует использовать параболу второго порядка. Когда приблизительно равны цепные отношения приростов к абсолютному значению уровня и т.д., следует использовать показательную функцию.

При более сложных зависимостях между характеристиками динамического ряда подбираются более сложные кривые.

Чаще всего форма кривой выбирается следующим образом: анализируется материальная природа явления, определяется общая тенденция развития явления (метод укрупнения интервалов, скользящих средних и т.д.). После определения общей тенденции, предварительно подбирается несколько кривых и по каждой из них производится выравнивание динамического ряда, рассчитывается сумма квадратов отклонений фактических уровней ряда от теоретических. Минимальная сумма дает кривую, наилучшим образом описывающую исходные данные, а значит наиболее подходящую для прогноза.

Понятие сезонных колебаний.

Определение тенденции развития явлений, о котором говорилось выше, позволяет абстрагироваться от случайных отклонений в динамических рядах. Кроме случайных отклонений динамические ряды могут содержать сезонные колебания (например, из года в год цена на фрукты зимой выше, чем летом; зимой больше потребляется электроэнергии, чем летом). Т.е. сезонные колебания - это более или менее устойчивые внутригодичные колебания в ряду динамики, обусловленные качественным содержанием изучаемого явления.

В статистике существуют способы выделения сезонных колебаний в ряду динамики и способы измерения интенсивности этих колебаний. Для этого вычисляются специальные показатели - индексы сезонности. Совокупность индексов сезонности образует сезонную волну.

Для выявления сезонных, внутригодовых колебаний берутся данные за несколько лет (не менее трех), распределенные по месяцам. Данные только одного года (или даже двух) могут быть случайными.

Если динамический ряд не содержит ярко выраженной тенденции в развитии, т.е. внутригодичные колебания происходят вокруг некоторого постоянного уровня , индексы сезонности рассчитываются по эмпирическим данным без их предварительного выравнивания, по формуле (слайд 1.6.8.):

, где

? средняя по одноименным месяцам, рассчитанная за несколько лет;

? среднемесячная величина за весь период.

Если динамический ряд содержит определенную тенденцию в развитии, то прежде, чем вычислять сезонную волну, эмпирические данные должны быть обработаны с помощью аналитического выравнивания. Затем фактические данные выражаются в процентах к выравненным, а индексы сезонности будут равны средним по одноименным месяцам из этих процентных чисел за взятые годы. Формула в этом случае будет такая:

/n, где

? фактические уровни ряда динамики;

? выравненные (теоретические) уровни одноименных внутригодовых периодов;

n - количество лет.

Интерполяция и экстраполяция.

Выравниванием рядов динамики часто пользуются для того, чтобы найти недостающие данные прошлых периодов времени (этот прием называется интерполяцией); либо для прогноза развития явления в будущем (экстраполяция).

Вопросы для самоконтроля

1. Что такое ряд и уровни ряда динамики?

2. Охарактеризуйте моментные и интервальные ряды динамики.

3. Что означает смыкание динамических рядов?

4. Методология расчета среднего уровня ряда динамики.

5. Система абсолютных и относительных показателей динамики.

6. Средние из важнейших характеристик динамического ряда.

7. Взаимосвязь между цепными и базисными коэффициентами роста в динамических рядах.

8. Как может быть выявлена основная тенденция в изменениях уровней ряда динамики?

9. Суть метода наименьших квадратов при аналитическом выравнивании динамических рядов.

10. Применение тренда для интерполяции и экстраполяции данных.

11. Методология расчета индексов сезонности и построение «сезонной волны».

12. В чем заключаются особенности корреляции в динамических рядах?

Тема 1.7 Корреляционно-регрессионный анализ социально-экономических явлений

Массовые общественные явления, которые являются предметом изучения статистики, взаимосвязаны между собой и взаимозависимы. Задачей статистического анализа является выявление существенных связей между явлениями и измерение их тесноты.

Выделяют три основных вида взаимосвязей: балансовые, которые изучаются путем балансовых построений, компонентные, которые изучаются индексным методом, и факторные, которые изучаются методом группировок и при помощи теории корреляции.

При изучении факторных связей анализируется согласованное изменение варьирующих признаков выступающих по отношению друг к другу как признаки-факторы (факторные) и признаки-следствия (результативные). Т.е. сравниваются вариации различных признаков, и если при этом обнаруживается закономерное изменение одних признаков под влиянием других, то говорят, что между ними существует связь.

Эти связи в отличие от функциональных являются корреляционными (статистическими).

Функциональные связи жестко детерминированы, т.е. изменение какого-либо признака, выступающего как зависимая переменная-функция (следствие), целиком определяется изменением другого признака, выступающего как независимая переменная величина-аргумент (причина). В этом случае результативный признак принимает одно или несколько строго определенных значений, которые можно рассчитать по форме, описывающей эту функциональную связь. В экономике примером может служить прямо пропорциональная зависимость между производительностью труда и увеличением производства продукции.

Корреляционные связи - связи соотносительные, т.е. значению признака, выступающего как факторный, соответствует некоторый ряд вероятных значений зависимой переменной (функции). Объяснение этому - сложность взаимосвязей между анализируемыми факторами. Поэтому корреляционная связь может проявляться лишь в среднем, в массе случаев. При корреляционной связи каждому значению аргумента соответствует случайно распределенные в некотором интервале значения функции.

Неполнота корреляционных связей объясняется тем, что из всего множества факторов, влияющих на изучаемое явление, процесс, часть выпадает из поля зрения, т.к. факторы могут быть неизвестными, незначительными, либо неподдающимися измерению (слайд 1.7.1.). Таким образом, при изучении явления у, где

,

? подмножество факторов, степень влияния которых попадает в поле зрения исследования;

? подмножество факторов, влияние которых на результат остается неучтенным.

Кроме неполноты, особенностью корреляционных связей является их необратимость. Т.е. если изменение одного признака зависит от изменения другого, факторного признака, то это не значит, что существует обратная зависимость, хотя формальное сравнение вариаций покажет эту зависимость. Т.о. не всякое согласованное изменение вариации признаков может быть предметом корреляционного анализа, а только такое, которое обосновано предварительным теоретическим анализом изучаемой зависимости.

Теоретический анализ должен показать, что между признаком-фактором и признаком-следствием имеется причинная связь, а также, если возможно установить форму этой связи (регрессионный анализ).

Т.о. задачи корреляционно-регрессионного анализа:

а) определение факторов, факторных признаков, которые оказывают определяющее воздействие на результат (изучаемое явление), т.е. выделение подмножества из всего множества ;

б) определение формы взаимодействия факторов и результата, т.е. выбор вида функции f, наиболее адекватно описывающей связь между факторами и результатом (причиной и следствием) - построение уравнения регрессии;

в) определение степени влияния на результат выделенных факторов и факторов, которыми мы пренебрегли . Так как поведение у определяется полным набором факторных признаков , то, абстрагируясь от части этих признаков, мы будем получать не точную, а приближенную оценку времени наступления события у или размеров явления у. Поэтому необходимо определить, какую возможную ошибку мы будем допускать при определении у, опираясь только на влияние факторов .

Задачи собственно корреляционного анализа сводятся к измерению тесноты связи между варьирующими признаками, определению неизвестных причинных связей и оценке факторов, оказывающих наибольшее влияние на результативный признак.

Задачи регрессионного анализа лежат в сфере установления формы зависимости, определения функции регрессии, использования уравнения для оценки неизвестных значений зависимой переменной.

Формы корреляционной связи.

По форме корреляционные связи бывают прямые и обратные, прямолинейные и криволинейные, однофакторные и многофакторные.

Если при изменении факторного признака результативный меняется в том же направлении, значит связь прямая, если в противоположном - обратная.

Пример прямой связи: при уменьшении расхода электроэнергии на единицу продукции, снижается себестоимость продукции.

Примет обратной связи: при снижении себестоимости продукции прибыль на предприятиях увеличивается.

Линейные и криволинейные (нелинейные) корреляционные связи различаются в зависимости от аналитического выражения той теоретической формы связи, которая им подобрана.

Если исследуется связь между одним признаком-фактором и результативным признаком (при абстрагировании от влияния других), то речь идет об однофакторной связи и парной корреляции. Если рассматривается влияние нескольких факторов, то связь многофакторная и корреляция множественная. В случае многофакторной связи имеется в виду, что все факторы действуют комплексно, т.е. одновременно и во взаимосвязи.

При изучении множественной корреляции вводится еще понятие частной корреляции, под которой понимается зависимость между результативным показателем у и одним из факторных признаков в условиях, когда влияние на них остальных факторов, учитываемых на фиксированном уровне, устранено.

Кроме перечисленных форм связи различают также непосредственные, косвенные и ложные связи. Суть каждой из них очевидна из названия. В первом случае факторы взаимодействуют между собой непосредственно. Для косвенной связи характерно участие какой-то третьей переменной, которая опосредует связь между изучаемыми признаками. Ложная связь - это связь, установленная формально и, как правило, подтвержденная только количественными оценками. Она не имеет под собой качественной основы, бессмысленна.

Методы изучения корреляционной связи.

Для выявления наличия и характера корреляционной связи в статистике используется ряд методов: метод сравнения параллельных рядов, графический метод, метод аналитических группировок и корреляционных таблиц, расчет коэффициентов корреляции.

Метод сравнения параллельных рядов применяется при небольшом числе наблюдений. Единицы наблюдения располагают в порядке возрастания значений факторного признака х, соответственно располагают значения признака у. Эти данные заносят в таблицу, которая и называется параллельным рядом. При помощи параллельного ряда наличие и направление корреляционной связи можно установить визуально (слайд 1.7.2.).

Для уточнения выводов на основе параллельных рядов применяют элементарные показатели, характеризующие направление и тесноту связи.

Коэффициент Фехнера (коэффициент корреляции знаков) - простейший показатель тесноты связи. Он построен на знаках отклонений значений признаков х и у от своих средних величин. Для расчета показателя определяют средние и . Затем в таблицу с параллельным рядом заносят знаки отклонений и . Коэффициент Фехнера рассчитывают по формуле:

, где

С - число совпадений знаков отклонений;

Н - число несовпадений.

Коэффициент Фехнера варьирует от 0 до ± 1. Причем чем ближе его значение к 1, тем теснее зависимость между х и у. Знак коэффициента показывает направление связи.

Корреляционную зависимость для наглядности представляют графически. Для этого каждую пару значений х и у изображают в системе координат в виде точки с координатами х и у. Соединив точки ломаной линией, получают эмпирическую линию регрессии.

Метод группировок.

Чтобы выявить наличие корреляционной связи между двумя признаками при большом числе наблюдений, проводится группировка единиц совокупности по факторному признаку х и для каждой выделенной группы рассчитывается среднее значение результативного признака . Если у зависит от х, то в изменении среднего значения у будет прослеживаться определенная закономерность.

Результаты группировки целесообразно оформить в виде таблицы, в которой приведено комбинационной распределение единиц совокупности по двум признакам. Такие таблицы называют таблицами взаимной сопряженности. Если в такой таблице оба признака количественные, то она называется корреляционной.

В подлежащем корреляционной таблицы выделяются группы по факторному признаку х, в сказуемом - по результативному у или наоборот. В клетках таблицы на пересечении х и у показано число совпадений каждого значения х с соответствующим значением у (частоты).

Определить наличие и направление связи по корреляционной таблице можно уже визуально. Если частоты разбросаны в клетках таблицы беспорядочно, то связь между группировочными признаками либо незначительна, либо отсутствует. А если частоты сконцентрированы около одной из диагоналей таблицы, то это скорее всего свидетельствует о наличие корреляционной зависимости между признаками, близкой к линейной. Причем диагональ из левого верхнего угла таблицы в правый нижний угол говорит о прямой зависимости, а из нижнего левого угла в верхний правый - об обратной.

При построении эмпирической линии регрессии по данным корреляционной таблицы, по абсциссе откладывают значения середин интервалов факторного признака, а ординатами являются групповые средние результативного показателя . Если данные корреляционной таблицы перенести в систему координат, где вместо частот таблицы будет проставлено соответствующее число точек, то мы получим «корреляционное поле», по конфигурации которого можно предварительно судить о наличии и форме связи между признаками х и у.

Выявление и измерение тесноты связи между двумя атрибутивными признаками.

При исследовании социальных явлений и процессов большое значение имеет изучение качественных показателей, взаимосвязей между ними и признаков, не имеющих количественной оценки.

Зависимость между атрибутивными признаками изучают, анализируя таблицы взаимной сопряженности, которые могут иметь разную размерность.

Рассмотрим эту методику на простейшей таблице взаимной сопряженности - таблице «четырех полей» (слайд 1.7.3.), которая составляется для изучения связи между двумя качественными признаками, каждый из которых делится на две группы, чаще всего по альтернативному принципу: «да» ? «нет». Например, обследуется 300 студентов, которые работают или не работают по специальности (данные строк); успешно или не успешно сдали сессию (данные столбцов).

По таблице нетрудно заметить, что 75% студентов, работающих по специальности, успешно сдали сессию (150 из 200) и только 65% - не работающих по специальности (200 из 300). Выводы о существующей зависимости подтверждают с помощью, например, статистического критерия Пирсона . Критерий Пирсона основан на сопоставлении эмпирических и теоретических частот таблицы взаимной сопряженности (теоретические частоты на слайде 1.7.3. в скобках). Теоретические частоты рассчитывают исходя из так называемой нулевой гипотезы, т.е. предположения о том, что распределение внутри таблицы случайно и, следовательно, зависимость между признаками группировки отсутствует.

При случайном распределении распределение частот в каждой строке пропорционально соответствует распределению частот в итоговой строке (0,7 и 0,3 на слайде). Тогда теоретическая частота студентов, работающих по специальности и успешно сдавших сессию 200*0,7=140; получивших неудовлетворительные оценки 200*0,3=60. Аналогичный расчет производят и для второй строки таблицы: 300*0,7=210; 300*0,3=90.

Критерий Пирсона рассчитывается по одной из формул (слайд 1.7.4.):

или , где

и - соответственно эмпирические и теоретические частоты по группам;

- общее число единиц совокупности.

Для нашего примера:

.

Рассчитанное фактическое значение сопоставляют с табличным (критическим) для заданного уровня значимости б и числа степеней свободы , где и ? число групп по каждому признаку группировки.

Для нашего примера . При уровне значимости б = =0,05, находим табличное значение =3,84.

Т.к. , то выдвинутая нулевая гипотеза о случайном распределении отвергается, т.е. распределение не случайно и, значит, имеется связь между работой по специальности и успешностью при сдаче сессии.

По второй формуле получим тот же результат.

При независимости признаков эмпирические и теоретические частоты совпадают, т.е. их разность и равны нулю. Чем больше различия между эмпирическими и теоретическими частотами, тем больше значение и вероятность того, что оно превысит пороговое табличное значение, допустимое для случайных расхождений при принятии нулевой гипотезы.

Иногда для расчета удобнее пользоваться не частотами или соответствующими им частостями, сумма которых по таблице в целом равна 1 (частостями итоговой строки), а частостями, рассчитанными для каждой строки отдельно. Они называются условными, а рассчитанные по итоговой строке - безусловными. Из сопоставления условных и безусловных частостей выносят суждение о наличии или отсутствии связи между признаками.

По каждой строке критерий Пирсона рассчитывается по формуле:

, где

? частость j-той графы условного распределения по i-той строке;

? частость этой графы в итоговой строке (безусловного распределения).

а для совокупности в целом рассчитывается как сумма по всем строкам:

На слайде 1.7.3. - условные частости в косых скобках.

Измерение тесноты связи между двумя качественными признаками.

Если каждый из качественных признаков состоит только из двух групп, т.е. таблица взаимной сопряженности этих признаков имеет четыре поля, то показателями тесноты связи между ними служат коэффициенты ассоциации и контингенции. Частоты в таблице «четырех полей» обозначаются буквами а, b, c, d.(слайд 1.7.5.).

Коэффициент ассоциации рассчитывается по формуле:

,

а коэффициент контингенции по формуле:

.

Связь считается подтвержденной, если А?0,5; К?0,3.

Если по каждому из взаимосвязанных качественных признаков выделяется более двух групп, то теснота связи между ними измеряется с помощью коэффициентов взаимной сопряженности Пирсона или Чупрова, которые рассчитываются на основе критерия Пирсона (слайд 1.7.6.). Коэффициент Пирсона:

,

коэффициент Чупрова:

, где

n - число единиц наблюдения;

и ? соответственно число строк и граф в таблице взаимной сопряженности.

Распространено применение формул этих коэффициентов, где введено обозначение , тогда:

коэффициент Пирсона:

,

коэффициент Чупрова:

.

можно рассчитать самостоятельно, без расчета по формуле

, где

? частоты клеток таблицы взаимной сопряженности;

 ? частоты итогового столбца и итоговой строки таблицы взаимной сопряженности соответственно.

Коэффициент Пирсона можно применять и для таблицы «четырех полей». Коэффициент Чупрова в этом случае применять не рекомендуется, так как при числе степеней свободы он будет больше коэффициента Пирсона. Для таблиц же другой размерности (с числом строк и граф больше двух) коэффициент взаимной сопряженности Чупрова всегда меньше коэффициента Пирсона.

Показатели тесноты связи количественных признаков.

Измерить зависимость между двумя коррелируемыми величинами, значит определить, насколько вариация результативного признака обусловлена вариацией факторного признака.

Для измерения тесноты связи количественных признаков наиболее часто используются линейный коэффициент корреляции, коэффициенты корреляции рангов, коэффициент конкордации и корреляционное отношение (эмпирическое и теоретическое). Наибольшее распространение имеет линейный коэффициент корреляции r. Он применяется для измерения тесноты связи между двумя признаками в случае линейной формы связи между ними.

Линейный коэффициент корреляции построен на абсолютных значениях отклонений признаков х и у от их средних значений. При этом исходят из допущения, что, если значительным абсолютным отклонениям переменной х соответствуют значительные абсолютные отклонения переменной у, то связь между х и у сильнее, чем в тех случаях, когда значительным отклонениям х соответствуют малые отклонения у. На этом основании предполагают, что мерой связи переменных х и у является сумма (слайд 1.7.7.):

.

Поскольку приведенная величина зависит от числа членов ряда, ее делят на n. Полученная таким образом мера связи теоретически может принимать значения от ?? до +?, а всегда удобнее пользоваться таким показателем, значение которого можно поместить в каком-либо конечном интервале. Поэтому приведенный выше показатель нормируют, т.е. делят на произведение стандартных отклонений переменных х и у и получают коэффициент корреляции Бравэ-Пирсона, который принимает значения от ?1 до +1:

.

Выражение называется ковариацией переменных х и у и является средней величиной, поэтому может быть записано в виде: или, после преобразований, в виде: . Тогда формулу коэффициента корреляции Бравэ-Пирсона можно привести к следующему современному виду:

.

Иногда линейный коэффициент корреляции удобно рассчитывать по итоговым значениям (суммам) исходных переменных. Для этого его формула преобразовывается в следующий вид:

.

Линейный коэффициент корреляции можно рассчитать и по такой формуле:

, где

? коэффициент регрессии в уравнении связи (будет рассмотрен далее).

Коэффициенты корреляции рангов.

Для измерения тесноты связи между двумя признаками наряду с линейным коэффициентом корреляции используются коэффициенты корреляции рангов Спирмена (Spearman) и Кендэла (Kendall). Эти непараметрические коэффициенты просты в расчете, применимы не только для количественных, но и для качественных показателей. Кроме того, для их расчета не требуется знать форму связи изучаемых явлений.

Эти коэффициенты основаны на корреляции не самих значений коррелируемых признаков, а их рангов.

Ранг - это порядковый номер, присваиваемый каждому индивидуальному значению признака х и признака у в ранжированном (т.е. упорядоченном) ряду.

Оба признака ранжируют в одном и том же порядке. Чаще присвоение ранга идет по возрастанию значений признака. Если встречается несколько одинаковых значений х или у, то каждому из них присваивается ранг, равный средней арифметической из рангов, приходящихся на эти равные значения. Например, упорядочим ряд значений х и ранжируем их (слайд 1.7.8.):

х: 3 5 5 6 9 9 9 10

: 1 2,5 2,5 4 6 6 6 8

где ; .

Одинаковые ранги называются связными или связанными.

Коэффициент корреляции рангов Спирмена рассчитывается по формуле (слайд 1.7.9.):

, где

- разность рангов х и у;

n - число наблюдаемых пар значений.

Данная формула применяется, если нет связных рангов по признакам х и у. При наличии связных рангов исходная формула корректируется:

, где

? число связных рангов по признаку х;

? число связных рангов по признаку у.

Для расчета коэффициента корреляции рангов Кендэла ранги х располагают строго в порядке возрастания и параллельно записывают соответствующее каждому значение (слайд 1.7.10):

ранг переменной х: 1 2 3 4 5

ранг переменной у: 3 4 1 5 2

Сначала рассчитывают величину Р, которая равна сумме количества рангов, превышающих каждый ранг у (из тех, что находятся справа). Например, первый в ряду рангов у - это . Из находящихся справа его превышают два ранга (4 и 5), т.о.

Р=2+1+2+0+0=5.

Затем рассчитывается величина Q. Для этого определяют, сколько чисел, находящихся справа от каждого ранга имеют значение «меньше». Эти величины суммируются со знаком «минус»:

Q=?2?2?0?1?0=?5.

Формула расчета коэффициента Кендэла:

.

С учетом связных рангов формула корректируется:

, где

,

t - число связных рангов по признаку х и признаку у.

Ранговые коэффициенты принимают значения от ?1 до +1.

Если необходимо измерить тесноту связи между тремя и более признаками, то можно применить ранговый коэффициент согласия - коэффициент конкордаци (слайд 1.7.11.):

, где

m - количество признаков, между которыми измеряется теснота связи;

S ? сумма квадратов отклонений рангов:

, где

r - сумма рангов по строке.

Для случая связных рангов:

, где

,

t - количество связных рангов по отдельным показателям.

Коэффициент конкордации может принимать значения от 0 до1.

Коэффициент конкордации особенно часто используется в экспертных оценках, например, для того, чтобы определить степень согласованности мнений экспертов о важности того или иного оцениваемого показателя или составить рейтинг отдельных единиц по какому-либо признаку.

Построение уравнений регрессии между двумя признаками.

Построить уравнение регрессии - значит по фактическим данным описать изменения взаимно коррелируемых признаков. Уравнение регрессии можно рассматривать как вероятностную гипотетическую функциональную связь средней величины результативного признака у со значениями факторного признака х.

Уравнение регрессии называют теоретической линией регрессии, так как она как бы сглаживает изломы эмпирической линии. Значения результативного признака, рассчитанные по уравнению регрессии, называются теоретическими, обозначаются (слайд 1.7.12.) (читается: «игрек, выравненный по х).

Определение типа функции, которая буде наиболее адекватно отражать зависимость между признаками х и у - одна из основных задач регрессионного анализа.

Для аналитической связи между х и у используются следующие функции (слайд 1.7.12.):

? прямая

? парабола 2-го порядка

? гипербола

? показательная функция и др.

Зависимость, выражаемую уравнением прямой, называют линейной (прямолинейной), а все остальные - криволинейными.

По выбранному типу функции определяют параметры уравнения регрессии, используя метод наименьших квадратов (МНК).

Суть метода и его основное требование рассматривались при анализе динамических рядов. Этим методом производится аналитическое выравнивание рядов динамики.

Парная линейная регрессии (слайд 1.7.13.).

Напомним, что параметры и в случае линейной зависимости между х и у методом наименьших квадратов определяются в результате решения системы нормальных уравнений:

.

При решении данной системы уравнений суммы, указанные в ней можно определить как по данным о значениях х и у каждой единицы совокупности (по несгруппированным данным), так и по сгруппированным данным в виде, например, корреляционной таблицы.

Если используются сгруппированные данные, то все суммы значений х и у, их произведений должны учитываться с их весом:

.

Если в исходной системе нормальных уравнений, каждое уравнение разделить на n, то получится такой вид:

.

Отсюда

,

.

или, с использованием линейного коэффициента корреляции:

,

.

Уравнение связи в этом случае примет вид:

.

В случае, когда связь между х и у тесная, параметр приобретает практическое значение и называется коэффициентом регрессии. Он показывает на сколько в среднем (в абсолютном выражении) изменяется значение результативного признака при изменении факторного признака на единицу.

Случайная ошибка параметра определяется по формуле (слайд 1.7.14.):

.

Если параметр более, чем в три раза превышает свою случайную ошибку, то с большой вероятностью можно считать его не случайным, а значимым.

Коэффициент регрессии часто удобнее выразить в относительных величинах, рассчитав коэффициент эластичности изменения результативного признака относительно факторного. Коэффициент эластичности показывает, на сколько процентов изменяется в среднем результативный признак при изменении факторного признака на 1%.

Упрощенно коэффициент эластичности рассчитывают как отношение прироста (в %) результативного признака к приросту (в %) факторного признака.

Более точно коэффициент эластичности определяют на основе уравнений регрессии:

,

где ? первая производная уравнения регрессии у по х.

Тогда коэффициент эластичности для линейной зависимости будет рассчитываться так:

.

Линейный коэффициент корреляции имеет в статистике и самостоятельное значение, независимо от пригодности линейной функции для отражения связи между х и у. Например, существует свойство: «Дисперсия суммы признаков равна сумме дисперсий признаков плюс удвоенное произведение стандартных отклонений слагаемых на коэффициент корреляции между ними», т.е. (слайд 1.7.15.):

.

Рассмотрим вариацию переменных средних (зависимость линейная):

.

Отсюда:

статистика выборка корреляционный регрессионный

?

коэффициент детерминации;

?

коэффициент корреляции - показывает долю вариации переменных средних , выражающей зависимость у от х, в общей вариации признака у. Т.е. эту долю и считают мерой тесноты зависимости у от х.

Сопряженные уравнения.

Часто зависимость между коррелируемыми признаками х и у такова, что каждый из них можно рассматривать и как результативный, и как факторный. Например, зависимость между производительностью и оплатой труда. В этом случае уравнение регрессии можно записать и как у по х, т.е. , и как х по у, т.е. . В случае линейной зависимости это будут соответственно (слайд 1.7.16.):

и .

Такие уравнения называются сопряженными. Линейный коэффициент корреляции в обоих случаях будет одинаков, а параметры сопряженных уравнений - разными.

Коэффициенты регрессии для сопряженных уравнений можно легко определить на основе линейного коэффициента корреляции:

и .

Из этих формул нетрудно увидеть, что произведение коэффициентов регрессии сопряженных уравнений равно квадрату линейного коэффициента корреляции:

.

А отсюда:

,

т.е. коэффициент корреляции равен средней геометрической коэффициентов регрессии сопряженных уравнений. Знак «+» или «?» означает прямую или обратную корреляцию между признаками х и у.

Парная нелинейная регрессия.

Если при равномерном возрастании факторного признака х значения у возрастают или убывают ускоренно, то чаще всего в этом случае зависимость между коррелируемыми величинами может быть выражена в виде параболы второго порядка, параметры которой находят методом наименьших квадратов, решив систему нормальных уравнений (слайд 1.7.17.):

.

Уравнение регрессии строится по параболе, например при изучении зависимости урожайности зерновых культур от количества внесенных удобрений.

Зависимость между х и у также может выражаться уравнением параболы более высокого порядка.

Обратная зависимость между двумя признаками может выражаться либо уравнением прямой с отрицательным коэффициентом регрессии, либо уравнением гиперболы (уравнение гиперболы предпочтительнее использовать в тех случаях, когда значение результативного признака, равное нулю, лишено смысла, что теоретически возможно при обратной линейной зависимости).

При гиперболической корреляции система нормальных уравнений для расчета параметров уравнения регрессии имеет вид:

.

Теоретическое корреляционное отношение.

Корреляционное отношение является универсальным показателем тесноты связи как для парной, так и для множественной корреляции независимо от формы связи.

Необходимо различать эмпирическое корреляционное отношение и теоретическое. Теоретическое корреляционное отношение рассчитывается на основе правила сложения дисперсий по аналитической группировке. Теоретическое корреляционное отношение тоже основано на правиле сложения дисперсий, но определяется по выравненным (теоретическим) значениям результативного признака , рассчитанным по уравнению регрессии (для любой формы связи) по формуле (слайд 1.7.18.):

, где

...