Размещено на http://www.allbest.ru/ 20

Статистические выводы по многофакторной модели

Введение

Насколько хороши наши прогнозы? Этот раздел следует рассматривать в основном как обзор, поскольку стандартное отклонение оценки, S_e , и коэффициент детерминации, R², имеют для множественной регрессии, вообще говоря, ту же интерпретацию, что и для простой регрессии. Единственное отличие заключается в том, что ваши прогнозы теперь базируются на нескольких X- переменных. Но все остается очень похоже, поскольку вы по-прежнему прогнозируете только одну переменную Y.

1. Типичная ошибка прогнозирования: стандартная ошибка предсказания

Как и в случае простой регрессии, когда мы имеем дело лишь с одной X-переменной, стандартная ошибка оценки (предсказания) указывает приблизительную величину ошибок прогнозирования.

Возвращаясь к нашему примеру с тарифами на размещение рекламы в журналах, S_e = $21578. Это говорит о том, что фактические тарифы на размещение рекламы в этих журналах, как правило, отклоняются от прогнозируемых тарифов не более чем на $21578 (речь идет о стандартном отклонении). Иными словами, если распределение ошибок является нормальным, то можно ожидать, что примерно 2/3 фактических тарифов будут находиться в пределах S_e от прогнозируемых тарифов; примерно 95% -- в пределах 2S_e и т.д.

Эта стандартная ошибка оценки, S_e = $21578, указывает остаток вариации тарифов после того, как вы использовали Х- переменные (величина читательской аудитории, процент мужчин и медиана дохода) в уравнении регрессии для прогнозирования тарифов каждого журнала. Сравните этот показатель с обычным стандартным отклонением одной переменной для тарифов, S_Y = $45446, вычисленным без использования других переменных. Это стандартное отклонение, S_Y, указывает остаток вариации тарифов после того, как вы использовали для прогнозирования тарифов каждого журнала только значение У. Заметьте, что S_e = $21578 меньше, чем S_Y = $45446; ошибки, как правило, оказываются меньше, если для прогнозирования тарифов использовать уравнение регрессии, а не просто . Как видите, Х- переменные полезны для объяснения размеров тарифов.

Это можно представить себе следующим образом. Если вам ничего неизвестно об Х- переменных, вы будете использовать в качестве оптимальной приблизительной оценки среднее значение тарифа ( = $83534) и будете ошибаться приблизительно на S_Y = $45446. Но если вам известны такие характеристики, как величина читательской аудитории, процент мужчин и средний доход, то для прогнозирования тарифов можно воспользоваться уравнением регрессии; в этом случае вы ошибетесь примерно на S_e = $21578. Такое сокращение ошибки прогнозирования (с $45446 до $21578) и является одним из преимуществ использования регрессионного анализа.

2. Объясненный процент вариации: R²

Коэффициент детерминации (часто также используют термин «квадрат множественной корреляции»), R²,указывает, какой процент вариации Y объясняется влиянием всех Х- переменных.

Если вернуться к нашему примеру с тарифами на размещение рекламы в журналах, то коэффициент детерминации, R² = 0,787, или 78,7%, указывает на то, что независимые переменные (Х- переменные величины читательской аудитории, процент мужчин и средний доход) объясняют 78,7% вариации тарифов. При этом 21,3% остаются необъясненными и связываются с влиянием других факторов. 78,7% -- довольно большое значение R²; во многих исследованиях приходится работать со значительно меньшими величинами, которые, тем не менее, обеспечивают достаточно качественные прогнозы. Желательно, чтобы значение R² было как можно большим (большие значения R² свидетельствуют о том, что исследуемая взаимосвязь является достаточно сильной). В идеальном случае R² = 100%; это возможно лишь в том случае, когда все ошибки прогнозирования равны 0 (что, как правило, свидетельствует о наличии ошибок в другом месте!).

3. Статистический вывод в случае множественной регрессии: F-тест

Полученные нами к настоящему времени результаты регрессии представляют собой достаточно полное описание исследуемых (п = 55) журналов, однако статистический вывод помог бы нам обобщить этот случай на идеализированную популяцию подобных им журналов. Вместо того чтобы просто констатировать тот факт, что увеличение на один процент числа читателей-мужчин приводит к уменьшению тарифа на размещение рекламы в среднем на $124, можно сделать статистический вывод относительно большой генеральной совокупности журналов такого типа, из которой вполне могли бы быть извлечены имеющиеся данные, и попытаться выяснить, существует ли в действительности какая-либо взаимосвязь между полом читателей журнала и тарифами на рекламу, или коэффициент регрессии, равный -$124, можно объяснить просто случайностью. Может ли быть так, что обнаруженное нами влияние процента читателей-мужчин на стоимость рекламы - это просто случайное число, а не свидетельство наличия систематической взаимосвязи? Ответ на этот вопрос можно получить с помощью статистического вывода.

Чтобы не усложнять пример, предположим, что мы располагаем случайной выборкой из намного большей генеральной совокупности. Допустим также, что эта генеральная совокупность характеризуется линейной взаимосвязью со случайностью, представленной моделью множественной линейной регрессии, в соответствии с которой наблюдаемое значение Y определяется взаимосвязью в генеральной совокупности плюс нормально распределенная случайная ошибка. Предполагается также, что эти случайные ошибки для разных наблюдений (элементарных единиц наших данных) не зависят друг от друга.

4. Модель множественной регрессий для генеральной совокупности

Y = (б + в₁X₁ + в₂Х₂ + ... + в_kX_k) + е = (взаимосвязь в генеральной совокупности) + случайность,

где е характеризуется нормальным распределением со средним значением 0 и постоянным стандартным отклонением у, причем эта случайность является независимой для каждого из наблюдений (элементарных единиц данных).

Взаимосвязь в генеральной совокупности определяется k + 1 параметрами: б представляет сдвиг (или постоянный член) для генеральной совокупности, a в₁, в₂,…, в_k являются коэффициентами регрессии для генеральной совокупности, которые показывают среднее влияние каждой из Х- переменных на У (в данной генеральной совокупности), при условии, что все остальные Х- переменные остаются неизменными. Если бы вы имели данные обо всей генеральной совокупности, то полученные вами с помощью метода наименьших квадратов коэффициенты регрессии ничем не отличались бы от соответствующих коэффициентов, описывающих связь в генеральной совокупности. Как правило, однако, полученный методом наименьших квадратов сдвиг а является лишь статистической оценкой б, а полученные методом наименьших квадратов коэффициенты регрессии b₁, b₂, ..., b_k представляют лишь статистические оценки в₁, в₂,…, в_k соответственно. Существуют, конечно же, ошибки, обусловленные процессом оценивания, поскольку выборка намного меньше всей генеральной совокупности.

Значима ли модель? Статистический вывод начинается с F-теста, целью которого является выяснение, объясняют ли Х- переменные значимую часть вариации Y. F-тест используется как «входные ворота» в статистический вывод: если этот тест значим, следовательно, связь существует и можно приступать к ее исследованию и объяснению. Если этот тест незначим, то мы имеем дело с набором не связанных между собой случайных чисел - объяснять, в сущности, нечего. Помните, что, когда вы принимаете нулевую гипотезу, это считается слабым заключением. Вы не доказали, что взаимосвязи нет: вам просто не хватает убедительных доводов в пользу наличия такой взаимосвязи. Взаимосвязь вполне может существовать, но из-за случайности или малого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Нулевая гипотеза для F-теста утверждает, что в генеральной совокупности между Х- переменными и Y прогнозирующая взаимосвязь отсутствует. Иначе говоря, Y является чисто случайной величиной и значения Х- переменных не оказывают на Y никакого влияния. Если посмотреть на модель множественной линейной регрессии, то это утверждение означает, что Y = б + е, что может иметь место в том случае, если все коэффициенты регрессии в генеральной совокупности равны 0.

Альтернативная гипотеза F-теста утверждает, что в генеральной совокупности между Х- переменными и Y существует определенная прогнозирующая взаимосвязь. Таким образом, переменная Y уже не является чисто случайной величиной и должна зависеть по крайней мере от одной из Х- переменных. Иными словами, альтернативная гипотеза утверждает, что по крайней мере один из коэффициентов регрессии не равен 0. Обратите внимание: вовсе не обязательно, чтобы каждая из Х- переменных влияла на Y - достаточно, чтобы влияла хотя бы одна из них.

В F-тесте используются следующие статистические гипотезы:

H_0: в₁ = в₂ = ... = в_k = 0;

H_1: по крайней мере один из коэффициентов регрессии в₁, в₂, ... , в_k 0.

Выполнить F-тест проще всего, отыскав в результатах работы компьютерной программы подходящее р-значение и интерпретировав результирующий уровень значимости. Если р-значение больше, чем 0,05, то полученный результат не является значимым. Если же это р-значение меньше, чем 0,05, то полученный результат является значимым. Если р < 0,01, тогда полученный результат является высоко значимым, и т.д.

Еще один способ выполнения F-теста заключается в сравнении значения R² (процент вариации Y, который объясняется Х- переменными) со значениями из таблицы критических значений R² для подходящего уровня тестирования (например, 5%). Если значение R² оказывается достаточно большим, тогда регрессия считается значимой, т.е. удалось объяснить больше, чем просто случайную величину вариации Y. Эта таблица индексирована по п (количество наблюдений) и k (количество Х- переменных).

Традиционный способ выполнения F-теста интерпретировать несколько сложнее, но он всегда дает тот же результат, что и таблица критических значений R². Классический F-тест, как правило, выполняется путем вычисления F_{статистики} и сравнения ее с критическим значением из F-таблицы для соответствующего уровня тестирования. При этом используются два разных числа степеней свободы: число степеней свободы k₁ (количество Х- переменных, предназначенных для объяснения Y или количество параметров в уравнении регрессии минус единица, т.е. k₁ = m - 1) и число степеней свободы k₂ = n - m (где. n - количество наблюдений в выборке, а m - количество параметров в уравнении регрессии).

В то же время F_{статистика} является излишним усложнением, поскольку значение R² можно проверить непосредственно. Более того, R² имеет более непосредственную интерпретацию, чем F_{статистика}, поскольку R² говорит о той части вариации Y, которая учитывается (или объясняется) Х- переменными, тогда как F не имеет столь простой и непосредственной интерпретации в терминах исходных данных. Какой бы подход - F или R² - вы ни использовали, ответ (о значимости или не значимости) всегда будет одним и тем же на любом уровне тестирования.

Почему же по традиции используется более сложная F_{статистика}, в то время как вместо нее можно было бы обратиться к тесту R², допускающему более удобную и непосредственную интерпретацию? Возможно, все объясняется именно сложившейся традицией, а возможно, и тем, что уже давно и с успехом на практике применяются именно F-таблицы. Использование осмысленного числа (такого как R²) позволяет глубже понять исследуемую ситуацию и выглядит предпочтительнее, особенно когда речь идет о сфере бизнеса.

Результат F-теста (решение принимается на основе р-значения)

Если р-значение больше, чем 0,05, значит, соответствующая модель не является значимой (вы принимаете нулевую гипотезу о том, что Х- переменные не помогают прогнозировать Y). Если р-значение оказывается меньше, чем 0,05, значит, соответствующая модель является значимой (вы отвергаете нулевую гипотезу и принимаете альтернативную гипотезу о том, что Х- переменные помогают прогнозировать Y).

Результат F-теста (решение принимается на основе R²)

Если значение R² меньше, чем критическое значение в таблице R², значит, соответствующая модель не является значимой.. Если значение R² больше, чем критическое значение в таблице R², значит, соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения.

Результат F-теста (решение принимается на основе критерия F)

Если значение F оказывается меньше, чем критическое значение в F-таблице, значит, соответствующая модель не является значимой. Если значение F оказывается больше, чем критическое значение в F-таблице,- соответствующая модель является значимой. Этот ответ в любом случае будет таким же, как результат, полученный с помощью р-значения или R².

Помните, что статистический смысл термина «значимый» несколько отличается от его обыденного смысла. Когда вы находите значимую модель регрессии, то знаете, что взаимосвязь между Х- переменными и Y оказывается сильнее, чем обычно можно было бы ожидать от чистой случайности. Другими словами, в этой ситуации можно говорить о наличии определенной взаимосвязи. Эта взаимосвязь может быть сильной или полезной в том или ином практическом смысле (а может, и не быть таковой) - эти вопросы требуют специального рассмотрения, - но она достаточно сильна, чтобы не выглядеть как чистая случайность.

Если вернуться к нашему примеру с тарифами на размещение рекламы в журналах, то соответствующее уравнение прогнозирования действительно объясняет значимую долю отклонения в тарифах, на что указывает в результатах работы компьютерной программы р-значение 0,000000 справа от значения F, равного 62,843. В табл. 1 содержится часть результатов работы компьютерной программы, приведенных в предыдущей лекции.

Таблица 1. Результат множественной регрессионного анализа тарифов на размещение рекламы в журналах

Размещено на http://www.allbest.ru/ 20

Это говорит о том, что действительно обнаруживается устойчивая зависимость тарифов от этих факторов (или по крайней мере от одного из этих факторов), т.е. тарифы не являются чисто случайными величинами. Вам по-прежнему неизвестно, какие именно из этих Х- переменных реально участвуют в прогнозировании Y, но вам доподлинно известно, что есть по крайней мере одна такая переменная.

Чтобы выяснить с помощью R², действительно ли уравнение регрессии является значимым, отметим, что коэффициент детерминации R² = 0,787, или 78,7%. Таблица R² для тестирования на уровне 5% в случае п=55 журналов и k=3 переменных (табл. 2) дает критическое значение 0,141, или 14,1%. Для того чтобы уравнение было значимым на привычном уровне 5%, X- переменные должны объяснять лишь 14,1% вариации тарифов (Y). Поскольку они объясняют больше, регрессию следует признать значимой.

Таблица 2. Таблица R²: критические значения для уровня 5% (значимо)

Если у вас более 60 наблюдений, критические значения можно найти с помощью двух множителей, указанных внизу таблицы R². Для этого необходимо воспользоваться следующей формулой:

Критическое значение = (Множитель 1 / n) + (Множитель 2 / n)

Когда в качестве р-значения (Значимость F) указывается 0,000000 (см. таблицу 5), его можно интерпретировать как р < 0,0005, поскольку р-значение, которое больше или равно 0,0005, будет округлено до 0,001. Используя терминологию р-значений, можно сказать, что регрессия в данном случае является очень высоко значимой (р < 0,001).

Чтобы убедиться в этом очень высоком уровне значимости, используя непосредственно F-тест, можно сравнить F_{статистику} 62,843 (из компьютерной распечатки) со значением из F-таблицы для уровня 5% (табл. 3), которое находится между 2,922 и 2,758 для k₁ = m - 1 = 3 степеней свободы и k₂ = n - m = 55 - 4 = 51 степеней свободы.

прогнозирование множественный регрессия вариация

Таблица 3. F-таблица: критические значения для уровня значимости 5%

Поскольку значение 51 в таблице отсутствует, нам известно, что необходимое нам значение из F-таблицы находится в диапазоне от 2,922 для 30 степеней свободы знаменателя и для 60 степеней свободы знаменателя. Поскольку данная F_{статистика} (62,843) намного больше, чем значение из F-таблицы (значение из диапазона от 2,758 до 2,922), мы опять приходим к выводу, что полученный результат имеет очень высокую значимость.

Какие переменные являются значимыми: t-тест для каждого коэффициента

Если F-тест является значимым, то вам известно, что одна или несколько X- переменных могут быть полезны в прогнозировании Y и, следовательно, можно продолжать анализ с помощью t-тестов для отдельных коэффициентов регрессии с целью выяснять, какие именно из Х- переменных действительно полезны. Эти t-тесты определяют, оказывает ли значимое влияние на Y та или иная X- переменная, если все другие Х- переменные остаются при этом неизменными. Следует помнить, что, приняв нулевую гипотезу, вы сделали слабое заключение и, по сути, тем самым не доказали бесполезность Х- переменной, а просто у вас не хватило убедительных доказательств наличия взаимосвязи. Таким образом, взаимосвязь может существовать, но вследствие действия фактора случайности или из-за небольшого размера выборки вы не в состоянии обнаружить ее с помощью тех данных, которые имеются в вашем распоряжении.

Если же F-тест не является значимым, то использовать t-тесты для отдельных коэффициентов регрессии нельзя. В редких случаях эти t-тесты могут быть значимыми даже тогда, когда F-тест не является значимым. При этом F-тест считается более важным и необходимо делать вывод о том, что все коэффициенты являются незначимыми.

t-тест для каждого коэффициента основан на оценке коэффициента регрессии и его стандартной ошибке и использует критическое значение из t-таблицы для «п - k - 1» степеней свободы (где k - количество исследуемых факторов-аргументов). Доверительный интервал для какого-либо конкретного коэффициента регрессии в генеральной совокупности (например, j-го - в_j) определяется обычным способом:

от b_j - tS_bj до b_j + tS_bj ,

где t берется из t-таблицы для «п - k - 1» степеней свободы.

t-тест является значимым, если заданное значение «0» (указывающее на отсутствие влияния) не попадает в этот доверительный интервал. Здесь нет ничего нового: это обычная процедура для двустороннего тестирования.

Как альтернативный вариант можно сравнить t-статистику b_j/S_b со значением из t-таблицы и сделать вывод о значимости, если абсолютное значение этой t-статистики оказывается больше. Если посмотреть на последние значения в каждом из столбцов t-таблицы, можно увидеть достаточно простой, приблизительный способ определения значимости коэффициентов: значимыми будут те коэффициенты регрессии, для которых t-статистика по абсолютному значению равна или больше 2, поскольку для достаточно больших п и уровня значимости 5% значение из t-таблицы приблизительно равно 2. Как всегда, оба метода, и на использовании t-статистики, и на использовании доверительного интервала, должны в любом случае обеспечивать одинаковый результат (значимость или не значимость) для каждого теста.

Что же именно в данном случае тестируется? В результате t-теста для в_j; мы должны принять решение, оказывает ли X_j значимое влияние на Y в исследуемой генеральной совокупности, когда все другие Х- переменные остаются неизменными. В этом случае речь не идет о корреляции между X_j и У, которая игнорирует все остальные Х- переменные. Скорее, это проверка влияния X_j на Y после внесения поправки на все остальные факторы. Например, в исследованиях уровня заработной платы, цель которых заключается в выявлении возможных фактов дискриминации по признаку пола, обычно делают поправку на уровень образования и стаж работы. Несмотря на то что мужчины в компании могут (в среднем) получать более высокую заработную плату, чем женщины, очень важно понять, не объясняются ли эти различия какими-либо другими факторами, помимо пола. В результате включения всех этих факторов в множественную регрессию (регрессия Y = заработная плата на X₁ = пол, X₂ = образование и X₃ = стаж работы) коэффициент регрессии для пола будет отражать влияние пола на уровень заработной платы с учетом поправок на уровень образования и стаж работы.

Ниже приведены формулы для гипотез, касающихся проверки значимости j-го коэффициента регрессии.

Гипотезы для t-теста j -го коэффициента регрессии

H_0: в_j = 0;

H_0: в_j 0;

Если вернуться к нашему примеру с тарифами на размещение рекламных объявлений в журналах («Пример. Реклама в журналах»), то соответствующий t-тест будет иметь п - k - 1 = 55 - 3 - 1 = 51 степеней свободы. Двустороннее критическое значение из t-таблицы равно 1,960 (или, точнее, 2,008). В табл. 4 приведена соответствующая информация из компьютерной распечатки.

Таблица 8. Результат множественной регрессионного анализа тарифов на размещение рекламы в журналах