Спектральное оценивание в прикладном регрессионном анализе

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Спектральное оценивание в прикладном регрессионном анализе

Введение

Цель исследования и его актуальность

Информация, используемая для построения эконометрических моделей, имеет табличную форму числовых данных о значениях экономических показателей, связанных с состояниями исследуемого экономического объекта или явления. Наиболее разработанными являются методики построения и интерпретации моделей регрессии, линейных по оцениваемым параметрам.

С учетом известных допущений оценивание параметров таких моделей выполняется по методу наименьших квадратов (МНК) [1, 2, 3]. Применение МНК в эконометрическом исследовании основано на постулировании включения в модель аддитивного случайного члена и выполнения условий теоремы Маркова-Гаусса. Вместе с тем, в многофакторных моделях при обычном способе применения МНК мультиколлинеарность факторов, понимаемая как высокая их взаимная коррелированность, проявляется в том, что оценки коэффициентов регрессии становятся очень чувствительными к незначительному изменению данных и объему выборки. На практике для определения наличия или отсутствия явления мультиколлинеарности в данных не существует точных критериев, а эвристические подходы включают, например, анализ корреляций между факторами, определение множественных коэффициентов детерминации между одним из факторов и группой остальных факторов, исследование матрицы коэффициентов линейной системы нормальных уравнений. По этой причине актуальными остаются исследования с целью разработать подходы для выявления и структурирования мультиколлинеарности факторов в эконометрических моделях линейной многофакторной регрессии.

Много сделал для внедрения метода наименьших квадратов в статистические задачи академик В.С. Немчинов [4]. Им изложена общая идея применения ортогональных полиномов Чебышева, а в дальнейшем построена вычислительная схема, позволяющая одновременно представлять все основные статистические характеристики как стройную систему элиминационных средних величин. «Под элиминационными средними при этом понимаются средние значения какой-либо характеристики (показателя, параметра и т.д.), когда из неё исключено (элиминировано) влияние других элементов и факторов, одновременно введенных в анализ», - отмечает В.С. Немчинов. Другая особенность его способа решения системы нормальных уравнений состоит в том, что исключение или включение какого-либо фактора не требует, чтобы вычисления были проведены заново.

В [2] рассматривается вопрос использования ортогональных базисных систем функций для построения оценок параметров полиномиальных однофакторных регрессионных моделей, линейных по параметрам. Построение таких систем функций основано на использовании алгоритма ортогонализации Грама-Шмидта для построения ортонормированного базиса в пространстве факторов. Многие авторы также получили процедуру последовательного включения в модель новых факторов, не требующую повторного пересчета ранее вычисленных оценок коэффициентов регрессии. Однако при этом не происходит разложения этих коэффициентов на составляющие, в структуре и значениях которых бы фиксировалась та или иная форма явления мультиколлинеарности.

Таким образом, прием ортогонализации расширил возможности МНК при практическом оценивании коэффициентов регрессии в линейных эконометрических моделях. При этом ортогонализации подлежать данные о значениях факторов.

Выше сказанное позволяет сформулировать цель данного исследования: обозначить новый подход к проблеме построения линейной многофакторной модели регрессии, предполагающий разработку:

1) методики построения в линейном пространстве факторов специально конструируемых систем ортогональных функций (базисов);

2) методики анализа и структурирования мультиколлинеарности факторов в их воздействии на результат;

3) исследование взаимосвязи предложенных методик с известными в практике эконометрическими методами.

Так сформулированная цель настоящей работы делает акцент на то, что с математической точки зрения важна идея не столько самой процедуры ортогонализации, как спектральное представление модели линейной многофакторной регрессии.

В данной работе предлагается для построения ортогонального базиса в евклидовом аффинном пространстве выборочных значений факторных переменных воспользоваться билинейной метрикой, непосредственно связанной со структурой факторов. В этом базисе для векторов наблюденных значений результата выполняется построение координатного представления результата, названного спектральным представлением регрессии. Такой методический приём приводит к разложению на составляющие каждого коэффициента регрессии, получаемого в рамках обычного МНК, что даёт возможность эксплицировать (развернуть) и оценить влияние мультиколлинеарности факторов на результат, включая статистический анализ регрессионной модели в рамках спектрального представления.

1. История развития спектральных представлений

эконометрика мультиколлинеарность ортогональный

Эмпирическим открытием спектров человечество обязано разностороннему гению сэра Исаака Ньютона, который обнаружил, что луч солнечного света превращается в многоцветную полосу, воспроизводящую спектр радуги. Однако по-настоящему огромный интерес к спектральному анализу зародился, когда выдающийся немецкий химик Роберт Вильгельм Бунзен (1811-1899) повторил опыт Ньютона со стеклянной призмой. В опыте Бунзен воспользовался не чистым солнечным светом, как это делал Ньютон, а куском горящей ткани, пропитанной раствором поваренной соли (хлористого натрия). Вместо красивой радуги Ньютона Бунзен увидел спектр, состоящий всего лишь из нескольких узких линий, одна из которых была ярко-жёлтой [9]. Бунзен знал, что роль стеклянной призмы сводится к рассортировке падающих лучей света в зависимости от длины волны света (такое явление называется дисперсией). Появление желтой линии в спектре, когда источником света стала горящая ткань, говорило о том, что спектр поваренной соли содержит только одну характерную длину волны. Со временем выяснилось, что каждому химическому элементу присущ свой характеристический спектр, который не зависит от того, в каком соединении или веществе присутствует данный элемент. Таким образом, спектр - это средство идентификации элемента, и, рассматривая его, можно однозначно сказать, какие химические элементы наличествуют в веществе, как далёкой звезды, так и микроскопического объекта. Получение спектра для целей идентификации обычно называют спектральным анализом.

Успехи эмпирического спектрального анализа оказались поистине колоссальными. Однако вследствие очень высокой частоты световых колебаний быстродействие наших физических приборов оказывается недостаточным для того, чтобы непосредственно регистрировать световой сигнал. По этой причине с помощью прибора измеряют количество энергии в соответствующей полосе частот.

В случае низкочастотных сигналов, какими являются механические колебания, речь, сигналы гидролокаторов, сейсмограммы, кардиограммы, биржевая информация и т.п., можно регистрировать зависимость сигнала от времени или временную последовательность сигналов. Как такие сигналы, рассматриваемые как функции времени, разложить на составляющие и затем эти составляющие рассортировать?

В XVII в., когда Ньютон и Лейбниц ввели в математику исчисление бесконечно малых. Считалось, что наблюдения за естественными процессами свидетельствуют об обязательном существовании непрерывной связи между всеми физическими величинами. Такая точка зрения отразилась в формулировках законов природы на основе дифференциальных уравнений, поскольку считалось, что любая функция, описывающая физические явления, дифференцируема. И поэтому вполне естественно, что Брук Тейлор (1685-1731), современник Ньютона, ввел понятие «аналитическая функция». Так ряд Тейлора представляет аналитическую функцию , аналитическую в окрестности некоторой точки в виде бесконечного ряда

,

коэффициентами которого являются значения последовательных производных рассматриваемой функции в данной точке. Поразительным свойством рады Тейлора состоит в том, что форма функции на любом конечном расстоянии h от точки однозначно определяется поведением функции в бесконечно малой окрестности точки . Это свидетельствует, что существование рядов Тейлора означает, что аналитические функции обладают внутренней структурой с очень сильной связью. Такое свойство присуще только классу аналитических функций. Наиболее известными представителями этого класса функций являются функции синуса и косинуса, полиномы, дробно-рациональные функции вне своих полюсов.

С современной точки зрения в ряде Тейлора значения самой функции, а также значения её последовательных производных, можно рассматривать как обобщенную функцию с её производными в точке [10], т.е.

.

Это позволяет интерпретировать функцию и её производные как базис в точке , пригодный для координатного представления аналитической функции рядом Тейлора:

=

=

В 1738 г. Даниил Бернулли (1700-1782), занимаясь математическим решением чисто физической проблемы о колеблющейся струне, жестко закрепленной с двух концов, условно расположенных для простоты в точках и , ввел метод разделения переменных в представление решения волнового уравнения. Он представил его в виде некоторой функции от горизонтальной координаты перемещения точки струны, умноженной на некоторую функцию от времени . Действуя таким образом, Бернулли пришел к решению волнового уравнения в следующем виде

,

где константа это физическая величина, свойственная материалу струны, а число выбрано из условия соблюдения граничного условия при .

Этот результат Бернулли можно воспринимать следующим образом. Пусть начальное смещение струны представляет собой произвольную неаналитическую функцию . Тогда для неё существует разложение

,

которое означает, что любая неаналитическая функция может быть представлена бесконечной суммой аналитических функций с весовыми коэффициентами . Такой результат показался парадоксальным, ибо выдающиеся математики того времени придерживались мнения, что бесконечная суммы аналитических функций должна быть аналитической функцией. Л. Эйлер (1707-1783) и Ж.Л. Лагранж (1736-1813) нашли коэффициенты в данном разложении, умножив обе части предыдущего равенства на и затем проинтегрировав полученные произведения на интервале между концами закрепления струны от 0 до . В силу того, что

(*)

получили

.

Таким образом, было получено представление неаналитической функции в виде суммы бесконечного числа аналитических функций. С современных позиций такое представление можно интерпретировать как разложение функции , представляющей собой элемент евклидова пространства, по счетному базису этого пространства. Базис образован функциями , ортогональными в смысле скалярного произведения (*). Кроме этого, из выражения для коэффициентов разложения следует, что изменение функции на некотором счетном множестве точек не приведет к пересчету коэффициентов , а изменение её на отдельном участке интегрирования приведет к пересчету их всех.

Дальнейшее развитие эта идея получила 21 декабря 1807 г., когда инженер Жан Батист Жозеф де Фурье (1768-1830) доложил на заседании Французской академии, что произвольную функцию, заданную на некотором конечном интервале любой негладкой и даже разрывной кривой, можно представить бесконечной суммой косинусоидальных и синусоидальных функций, образующих в совокупности ортогональную систему функций. Сегодня это уже не кажется странным и никто не ставит под сомнение справедливость теоремы Фурье. Разложение функции в совокупность косинусов и синусов широко используется различными теоретическими дисциплинами. Поэтому в настоящее время любое разложение некоторой функции в ряд по ортогональным функциям называют рядом Фурье.

Сопоставление представлений функции рядом Тейлора и рядом Фурье показывает, что хотя между ними и существует пропасть, но мостиком через эту пропасть служит -преобразование - фундаментальное преобразование, применяемое в теории цифровой обработки сигналов [9].

Подводя итог очень краткому изложению истории развития спектральных представлений, следует отметить, что эмпирический спектральный анализ с его простым инструментом призмой поднялся сегодня до математических вершин, где одним из основных «инструментов» теории спектрального анализа является метод, использующий различные ортогональные системы. Обнаружение таких систем и представление с их использованием различных объектом можно назвать спектральными представлениями этих объектов.

Замечание.

Термин «спектр» (spectrum) как научный термин ввёл И. Ньютон. Он его заимствовал из латинского языка, где этот термин значит «видимость», «образ». Применять его рекомендуется а) во всех случаях, когда речь идет о массиве данных и физических явлениях, б) во всех случаях, когда определение относится к слову estimation (оценка, оценивание) [9].

Таким образом, воодушевившись плодотворностью и практической полезностью методов ортогонализации для «рассортировки данных», можно проанализировать состояние их применения в прикладном регрессионном анализе на его современном этапе развития.

2. Метод ортогонализации в прикладном регрессионном анализе

В данной главе показано, что в методе наименьших квадратов (МНК), широко используемом в прикладном регрессионном анализе, в принципе присутствует идея ортогонализации, так как построение уравнения регрессии, линейного по параметрам, выполняется в евклидовом аффинном пространстве, соответствующей размерности. Выбором в этом пространстве подходящего ортогонального базиса можно получить такую форму уравнения регрессии, для которой можно дать содержательную интерпретацию свойства ортогональности для слагаемых уравнения, а так же прояснить структуру их «линейного смешивания» в своём влиянии на результат. Предварительно рассматриваются известные в литературе методы ортогонализации, применяемые при анализе временных рядов, аппроксимации опытных данных и процедурах их интерполяции, в решении задач снижения размерности многомерного признака и отборе наиболее информативных признаков.

Метод наименьших квадратов (МНК) в прикладном регрессионном анализе и предпосылки применения в нём метода ортогонализации

Для построения по выборке объема модели регрессии результата на -мерное линейное подпространство факторов рассматриваются точки

(, ,

которые назовем точками наблюдения факторов. Фактор рассматривается как фиктивный и принимающий во всех наблюдениях постоянное значение, равное 1. Точку -го наблюдения результата обозначим . Все точки наблюдения результата образуют вектор-столбец , а точки наблюдений факторов образуют вектор-столбцы , , которые составляют столбцы матрицы размером . В моделях регрессии, линейных по параметрам и вида

введем вектор-столбец теоретических значений параметров

=.

Компоненты случайного вектора = по предположению удовлетворяют условиям теоремы Гаусса-Маркова [1]. Уравнение (1.1) показывает, что каждого значения эта гиперплоскость содержит точки наблюдения факторов и результата. Следовательно, каждому наблюдению соответствует своя гиперплоскость, а все наблюдения представлены семейством, в общем случае, несовпадающих гиперплоскостей в количестве . Процедура оценивания вектора параметров геометрически интерпретируется как построение единственной гиперплоскости с нормалью a=, координаты которой определяются по МНК, т.е. вектор нормали гиперплоскости является оценкой вектора параметров и называется вектором коэффициентов регрессии.

Первоначально покажем, что обычным образом применяемый МНК потенциально использует ортогональный базис. Для этого введём в пространстве ортонормированный базис , , и скалярное произведение, которое определим для любых двух векторов равенством

.

Два вектора будем считать ортогональными, если их так определённое скалярное произведение равно нулю. Пространство стало евклидовым пространством.

Разложим вектор а по базису :

Используя разложение (1.2), запишем равенство:

вектор , , в котором назовем факторным спектром фактора . В данном случае факторный спектр , т.е. равен му столбцу матрицы .

Тогда с учетом равенства (1.3) получим векторное уравнение

,

левая часть которого является линейной комбинацией факторных спектров. Таким образом, вектор можно воспринимать как оценку спектра вектора в базисе . В дальнейшем, спектр - это вектор , представляющий координаты оценки вектора результатов в базисе факторных спектров, а компоненты спектра - спектральные коэффициенты.

Далее в евклидовом пространстве введем скалярное произведение

и определим квадрат нормы (длины) факторного спектра

||||² = .

Потребуем выполнения скалярных равенств в смысле введенной метрики (1.5):

Система равенств (1.6) есть система нормальных уравнений для оценки параметров , поскольку в единичном базисе выполнено равенство:

С другой стороны, выражение (1.6) характеризует МНК как метод оценивания, в котором оценки могут восприниматься как оценки спектральные коэффициентов спектра результата в базисе факторных спектров, полученного в метрике (1.5) выборочного пространства наблюдений.

Таким образом, спектральная интерпретация процедуры МНК содержит возможность содержательного её исследования на возможность использования ортогональных базисов для оценивания параметров в модели регрессии (1.1).

Возникает вопрос: можно ли соответствующим выбором ортогонального базиса в разложении вида (1.2) получить оценку вектора

и разложение его компонент в суммы, а также будет ли эта интерпретация полезной для изучения явления мультиколлинеарности?

Пусть в общем случае некоторый базис, ортогональный в смысле скалярного произведения Разложение по этому базису вектора оценок спектра имеет вид:



Тогда в пространстве факторов получим разложение в сумму:

в которой есть -й факторный спектр, а вектор

есть оценка спектра в базисе .

Далее с учетом введенного скалярного произведения потребуем, чтобы , т.е. выполнения условий ортогональности факторных спектров. Это приведет к решению системы линейных уравнений:

Система уравнений (1.8) имеет диагональную матрицу коэффициентов, что позволяет получить формулу для оценки коэффициента как оценки -той составляющей спектра вектора в ортогональном базисе:

.

Равенство:

показывает, что проекция вектора наблюденных значений результата на направление вектора -го факторного спектра равна произведению нормы факторного спектра на компоненту спектра, знак которой совпадает со знаком проекции. Теперь система уравнений (1.8) запишется в виде:

Рассмотрим далее различные известные в литературе [2, 4, 5] методики построения систем (1.11) и их применение для построения вектора оценок (1.7).

3. Метод ортогонализации в анализе временных рядов

В монографии [2] рассматривается построение полиномиальных моделей регрессии любого порядка от одной переменной с применением ортогональных полиномов, если данные представлены временными рядами. Идея такова. Пусть имеется пар наблюдений , , где фактор, а результат. Ставиться задача: подобрать модель регрессии

.

Как правило, столбцы, образующие матрицу размером , являясь степенями переменной , не являются ортогональными в смысле скалярного произведения в базисе . По этой причине, если мы пожелаем в дальнейшем добавить в модель новый член , то в общем случае необходимо будет пересчитать оценки всех предыдущих коэффициентов. Однако можно построить полиномы вида

полином нулевого порядка,

полином первого порядка,

полином второго порядка,

полином порядка,

которые обладают тем свойством, что они ортогональны в смысле скалярно произведения

для всех [2]. Полагая в (1.13) , получаем

Тогда уравнение (1.12) можно переписать так:

В этом случае получаем

,

а уравнение (1.14) запишем в виде

+

Теперь умножим скалярно обе части уравнения (1.16) на столбец матрицы (1.15):

,

Следовательно, коэффициенты в (1.14) находятся по формуле:

,

Значения ортогональных полиномов можно вычислить предварительно, если значения заданы с равным шагом. Например, так случается часто во временных рядах. Тогда можно положить и применить алгоритм ортогонализации Грамма - Шмидта для построения таблиц значений рассматриваемых ортогональных полиномов (многочленов).

4. Многочлены Чебышева в процедурах аппроксимации опытных данных

Ортогональные полиномы, описываемого ниже вида, связаны с именем замечательного русского математика Пафнутия Львовича Чебышева (1821-1894) [10]. Первую работу «О непрерывных дробях», где вводились ортогональные полиномы, П.Л. Чебышев опубликовал в 1855 г., а дальнейшее развитие эта идея получила в 1858 году в работе «Об интерполировании в случае большого числа данных, полученных из наблюдений» ([5] с. 103 - 126 и 254 - 314). Полиномы Чебышева быстро нашли применение в различных областях. В связи с методом наименьших квадратов вычислительную схему МНК, основанную на ортогональных полиномах, осуществил в 1878 г. американский вычислитель-геодезист М. Дулиттл. Тогда, в «домашинную эру» она обеспечивала практически единственную реальную возможность для решения задач относительно большой размерности. Общую идею применения полиномов Чебышева изложил в своей работе [4] академик В.С. Немчинов. Он усовершенствовал схему Дулиттла и много сделал для внедрения МНК в статистические задачи, особенно в задачи сельскохозяйственной статистики. Связь приемов ортогонализации с обработкой данных, рассматриваемые в многочисленной научной и справочной литературе в более широком аспекте, показывают, что ортогонализация имеет множество точек соприкосновения с регрессионным анализом и планированием эксперимента. Последнее слово здесь еще не сказано.

Ортогональные многочлены Чебышева

Метод наименьших квадратов, применяемый обычным образом при построении полиномиального приближения наблюденных значений, обладает одним существенным недостатком: в случае необходимости повысить степень приближающего многочлена потребуется повторный пересчет всех ранее вычисленных коэффициентов многочлена меньшей степени. Как показывает содержание п. 1.2. такого пересчета можно избежать, если совокупность приближающих многочленов ортогональна. Способ Чебышева, изложению которого посвящен настоящий параграф, позволяет существенным образом упростить процесс построения приближающего многочлена, который ищется в виде суммы многочленов повышающихся степеней [7].

Пусть имеется пар наблюдений , , где фактор, а результат. Будем искать многочлен степени с неизвестными коэффициентами , полагая, что степень многочлена значительно меньше числа пар данных. Запишем искомый многочлен в виде

,

где есть многочлен степени вида

со старшим коэффициентом, равным единице. Поскольку выбор многочленов в нашей власти, то выберем их таким образом, чтобы выполнялись условия

При выполнении условий (1.21) система нормальных уравнений, получаемая по МНК, будет иметь диагональный вид, что позволяет сразу записать формулу для вычисления коэффициентов



Остаётся найти выражения для ортогональных многочленов Чебышева с условием (1.21) при заданных точках , . Мы уже приняли . Подставляя это условие в первое из условий (1.21), получаем, что для всех многочленов

Так как , то получаем

или ,

т.е. коэффициент равен среднему арифметическому значению фактора , взятому с противоположным знаком. Окончательно

.

Для построения многочлена достаточно положить в (1.21) и затем , чтобы получить два уравнения

Многочлен - второй степени со старшим коэффициентом, равным единице. Следовательно, его можно записать в виде

=+.

Подставляя (1.27) в систему (1.26), получаем

++=0,

++=0.

Учитывая, что =0, получаем

+=0 или =/,

+=0 или /, (1.28)

где матрица ,

Итак, многочлены , , уже построены. Для доказательства существования всех многочленов достаточно установить рекуррентную формулу, позволяющую вычислять следующий многочлен по двум предыдущим.

Для начала отметим тот факт, что сумма =0 для всех . Действительно, если предположить, что все многочлены ,, …, построены, то их можно записать в виде

,

из которого следует, что

.

Отсюда последовательно находим

В результате выразится в виде линейной комбинации многочленов ,, …, с постоянными коэффициентами:

++ …+.

Тогда, умножая левую и правую часть последнего равенства на и выполняя суммирование, получаем

++ …+.

Однако, в силу построения системы ортогональных многочленов правая часть последнего равенства оказывается равной нулю. Отсюда сразу следует, что если произвольный многочлен имеет степень меньшую , то верно равенство

.

Докажем теперь, что многочлен можно представить рекуррентной формулой

=+

и укажем формулы для вычисления коэффициентов и . По соглашению положили, что - многочлен степени со старшим коэффициентом единица. Далее, если , то

=+=0.

Поэтому должны выполняться только два условия:

=+=0,

=+=0.

Из выполнения этих условий следует, что

= /,

/. (1.31)

Формулы (1.21) являются частным случаем формул (1.31). Таким образом, многочлен построен.

Следует отметить, что вычисление по формулам (1.31) фактически сводится к вычислению сумм степеней [7].

Приближение функций по способу Чебышева

Итак, установлено, что при заданных точках могут быть построены ортогональные многочлены Чебышева. Теперь зададим пары точек

, ,

и постоим приближающий многочлен (1.19)

,

для которого коэффициенты находим по МНК (см. (1.22)):

.

Отметим, что если приближение многочленом степени уже построено, т.е. построены многочлены ,, …, и найдены коэффициенты , но точность приближения нас не удовлетворяет, то нужно найти следующий член: . Для этого по формулам (1.30) строим многочлен и вычисляем коэффициент .

Отметим, что остаточную сумму квадратов, т.е. сумму квадратов уклонений, можно вычислить так:

=

===

=

Многочлены Чебышева (история вопроса)

При рассмотрении многочленов Чебышева обращает на себя внимание рекуррентная формула (1.30):

=+.

В работе «О непрерывных дробях» ([5], том II, с. 103-126) Пафнутий Львович Чебышев получил один из результатов своих «изысканий об интерполировании: формулу, которая даёт приблизительные выражения искомой функции по её частным значениям, и притом с коэффициентами, определяемыми условием способа наименьших квадратов. Такая формула …… получается при помощи разложения некоторой функции в непрерывную дробь» (с. 103).

Им решалась следующая задача: «известны значения при различных величинах переменной ; найти значение этой функции при , предполагая, что она выражается такою формулою:

,

где не превосходит , и притом так, чтобы погрешности значений , , ,…, имели наименьшее влияние на искомую величину ».

Если обозначить через , , , …, количества, обратно пропорциональные средним величинам квадратов погрешностей значений , , ,…, и положить

,

то Чебышевым анализируется разложение функции

в непрерывную дробь

у которой все знаменатели содержат переменную в первой степени, т.е.

,

,

,

Далее Чебышев отмечает, что «по общему правилу составления подходящих дробей находим»

,

с начальными условиями: , .

Тогда находим, что , . В дальнейшем на стр. 119 [5, том II] показано, что

, .

Последние равенства показывают, что система многочленов, рассматриваемых как знаменатели подходящих дробей указанной выше непрерывной дроби, образуют ортогональную систему многочленов с учётом количеств , , , …, .

Полагая в последнем равенстве, выражающем условие ортогональности, , получаем равенство

,

которое показывает, что все функции при имеют нулевое среднее значение, вычисляемое с учётом весов .

П.Л. Чебышев получает в цитируемой работе о «О непрерывных дробях» решение сформулированной им выше задачи в виде выражения для функции :

++ .

Пафнутий Львович в §VII (стр. 123 [5]) отмечает, что функции имеют особое значение между всеми функциями тех же степеней и с теми же коэффициентами при высших степенях : «для этих функций суммы

, , ,

имеют наименьшую величину».

Интерпретация построения уравнения регрессии в ортогональных полиномах П.Ф. Чебышева

Академик В.С. Немчинов в ряде работ, посвященных статистико-математическим вычислениям в экономике, например, работе [4], отметил, что «особенно широкие возможности использования методов математической статистики открываются в экономике при интерпретации системы статистико-математических характеристик экономических величин в ортогональных полиномах, предложенных знаменитым русским математиком Пафнутием Львовичем Чебышевым (1821-1894 гг.). Тогда вся система статистико-математических характеристик (начиная с числа наблюдений, средней арифметической и дисперсии и кончая коэффициентами уравнений множественной корреляции, кривых распределения численностей, а также критериев статистической достоверности) может быть представлена, как увидим ниже, в виде системы элиминационных средних, базирующихся на ортогональных полиномах Чебышева. Под элиминационными средними при этом понимаются средние значения какой-либо характеристики (показателя, параметра и т.д.), когда из неё исключено (элиминировано) влияние других элементов и факторов, одновременно введённых в анализ» (стр. 110).

Процесс элиминирования интерпретируется В.С. Немчиновым следующим образом.

«Объекты статистической совокупности характеризируются большим количеством разнообразных признаков, величина которых изменяется (варьируется) от объекта к объекту. Эти признаки в той или иной степени взаимно связаны друг с другом. При построении статистических характеристик в целях выявления и измерения основных закономерных связей эти взаимные побочные связи подлежат исключению (элиминированию).

Процесс вычисления обычной статистической средней есть также процесс элиминирования величины данного признака от объёма самой совокупности, т.е. от числа элементов (объектов), в неё входящих….

Поясним процесс последовательного элиминирования на примере совокупности объектов, характеризуемых какими-либо тремя признаками . При этом следует учесть, что всякая статистическая совокупность характеризуется всегда ещё одним признаком, который показывает количество объектов, обладающих определённым признаком или не обладающих им. Назовём этот признак нулевым . Он имеет место даже в том случае, когда объекты совокупности никак не сгруппированы, только его значение тогда равно 1 (один случай).

Для каждого варьирующегося признака нулевое элиминирование состоит в исключении размера совокупности, что и выражается процессом деления объема признака на объём самой совокупности, на число объектов в совокупности (на ).

Индивидуальное значение переменной отклоняется от его среднего значения, полученного в результате нулевого этапа элиминирования. Эти отклонения и образуют первую элиминационную функцию, которая в статистике обозначают обычно как

, где .

Для второго признака первая элиминационная функция будет равна

.

Уравнение прямой линейной регрессии есть следующий этап элиминирования, осуществляющийся путем сопоставления двух варьирующихся признаков. Обычно такое сопоставление производится после того, как каждый из варьирующихся признаков прошёл нулевой этап элиминирования. Между преобразованными таким образом переменными находится коэффициент пропорциональности, например . В наших обозначениях имеем:

;

;

.

Отклонение индивидуальных величин признака от его величины, определённой через второй признак, является второй элиминационной функцией. Эта функция характеризует отклонение от линии прямой регрессии. Обозначим такое отклонение через . Здесь номер изучаемой переменной поставлен перед точкой, а номер элиминированной переменной - после точки. При такой системе отклонения от уравнения множественной регрессии (при трёх признаках) будут обозначены через .

В дальнейшем изложении при рассмотрении процесса элиминирования в свете ортогональных полиномов Чебышева будет показано, что коэффициенты всех подобных элиминационных функций всегда есть элиминационные средние типа

,

где изучаемый признак (рассматриваемый как бы в качестве результативного), а элиминационная функция для элиминируемых признаков (рассматриваемых как бы в качестве факторных признаков), знак суммирования .

Для случая множественной регрессии эти элиминационные функции и есть ортогональные полиномы Чебышева. Аналогичное положение (как будет показано ниже) возникает и при рассмотрении других статистических характеристик» (стр. 111-113).

Столь подробное цитирование из [4] предназначено пояснить содержательную интерпретацию методики применения полиномов Чебышева, данную Немчиновым. Следует отметить, что полиномы Чебышев рассматривал как функции одной переменной.

Применение интерполяционной формулы и полиномов Чебышева при отыскании уравнения множественной регрессии Немчинов показывает следующим образом [4]. Пусть уравнение множественной регрессии дано в следующем виде:

.

Искомая функция разлагается при помощи интерполяционной формулы Чебышева в следующий ряд (при ):

,

где в общем виде

.

При этом полиномы определяются из следующих рекуррентных уравнений

(1.33)

.

Полагая, что полиномы образуют ортогональную систему функций, а их скалярное произведение определено, легко находим выражения для коэффициентов в правых частях приведенных выражений. Например, умножим скалярно и приравняем это произведение нулю, желая обеспечить ортогональность этих функций. Тогда имеем

.

Откуда находим, что

.

Далее поступаем аналогично и для определения , желая иметь ортогональность и :

;

.

Аналогичным образом находим коэффициенты в выражении для многочлена :

; ;

.

Таким образом, искомые ортогональные многочлены оказываются многочленами от нескольких переменных степени не выше первой:

, где остаток после исключения из фактора влияния фактора ;

;

,

где остаток после исключения из фактора влияния факторов и с помощью уравнения линейной регрессии ;

;

,

где остаток после исключения из фактора влияния факторов , , с помощью уравнения регрессии

;

остаточная сумма квадратов.

Например, уравнение линейной трехфакторной модели может быть записано в виде:

.

Эта модель наглядно демонстрирует, что оценки коэффициентов регрессии , которые образуют спектр модели, зависят от того, в каком порядке включались в модель факторы, и не пересчитываются, если из модели исключить последний включенный фактор или ввести дополнительно новый фактор. Если теперь эту модель записать в форме классической модели, т.е.

,

то получим равенства, связывающие коэффициенты регрессии с составляющими спектра:

,

,

,

.

Приведенные равенства показывают, что при отсутствии корреляции между факторами спектральная модель тождественна классической модели регрессии. Кроме этого, через спектральные коэффициенты можно установить связь между коэффициентами классической модели регрессии, например, и т.д., поскольку система равенств легко разрешима относительно коэффициентов спектра .

Для случая, когда выполняется параболическое интерполирование, т.е. и т.д., получаем ортогональные многочлены Чебышева от одной переменой .

5. Построение ортогонального базиса в методе главных компонент

Во многих задачах многомерной обработки данных, полученных в результате наблюдений, в первую очередь интересуются теми признаками, которые обнаруживают наибольшую изменчивость (наибольший разброс, вариацию) при переходе от одного объекта наблюдения к другому. С другой стороны, на практике понятно, что для описания состояния объекта не обязательно использовать какие-то из исходных, измеренных непосредственно на нём признаков. Именно, как установки, эти принципы заложены в сущность того линейного преобразования исходной системы признаков, которое приводит к главным компонентам [8].

Следуя методу главных компонент, будем считать, что каждый изучаемый объект характеризуется мерной центрированной случайной величиной =, т.е. каждая компонента вектора имеет математическое ожидание, равное нулю. Предполагается, что каждая реализация величины = представляется как радиус-вектор точки в евклидовом точечном пространстве размерности р с ортонормированным базисом, т.е. . Если имеется реализаций такой случайной величины, т.е. матрица размером вида

,

то для этих данных можно определить класс всевозможных линейных ортогональных нормированных комбинаций, т.е.

,

где , если , и =,

Обозначим через радиус-вектор искомых линейных комбинаций из класса , получаемых с помощью ортогонального преобразования

,

где ортогональная матрица, , и

.

Сформулируем следующую задачу оптимизации: найти первую строку матрицы из условия

.

Поскольку выборочная оценка дисперсии в (1.37) равна , задача (1.37) может быть записана

,

где матрица ковариаций компонент вектора =, а условие означает, что . Вводя функцию Лагранжа

и дифференцируя её по компонентам вектора-столбца , имеем

,

что даёт систему уравнений для определения

.

Для того, чтобы существовало ненулевое решение системы (1.39), матрица должна быть вырожденной, т.е.

Характеристическое уравнение (1.40) позволяет найти наибольшее положительное собственное значение , поскольку ковариационная матрица является матрицей положительно определенной квадратичной формы. Таким образом, вектор является собственным вектором матрицы , соответствующим её наибольшему собственному значению . При этом дисперсия .

Поступая аналогичным образом с остальными строками матрицы и выбирая следующие в порядке убывания решения уравнения (1.40), можно построить все строки этой матрицы. Тем самым по формуле (1.36) определяется весь вектор . Ранее условились представлять вектор в ортонормированном базисе, а - матрица ортогонального преобразования, то преобразование (1.36) не изменяет длину (норму) вектора , т.е. , а также углы между векторами.

Теперь учитывая, что имеется выборка объема n, представленная матрицей (1.34) , можем считать, что , , и всякая компонента вектора может быть представлена как вектор в , т.е. , . Следовательно, если имеются выборочные данные, интерпретируемые вектором , то этот вектор можно представить разложением

,

где коэффициенты вычисляются по формуле:

Это утверждение следует из свойств основных числовых характеристик главных компонент [8]:

Ш математическое ожидание вектора есть нулевой вектор, т.е. . Действительно, . Откуда следует, что , .

Ш ковариационная матрица вектора главных компонент имеет диагональный вид, т.е. . Из этого факта, в частности, следует утверждение о взаимной некоррелированности главных компонент, составляющих вектор .

Ш Сумма дисперсий исходных признаков равна сумме дисперсий всех главных компонент. Действительно,

.

Ш Обобщенная дисперсия исходных признаков , т.е. , равна обобщенной дисперсии главных компонент , т.е. . Действительно,



.

Замечание.

1. В случае, когда ковариационная матрица , то её собственные значения равны , а соответствующие им собственные векторы , , где , т.е. матрица ортогонального преобразования равна единичной матрице .

2. Равенство обобщенных дисперсий позволяет с информационной точки зрения утверждать, что переход к главным компонентам с помощью ортогонального преобразования полностью сохраняет информацию, содержащуюся в совокупности исходных признаков.

Из (1.41) следует, что вектор есть спектр, а факторные спектры образуют столбцы матрицы размером , которая связана с матрицей (1.34) равенством

Записывая (1.41) в виде

,

устанавливаем, что . Таким образом, связь между спектром и вектором коэффициентов регрессии устанавливается равенством

,

которое характеризует структуру каждого коэффициента регрессии классической модели регрессии. Это структура линейной формы. Например,

.

Замечание.

1. Полученное представление (1.44) для коэффициентов регрессии классической модели регрессии позволяет в принципе выразить через линейную форму структуру влияния каждого спектрального коэффициента (1.42) на соответствующий коэффициент регрессии. Поскольку спектральные коэффициенты зависят от линейным образом, то все коэффициенты () есть линейные функции от .

2. При использовании формулы (1.44) мы сталкиваемся с вычислительными трудностями при построении матрицы ортогонального преобразования , поскольку требуется решать задачу о собственных значениях ковариационной матрицы, а также при включении в классическую модель регрессии нового фактора требуется полностью вновь вычислять все спектральные коэффициенты.

6. Спектральная модель многофакторной регрессии

Спектральное представление процедуры МНК

В п. 1.1 обсуждение предпосылок к применению метода ортогонализации в процедуре метода наименьших квадратов (МНК) предполагало, что классическая линейная многофакторная модель регрессии имеет вид

,

а её идентифицированная модель с вектором в качестве оценок теоретических значений коэффициентов регрессии, составляющих вектор , имеет вид

, .

Теперь введем спектральное представление модели регрессии (1.45):

,

или, другими словами, назовём его спектральной моделью регрессии, в которой вектор теоретический спектр модели; матрица факторных спектров; - случайный вектор ошибок (возмущений) с ковариационной матрицей . Её идентифицированная модель имеет вид

,

где вектор это оцененный по данным измерений спектр результата в ортогональном базисе факторных спектров, представленных матрицей

,

где матрицы:

размером ;

размером .

Факторные спектры, рассматриваемые как столбцы матрицы , ортогональны в смысле скалярного произведения:

при ,

где столбцы матрицы .

Таким образом, установлена связь между вектором коэффициентов регрессии классической модели и спектром результата в спектральном представлении модели регрессии:

.

С другой стороны, из равенств и вытекает, что , откуда при условии получаем равенство

Вектор спектра запишем в виде:

,

где , , и диагональная матрица

Теперь с учетом формул (1.51) и (1.52) равенство (1.50) запишется в виде:

.

В классической модели регрессии (1.45) вектор коэффициентов регрессии оценивается по формуле

Формулы (1.53-1.54) указывают линейную зависимость коэффициентов регрессии от вектора результатов, а их сопоставление показывает, что имеет место равенство:

,

которое свидетельствует, что оценка коэффициентов регрессии в классической модели совпадает с оценкой их по методике, использующей спектральное представление модели регрессии. При этом учитываются свойства матрицы коэффициентов системы нормальных уравнений, что следует из скалярного произведения (1.48) факторных спектров:

при

Вместе с тем, согласно формуле (1.49), посредством матрицы можно выявить структуру коэффициентов регрессии классической модели регрессии, если конструировать её соответствующим образом, согласуя его со скалярным произведением (1.56).

Таким образом, если от значений факторов перейти к значениям факторных спектров , то спектральная модель (1.46) по форме совпадает с классической моделью регрессии, но с одним условием: факторы модели (1.46) удовлетворяют условиям ортогональности (1.48). Из этого следует, что процедуры метода наименьших квадратов (МНК), известные применительно к классической модели регрессии, формально справедливы и для спектральной модели регрессии.

Если какой-либо факторный спектр имеет одинаковые компоненты и они равны постоянной величине, из ортогональности факторных спектров следует, что алгебраическая суммы их компонент равна нулю. Тогда скалярное произведение равно оценке по выборочным данным ковариации . Следовательно, формулу

можно интерпретировать как коэффициент корреляции между результатом и м факторным спектром, где вектор центрированных значений результата.

Если нормировать факторные спектры с номерами , т.е. положить

,

положив для , то , а стандартизованное значение результата будет равно . В этом случае для . Тогда спектр будет представлять собой упорядоченный набор парных коэффициентов корреляции и спектральная модель регрессии примет стандартизованную форму, аналогичную классическому уравнению регрессии с коэффициентами:

.

Спектральная модель с устранением гетероскедастичности

Эконометрическое моделирование с использованием данных об экономических процессах сталкивается с ситуациями, когда предпосылки классической многофакторной линейной модели оказываются нарушенными. В основном эти нарушения касаются предпосылки, что ковариационная матрица вектора ошибок (возмущений) имеет вид:

.

Это допущение считается вполне оправданным, если экономические данные достаточно однородны. Нарушение этого допущения не препятствует применение обычного МНК, но делает оценки коэффициентов регрессии не оптимальными в смысле теоремы Гаусса-Маркова [1].

Рассмотрим спектральное представление модели линейной регрессии:

где теоретический спектр модели; матрица факторных спектров; - случайный вектор ошибок (возмущений) с произвольной ковариационной матрицей . Назовём в этом случае модель (1.60) обобщенной спектральной моделью.

Следуя замечанию о формальном сходстве классической и формальной моделей регрессии, перефразируем теорему Айткена ([1], стр. 152) в спектральную форму: в классе линейных несмещённых оценок спектра спектральной модели оценка

имеет наименьшую ковариационную матрицу, т.е. оценка является точкой минимума по остаточной суммы квадратов.

Для применения обобщенного МНК (ОМНК) в такой постановке необходимо знание ковариационной матрицы , что крайне редко встречается в практике эконометрического моделирования, т.к. объёмы выборки данных недостаточны для построения оценок всех необходимых параметров обобщенной модели. По этой причине для практической реализации ОМНК необходимо вводить дополнительные ограничения на структуру ковариационной матрицы .

Так на практике часто имеют дело с гетероскедастичность модели регрессии. Существуют различные тесты на гетероскедастичность, например, тест ранговой корреляции Спирмена, тест Голдфельда-Квандта, тест Уайта, тест Глейзера [1].

Будем считать, что спектральная модель (1.57) гетероскедастична, т.е. дисперсии ошибок не равны между собой, а сами ошибки не коррелированны. В этом случае ковариационная матрица - диагональная:

Устранение влияния гетероскедастичности достигается применением взвешенного метода наименьших квадратов (ВМНК), при котором минимизируется остаточная сумма квадратов

.

На основании необходимого условия экстремума функции находим частные производные и приравниваем их нулю:

, .

С учетом ортогональности факторных спектров получим, решив уравнение (1.64) относительно спектрального коэффициента, формулу для оптимального спектрального коэффициента:

, .

Замечание.

1. Нетрудно убедиться, что формула (1.65) аналогична формуле в конце п. 1.3.3, полученной при обсуждении формулы П.Л. Чебышевым для интерполяционного многочлена .

2. Взвешенный МНК реализован в большинстве компьютерных пакетов, например в пакете «Econometric Views». Сначала следует применить обычный МНК к модели (1.60), затем надо найти регрессию квадратов остатков на квадратичные функции факторных спектров, т.е.

.

После чего следует вычислить прогнозные значения по полученному уравнению (1.66) и получить набор «весов» . Затем, минуя решение системы нормальных уравнений, вычислить по формуле (1.65) оценки оптимального спектра.

Литература

1. Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов. / Под ред. Н.Ш. Кремера.-М.: ЮНИТИ-ДАНА, 2002. - 311 с.

2. Дрейпер И., Смит Г. Прикладной регрессионный анализ: В 2 т. - М.: Финансы и статистика, 1986, 1987. - Т. 2.

3. Доугерти К. Введение в эконометрику. - М.: Инфа-М, 1997. - 402 с.

4. Немчинов В.С. Экономико-математические методы и модели. - М.: Соцэкгиз, 1962.

5. Полное собрание сочинений П.Л. Чебышева: В 5 т. - М.-Л.: Изд.-во Академии наук СССР, 1947. - Т. II. - 520 с., 1948. - Т. III. - 414 с.

6. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. - М.: ЮНИТИ, 1998.

7. Р.С. Гутер, Б.В. Овчинский. Элементы численного анализа и математической обработки результатов опыта. - М.: Наука, 1970. - 432 с.

8. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. - М.: ЮНИТИ, 1998.

9. Э.А. Робинсон. История развития теории спектрального оценивания // ТИИЭР. - т. 70, - №9, сентябрь 1982. - с. 6 - 51.

10. Г. Бремерман. Распределения, комплексные переменные и преобразование Фурье. - М.: Изд-во «МИР», 1968. - 276 с.

Размещено на Allbest.ru

...