В экономике и, следовательно, в эконометрике исследуемые явления и характеризующие их величины - это сложные случайные процессы и случайные величины. Случайные величины в процессе анализа представляются состоящими из постоянной и случайной компонент. При этом постоянная составляющая - это математическое ожидание, или среднее арифметическое (среднее) значение исходной случайной величины:

. (1.1)

Если же данные не сгруппированы, то все частоты f равны 1 и получаем формулу простого среднего:

. (1.2)

Среднее случайной компоненты, или остатка, равно нулю. Если бы это оказалось не так, то это ненулевое значение следовало бы включить в среднее значение исходной случайной величины и таким образом все свелось бы к предыдущему.

Мера разброса (вариации) случайной величины, или, что то же, ее распределения, - это дисперсия. Первоначально дисперсия определяется как среднее квадрата разности между самой случайной величиной и средним этой случайной величины:

. (1.3)

В этом выражении коэффициенты f есть не что иное, как веса, или весовые коэффициенты значений величины ч. Это попросту величины, показывающие, сколько раз входят те или иные значения в данное эмпирическое распределение величины ч для дискретных распределений или же в данный интервал (данную группу) для непрерывных распределений.

Часто при расчетах используют выражение для дисперсии в виде разности среднего от квадрата исходной случайной величины и квадрата среднего от нее:

. (1.4)

Тогда окончательно для дисперсии исходной случайной величины получаем, что она равна дисперсии остатка, поскольку вся вариация исходной случайной величины равна вариации остатка просто по самому его определению.

В действительности, кроме самых простых и редких случаев, распределение случайной величины и даже основные характеристики изучаемой генеральной совокупности неизвестны. Требуется получить информацию о случайной величине, характеризующей данное явление или процесс, либо, соответственно, генеральной совокупности из результатов наблюдений. Совокупность результатов наблюдений представляет собой выборку из генеральной совокупности, и по этим данным (выборки) с применением подходящей формулы и методов оценивания (прежде всего, метода наименьших квадратов) получают приближенное значение неизвестной характеристики (параметра) исследуемой случайной величины или, в терминах статистики, генеральной совокупности.

Эконометрика использует для изучения различных явлений и процессов признаки, характеризующие эти явления и процессы. Признаки могут быть количественными и атрибутивными, не поддающимися непосредственно количественному измерению. Эконометрика сосредоточена преимущественно на исследовании явлений и процессов, характеризующихся количественными признаками. Тем не менее, она способна исследовать и взаимосвязи между атрибутивными (неколичественными) признаками.

Сами количественные признаки - это фактически случайные величины, которые описываются своими распределениями (совокупностью принимаемых значений и совокупностью вероятностей, с которыми эти значения принимаются). Соответственно для признаков определяются средние, а сами случайные величины могут быть представлены в виде суммы средней и остатка, характеризующего случайные флуктуации:

, (1.5)

где средняя (первое слагаемое) может быть приближена или просто заменена некоторой функцией, например, линейной:

.

Далее, помимо среднего для признака как для случайной величины, определяется дисперсия, которая служит мерой вариации признака в целом (интегральная характеристика колеблемости признака):

. (1.6)

Эконометрика исследует взаимозависимости между признаками и динамику их изменения во времени. Признаки, зависящие от других, называются зависимыми, или объясняющими. Признаки, от которых зависят первые (зависимые), называются независимыми, или факторами, (регрессорами). Так называемая независимость друг от друга отнюдь не носит абсолютный характер. Тем не менее, понятие независимости факторов является весьма важным и весьма полезным начальным предположением.

После исследования соответствующих базовых моделей начального уровня удается строить и изучать более сложные и более совершенные модели, в которых можно учитывать частичную зависимость факторов. Также естественно, что в качестве начальных базовых моделей используются простейшие зависимости, например, линейные. После этого рассматривают модели, которые можно преобразовать в линейные. И, наконец, только после этого - существенно нелинейные модели.

Возвращаясь к примеру с линейной зависимостью, отметим, что если просто провести на глаз прямую (график линейной зависимости), максимально соответствующую точкам (наблюдениям), то получаем простую графическую интерпретацию. Отрезок, отсекаемый на оси y, представляет собой оценку свободного члена в формуле линейной зависимости. Соответственно, угловой коэффициент прямой - это оценка параметра при независимой переменной.

Линия графика (линейной зависимости), или линия регрессии, должна быть такова, чтобы указанные остатки являлись минимальными. Наилучший способ - это потребовать минимизации суммы квадратов остатков, которые еще называют отклонениями. В этом случае говорят о минимизации суммы квадратов отклонений. Это одно и то же. Наилучшее соответствие кривой точкам наблюдений получилось бы в предельном случае абсолютно точного соответствия, когда кривая (в нашем случае - прямая) пройдет точно через все точки. Но это нереально для линии регрессии ввиду наличия случайного члена и ошибок наблюдений.

Именно описанный только что принцип минимизации квадратов остатков и его реализация называются методом наименьших квадратов (МНК). Поскольку существует также модификация и развитие его, то говорят также о традиционном, или обычном, МНК.

В математике (математической статистике и теории приближенных вычислений) МНК рассматривается в качестве одного из наиболее важных и эффективных методов приближенных вычислений и способов оценивания. По существу, именно ситуация, когда система алгебраических линейных уравнений не имеет точного решения (в смысле, вкладываемом в понятие решения в классическом школьном курсе математики), является наиболее общей и важной с практической точки зрения. В большинстве случаев удается найти содержательные приближенные решения, дающие ответ на вопросы, поставленные в задаче, и служащие обобщением такого решения в узком смысле обращения уравнений системы в тождества.

2. Статистическая закономерность