3.3 Измерение эффективности метода

Чтобы иметь возможность формально сравнивать эффективность методов для разных типов зависимости, нам необходим некоторый коэффициент эффективности.

Предположим, что у нас имеется некий гипотетический метод, идеально работающий на наших данных. Этот метод возвращает некоторую "эталонную" нагрузочную матрицу. Далее будем говорить, что из двух "реальных" методов более эффективным является тот, который выдает нагрузочную матрицу, столбцы которой ближе (в смысле среднеквадратической ошибки) к столбцам эталонной матрицы.

Для наших демонстрационных данных эталонная нагрузочная матрица имеет вид:

Причем, столбцы этой матрицы могут быть расположены не в этом порядке, а произвольно. Однако, без потери общности можно зафиксировать этот порядок. Первый столбец соответствует первой группе признаков, второй - второй группе и т.д. Таким образом, получив одним из наших трех методов нагрузочную матрицу, сравниваем ее столбцы с эталонными столбцами. Для этого сначала необходимо понять, какому из эталонных столбцов соответствует каждый реальный столбец. Для этого для каждого эталонного столбца, начиная с первого, ищем среди реальных столбцов такой, для которого значение среднеквадратической ошибки минимально. (Здесь - количество признаков - значит, для наших демонстрационных данных ; - -ый элемент данного эталонного столбца; - -ый элемент текущего реального столбца). (На следующей итерации этот столбец мы уже не рассматриваем). Этим столбцом окажется тот, который соответствует той же группе, что и эталонный. Полученное минимальное значение и считаем коэффициентом эффективности метода для этой группы.

3.4 Определение числа факторов

Напомним, что одной из задач данного дипломного проекта является применение трех рассматриваемых методов к реальным данным. Поскольку при работе с реальными данными число общих факторов неизвестно, автору данной работы было необходимо реализовать какой-либо из методов определения этого числа. Сначала автором был реализован метод, основанный на критерии значимости (см. раздел 1.2.6). Однако, во время экспериментов с моделированными данными автору не удалось добиться удовлетворительной работы этого метода на нелинейно зависимых признаках. Поскольку реальные данные вполне могут быть связаны нелинейным типом зависимости, возникла необходимость реализации более эффективного для этого случая метода.

Было решено определять число факторов следующим образом. Сначала проводим метод максимального правдоподобия, задав ему число факторов, равное числу признаков .

Затем для каждого столбца полученной нагрузочной матрицы вычисляем значение



,

где - -ый элемент -го столбца.

В пункте 1.2.3 было показано, что . Отсюда сумма квадратов элементов -го столбца нагрузочной матрицы означает, сколько суммарной дисперсии признаков мы объясняем, добавляя к имеющимся факторам -ый. Соответственно, тогда - это сколько суммарного среднеквадратического отклонения признаков мы объясняем, добавляя к имеющимся факторам -ый. Поскольку метод максимального правдоподобия (а значит и его модификации тоже) упорядочивают столбцы нагрузочной матрицы в порядке убывания "значительности" соответствующих этим столбцам факторов, то и будут упорядочены в порядке убывания.

Теперь вспомним, что в методе максимального правдоподобия мы используем выборочную корреляционную, а не ковариационную матрицу, что равносильно тому, что мы предполагаем нормированность признаков.

Таким образом, если для некоторого столбца значение оказалось значительно больше единицы, это означает, что фактор, соответствующий этому столбцу, влияет как минимум на два признака. Значит, этот фактор - значительный, и мы его оставляем. Если получилось близко к единице, то скорее всего, этот фактор влияет только на один признак, причем другие факторы на этот признак не влияют. Оставлять или отбрасывать такие факторы - зависит от цели исследования. Если же для какого-то фактора получилось значительно меньше единицы, то можно сделать вывод, что этот фактор объясняет только шум, и отбросить его.

Итак, мы определили, сколько факторов мы оставляем. Опять запускаем метод, но уже заранее задаем ему это число факторов. Полученный результат считаем окончательным.

Следует подчеркнуть, что этот метод не является разработкой автора данного дипломного проекта, поскольку он использует ту же идею, что и критерий, основанный на величине доли объясняемой дисперсии (см. раздел 1.2.6). Отличие состоит лишь в том, что факторы ранжируются не по величине доли объясняемой дисперсии, а по величине приращения объясняемого среднеквадратического отклонения.

Эксперименты с искусственно смоделированными данными подтвердили эффективность этого метода. Это будет продемонстрировано в следующем разделе.

3.5 Результаты применения методов к искусственно смоделированным данным

Итак, до начала экспериментов предполагалось, что традиционный метод максимального правдоподобия работает только для линейных зависимостей и тех, которые хорошо аппроксимируются линейными. Метод, использующий в качестве меры связи признаков коэффициент ранговой корреляции Спирмена (далее - "второй метод"), подходит для любых зависимостей монотонного типа. А от метода, который использует коэффициенты Крамера (далее - "третий метод"), ожидалась корректная работа на всех рассматриваемых типах зависимости.

Для проверки этих предположений, автором данной работы была проведена серия применений всех трех методов к тестовым данным. В каждом эксперименте данные имели структуру, которая была описана в разделе 3.1, менялись только функции, объединяющие признаки в группы.

Результаты экспериментов оказались следующими. Традиционный метод максимального правдоподобия действительно хорошо работает для линейных зависимостей и тех, которые хорошо приближаются линейными. В том числе он оказывается эффективным и для большинства зависимостей монотонного типа, поскольку они тоже могут быть приближены линейными, пусть и менее точно. Для зависимостей немонотонного типа он, как и ожидалось, не работает.

Второй метод хорошо работает для любых зависимостей монотонного типа. Причем с точки зрения эффективности он не отличается от традиционного как для линейного, так и для монотонного. На зависимостях немонотонного типа он тоже не работает.

Третий метод, как и предполагалось, работает для всех рассматриваемых типов зависимости, однако на всех, кроме немонотонного, уступает двум другим методам в эффективности.

Продемонстрируем эти результаты на данных с четырьмя группами признаков (ранее мы везде называли эти данные демонстрационными).

Поскольку сейчас нашей целью является продемонстрировать и сравнить эффективность методов, мы будем заранее задавать им истинное число факторов - четыре. Демонстрация эффективности нашего "эмпирического" метода определения числа факторов будет представлена в следующем разделе.

Результаты применения к демонстрационным данным традиционного метода максимального правдоподобия оказались следующими.

Нагрузочная матрица:



Как видим, строки нагрузочной матрицы образуют только три группы - соответствующие группам признаков с нелинейным монотонным, линейным и "почти линейным" типами зависимости (сверху вниз.)

Коэффициенты эффективности для групп в порядке с первой по четвертую:

Применение к этой матрице методов вращения "варимакс" и "квартимакс" не внесло в нее никаких существенных изменений. Практически не изменились также и коэффициенты эффективности.

Таким образом, традиционный метод лучше всего обнаружил зависимости линейного и нелинейного монотонного типов, чуть хуже - "почти линейного" и оставил без внимания зависимость немонотонного типа.

Результат применения второго метода получился следующим.

Нагрузочная матрица:

Коэффициенты эффективности для групп в порядке с первой по четвертую:



Методы вращения опять не внесли никаких существенных изменений.

Таким образом, второй метод, так же как и традиционный справился только с первыми тремя типами зависимости.

Как видим, коэффициенты эффективности практически в точности совпадают с коэффициентами традиционного метода, что подтверждает, что для искусственно смоделированных данных эти методы не отличаются в смысле эффективности.

Нагрузочная матрица, полученная третьим методом, оказалась следующей:

Коэффициенты эффективности:

Таким образом, из всех трех методов, только этот метод способен улавливать зависимости немонотонного типа. Однако для всех остальных типов он оказывается менее эффективным, чем два других метода. Особенно сильно он уступает им в случае "почти линейного" типа зависимости (в предыдущих двух случаях коэффициенты эффективности для этого типа были равны и , а здесь мы видим только ). С помощью методов вращения удалось преобразовать эту матрицу в чуть более похожую на эталонную. Соответственно, и коэффициенты эффективности увеличились в среднем на одну сотую. Но первые три коэффициента все равно оказались меньше, чем полученные первыми двумя методами.

3.6 Демонстрация эффективности метода определения числа факторов, основанного на величине приращения объясняемого среднеквадратического отклонения

Как было показано в предыдущем разделе, первые два метода не выделяют признаки четвертой группы в один фактор. Поэтому, если наша эмпирическая техника определения числа факторов работает правильно, то для первых двух методов первые три коэффициента должны получиться значительно больше единицы, следующие три - близки к единице, а остальные шесть - значительно меньше единицы. Третий метод выделяет каждую из четырех групп в свой отдельный фактор. Поэтому для него, если наш способ определения числа факторов работает правильно, первые четыре коэффициента должны получиться значительно больше единицы, а остальные восемь - значительно меньше единицы.

Применяем к демонстрационным данным традиционный метод максимального правдоподобия с максимальным числом факторов, равным двенадцати.

Ниже проиллюстрированы значения приращений объясняемого среднеквадратического отклонения (т.е. значения коэффициентов ) для двенадцати факторов:



Рисунок 3.2. Приращения объясняемого среднеквадратического отклонения для факторов с первого по двенадцатый для традиционного метода

Как видим, наши ожидания оправдались.

Попробуем запустить традиционный метод для шести факторов.

Полученная нагрузочная матрица:

Таким образом, первые три группы признаков традиционный метод выделяет каждую в свой фактор - этим факторам соответствуют первые три высоких коэффициента , а последние три признака он выделяет каждый в отдельный фактор - им соответствуют коэффициенты , близкие к единице.

Такой вид нагрузочной матрицы свидетельствует о том, что в этом эксперименте метод определения числа факторов сработал правильно.

Теперь применим к нашим данным второй метод, предварительно задав ему максимальное число факторов (двенадцать). Полученные значения коэффициентов для этих двенадцати факторов:

Рисунок 3.3. Приращения объясняемого среднеквадратического отклонения для факторов с первого по двенадцатый для второго метода

Наши ожидания опять оправдались.

Запускаем этот же метод на шести факторах.

Нагрузочная матрица:

Интерпретация результата такая же, как и для традиционного метода - в этом эксперименте метод определения числа опять факторов сработал правильно.

Применяем к данным третий метод, который был признан эффективным для всех четырех типов зависимости.

Значения для двенадцати факторов:



Рисунок 3.4. Приращения объясняемого среднеквадратического отклонения для факторов с первого по двенадцатый для третьего метода

Как видим, больше единицы оказались значения для четырех факторов. Наши ожидания оправдались в третий раз, значит, можно заключить, что наш метод определения числа факторов работает правильно (по крайней мере, на этих данных).

На других искусственно смоделированных данных (той же структуры, но отличных от демонстрационных) этот эмпирический метод определения числа факторов демонстрировал столь же эффективную работу.

Результаты и выводы по главе

Итак, в этой главе были предложены способы адаптации традиционного метода максимального правдоподобия для работы с признаками, связанными монотонным нелинейным и немонотонным типами зависимости. Эти способы заключаются в том, что вместо выборочной корреляционной матрицы исходных признаков на вход алгоритму подается матрица, состоящая из коэффициентов ранговой корреляции Спирмена, если предполагается что зависимость между признаками носит монотонный характер, или матрица, состоящая из коэффициентов Крамера, если никакое предположения о типе зависимости между признаками не представляется возможным. Также в этой главе были описаны способы вычисления двух вышеуказанных коэффициентов и дана их смысловая интерпретация.

Другая часть этой главы была посвящена экспериментам с искусственно смоделированными данными, проведенным с целью проверки и сравнения эффективности трех рассматриваемых методов для разных типов зависимости между признаками. В этой главе были подробно описаны походы к генерации тестовых данных, введено понятие эффективности метода и предложен способ измерения этой эффективности. Кроме того был подробно описан метод определения числа общих факторов, основанный на величине приращения объясняемого среднеквадратического отклонения и продемонстрирована эффективность работы этого метода.

Результаты проверки и сравнения эффективности методов оказались следующими. Первый метод - традиционный метод максимального правдоподобия - как и предполагалось автором, демонстрирует эффективную работу только в тех случаях, когда зависимость между исходными признаками может быть хорошо приближена линейной функцией. Второй метод - модификация традиционного метода максимального правдоподобия, использующая в качестве меры связи признаков коэффициенты ранговой корреляции Спирмена - как и ожидалось, оказалась эффективной только для монотонного типа зависимости. Третий метод - модификация, использующая коэффициенты Крамера - продемонстрировал удовлетворительную работу как на монотонных, так и на немонотонных типах зависимости, что тоже оправдало ожидания автора.

С точки зрения эффективности, в экспериментах с искусственно смоделированными данными первый и второй метод практически не отличаются. Третий метод, хоть и оказался единственным подходящим для немонотонного типа зависимости, для монотонного типа (а значит, и в том числе для линейного) значительно уступает двум другим методам в эффективности.

Все вышеизложенные результаты были продемонстрированы этой главе на конкретных примерах.



Глава 4. Исследовательская часть

В этой главе будут продемонстрированы результаты проверки и сравнения эффективности работы всех трех методов для реальных данных и сделаны выводы касательно их применимости для решения практических задач.

4.1 Выбор реальных данных

Поскольку нашей целью является все же проверка применимости разработанных методов в реальной жизни, то нам требуются такие данные, чтобы, исходя из логики и здравого смысла, было понятно, каким приблизительно должен получиться результат применения метода, если он действительно работает.

В качестве таких данных было решено выбрать еженедельные средние потребительские цены на некоторые продукты питания. В данном случае признаками являются товары, а наблюдениями - моменты времени. Напомним, что в модели факторного анализа предполагается, что наблюдения независимы и одинаково распределены. Но цены на товары растут с течением времени, поэтому, чтобы предположения модели выполнялись, под реализацией -го признака для -го наблюдения (далее обозначается как ) мы будем понимать не саму цену товара в момент времени (далее обозначается ), а величину относительного прироста цены, т.е.

.

Чтобы по этим данным было понятно, каким должен получиться результат работы метода в случае, если этот метод действительно работает, товары следует выбирать так, чтобы они, опять же, образовывали группы. В одной группе должны находиться товары, изменения цен которых взаимозависимы. Например, очевидно, что изменение цены на сметану находится в прямой зависимости от изменения цены на молоко.

Итак, в качестве признаков были выбраны следующие товары:

1. говядина

2. сосиски и сардельки

3. колбаса полукопченая и варено-копченая

4. колбаса вареная I сорта

5. говядина и свинина тушеная консервированная

6. масло сливочное

7. сметана

8. творог жирный

9. сыры сычужные твердые и мягкие

10. мука пшеничная

11. хлеб и булочные изделия из пшеничной муки

Еженедельные средние потребительские цены на эти продукты за период времени с января 2008 г. по апрель 2014 г. были взяты с сайта Федеральной службы государственной статистики: http://www.gks.ru.

Очевидно, что первые пять продуктов образуют одну "мясную" группу. Продукты 6. - 9. образуют "молочную" группу, а последние два продукта - это "мучная группа".

Таким образом, мы предполагаем, что, если метод на этих данных работает правильно, то он выделит каждую из групп в свой отдельный фактор. Однако, в отличие от эксперимента с искусственно смоделированными данными, мы не можем утверждать, что если на этих данных некий гипотетический метод работает идеально, то полученная им нагрузочная матрица должна иметь вид:



Потому что:

1. Реальные данные значительно "зашумлены"

2. Изменения цен на продукты из разных групп, скорее всего, зависимы, пусть и значительно слабее, чем внутри групп.

3. Зависимости внутри групп носят более сложный характер, чем в случае искусственно смоделированных данных. В качестве доказательства этого утверждения, ниже продемонстрирован график зависимости изменения цены на сосиски и сардельки от изменения цены на говядину.

Рисунок 4.1. Зависимость изменения цены на сосиски и сардельки от изменения цены на говядину

Однако нами выбраны такие данные, что мы заранее знаем, что матрица, полученная этим идеальным методом должна быть достаточно близка к матрице . Поэтому, при работе с этими реальными данными мы по-прежнему можем использовать коэффициенты эффективности, определенные в предыдущей главе, с той лишь разницей, что небольшие расхождения в значениях этих коэффициентов для двух методов не дают нам права утверждать, что один из них работает лучше, чем другой. (Потому что из того, что одна из матриц находится чуть ближе к матрице , не следует, что она ближе и к идеальной матрице). Но, если эти расхождения значительны, мы можем это утверждать.

Более того, мы не рассчитываем (по тем же самым причинам 1. - 3.), что наши методы будут работать на этих данных так же хорошо, как на искусственно смоделированных. Поэтому, мы не ожидаем, что как при эксперименте с искусственно смоделированными данными нам удастся сразу (т.е. без использования методов вращения) получить нагрузочную матрицу, которая будет близка к матрице . Нам достаточно того, чтобы строки первоначальной матрицы сгруппировались "по похожести". То есть первые пять строк полученной нагрузочной матрицы должны быть очень похожи друг на друга (т.е. их поэлементные разности должны быть малы), и значительно отличаться от всех остальных строк. Строки с шестой по девятую, аналогично, должны быть похожи друг на друга и ни на какие другие. И то же самое для последних двух строк. Однако с помощью методов вращения мы надеемся свести первоначально полученную матрицу к более близкой к эталонной.

4.2 Результаты применения методов к реальным данным

Первым протестируем на выбранных реальных данных традиционный метод. Сначала необходимо определить число факторов. Для этого вновь воспользуемся методом, основанным на величине приращения объясняемого среднеквадратического отклонения. Запускаем традиционный метод для максимального числа факторов, равного одиннадцати.

Получаем следующие значения коэффициентов :



Рисунок 4.2. Приращения объясняемого среднеквадратического отклонения для факторов с первого по одиннадцатый для традиционного метода четвертого фактора получилось близко к единице

Возникает спорный вопрос - оставить или отбросить четвертый фактор. Учитывая, что мы работаем в предположении, что групп у нас три, все же отбросим.

Запускаем традиционный метод на трех факторах.

Первоначальная нагрузочная матрица:

Разбиение на группы, несомненно, просматривается, но далеко не идеальное. Например, четвертая строка отличается первым элементом от остальных в своей группе, да и все строки второй группы лишь отдаленно похожи.

Коэффициенты эффективности тоже оказались невелики:



Применим к полученной матрице метод вращения "варимакс":

Коэффициенты эффективности:

Как видим, варимакс нас не подвел. Коэффициенты эффективности значительно превышают предыдущие. Полученную матрицу уже можно легко проинтерпретировать и эта интерпретация в основном совпадает с нашими ожиданиями. Каждая группа продуктов действительно выделяется в свой отдельный фактор. Это подтверждает, что изменение цен на продукты каждой группы имеет свою собственную тенденцию.

Тем не менее, можно заметить, что четвертая строка, соответствующая вареной колбасе, несколько отличается от других строк своей группы. То же самое можно сказать и седьмой строке, соответствующей сметане.

Однако вспомним что традиционный метод максимального правдоподобия предназначен только для работы с линейно зависимыми признаками.

Поскольку мы применяем его к реальным данным, зависимость между которыми вполне может носить нелинейный характер, метод может выдавать несколько ошибочные результаты.

Результаты применения второго метода вращения - квартимакса практически точно совпадают с результатами варимакса.

Вот они:

И коэффициенты эффективности:

Теперь перейдем ко второму методу, который использует в качестве меры связи коэффициент ранговой корреляции Спирмена. Выясняем число общих факторов.

Полученные значения коэффициентов для одиннадцати оных:

Рисунок 4.3. Приращения объясняемого среднеквадратического отклонения для факторов с первого по одиннадцатый для второго метода

программный правдоподобие нелинейный алгоритм

Как и ожидалось, метод утверждает наличие трех факторов. Запускаем метод для них.

Получаем первоначальную нагрузочную матрицу:

Коэффициенты эффективности:

Не вызывает сомнений, что этот метод действительно, как и ожидалось, объединяет в группы первые пять продуктов и последние два. Также очевидно, что он объединяет в группу продукты 6. - 8. Что касается 9-го продукта - сыра, то соответствующая ему строка все же несколько отличается от других строк "молочной" группы. Это может объясняться, например, тем, что, в отличие от сливочного масла, сметаны и творога, сыр необходимо достаточно долгое время выдерживать при изготовлении. Грубо говоря, если из одного и того же молока приготовить масло, сметану, творог и сыр, то сыр попадет на прилавок магазина значительно позже, чем три другие продукта. Таким образом, зависимость изменения цены на сыр от изменения цены на молоко вполне может несколько отличаться от зависимостей изменений цен на масло, сметану и творог от изменения цены на молоко.

Однако при определении числа факторов, значение коэффициента для четвертого фактора оказалось значительно меньше единицы. Из этого можно сделать вывод, что метод все же объединяет сыр в одну группу с другими молочными продуктами.

Применим к полученной матрице варимакс:

Коэффициенты эффективности:

Применим квартимакс:

Коэффициенты эффективности:

Как и в случае с традиционным методом, и варимакс, и квартимакс значительно улучшили интерпретируемость полученной нагрузочной матрицы. Как и ожидалось, метод утверждает, что каждая группа продуктов выделяется в свой особый фактор. В отличии от результатов традиционного метода, четвертая и седьмая строки, соответствующие вареной колбасе и сметане, не отличаются от других строк своих групп. Значительно прояснилась и ситуация с сыром: метод определенно выделяет его в тот же фактор, что и остальные молочные продукты, но утверждает, что его цена меняется несколько иначе, чем цена на масло, сметану и творог.

Коэффициенты эффективности для этого метода оказались несколько выше, чем для традиционного. (Мы сравниваем только те, которые получаются после применения методов вращения). Однако это превышение значительно только для второго коэффициента, соответствующего молочной группе. Поэтому можно утверждать лишь то, что второй метод оказывается более эффективным, чем традиционный, только для второй группы продуктов. Для двух других групп их эффективность одинакова.

Применяем третий метод.

Полученные значения коэффициента для одиннадцати факторов следующие:

Рисунок 4.4. Приращения объясняемого среднеквадратического отклонения для факторов с первого по одиннадцатый для третьего метода

Опять же спорный вопрос - сколько факторов оставить три или два. Учитывая наши априорные соображения, оставляем три.

Получаем следующую нагрузочную матрицу:



И коэффициенты эффективности:

Разбиение строк на группы "похожести" оказалось несколько более четким, чем в случае предыдущих двух методов, однако коэффициенты эффективности - несколько ниже. Посмотрим, повысят ли их методы вращения.

Применяем варимакс:

Коэффициенты эффективности:



Применяем квартимакс:

Коэффициенты эффективности:

Как видим, девятая строка, соответствующая сыру, опять несколько "выбивается" из своей группы. Поскольку то же самое наблюдалось в результатах второго метода, скорее всего, это не ошибка - цена на сыр действительно меняется немного не так, как цены на другие молочные продукты. Строки, соответствующие вареной колбасе и сметане, как и в предыдущем случае, не выбиваются из своих групп. На основании этого можно утверждать, что изменения цен на эти продукты имеют ту же тенденцию, что и изменения цен на другие продукты мясной и молочной групп соответственно, а результаты, полученные традиционным методом, объясняются тем, что метод не предназначен для нелинейных типов зависимости.

Что касается коэффициентов эффективности, они все равно оказываются ниже, чем коэффициенты предыдущих двух методов, полученные после вращения.

Таким образом, возможны два варианта:

1. Наше предположение касательно структуры данных верно, и тогда третий метод на этих данных менее эффективен, чем другие два метода.

2. В структуре данных имеются некоторые неучтенные нами зависимости. Тогда низкие коэффициенты эффективности, (которые на самом-то деле показывают лишь то, насколько результаты метода соответствуют нашим предположениям), наоборот, говорят о том, что третий метод способен замечать такие типы зависимостей, которые не видят предыдущие два метода (что, между прочим, подтвердилось для искусственно смоделированных данных). В поддержку этого предположения стоит заметить, что в нагрузочной матрице, полученной третьим методом, поэлементные разности строк, принадлежащих одной и той же группе, получаются меньше, чем в случае двух других методов. Т.е. третий метод лучше разбивает продукты в группы "похожести". Таким образом, если бы под эффективностью метода мы изначально понимали не расстояние нагрузочной матрицы до матрицы , а расстояние между строками нагрузочной матрицы, соответствующими одной группе, то третий метод был бы признан более эффективным, чем традиционный метод.

Выводы по главе.

Итак, если под степенью эффективности метода понимать то, насколько столбцы полученной им нагрузочной матрицы близки (в смысле среднеквадратической ошибки) к столбцам нагрузочной матрицы, которая была бы получена гипотетическим идеальным для наших данных методом, то результаты экспериментов с реальными данными оказались следующими. Наиболее эффективным (для конкретных этих данных) оказался метод, использующий коэффициенты ранговой корреляции Спирмена. От него совсем немного отстает традиционный метод максимального правдоподобия. Наименее эффективным оказался метод, использующий коэффициенты Крамера.

Однако если проанализировать полученные этими методами нагрузочные матрицы на основании одного только здравого смысла, не пытаясь формализовать понятие эффективности, то с точки зрения автора данного дипломного проекта, метод, использующий коэффициенты Крамера все же превосходит традиционный метод максимального правдоподобия, поскольку полученная им матрица обладает лучшей интерпретируемостью. (Если конкретнее, то в отличии от традиционного метода, метод, использующий коэффициенты Крамера, не утверждает, что тенденции изменений цен на вареную колбасу и сметану несколько отличаются от тенденций изменений цен на другие мясные и молочные продукты соответственно.)

Итак, можно утверждать, что с помощью каждого из трех рассмотренных методов нам удалось снизить размерность реальных данных с одиннадцати до трех. Это означает что, все три метода применимы для работы над реальными практическими задачами. Однако, поскольку нагрузочные матрицы этих методов все же несколько различаются, то для достижения наилучших результатов, автор предлагает при решении реальных задач использовать все три метода, анализировать полученные ими результаты, помня о том, какой из методов для какого типа зависимости предназначен. И уже на основании этого анализа принимать окончательное решение.



Заключение

Итак, в рамках дипломного проекта автором был разработан программный модуль, реализующий метод максимального правдоподобия в модели факторного анализа. Этот модуль по выборочной корреляционной матрице признаков вычисляет значения нагрузочной матрицы и матрицы остаточных дисперсий, которые максимизируют правдоподобие данной выборочной корреляционной матрицы. Кроме того, были реализованы метод определения числа общих факторов, основанный на критерии значимости и эмпирический метод определения числа общих факторов, основанный на величине приращения объясняемого среднеквадратического отклонения, который в дальнейшем был использован при работе с реальными данными.

Кроме того, был предложен способ адаптации традиционного метода максимального правдоподобия для работы с признаками, связанными нелинейными типами зависимости. Этот способ заключается в замещении выборочного коэффициента корреляции признаков на другие меры связи - коэффициент ранговой корреляции Спирмена и коэффициент Крамера, которые являются более информативными для нелинейно зависимых случайных величин.

Для сравнения качества работы традиционного метода правдоподобия и двух его модификаций, автором было формализовано понятие эффективности этих методов. Исходя из этого понятия, эффективность методов была сравнена как на искусственно смоделированных признаках, связанных различными типами зависимости, так и на реальных данных.

Результаты этого сравнения для искусственно смоделированных данных оказались следующими. Традиционный метод максимального правдоподобия хорошо работает в случаях, когда признаки связаны линейными зависимостями и теми, которые хорошо приближаются линейными. В том числе он оказывается эффективным и для большинства зависимостей монотонного типа, поскольку они тоже могут быть приближены линейными функциями, пусть и менее точно. Для зависимостей немонотонного типа этот метод не работает.

Второй метод хорошо работает для любых зависимостей монотонного типа. Причем, с точки зрения степени эффективности, он не отличается от традиционного метода. На зависимостях немонотонного типа он тоже не работает.

Третий метод удовлетворительно работает как на монотонных, так и на немонотонных типах зависимости, однако на монотонных уступает двум другим методам в эффективности.

Учитывая, что традиционный метод максимального правдоподобия оказался совершенно неэффективным для немонотонного типа зависимости, а метод, использующий коэффициенты Крамера, справился с этим типом зависимости вполне успешно, можно сделать вывод, что автору данного дипломного проекта удалось адаптировать традиционный метод максимального правдоподобия для работы с нелинейно зависимыми признаками.

Результаты экспериментов с реальными данными оказались следующими. Каждым из трех методов удалось добиться снижения размерности исследуемых данных. Следовательно, все три метода применимы для решения реальных практических задач. Наиболее эффективным признан метод, использующий коэффициенты ранговой корреляции Спирмена, следующим по эффективности - традиционный метод максимального правдоподобия, и наименее эффективным - метод, использующий коэффициенты Крамера.

Однако если отказаться от формального понятия эффективности, и сравнивать качество работы методов на реальных данных, исходя из здравого смысла, то, возможно, метод использующий коэффициенты Крамера тоже превосходит традиционный метод максимального правдоподобия.

В любом случае, метод, использующий коэффициенты ранговой корреляции Спирмена, оказывается эффективнее традиционного метода. Таким образом, можно сделать вывод, что автору данного данной работы удалось с помощью модификаций повысить эффективность традиционного метода максимального правдоподобия для решения реальных практических задач, что означает выполнение основной задачи дипломного проекта.



Список литературы

1. Roger R. Davidson, William E. Lever The limiting distribution of the likelihood ratio statistic under a class of local alternatives [Книга]. - [б.м.]: Florida State University, 1967.

2. Горяинова Е.Р., Панков А.Р., Платонов Е.Н. Прикладные методы анализа статистических данных [Книга]. - Москва: Высшая Школа Экономики, 2012.

3. Дж.-О. Ким, Ч.У. Мьюллер, У.Р. Клекка, М.С. Олдендерфер, Р.К. Блэшфилд Факторный, дискриминантный и кластерный анализ [Книга]. - Москва: Финансы и статистика, 1989.

4. Дронов С.В. Многомерный статистический анализ [Книга]. - Барнаул: Алтайский государственный университет, 2003.

5. Ивченко Г.И., Медведев Ю.И. Введение в математическую статистику [Книга]. - Москва: ЛКИ, 2010.

6. Калинина В.Н., Соловьев В.И. Введение в многомерный статистический анализ [Книга]. - Москва: ГУУ, 2003.



Приложение

Фрагмент программного кода, написанного в Матлабе, реализующий функцию "generateCorr":

function X=generateCorr(r,n,corr)

X=zeros(r,n);

X(1,:)=randn(1,n);

DX=1;

for j=2:r

alpha=sqrt((corr^2/(1-corr^2))/DX);

X(j,:)=X(j-1,:)*alpha+randn(1,n);

DX=alpha^2*DX+1;

End

Фрагмент программного кода, реализующий функцию "generateData":

function X=generateData(F,m,n)

r=size(F,1)*m;

X=zeros(r,n);

for i=0:size(F,1)-1

f=F{i+1};

X(i*m+1,:)=randn_cut(1,n);

for j=2:m

X(i*m+j,:)=f(X(i*m+j-1,:));

end

end

X=X+randn(r,n)*0.1;



Фрагмент программного кода, реализующий функцию "randn_cut":

function X=randn_cut(a,b)

X=randn(a,b);

E=(X>1)|(X<-1);

while nnz(E)~=0

X(E)=randn(size(X(E)));

E=(X>1)|(X<-1);

end

Размещено на Allbest.ru

...