Сравнительный анализ методов выделения факторов в факторном анализе на примере выявления образа демократии

Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное образовательное учреждение

высшего профессионального образования

«Национальный исследовательский университет

«Высшая школа экономики»

Факультет социологии

Кафедра метода сбора и анализа социологической информации

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

На тему: Сравнительный анализ методов выделения факторов в факторном анализе на примере выявления образа демократии

Студент группы № 123 БСЦ

Ким Ольга Анатольевна

Москва, 2016



Оглавление

• Введение
• Проблемная ситуация и проблема
• Объект и предмет
• Цели и задачи исследования
• Глава 1. Теоретико-методологические основы исследования
• 1.1 Основы факторного анализа
• 1.2 Метод главных компонент
• 1.3 Факторный анализ и метод главных компонент
• 1.4 Факторизация главной оси
• 1.5 Метод максимального правдоподобия
• 1.6 Невзвешенный метод наименьших квадратов. Обобщенный метод наименьших квадратов.
• 1.7 Альфа факторизация
• 1.8 Анализ образов
• Глава 2. Сравнительный анализ методов выделения факторов в факторном анализе
• 2.1 Преимущества и недостатки метода главных компонент и факторного анализа в целом
• 2.2 Сравнение методов выделения факторов по критерию объема выборки
• 2.3 Сравнение методов выделения факторов по критерию оперирования с общностью
• 2.4 Сравнение методов выделения факторов по критерию распределения первоначальных данных и типов шкал
• 2.5 Сравнение методов выделения факторов по критерию выбора оптимального количества факторов
• Глава 3. Исследование образа демократии, как возможность для проведения сравнительного анализа методов выделения факторов в факторном анализе
• 3.1 Теоретическая рамка эмпирического исследования
• 3.2 Способы конструирования образа демократии
• 3.2 Выбор оптимальных методов выделения факторов с учетом специфики имеющихся данных
• 3.3 Критерии для сравнения результатов применения методов выделения факторов
• 3.4 Результаты применения метода главных осей
• 3.5 Результат применения метода обобщенных наименьших квадратов
• 3.6 Сравнительный анализ факторных моделей выполненных семью методами выделения фаткоров
• Заключение
• Список литературы
• Приложение
• 

Введение

Пространство признаков, формирующее для исследователя определенную систему координат, обладает различной размерностью. Сужение видение мира до одной переменной автоматически трансформирует его в одномерное. Однако если аналитику нужны не просто параметры, позволяющие незатейливо дифференцировать объекты, если необходимо заглянуть глубже и попытаться объяснить комплексное явление, то пространство признаков мгновенно становится многомерным. Постижением сложных, недоступных для непосредственного наблюдения феноменов занимается анализ латентных переменных.

Латентны не только личностные характеристики, например мотивы или ценности, но и социетальные характеристики, то есть рассматриваемые на уровне общества в целом. С одной стороны латентная переменная образует явную оппозицию наблюдаемой, в то же время само деление признаков на наблюдаемые и латентные исключительно относительно. С формальной точки зрения, наблюдаемые переменные не существуют в действительности - при ближайшем рассмотрении каждая явная переменная является латентной, то есть «обнаруживает себя опосредованно, в своих “видимостях”» [Крыштановский, с. 44]. Все виды переменных становятся измеряемыми только в процессе операционализации. Например, уровень образования, вид занятости и возраст как идентификаторы социального статуса предполагают за собой поиск «явных» свидетельств: наличие аттестата или диплома, записи в трудовой книжке и наличие свидетельства о рождении. факторный невзвешенный квадрат

Теоретически мы можем представить ситуацию когда для каждого латентного признака существует явное выражение, а значит это дает нам право поставить наблюдаемую переменную на место латентной. В таком случае явные и латентные языки эквивалентны друг другу. К сожалению или к счастью такая ситуация практически невозможна, так как в действительности латентные признаки имеют бесчисленное множество проявлений, каждое из которых обладает различной релевантностью. Можно утверждать, что функция исследователя сводится к выбору из всего множества явных переменных наиболее релевантных. Принимая во внимание все вышеизложенные рассуждения, не удивительно, что измерение латентных признаков - одна из самых распространенных исследовательских задач в социальных науках.

Итак, мы выяснили, что задача, с которой сталкивается исследователь при изучении латентных переменных, заключается в манипуляции над «универсумом видимостей» [Крыштановский, с. 45] - переводе с языка явного на язык латентный. Сначала происходит процесс подбора эмпирически измеряемых индикаторов изучаемого латентного признака, а затем происходит обратный переход, в ходе которого с помощью математических методов по наблюдаемым переменным реконструируют латентный признак. Исследователь сталкивается с вопросом выбора метода, который должен удержать в рамке научного подхода свободу интерпретации перехода с уровня наблюдаемых переменных на более сложный уровень латентных.

Одним из самых распространенных методов измерения латентных признаков является факторный анализ. Факторный анализ своими корнями уходит во вторую половину девятнадцатого века и связан непосредственно с такими именами на Спэнсер, Гальтон и Пирсон. Началом современного этапа в развитии факторного анализа принято считать статью Чарльза Спирмена «”General intelligence”, objectively determined and measured», опубликованную в 1904 году в журнале «American Journal of Psychology». Стремление доказать или опровергнуть теорию Спирмена привели к колоссальному развитию вопроса измерения латентных признаков в первых десятилетиях двадцатого века.

Проблемная ситуация и проблема

Метод главных компонент полностью отождествляется с факторным анализом, однако такое смешение понятий зачастую ведет к некорректным выводам. На самом же деле, метод главных компонент представляет собой один из методов выделения факторов и таких методов разработано довольно большое количество, например, метод наименьших квадратов, метод максимального правдоподобия, метод альфа факторизации, анализ образов и другие. По данным библиографической и реферативной базы данных «Scopus» в 2014 году около девяти тысяч работ в категории социальных наук содержат в заголовке или аннотации или списке ключевых слов упоминание о факторном анализе. Если же проанализировать частоту использования того или иного метода выделения факторов в данной подвыборке, то мы получим следующую картину: метод главных компонент в разы опережает любой из существующих методов выделения факторов. Метод наименьших квадратов и метод максимального правдоподобия используются практически в равной степени. Такие методы как альфа факторизация и анализ образов не используются практически нигде.

Проблема данного исследования - недостаток четких рекомендаций по выбору методов выделения факторов в факторном анализе

Каждый метод выделения факторов имеет индивидуальные особенности, которые необходимо понимать и учитывать, опираясь на цели, задачи исследования, а также некоторые характеристики выборки. Изучение отличительных черт каждого из методов позволит раскрыть потенциал факторного анализа как инструмента работы с латентными конструктами. Другими словами, данная работа призвана помочь решить проблему выбора адекватного метода выделения факторов при проведении факторного анализа.

Объект и предмет

Объект исследования - методы выделения факторов в факторном анализе

Предмет - суть и условия применимости методов выделения факторов в факторном анализе

Цели и задачи исследования

Цель исследования: провести сравнительный анализ сути и условий применимости методов выделения факторов в факторном анализе

Задачи исследования:

1. Проанализировать теоретико-методологические основания применимости исследуемых методов выделения факторов в факторном анализе;

2. Проанализировать имеющийся опыт сравнения и выбора методов выделения факторов в факторном анализе;

3. Разработать алгоритм выбора оптимального метода выделения факторов с учетом специфики исследовательской ситуации.

4. Используя разработанный алгоритм, обосновать выбор метода выделения факторов на примере изучения образа демократии в России

5. Эмпирически оценить адекватность выбора метода выделения факторов для изучения образа демократии, сделанного на основе разработанного алгоритма

Работа будет состоять из трех глав. Первая глава посвящена теоретико-методологическим основам исследования. Каждый из семи методов выделения факторов получит свое описание с точки зрения математической базы, заложенной в его сути. Вторая глава отражает имеющиеся наработки в научном сообществе, посвященные сравнительному анализу методов выделения факторов в факторном анализе. Результатом первой и второй главы станет создание алгоритма выбора оптимального метода выделения факторов, с учетом специфики проводимого исследования. Третья глава посвящена апробации выработанного алгоритма на базе European Social Survey по изучению латентной структуры образа демократии среди россиян.



Глава 1. Теоретико-методологические основы исследования

Данная глава посвящена теоретико-методологической базе работы. Для начала будут рассмотрены основы проведения факторного анализа с фокусировкой на проблеме выделения факторов. Далее будут описаны основные трудности с которыми исследователи сталкиваются при выборе того или иного метода выделения факторов. Также будут определен список исследуемых методов с учетом специфики наиболее распространенных программ обработки социологических данных. В заключении мы уделим внимание методу главных компонент, а также подробно остановимся на проблеме его соотнесения с факторным анализом.

1.1 Основы факторного анализа

Социологический смысл модели факторного анализа состоит в том, что измеряемые эмпирические показатели, переменные считаются следствием других, глубинных, скрытых от непосредственного измерения характеристик -- латентных переменных [Крыштановский, 2007]. В факторном анализе предполагается, что наблюдаемые переменные являются линейной комбинацией некоторых латентных (гипотетических или ненаблюдаемых) факторов. Принимаемая в факторном анализе линейная система такова, что структура ковариаций может быть идентифицирована без ошибок, если известна матрица нагрузок латентных факторов. Тем не менее, однозначное восстановление латентной факторной структуры исходя из наблюдаемой ковариационной структуры всегда проблематично. Эта неопределенность не имеет никакого отношения к статистическому оцениванию и должна разрешаться с помощью внестатистических постулатов: принципа факторной причинности (предположение о том, что наблюдаемые переменные являются линейной комбинацией скрытых факторов и что ковариации между наблюдаемыми переменными воспроизводятся с помощью общих факторов) и принципа экономии (из двух конкурирующих моделей выбирается наиболее простая; для факторного анализа принимаются модели, включающие минимальное число общих факторов). При использовании этих постулатов и свойств линейной системы можно точно идентифицировать латентную факторную структуру путем исследования результирующей ковариационной матрицы, если структура не является слишком сложной и если она удовлетворяет требованиям простой факторной структуры.

На практике на исследуемую матрицу корреляций между наблюдаемыми переменными оказывают влияние различные случайные и неслучайные ошибки, и в результате она будет отлична от корреляционной матрицы, обусловленной факторной структурой генеральной совокупности [Крыштановский, 2007]. Таким образом, на практике невозможно получить точную структуру факторной модели, можно только пытаться найти оценки параметров факторной структуры. При решении задач разведочного факторного анализа исследователь обычно делает три шага:

1. подготовка соответствующей корреляционной матрицы;

2. выделение первоначальных (ортогональных) факторов

3. вращение факторов с целью получения окончательного решения.

Для того, чтобы определиться со списком методов выделения факторов которые будут подвергнуты анализу в данной работе мы изучили возможности самых распространенных статистических пакетов. Так, SPSS предлагает нам семь способов выделения факторов, Statistica - девять, а R, как самый гибкий инструмент, объединяет всевозможные методы путем подключения нужных библиотек. Опираясь на функционал основных статистических пакетов, мы отобрали методы выделения факторов в факторном анализе и условно разделили их на две группы. Особняком стоит метод главных (Principal component) компонент, который чаще всего используется в качестве факторного анализа. Вторая группа методов - объединена по принципу схожести основных принципов с методом главных компонент. В данную группу входят такие методы как: факторизация главной оси (principal axis factoring), невзвешенный метод наименьших квадратов (unweighted least squares/ordinary lest squares), обобщенный метод наименьших квадратов (generalized least squares/weighted least squares), метод максимального правдоподобия (maximum likelihood). Третья группа включает в себя такие методы как альфа факторизация (alpha factoring) и анализ образов (Image factoring). Именно в таком порядке мы и будем рассматривать теоретическую основу методов выделения факторов в факторном анализе.

1.2 Метод главных компонент

Метод главных компонент обладает особым статусом в вопросе выделения факторов в факторном анализе. Метод главных компонент лежит в основе большинства методов факторного анализа и часто рассматривается как один из его самостоятельных вариантов. Именно он послужит отправной точкой в анализе методов выделения факторов. На примере метода главных компонент будут раскрыты основные понятия факторного анализа, которые послужат базой для проведения сравнительной характеристики методов. Идея метода главных компонент была выдвинута Карлом Пирсоном в процессе работы с антропометрическими данными в 1901 году [Pearson, 1901]. Все начиналось с задачи наилучшей аппроксимации конечного множества точек прямыми и плоскостями. Даны точки P_i на плоскости, p_i - расстояние от P_i до прямой AB. Ищется прямая AB, минимизирующяя сумму (рисунок 1).



Рисунок 1

Иллюстрация к работе Пирсона (1901)

Однако идея того, что вычисление главных компонент может быть сведено к вычислению собственных векторов и собственных значений ковариационной матрицы стала активно реализовываться только в тридцатых годах двадцатого столетия. Метод главных компонент иногда называют преобразованием Карунена-Лоэва или преобразованием Хотеллинга [Hotelling, 1933] в честь ученых, ставших его во главе разработки.

Анализ главных компонент -- это метод преобразования данной последовательности наблюдаемых переменных в другую последовательность переменных [Ким Дж.О, 1989]. Наиболее простой способ пояснить внутреннюю логику метода сводится к его изучению в двумерном случае. Предположим, что есть две переменные X и Y с совместным нормальным распределением.

Рисунок 1

X и Y коррелированы

Рисунок 2

X и Y не коррелированы

Совместное нормальное распределение величин, имеющих положительную корреляцию, представлено на рис. 2 с помощью кривых равных вероятностей. Эти кривые показывают, что благодаря положительной связи между X и У данные представляют кластер, в котором большие величины X имеют тенденцию соответствовать большим величинам У (и наоборот). Таким образом, в большинстве случаев точки попадают в первый и третий квадранты, и реже -- во второй и четвертый. Кривые равных вероятностей имеют форму эллипсов, две оси которых изображены пунктирными линиями.

Главная ось (P₁) проходит по линии, вдоль которой располагается основная часть данных; вторая ось (Р₂) -- по линии, вдоль которой расположена меньшая часть данных. Теперь предположим, что нужно представить точки в терминах только одной размерности (оси). В этом случае естественно выбрать ось Р₁, потому что в целом она ближе описывает данные наблюдений. Тогда первая главная компонента есть не что иное, как представление точек, расположенных вдоль выбранной главной оси. Например, точка с единичными значениями X и У будет иметь координату, большую 1 по оси Р₁ и меньшую 1 по оси Р₂. Если мы описываем каждую точку в терминах Р₁ и Р₂ (в новой системе координат), потери информации не произойдет. Тем не менее можем сказать, что первая ось (и первая компонента) является более информативной в описании точек, так как связь между X и У становится сильнее. В том случае, когда X и У связаны линейной зависимостью, первая главная компонента будет содержать всю информацию, необходимую для описания каждой точки. Если X и У независимы, то главная ось отсутствует н анализ главных компонент не способствует даже минимальному сокращению (сжатию) результатов наблюдений.

Поскольку первая компонента определена таким образом, что основная доля информации содержится именно в ней (дисперсия в направлении этой компоненты максимальна), вторая компонента определяется аналогичным образом при условии, что ее ось перпендикулярна первой. Следовательно, в двумерном случае после фиксирования первой компоненты вторая становится известна автоматически. Если У не является линейной функцией от X, то главных компонент будет две (для полного описания совместного распределения необходимы две оси). При определении главных компонент не обязательно предполагать существование гипотетических факторов. Новые оси являются математическими (линейными) функциями наблюдаемых переменных.

Даже если с помощью анализа главных компонент достигается сжатие данных (выделение только нескольких первых компонент), задача состоит не в объяснении корреляции между переменными, а в объяснении максимальной доли дисперсии наблюдений. С другой стороны, для рассматриваемого двумерного случая в факторном анализе потребуется лишь один фактор, и главной задачей будет объяснение корреляций между переменными. Итак, первая задача относится к объяснению дисперсий, а вторая -- к объяснению корреляций. При наличии более двух переменных принцип определения главных компонент тот же. Например, для трехмерного нормального распределения поверхность равной вероятности будет ограничивать овальное тело (эллипсоид), где первая главная ось -- его наибольший диаметр, вторая -- пройдет по наибольшему диаметру в плоскости, перпендикулярной первой оси; третья ось будет самой короткой, перпендикулярной двум первым осям.

1.3 Факторный анализ и метод главных компонент

Сходство анализа главных компонент и факторного анализа заключается в том, что в обоих методах происходит сокращение данных. Зная величину собственных чисел, исследователь может принять, например, решение использовать только две первые компоненты. Но снова отметим, что эти компоненты не объясняют корреляции. Существует еще одно сходство двух методов -- они применяются при исследовании взаимной зависимости переменных. Заметим, что в случае некоррелированных переменных главных компонент не существует, так как все они равноправны: каждой соответствует одинаковая доля дисперсии. Если же корреляция между переменными увеличивается, то доля, объясняемая несколькими первыми компонентами, возрастает [Ким Дж.О, 1989].

Одним из отличий между двумя рассматриваемыми методами является следующее. Факторный анализ представляет ковариационную структуру в терминах гипотетической модели, в то время как анализ главных компонент сокращает данные посредством использования нескольких линейных комбинаций наблюдаемых переменных. Выбор метода определяется целью исследования. Объяснение корреляций в терминах небольшого числа факторов возможно лишь при введении гипотетической модели. Если же иметь дело с линейными комбинациями переменных, то обращаться к какой-либо модели нет необходимости, при этом латентная факторная структура остается «вещью в себе».

Таким образом, анализ главных компонент ориентирован на несколько другие задачи по сравнению с факторным. В отличии от метода главных компонент факторный анализ направлен на объяснение корреляции между переменными, а не только компонент дисперсии. Тем не менее стоит повторить, почему мы уделили ему особое внимание. Во-первых, анализ главных компонент часто рассматривается как один из методов факторного анализа. Во-вторых, при описании метода главных факторов используются аналогичные понятия и вычислительные процедуры (нахождение собственных значений и векторов). Более того, знание анализа главных компонент помогает понять методы факторного анализа. В-третьих, и это самое важное, некоторая статистика, встречающаяся в анализе главных компонент, очень часто применяется на практике для определения числа факторов. Так, например, переход к главным компонентам позволяет ввести еще одно важное понятие факторного анализа - общности [Ким Дж.О, 1989].

Подводя итог, можно отметить, что при обращении к методу главных компонент общность каждой наблюдаемой переменной выводится автоматически за счет суммы квадратов нагрузок по всем главным компонентам. Проблема приближения восстановленных коэффициентов корреляции к исходным данным остается не решенной. Как итог факторная структура искажается в сторону преувеличения абсолютных величин факторных нагрузок.

1.4. Факторизация главной оси

Причина, по которой мы рассматриваем метод факторизации главной оси после метода главных компонент, кроется в самой его сути [Ким Дж.О, 1989]. Метод факторизации главной оси использует стратегию метода главных компонент для выделения факторов, однако применяет ее к корреляционной матрице, в которой диагональные элементы являются не 1, а итеративно выводимые оценки общностей. На первом шаге общности вычисляются по методу главных компонент, а на каждом последующем собственные значения и факторные нагрузки вычисляются исходя из предыдущих значений общностей. Окончательное решение получается при выполнении заданного числа итераций или достижении минимальных различий между общностями на данном и предыдущем шагах [Ким Дж.О, 1989]. В процессе этого, метод, который призван объяснить дисперсию, а не попарные корреляции, в конечном счете объясняет корреляции. Метод факторизации главной оси имеет преимущество в том, что может проанализировать не только корреляции, но и ковариации.

Алгоритм исполнения метода факторизации главной оси при анализе корреляционной матрицы выглядит следующим образом.

На итерации i общности из итерации i-1 размещаются на диагонали R. Полученный результат обозначается как R_i. Далее происходи пересчет собственных значений и оценивается новая общность наблюдаемой переменной j.

Факторные нагрузки получают:

Вопрос о продолжительности итерационного процесса остается открытым. Так, например, статистический пакет SPSS предлагает самому исследователю установить количество итерации (по умолчанию заложено 25) или воспользоваться другим критерием: итерационный процесс останавливается тогда, когда максимальное изменение в общностях становятся меньше критерия сходимости (по умолчанию 0,001).



1.5 Метод максимального правдоподобия

Метод максимального правдоподобия преследует ту же цель, что и метод наименьших квадратов -- найти факторное решение, которое наилучшим образом объясняет наблюдаемые корреляции.

Алгоритм можно представить следующим образом. Допустим, что наблюдаемые данные -- это выборка из генеральной совокупности, которая точно соответствует факторной модели. Совместное распределение наблюдаемых предполагается многомерным нормальным. Неизвестными являются значения нагрузок для каждой переменной. Задача сводится к оцениванию значений латентных переменных генеральной совокупности, при которых в заданных предположениях функция правдоподобия для распределения элементов корреляционной матрицы максимальна. Несколько иной критерий заключается в нахождении факторных нагрузок, при которых общие факторы и наблюдаемые переменные находятся в канонической корреляции, т. е. коэффициент корреляции между ними максимален. Третий критерий, основанный на тех же принципах, сводится к определению факторных нагрузок, при которых детерминант матрицы остаточных корреляций максимален. В настоящее время метод, предложенный Йореско [Joreskog, 1967], считается одним из лучших.

В принципе все варианты метода максимального правдоподобия сводятся к решению характеристического уравнения, которое может быть представлено в виде

где R₂ определяется отношением

причем U² -- оценка дисперсии характерных параметров. Заметим, что в уравнении используется редуцированная корреляционная) матрица. В отличие от метода наименьших квадратов, в вычисляемую на каждом шаге оценку общностей с большим весом входят корреляции с переменными, имеющими меньшую характерность. В методе максимального правдоподобия характерность играет роль дисперсии «квази-ошибки»: больший вес имеют переменные с максимальной общностью (т.е. с минимальной характерностью).

Мы упомянули о том, что с помощью оптимальных алгоритмов можно точно оценить переменные генеральной совокупности для модельных данных в отсутствии ошибок. Хорошие программные реализации таких алгоритмов позволяют практически использовать эти потенциальные возможности [Ким Дж.О, 1989].

Формула для вычисления статистики Xи-Квадрат показывает, что ее значение определяется объемом выборки, в то время как число степеней свободы от выборки не зависит:

где tr -- след матрицы; N -- объем выборки; n -- число переменных, R --матрица ковариаций; C = FF' +U²; F -- матрица факторных нагрузок; U² -- характерности. (Это же соотношение используется для проверки адекватности решения методом наименьших квадратов, отличие только в оценках F и U.) Важно отметить, что при фиксированной корреляционной матрице, величина U. пропорциональна объему выборки N. Соответствующее число степеней свободы равно:

где k -- число гипотетических факторов, а n -- число переменных.

Как видно, df_k не зависит от объема выборки N.

Существенное преимущество метода максимального правдоподобия сострит в том, что для большой выборки он позволяет использовать получить критерий значимости. Если критерий Хи-квадрат показывает значимое отклонение наблюдений от k-факторной модели, то в рассмотрение вводится модель с k+1 факторами.

В разведочном анализе вычисления, как правило, начинают с одного фактора, а заканчивают, когда отклонение наблюдений от модели становится статистически незначимо. Хотя эти последовательные проверки гипотез находятся в зависимости друг от друга, на практике это несущественно [Lawley, Maxwell, 1971].

1.6 Невзвешенный метод наименьших квадратов

Обобщенный метод наименьших квадратов.

Метод наименьших квадратов в факторном анализе сводится к минимизации корреляции после выделения определенного числа факторов и к оцениванию степени соответствия вычисленных и наблюдаемых коэффициентов корреляции (берется сумма квадратов отклонений). Если взять количество факторов, равное числу переменных, то вычисленные и наблюдаемые коэффициенты корреляции совпадут. Кроме того, расхождение между ними уменьшается при увеличении числа предполагаемых факторов. Поэтому, используя метод наименьших квадратов, как и любой другой метод выделения факторов, мы будем считать, что число факторов меньше числа переменных.

В общих чертах алгоритм состоит в следующем. На первом шаге предполагается, что число факторов есть некоторое k. (Можно начать с однофакторной гипотезы, а затем, увеличивая число факторов, получить приемлемое решение.) На втором шаге производится оценка общностей: применяется квадрат множественного коэффициента корреляции между данной переменной и остальными. На третьем шаге выделяются k факторов, для которых вычисленные коэффициенты корреляции наилучшим образом приближают наблюдаемые корреляции (в смысле минимума суммы квадратов отклонений). На четвертом шаге снова производится оценка общностей, причем используется матрица, полученная на предыдущем этапе. Процесс повторяется до тех пор, пока не достигается минимально возможная разница между исходными и вычисленными корреляциями при заданном числе факторов. Описанный алгоритм известен под названием: «Метод главных факторов с итерациями по общностям» [Ким Дж.О, 1989]. Реализация метода в статистических пакетах позволяет проверить расхождения между исходными и вычисленными корреляциями. Наличие многочисленных расхождений может служить дополнительным аргументом в пользу увеличения числа факторов.

Метод максимального правдоподобия или минимальных остатков [Harman, 1976, PP 290] также является итерационной процедурой, основанной на том же принципе, что и метод главных факторов, причем с вычислительной точки зрения данный подход более эффективен. Для метода наименьших квадратов при большом объеме выборки применим критерий хи-квадрат, который проверяет гипотезу о степени соответствия вычисленных и наблюдаемых коэффициентов корреляции. Харман утверждает, что этот приближенный критерий независим от метода выделения факторов и может использоваться не только в алгоритме минимальных остатков. Критерий хи-квадрат может быть применен для проверки окончания работы алгоритма.

, где

((p-m)² -p-m)/2

Хотя этот критерий применяется для больших выборок, «ирония» заключается в том, что именно когда объем выборки велик, даже незначительная по величине сумма квадратов отклонений может быть статистически значима, а это значит, что критерий Хи-квадрат будет указывать на значимое различие между вычисленными и наблюдаемыми коэффициентами коррелияции. Поэтому Харман предлагает рассматривать число факторов, получаемых с помощью критерия хи-квадрат, лишь как оценку сверху и выделять существенные, теоретически интерпретируемые факторы после анализа результатов вращения.

Обобщенный метод наименьших квадратов отличается от вышеописанного тем, что для каждой наблюдаемой переменной вводят специальные весовые коэффициенты. Чем больше общность переменной, тем в большей степени она влияет на факторную структуру (имеет больший вес). Это соответствует основному принципу статистического оценивания, по которому менее точные наблюдения учитываются в меньшей степени. В этом и заключается основное преимущество метода перед остальными.

1.7 Альфа факторизация

Для того, чтобы начинать обзор альфа факторизации, напомним, что и в методе наименьших квадратов и в методе максимального правдоподобия существует генеральная совокупность объектов, на которую распространяются результаты статистического анализа выборки. В альфа-факторном анализе используемые переменные считаются выборкой из некоторой совокупности переменных, о которой можно судить на основании наблюдаемой совокупности объектов. То есть данный метод выделения факторов рассматривающий анализируемые переменные как выборку из пространства всех возможных переменных.

Кайзер и Кэффри [Kaiser, Caffrew, 1965] утверждают, что этот метод основан на выделении таких факторов, которые имеют максимальные корреляции с соответствующими факторами генеральной совокупности переменных. С другой стороны, характерные факторы при данном подходе можно рассматривать как ошибки, обусловленные психометрической выборкой переменных. Следовательно, оценки общностей в этом контексте имеют смысл «надежностей». На первом шаге образуется «подправленная» корреляционная матрица вида

где V² и H² -- диагональные матрицы характерностей и общностей соответственно. H^-1 -- диагональная матрица, элементами которой являются обратные величины к квадратным корням из общностей.) Тогда характеристическое уравнение, связанное с этой «подправленной» матрицей, представляется следующим образом:

В методе максимального правдоподобия матрица нормируется с помощью характерностей, а в альфа-факторном анализе -- дисперсий общностей. Другими словами, в первом случае больший вес имеют переменные с большей общностью, а во втором, -- наоборот, с меньшей. Как правило, в обоих случаях решение осложняется тем, что значения общностей пересчитываются в процессе итераций.

В альфа-факторном анализе число выделяемых факторов определяется с помощью критерия Кайзера-Мейера-Олкина, заключающегося в том, что соответствующие собственные величины факторов должны быть больше 1. Этот критерий эквивалентен критерию выделения факторов с помощью коэффициента обобщенности alpha (квадрат коэффициента корреляции данного фактора с соответствующими факторами, взятыми из генеральной совокупности). Выделяются факторы, для которых коэффициент alpha положителен.

1.8. Анализ образов

Еще один метод выделения факторов - факторный анализ образов (image factoring). Аналитическая процедура получила такое название благодаря математическому сходству с теорией Л. Гуттмана (image theory) [Guttman, 1953]. В анализе образов определение общей и характерной части латентной переменной отличается от принятого в классическом факторном анализе [Joreskog, 1969]. Под общей частью переменной подразумевается та ее составляющая, которая выражается через линейную комбинацию других переменных. Эта доля переменной называется «образ-переменной». Вторая составляющая переменной, независимая от остальных, называется «антиобразом». Причем считается, что мы имеем дело с генеральными совокупностями переменных и объектов; все вопросы, связанные с выборкой, не рассматриваются.

В анализе образов предполагается, что потенциальное множество латентных переменных бесконечно. Для сравнения обратимся к двухфакторной модели на рис. 1. Шесть переменных, рассматриваемых там, образуют некоторую совокупность. Но в анализе образов эти переменные считаются выбранными из бесконечного множества переменных, удовлетворяющих двухфакторной модели.

Если бы у нас была возможность наблюдать все переменные этого пространства, средний квадрат образа-переменной был бы равен общности переменной, определяемой в факторном анализе, а средний квадрат антиобраза -- характерности. (Подразумевается, что мы имеем дело с нормированными переменными.) Другими словами, квадрат множественного коэффициента корреляции между одной переменной и остальными переменными совокупности равен общности данной переменной.

Образы и антиобразы, определяемые для некоторого набора наблюдаемых переменных, называются соответственно частными образами и частными антиобразами. Хотя частные образы являются только приближением к полным образам, они (частные образы) полностью задаются наблюдаемыми переменными. В этом смысле анализ образов в корне отличается от классического факторного анализа, в котором общая часть переменной является линейной комбинацией гипотетических факторов и не может быть явной функцией наблюдаемых переменных.

Методика анализа образов предполагает введение матрицы ковариаций частных образов:

где R -- корреляционная матрица, а S² диагональная матрица, элементами которой являются доли дисперсии каждой переменной, не объясняемые другими параметрами (т. е. доли дисперсии антиобразов).

Получение матрицы сводится, во-первых, к замене диагональных элементов матрицы R на квадраты множественных коэффициентов корреляции каждой переменной с совокупностью всех остальных переменных, и, во-вторых, к преобразованию недиагональных элементов для получения матрицы Грама. Характеристическое уравнение для этой матрицы имеет вид

Число выделяемых факторов определяется количеством собственных чисел, больших 1, но не для матрицы R₄ а для матрицы S^-1RS^-1 Обычно число выделяемых таким методом факторов велико -- приблизительно половина числа исходных параметров. Кайзер предлагает после соответствующих вращений отбрасывать незначимые и неинтерпретируемые факторы.

Факторный анализ образов по смыслу схож с методом главных компонент. Отличие заключается лишь в том, что анализ образов применяет алгоритм метода главных компонент к редуцированной корреляционной матрице, которая вместо единиц на диагонали помещает значения общностей..



Глава 2. Сравнительный анализ методов выделения факторов в факторном анализе

Данная глава посвящена обзору исследований, которые ставят своей целью сравнивать те или иные методы выделения факторов в факторном анализе. Для начала обратим внимание на работы посвященные использованию метода главных компонент в качестве метода экстракции факторов. Далее рассмотрим статьи, посвященные зависимости между характеристиками выборки и адекватностью применения определенных методов выделения факторов в факторном анализе. От выборки перейдем к вопросу общностей: проанализируем работы, посвященные сравнительному анализу методов выделения факторов в контексте работы с низкими общностями. В дополнение к этому уделим внимание работам по выбору оптимального количества факторов. В заключении на основе полученной информации будет создан алгоритм выбора оптимального метода выделения факторов в факторном анализе с учетом специфики рассмотренных выше характеристик.

Прежде всего, перечислим критерии выбора теоретических источников, по которым осуществлялся поиск информации для теоретического сравнения рассматриваемых методов выделения факторов:

1. Ссылка на первоисточник. При подборе литературы для проведения сравнительного теоретическо-методологического анализа методов выделения факторов в факторном анализе учитывалось наличие отсылки к статье-первоисточнику, которая послужила началом развития конкретного метода выделения факторов. Так, толчком для развития невзвешенного метода наименьших квадратов стала работа H. Harman «Modern factor analysis»; Guttman и Joreskog разрабатывали основы анализа образов; Lawley и Rao пионеры исследования метода максимального правдоподобия; Browne - обобщенный метод наименьших квадратов, Thomson занимался разработкой метода главных осей; Kaiser and Caffrey развили метод альфа факторинга.

2. Каждая из используемых статей в данном обзоре литературы опирается на собственные эмпирические тесты, в ходе которых по определенным критериям происходит сравнение выбранных методов выделения факторов. Таким образом, каждый из источников литературы обладает экспериментально обоснованными выводами о преимуществах и недостатках сравниваемых методов.

3. «Авторитетность» источника. С помощью базы научного цитирования Scopus был произведен отбор наиболее цитируемых статей по интересующим нас параметрам - методам выделения факторов.

2.1 Преимущества и недостатки метода главных компонент и факторного анализа в целом

Прежде чем непосредственно преступить к сравнению методов выделения факторов в факторном анализе стоит еще раз обратиться к утверждению о том, что адекватный выбор метода выделения факторов обеспечивает более точное отображение факторной структуры. Важно отметить, что когда мы говорим о методе выделения факторов, мы преследуем цель выявления факторной структуры, а не сокращения размерности данных. Так, рассуждая о преимуществах метода главных компонент и факторного анализа в целом, авторы статьи «Evaluating the use of exploratory factor analysis in psychological research» [Fabrigar et al, 1999] резюмируют, что метод главных компонент нужно использовать только в том случае, если ваша цель - сокращение размерности данных. Также отмечено, что использование метода главных компонент происходит по инерции, начиная от тех времен, когда компьютеры были медленными и дорогими в использовании, а метод главных компонент предстал «дешевой» альтернативой «дорогому» факторному анализу [Gorsuch, 1990]. Метод главных компонент не учитывает латентную структуру переменных: компоненты высчитываются с учетом всех имеющихся дисперсий (Ford et al., 1986), то не проводит различий между общими и уникальными дисперсиями. Во время же выполнения процедуры факторного анализа учитывается только общая дисперсия, а значит, обеспечивается выполнение основной цели факторного анализа - выявление латентной структуры [Gorsuch, 1997; McArdle, 1990]. Timothy A. Brown [Timothy A. Brown, 2006] в своей книге также уделяет особое значение методу главных компонент. PCA не расщепляет дисперсию наблюдаемых переменных на общую (фактор) и уникальную (остатки); не берет в расчет ошибку измерения/модели; ищет такие веса собственных значений, при учете которых дисперсии индикаторов максимально уменьшаются. С учетом перечисленных особенностей метода главных компонент автор приводит ряд рекомендаций относительно использования его как метода выделения факторов в факторном анализе. Во-первых, PCA как метод сокращения размерности данных, плохо подходит для случаев, когда после проведения разведывательного факторного анализа планируется использование конфирматорного факторного анализа. Во-вторых, Браун советует использовать метод главных компонент только в том случае, если количество наблюдаемых переменных в анализе небольшое и все переменные хорошо связаны между собой.

Тем не менее научное сообщество до сих пор не пришло к единому мнению в вопросе релевантного использования метода главных компонент и факторного анализа. Некоторые исследователи выступают против замещения «настоящего» факторного анализа методом главных компонент [Bentler & Kano, 1990; Ford, MacCallum & Tait, 1986; Gorsuch, 1990; Loehlin, 1990; Mulaik, 1990], другие отмечают, что результаты многих эмпирических работ доказывают, что разницы между методом главных компонент и факторным анализом нет или даже указывают на преимущество метода главных компонент [Arrindell & van der Ende, 1985, Schoenmann, 1990; Steiger, 1990]. Подводя черту под сказанным выше, можно сделать вывод, что необходимо помнить, что цель факторного анализа не сокращение данных, а выявление латентной структуры.

Теперь перейдем непосредственно к сравнительному анализу методов выделения факторов, опираясь на такие критерии как:

· Необходимый объем выборки

· Возможность выделения слабых общностей

· Необходимое распределение выборки

· Критерии выбора оптимального количества факторов

2.2 Сравнение методов выделения факторов по критерию объема выборки

Интерпретация матрицы факторных нагрузок зависит от размера выборки, утверждают Velicer & Fava в своем исследовании «Effects of variable and subject sampling on factor pattern recovery. Psychological Methods». Основная цель исследования состояла в определении «характеристик выборки которая наиболее вероятно воспроизводят паттерн приближенный к реальному» [Verlicer & Fava, 1998, С. 233]. Для достижения этой цели авторы подготовили обширный литературный обзор и провели два исследования. Во-первых, исследователи манипулировали размером выборки, а во-вторых, были использованы различные методы выделения факторов при проведении факторного анализа, а именно метод главных компонент, анализ образов, метод максимального правдоподобия. Исследование показало, что на результаты факторного анализа влияет размер выборки, причем, если выборка «очень большая или очень маленькая» [Velicer & Fava, 1998, С. 245], то метод главных компонент превосходит (воспроизводит паттерн приближенный к реальному) метод максимального правдоподобия. Timothy A. Brown считает, что обобщенный метод наименьших квадратов по выдаваемым результатам очень схож на метод наименьших квадратов (GLS). Автор книги «Конфирматорный факторный анализ в прикладных исследованиях» показывает, что GLS, как метод выделения факторов хоть и не опирается на предположение о нормальном распределение данных, однако требует очень больших объемов выборки.

Ответить на вопрос что же такое «большая», «средняя» и «маленькая» выборка пытаются многие исследователи. В вопросе размера выборки методологи предлагают ряд грубых принципов для оценки адекватного размера выборки при проведении разведывательного факторного анализа. Большинство из них опирается на количество наблюдаемых переменных, которые будут использованы в ходе анализа - чем больше наблюдаемых переменных, тем больше объем выборки. Более детальные рекомендации сильно отличаются друг от друга: [Gorsuch,1983] предложил соотношение пять респондентов на измерение одной наблюдаемой переменной и размер выборки не меньше ста. В противовес этому, [Nunnally,1978] и [Everitt,1975] утверждают, что оптимальным является соотношение десять к одному. Дальнейшие исследования показали, что при проведении разведывательного факторного анализа решающее значение имеет не размер выборки, а уровень при котором выделенный фактор будет сверхдетерминирован, а также общности измеряемых величин. В ситуации, когда фактор является сверхдетерминированым (три и более переменные, которые составляют один фактор) и общности высоки (в среднем выше 0,7), то точные оценки по параметрам могут быть получены и с выборки размером около ста около ста [MacCallum et al., 1999]. Если разведывательный факторный анализ требует тестирования гипотез (например, гипотеза о степени соответствия модели при использовании метода максимального правдоподобия), то статистическая сила большой выборки будет очевидна.

В своем исследовании взаимосвязи размера выборки и точности выявления факторов [Hogarty, Hines, Kromrey, Ferron, & Mumford,2005] использовали метод Монте-Карло для оценки минимальных требований к размеру выборки, для удовлетворения задач, заложенных в программе своего исследования. Было проведено сравнение матрицы факторного отображения через метод главных осей и матрицы факторной структуры. Исследователи манипулировали общностями, количеством наблюдаемых переменных и размером выборки, предварительно изучив взаимосвязи между независимыми переменными. В результате проведенных тестов было обнаружено, что точность выявления факторов увеличивается с увеличением размера выборки [Hogarty et al., 2005]. Результаты также выделили наличие отрицательной корреляции между размеров выборки и критерием RMSE. Однако ученые пришли к выводу, что невозможно определить минимальный размер выборки или минимальное количество наблюдаемых переменных, участвующих в анализе. Кроме того их результаты показали, что качество факторной модели в большей степени связано с частью дисперсии, которую объясняет фактор - общностью, чем с размером выборки [Hogarty et al., 2005, С. 223].

2.3 Сравнение методов выделения факторов по критерию оперирования с общностью

Если говорить о методах выделения факторов и то, как определенный метод оперирует общностью, то стоит сказать, что такие методы как метод максимального правдоподобия и метод обобщенных наименьших квадратов «присваивают» больший вес переменным с большими общностями. Однако существуют и подходы к оценке общностей. Так, методе максимального правдоподобия матрица нормируется с помощью характерностей, а в альфа-факторном анализе -- дисперсий общностей. Другими словами, в первом случае больший вес имеют переменные с большей общностью, а во втором, -- наоборот, с меньшей. В факторном анализе образов общность каждое переменной оценивается предварительно, как квадрат множественной корреляции этой переменной со всеми остальными. Такая оценка, с точки зрения теоретиков факторного анализа приводит к более точным результатам, чем в анализе главных компонент. Но значения общностей недооцениваются, что также приводит к искажениям факторной структуры

Briggs and MacCallum в своем исследовании сравнили метод максимального правдоподобия и метод обобщенных наименьших квадратов по способности выявления слабых общностей. Для того, чтобы провести это сравнение исследовали смоделировали два вида выборки: первая выборка состояла из двенадцати наблюдаемых переменных, вторая выборка - из шестнадцати. Предполагалось, что в первой выборке выделиться три фактора, а во второй четыре. Общности с нагрузками менее 0,45 принимались как слабые. Модель с тремя факторами содержала один слабый индикатор, а четырехфакторная модель содержала в себе два слабых индикатора [Briggs & MacCallum, 2003]. Исследователи выстроили многоуровневый процесс измерения, который показал, что метод наименьших квадратов выделяет слабые факторы лучше, чем метод максимального правдоподобия. Преимущество метода наименьших квадратов стало особенно заметно в четырёхфакторной модели - метод максимального правдоподобия совсем не обнаружил четвертый слабый фактор [Briggs & MacCallum, 2003].

2.4 Сравнение методов выделения факторов по критерию распределения первоначальных данных и типов шкал

Что касается распределения первоначальных данных, то в статье Fabrigar, Wegener, MacCallum and Strahan (1999) утверждается, что если данные распределены нормально, то метод максимального правдоподобия представляется лучшим из всех методов выделения факторов. Стоит также отметить, что ни один из рассматриваемых методов выделения факторов, кроме метода максимального правдоподобия не опирается на предположение о нормальности распределения данных. Несомненным плюсом является то, что метод максимального правдоподобия сопровождается широким спектром показателей надежности модели (например, Хи-квадрат). Авторы статьи рекомендуют использовать метод главных осей при условии того, что предположение о нормальном распределении данных сильно нарушены.

В своей книге «Конфирматорный факторный анализ в прикладных исследованиях» Timothy A. Brown предлагает использовать метод максимального правдоподобия и метод главных осей при проведении разведывательного факторного анализа на количественных шкалах. Главным преимуществом метода максимального правдоподобия автор называет наличие встроенных в метод индексов, которые позволяют достаточно точно определить подходящие количество выделяемых факторов. Однако Браун отмечает что если исходные данные далеки от предположения о нормальном распределении, то такие преимущества метода максимального правдоподобия как показатели качества модели и возможность провести тесты на значимость многих параметров модели не вызывают доверия. В то же время метод главных осей не опирается на предположение о нормальном распределении данных, но в тоже время и не содержит в себе набор показателей качества модели. Какие же рекомендации следуют при условии того, что наблюдаемые переменные, участвующие в проведении факторного анализа, измерены в порядковых шкалах? Браун предлагает использовать метод невзвешенных наименьших квадратов (ULS), однако отмечает, что результаты применения данного метода на порядковых шкалах будут сильно зависеть от размера выборки: чем больше размер выборки, тем результаты будут точнее.

...