Метод иерархического Байеса

Размещено на http://www.allbest.ru/

Введение

Первая научная статья, посвященная conjoint измерению, была опубликована в журнале в 1964 году в журнале «Математическая психология». Английский культуролог Ричард Льюис и американский психолог Джон Тьюки, специализирующиеся в механике выбора, разработали свой собственный новый метод измерения предпочтений социальных объектов. Они продемонстрировали подопытным ряд объектов, наделенных несколькими характеристиками. После этого авторы провели опрос среди данной выборки с целью ранжирования объектов по их предпочтениям. Данный алгоритм предполагал, что респонденты будут рассматривать несколько объектов и характеристик одновременно. Такое необычное решение позволило ученым сделать нетривиальные открытия. Значимость своего открытия авторы решили отразить в назывании метода; авторы назвали данный алгоритм conjoint измерением. По версии старшего преподавателя факультета социальных наук НИУ ВШЭ Асхата Кутлалиева, слово «conjoint» произошло от соединения двух слов: «consider» и «jointly» или рассматривать совместно Кутлалиев А. Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр. 3. . В следствие в русскоязычной литературе метод часто фигурирует как «совместный анализ».

С тех пор учеными было разработаны множество вариаций изначального conjoint измерения. Вместе с появлением новых разновидностей совместного анализа также расширялся математический аппарат, используемый исследователями маркетологами для анализа данных. В то же время основной сферой применения conjoint'ов стала область маркетинговых исследований. конджойнт статистический математический

Настоящая работа является попыткой последовательно рассмотреть общие черты методов, относящихся к классу conjoint анализов и особенности нескольких разновидностей метода conjoint анализа в сочетании с разными математическими моделями применительно к задачам маркетингового исследования, однако акцент будет сделан на разновидности conjoint анализа, основанного на дискретных полезностях в сочетании с математическим методом иерархического байесова моделирования.

Методы сбора и обработки информации, относящиеся к классу Conjoint анализа, решают целый набор насущных маркетинговых задач. Здесь перечислены некоторые из них. Во-первых, информация, полученная методом совместного анализа, позволяет ответить на вопрос, какими характеристиками должен обладать товар перед выходом на рынок. Во-вторых, способствует правильному позиционированию товара по цене. В-третьих, позволяет сегментировать рынок по предпочтениям. И наконец, исследователи получают возможность симулировать рыночную ситуацию выбора для каждого конкретного покупателя индивидуально.

Рассмотрим простой пример conjoint анализа. Допустим, исследователь изучает потребительские предпочтения игроков в гольф. Игра в гольф может быть редуцирована до отдельных ее характеристик. Например, до размера поля и производителя клюшки. Представим, что в городе N работает 4 гольф-клуба и все поля в разных гольф-клубах обладают разными размерами, а клюшки в гольф-клубах выпущены разными брендами. Допустим, мы встречаемся с первым игроком в гольф, показываем ему 4 гольф-клуба, а дальше предлагаем ему ранжировать их по степени предпочтительности. То же самое мы делаем со вторым, третьим и n игроком в гольф. Когда каждый игрок расположит гольф клубы по степени предпочтительности, мы сможем проследить зависимость предпочтений игроков от размера поля клуба и бренда-производителя клюшки. После предположим, что первый и второй игрок ранжировали гольф-клубы в одинаковом порядке, а третий и четвертый поставили на первое место другие гольф-клубы, тогда мы можем сделать вывод о том, что предпочтения первого и второго игрока сходятся и объединить их в один сегмент по предпочтениям. Завершая пример, допустим, что после того, как исследование было проведено, в город N приехал новый именитый игрок в гольф. Мы знаем, что новый житель того же пола, роста, веса и дохода, что и игрок номер 1. На основании этих знаний мы можем предсказать, что новый игрок в гольф поставит гольф-клубам такие же ранги, что и игрок номер 1.

Подводя итог, пример анализа предпочтений игроков в гольф иллюстрирует основные задачи, решаемые совместным анализом. В нем упоминается поиск зависимости предпочтений игроков от размера поля и бренда клюшки, сегментация по предпочтениям и индивидуальное прогнозирование выбора. Тем не менее, пример не рассматривает математические методы, которые стоят за решением этих задач.

Задача поиска зависимости предпочтений от характеристик товара чаще всего выполняется с использованием методов регрессионного анализа. Выбор исследователей в пользу методов регрессионного анализа обусловлен несколькими причинами. Во-первых, регрессионный анализ относительно прост и эффективен в проведении и интерпретации в условиях ограниченного времени. Во-вторых, регрессионный анализ есть почти в любом статистическом пакете, находящемся под рукой у практикующих маркетологов. Тем не менее, несмотря на очевидные преимущества регрессионный анализ обладает рядом серьезных недостатков для проведения conjoint анализа считает Джон Оуэл - специалист отдела аналитики Sawtooth. Регрессия часто приводит исследователя к ошибкам. Во-первых, регрессия навязывает исследователю несколько ограничений. По мнению Джона Оуэла, несмотря на старания исследователи обычно приходят к тому, что многие из ограничений не выполняются. Данная ошибка касательно невыполнения условий является серьезной проблемой Howell Jh. HB-reg Technical Paper P 5 [http://www.sawtoothsoftware.com/support/technical-papers/sawtooth-

software-products/hb-reg- technical-paper- 2013].

Более того, регрессия создает проблему с подсчетом индивидуальной полезности. Каждый респондент предоставляет недостаточное количество информации в процессе опроса. Типичные исследования с использованием совместного анализа подразумевают, что количество значений вектора предпочтений респондента в среднем варьируется от 8 до 40. Такое малое число усложняет попытку оценки предпочтений среди тысячи разных комбинаций продуктов. Тем не менее, существует математический метод, который обходит ограничения регрессии и позволяет посчитать оценки индивидуальных полезностей. Этод метод в литературе называется методом иерархического байесова моделирования Howell J. (2014) CBC/HB for beginners. Sawtooth, Research paper series, Vol. 17, pp. 1-3..

Байесовский подход применялся в статистике еще в 18 веке, однако развитие методов иерархического байесова моделирования в решении маркетинговых задач пришлось на начало 90-х годов. Причина столь позднего рождения интереса к иерархическому Байесу кроется в том, что расчеты байесовской статистики в ручном виде очень громоздки. Рассчитать байесовские оценки для предпочтений вручную было практически невозможно. Для ускорения расчетов необходимо было применить компьютерные технологии, поэтому развитие байесовских методов неотделимо от появления и совершенствования компьютерных технологий. С тех пор в журналах в сфере маркетинга было опубликовано более 50 англоязычных исследований, сочетающих совместный анализ с байесовым моделированием. Популярность данного моделирования объясняется несколькими преимуществами данного вида на фоне других традиционных методов. Подход Байеса предлагает более качественное решение для насущных исследовательских задач Rossi P. (2003) Perspectives Based on 10 Years. HB in Marketing. Sawtooth, Research paper series, Vol.13,pp.1-6..

Несмотря на очевидные преимущества, байесовский анализ обладает рядом недостатков, вокруг которых формулируется проблема данной работы. Во-первых, иерархическое байесовское моделирование - это в высшей степени сложный и многоэтапный инструмент, требующий машинного обучения. Сложность инструмента ставит зачастую непреодолимый барьер в освоении метода стажерами и студентами исследователями. Навыки машинного обучения, тем более, недоступны большому числу исследователей практиков. Это одна из причин, почему Байесовский анализ очень медленно развивается вне академических зарубежных стен.

Внутри российских университетов развитие Байесовского анализа претерпевает еще большие затруднения. В первую очередь, это обусловлено отсутствием русскоязычной учебной литературы по иерархическому байесовому моделированию. Во-вторую очередь нехваткой практикующих байесовский метод преподавателей. Старший преподаватель кафедры математической экономики и эконометрики НИУ ВШЭ Борис Демешев считает, что байесовский анализ необходимо включать в курс для бакалавров факультета эконометрики, однако возникают трудности в адаптации темы для студентов ввиду ее сложности.

Однако байесовский анализ можно провести, не обладая глубокими теоретическими знаниями по байесовской статистике. Для всех стран, включая Россию, практики маркетинговых исследований имеют возможность провести байесовский анализ с помощью программного обеспечения Sawtooth. Данное программное обеспечение обладает «дружелюбным» интерфейсом и подробными инструкциями для начинающих маркетологов. Оно признано и используется в крупных российских исследовательских центрах: «Ромир», «Gfk», «Левада» и др. Тем не менее, воспользоваться пакетом Sawtooth не может себе позволить стажер исследователь, студент или университет ввиду его дороговизны. Стоимость пакета для проведения иерархического Байеса составляет приблизительно 1,5 тысяч долларов.

Помимо сервиса Sawtooth на рынке статистического программного обеспечения существует статистический пакет R с интерфейсом R Studio. В R изначально встроено несколько базовых функций. Возможности базового пакета очень скромны, однако R позволяет сторонним разработчикам создавать собственные пакеты функций. Например, для R доступен пакет «bayesm», включающий в себя несколько функций, которые позволяют проводить анализ иерархическим байесовским методом. R и «bayesm» свободно распространяются и могут быть скачаны и установлены любым исследователем маркетологом или студентом.

Завершая введение, совместный анализ является незаменимым инструментом для практиков маркетинговых исследований, поскольку позволяет решать целый класс важных бизнес-задач. В основе решения задач стоят методы регрессионного анализа. Несмотря на то, что регрессионный анализ обладает рядом внушительных достоинств, его качество во многих случаях оставляет желать лучшего ввиду его ограниченности. Преодолеть ограничения регрессионного анализа позволяет метод иерархического байесова моделирования. Однако метод байесовского моделирования чрезвычайно сложен для практиков маркетинговых исследований. Для удобства состоятельных практикующих исследователей, которые могут позволить себе покупку стоимостью более 1500, разработано дорогостоящее программное обеспечение с «дружелюбным» интерфейсом. Остальные практики маркетинговых исследований, стажеры и студенты социологических вузов лишены возможности быстро и качественно провести байесовский анализ. Исходя из потребностей на рынке маркетинговых исследований, данная работа ставит своей целью разработать удобное и доступное всем практикующим исследователям решение для проведения байесовского анализа на базе R и «bayesm».



1. Теоретические основы conjoint анализа

1.1 Определение conjoint анализа

Conjoint анализ - это распространенная техника среди исследователей маркетологов, используемая для выявления, какими характеристиками должен обладать продукт и по какой цене он должен продаваться. Своей популярности совместный анализ обязан низкой стоимостью проведения и способностью гибко подстраиваться под решение разных исследовательских задач Curry J. Understanding conjoint in 15 minutes Quirk Marketing research review P 1 [http://www.sawtoothsoftware.com/support/technical-papers/general-conjoint-analysis/understanding-conjoint-analysis-in-15-minutes-1996].

Сфера применения conjoint анализа преимущественно лежит в области маркетинговых исследований. Именно в этой области метод позволяет решать целый класс насущных проблем. Во-первых, информация, полученная посредством conjoint анализа, может использоваться для правильного позиционирования продукта на рынке. Во-вторых, conjoint помогает выявить степень значимости характеристик продукта для потенциального потребителя. Для заказчика исследования решение данной задачи бывает крайне актуально в условиях производства нового товара при ограниченных ресурсах. Понимая значимость характеристик для будущего покупателя, заказчик может оптимально распределить средства на производство, поставив приоритет на значимые характеристики. В-третьих, conjoint может спрогнозировать реакцию рынка на изменение отдельных элементов уже существующего продукта Кутлалиев А. Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр. 8.

Несмотря на то, что conjoint успешно применяется к анализу рынков, метод может быть полезен и в других сферах. Например, с помощью conjoint анализа могут быть исследованы предпочтения электората на выборах по отношению к кандидатам. Также мы можем исследовать мнение студентов относительно преподавателей, используя тот же conjoint анализ.

Совместный анализ имеет выгодные преимущества перед другими методами, изучающими предпочтения. Главное достоинство conjoint анализа в том, что он предполагает симуляцию ситуации реального выбора между несколькими альтернативами с разными характеристиками. В conjoint анализе респонденту предъявляются несколько альтернатив целостные описания товаров, называемые профилями. Принцип составления профилей позволяет обработать полученные выборы, например, с помощью регрессионного анализа и восстановить важности отдельных характеристик, которые входят в состав описания товара.

1.2 Основные понятия conjoint анализа

· Атрибут товара - отдельная характеристика товара, для которой исследуется важность для респондентов. Если conjoint анализ проводится на рынке телевизоров, то в качестве атрибутов мы можем использовать, например, стоимость телевизора, диагональ его дисплея, бренд, наличие гарантии и т.п.

· Уровень атрибута - это значение, которое может принимать атрибут. Число уровней всегда больше двух. Если рассматривается диагональ дисплея, то данный атрибут может иметь уровни, например, 32, 40, 60, 100 дюймов. Если в качестве атрибута выступает гарантия, то для нее уровни могут быть следующие: «есть» и «нет». При подборе атрибутов и уровней желательно учитывать, что последующий анализ, вероятнее всего, будет проводиться методом регрессионного анализа, которая «заточена» под количественные данные. Следовательно, переменные для conjoint анализ, желательно, должны быть метрическими. Мы также можем использовать номинальные переменные, включая их в анализ в виде фиктивных переменных. Тем не менее, использование порядковой шкалы может сказаться на качестве conjoint анализа.

· Частичная полезность - полезность определенного уровня, выраженная в виде числа. Данное число обычно является результатом регрессионного анализа и отражает степень предпочтения уровня респондентом.

· Важность атрибута - это значимость отдельной характеристики товара, выраженная в виде доли от важности всех атрибутов вместе. Преимущество важности атрибута заключается в том, что мы можем сравнивать характеристики товаров по важности. Например, для ноутбуков время работы на одном заряде может быть важнее, чем размер экрана, это значит, что потребители откажутся от дополнительного дюйма экрана в пользу большой батарейки. Сумма важностей всех атрибутов составляет 100%, а важность каждого отдельного атрибута вычисляется по следующей формуле:

· Общая полезность - это полезность целого продукта, так же выраженная в виде числа. Для подсчета общей полезности необходимо воспользоваться моделью главных эффектов, которая суммирует полезности каждого уровня, перевзвешенные по важности атрибутов. Ее уравнение выглядит следующим образом:

(где U(x) - частичная полезность, w - важность атрибута,, i - уровень, j - атрибут)

· Профиль продукта - описание целого товара, состоящее из набора уровней по каждому атрибуту. Примером профиля продукта может служить телевизор марки LG с диагональю 100 дюймов, стоимостью 60 тысяч рублей и гарантией на один год.

· Карточки (задания) - сочетание нескольких альтернативных профилей, по отношению к которым респондент должен сообщить исследователю свои предпочтения.

· Контрольные профили продуктов - профили продуктов, которые включаются в карточки, но не включаются в процедуру анализа данных. Контрольные профили создаются для того, чтобы проверить предсказательную силу модели, с помощью которой мы описывали предпочтения респондентов. Для проверки адекватности модели необходимо подставить независимые переменные в уравнение регрессии. После подстановки мы рассмотрим предсказанные значения зависимой переменной и наблюдаемые и посчитаем для них коэффициент корреляции, который сообщит нам о том, в каком проценте случаев наша модель предсказывает значение зависимой переменной верно Кутлалиев А., Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр. 9-10.

1.3 Разновидности conjoint анализа

В исследовательской практике встречается несколько видов conjoint анализа. Все они различаются процедурой составления профилей, формой предъявления профилей респонденту и моделями для анализа предпочтений. Наиболее распространенными считаются следующие три вида conjoint анализа: традиционный совместный анализ, адаптивный conjoint, и совместный анализ, основанный на дискретном выборе (CBC) Кутлалиев А., Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр. 15.

Традиционный совместный анализ использует полные профили с малым количеством характеристик. Количество характеристик варьируется от 5 до 7 для удобства респондента. Формирование профилей происходит по принципу полного или дробного факторного эксперимента. На этапе сбора информации от респондента требуется ранжировать профили, или оценить их по шкале. Для расчета частичных полезностей в традиционном совместном анализе применяется линейная регрессия, в основе которой лежит принцип наименьших квадратов, монотонная регрессия или иерархическое байесово моделирование^{,10, 11} Кутлалиев А., Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр.16.

Адаптивный совместный анализ необходим исследователю для изучения большого числа характеристик. Число характеристик может достигать 30 атрибутов по 15 уровней каждый. Работа с таким числом характеристик методом традиционного совместного нализа вызывает у респондентов напряжение. В рамках идеи провести анализ с большим числом характеристик и не нагрузить респондента для адаптивного анализа был разработан особый метод сбора данных. Опрос проходит с помощью компьютера и состоит из нескольких этапов. В компьютер встроен алгоритм, который позволяет создавать уникальные сочетания профилей для каждого респондента на каждом новом этапе, основываясь на его ответах на предыдущем этапе. Процедуру сбора данных для адаптивного совместного анализа можно условно разделить на два этапа. На первом этапе сбора данных от респондента требуют оценить важность отдельных атрибутов и уровней по шкале. Первый этап полностью исключает идею симуляции реального выбора. На втором этапе респонденту последовательно демонстрируются несколько парных сравнений. Для расчета частичных полезностей в адаптивном conjoint'е применяется линейная регрессия или модель иерархического байеса10.

Совместный анализ, основанный на дискретном выборе (CBC, choice based conjoint) обладает следующими особенностями:

Во-первых, CBC наилучшим образом симулирует ситуацию реального выбора. Респонденту предъявляется «карточка» с набором профилей. Число профилей может варьироваться от 2 до 5 на одной «карточке». Респонденту необходимо выбрать из всех альтернатив только одну. В следствие этого название метода получило приставку «choice-based»11. Такой способ сбора данных наилучшим образом симулирует процесс выбора, поскольку «в реальной жизни человек не обладает всей полнотой информации, он совершает выбор между 3-4 вариантами, которые оказались в наличие в магазине, или о которых он мог слышать от друзей или знакомых»

Во-вторых, CBC снижает нагрузку, которая ложится на респондента. Снижение нагрузки становится возможным, благодаря особому дизайну эксперимента, где каждый респондент видит уникальный и тщательно-проработанный набор вопросов. Такие дизайны называются «рандомными», что не значит, что они составлены стихийно. Эти дизайны практически, но все-таки не совсем ортогональны. В ассиметричных планах исследования, где атрибуты имеют разное число уровней такие дизайны крайне эффективны. Они также имеют большое преимущество перед ортогональными дизайнами в том, что все действия респондента могут быть измерены, даже те, которые не считаются значимыми на этапе подготовки исследования. Кроме того, такие дизайны снижают психологическое напряжение респондентов, поскольку нагрузка разделена между респондентами The CBC System for Choice-Based Conjoint Analysis Copyright Sawtooth Software, Inc. Orem, Utah USA (801) 477-4700 February, 2013 [http://www.sawtoothsoftware.com/support/technical-papers/cbc-related-papers/cbc-technical-paper-2013] p. 7.

В-третьих, дизайн эксперимента и метод сбора данных conjoint CBC обеспечивают исследователю большую свободу в выборе моделей для анализа данных. В случае с conjoint regular, на шаге построения регрессионного уравнения, мы сталкиваемся с тем, что наша зависимая переменная, это случайная величина, которая принимает значения от 1 до n, где n количество профилей. Как правило, число n > 10, поэтому шкалу можно отнести к порядковой или интервальной. Это накладывает ограничения на модель с помощью, которой мы можем описывать данные; выбирая из регрессионных моделей, мы можем использовать только модель множественной линейной регрессии. Тем не менее, в CBC мы имеем дело с дискретным выбором, который принимает значения «1» и «0», поэтому для данных CBC мы можем исследовать зависимость предпочтений от характеристик с помощью модели логистической регрессии Кутлалиев А., Захарова T. Метод совместного анализа как инструмент изучения предпочтений потребителей Теория и история методов стр. 13. Модель логистической регрессии в подавляющем большинстве случаев обладает неоспоримыми преимуществами перед линейной регрессией, которые буду описаны более подробно в главе работы, посвященной основным математическим методам расчета полезностей.



2. Обзор основных математических методов, используемых в совместном анализе

2.1 Множественная линейная регрессия

Модель множественной линейной регрессии имеет вид:

где n - число наблюдений, X2,...,Xk - независимые переменные, Y - зависимая переменная, е - случайная составляющая, в0, в1..., вk, - коэффициенты регрессии. Для нахождения оценок параметров в используется метод наименьших квадратов (МНК), сводящийся к минимизации суммы квадратов отклонений.

Качество модели

Проверка гипотезы об адекватности регрессии

Мы выдвигаем основную и альтернативную гипотезы:

Если основная гипотеза отвергается в пользу альтернативной гипотезы (при выбранном уровне значимости б), то регрессия будет считаться адекватной. Проверка гипотезы об адекватности регрессии проводится с помощью F-статистики Фишера с числом степеней свободы (k, n - k) Значение эмпирической тестовой статистики рассчитывается по формуле:



(где - объясненная регрессией сумма квадратов отклонений от среднего Y, а - сумма квадратов остатков регрессии)

Эмпирическое значение F-статистики сравнивается с критическим (на выбранном уровне значимости б ). Если эмпирическое значение F- статистики превышает критическое, то основная гипотеза H0 отвергается.

Гипотезу об адекватности регрессии можно проверить с помощью статистических пакетов Excel, Eviews, STATA, SPSS и др. Программы выдают нам эмпирические значения F-статистики и соответствующее p - value. Если p - value меньше выбранного уровня значимости, то мы признаем регрессию адекватной и приступаем к интерпретации оценки Бета и R-квадрат.

Оценка подгонки линейной модели к данным

Показателем качества подгонки регрессии является коэффициент множественной детерминации R2, рассчитываемый по формуле , где - сумма квадратов отклонений от среднего. R2 характеризует долю выборочной дисперсии Y, оцененной с помощью регрессии и изменяется в пределах [0; 1]. Очевидно, что чем больше R2 приближается к 1, тем лучше регрессии описывает данные.

Коэффициент R2 незаменимый инструмент, но у него есть существенный недостаток: R2 никогда не убывает при том условии, что мы добавляем в уравнение регрессии независимую переменную Включая независимую переменную в уравнение регрессии, мы рискуем столкнуться с увеличением дисперсии оценок Бета. Как следствие, некоторые коэффициенты Бета могут стать незначимыми.

Если мы хотим преодолеть данное несовершенство R2, нам следует ввести немного другой показатель качества регрессии - скорректированный коэффициент множественной детерминации. Корректировка осуществляется с оглядкой на число степеней свободы



Проверка гипотезы о значимости коэффициента Бета

Сперва мы выдвигаем гипотезы о значении коэффициента вj

H0: вj = вj0

H1: вj ? вj0

Если H0 принимается, то мы признаем коэффициент вj незначимым. Если мы отвергаем H0 и принимаем H1, то коэффициент вj признается значимым. Наша основная гипотеза H0 проверяется с помощью тестовой статистики:

Если tэмпирическое > tкритическое, то мы отвергаем основную гипотезу о равенстве и принимаем альтернативную гипотезу. Следовательно, коэффициент признается значимым.

Интерпретация коэффициентов в в статистических пакетах

При оценке регрессии статистическими пакетами Excel, STATA, SPSS, R и др. автоматически проводится проверка гипотез о значимости коэффициентов. Для эмпирической t - статистики вычисляется p - value - минимальный уровень значимости, при котором основная гипотеза отвергается. Если p - value превышает выбранный уровень значимости, то основная гипотеза (о равенстве коэффициента 0) не отвергается, и мы признаем оценку в незначимой. Если коэффициент в является незначимым, то между предиктором и зависимой переменной не существует статистически значимой линейной зависимости. Если коэффициент в все же является значимым, то мы можем интерпретировать его следующим способом: при увеличении Xj на одну единицу Y изменяется на вj единиц Мхитарян В.С., Архипова М.Ю. Эконометрика / Московский международный институт эконометрики, информатики, финансов и права. - М., 2004. Стр 5-20.

2.2 Регрессия с фиктивными переменными

На этапе подготовки эксперимента, исследователь может столкнуться с тем, что среди наших атрибутов окажутся номинальные переменные, такие как «бренд», «цвет» или «вкус». Пусть мы ограничены в доступе к статистическим пакетам, и поэтому мы собираемся проследить связь между предпочтением м брендом с помощью модели линейной регрессии. Напрямую переменную бренд включить в модель нельзя из-за количественной специфики модели линейной регрессии. Тем не менее, у данной проблемы есть решение Sawtooth org. Traditional conjoint analysis in Excel [http://www.sawtoothsoftware.com/support/technical-papers/general-conjoint-analysis/analysis-of-traditional-conjoint-using-excel-an-introductory-example-2009] p. 1. Далее рассматривается пример, в котором мы поэтапно включаем номинальные переменные в уравнение.

Допустим, мы строим модель зависимости выбора от характеристик товара, тогда логично предположить, что зависимость может быть разной силы для услуг оператора 1 и услуг оператора 2, 3 и 4. Для проверки этой гипотезы мы можем построить несколько отдельных регрессионных уравнения по каждому бренду и сравнить полученные результаты. Однако есть более эффективное решение - метод включения фиктивных переменных Наряду с термином «фиктивные переменные» в англоязычной литературе используется термин “dummy variables”. в модель регрессии Крыштановский А. Анализ социологических данных с помощью пакета SPSS Издательский дом ГУ-ВШЭ стр. 166.

На первом шаге посчитаем средние значения выборов для каждого бренда и добавим их в таблицу 1.



Таблица 1. Расчет средних значений по принадлежности к оператору

Оператор мобильной связи	Среднее	Стандартное отклонение
Оператор 1	0,24	0,43
Оператор 2	0,19	0,39
Оператор 3	0,18	0,38
Оператор 4	0,16	0,37
Итого	0,20	0,40

Данные таблицы 1 демонстрируют, что Оператор 1 получил в среднем больше выборов, чем оператор 2, 3, 4. Опираясь, на эти показатели, мы можем предположить, что существует статистически значимая разница средних оценок выборов по операторам. Операторы располагаются в следующем порядке по степени предпочтительности 1 < 2 < 3 < 4. Представим случай, в котором мы не видели стандартные ошибки в таблице z, тогда наша гипотеза о различии средних была бы вполне обоснованной. Тем не менее, по стандартным ошибкам, уже в принципе можно предположить, что разница не будет статистически значимой. Представим случай, в котором мы не видели стандартные ошибки в таблице z, тогда наша гипотеза о различии средних была бы вполне обоснованной. Тем не менее, по стандартным ошибкам, уже в принципе можно предположить, что разница не будет статистически значимой.

Разделим переменную «Оператор» на фиктивные переменные следующим образом:

1. Оператор 1 -> (1 - Оператор 1; 0 - Другой оператор)

2. Оператор 2-> (1 - Оператор 2; 0 -Другой оператор)

3. …

Одну номинальную переменную «Оператор» мы преобразовали в четыре дихотомические, которые в совокупности содержат всю ту же информацию без потерь, что была в исходной переменной. Более того, чтобы от четырех переменных вернуться к одной нам достаточно теперь любых трех переменных. Если для одной строки наблюдений переменные Оператор1, 2, 3 все равны 0, то Оператор 4 принимает значение 1, и наоборот. Общий вывод заключается в том, что всю информацию, которая содержится в переменной с N уровнями, можно сохранить в N-1 переменных.

Интерпретация коэффициентов регрессии с фиктивными переменными

Содержательное значение коэффициентов регрессии соответствующих фиктивным переменным принципиально отличается от коэффициентов регрессии при обычных количественных переменных, которые означают на сколько единиц изменится значение зависимой переменной при изменении предиктора на одну единицу.

В модели регрессии с фиктивными переменными коэффициент b0 представляет из себя среднее значение y для оператора, для которого мы не создали фиктивной переменной. Коэффициенты b1, b2, b3 показывают на сколько среднее значение зависимой переменной для оператора, для которого мы не создали фиктивной переменной. Оператор, для которого мы не создали фиктивной переменной состоит из нескольких наблюдений, в которых показывался этот оператор, а эта группа называется «контрольной группой».

Проводя интерпретацию регрессионных оценок для фиктивных переменных необходимо уделять должное внимание показателям значимости разницы средних. Если показатель значимости более a > 0,05, то мы можем опровергнуть гипотезу, что средние оценки различаются на 95% уровне значимости. Мы должны сделать вывод, что разница средних оценок статистически незначима, и можем считать их равными Крыштановский А. Анализ социологических данных с помощью пакета SPSS Издательский дом ГУ-ВШЭ стр. 177.

Преимущества и недостатки метода линейной регрессии

+Просто, быстро, всегда под рукой

-Ограничения, плохая подгонка, плохая оценка индивидуальных полезностей



2.3 Логистическая регрессия

Очевидно, что многие задачи в различных предметных областях, например, экономике, промышленности, медицине, хорошо описываются линейной моделью. Причина этого кроется в том, что довольно большой класс задач линеен по своей природе. Тем не менее, несмотря на всю свою гибкость, линейная регрессионная модель далеко не всегда может обеспечить исследователю хорошую предсказательную силу. Когда мы имеем дело с линейным уравнением при построении модели, мы не задумываемся наложить какие-либо ограничения на значения зависимой переменной, хотя данные ограничения могут значимо сказаться на результате.

Иногда результаты линейной регрессионной модели могут быть несовместимы с реальностью. Если мы хотим решить данную проблему, нам необходимо выбрать иной вид уравнения регрессии, чтобы подстроить его для решения задач, в которых переменные могут быть не только непрерывны, но и конечны, дискретны, а сами связи между переменными описываться нелинейными функциями.

Для таких задач подходит Логит модель. С ее помощью мы можем предсказать значения непрерывной зависимой переменной, при условии, что значения зависимой переменной будут лежать на интервале от 0 до 1. В силу своей специфики, логистическую модель часто используют для предсказания вероятности наступления события при условии нескольких предикторов. «Можно использовать логистическую регрессию и для решения задач с бинарным откликом. Такие задачи появляются, когда зависимая переменная может принимать только два значения. Этот частный случай мы называем бинарной логистической регрессией». Кутлалиев А. Логистическая регрессия Семинары Gfk-Русь [https://drive.google.com/folderview?id=0Bz__UAMPHUi2M0c3c0VUWVRFUWs&usp=sharing_eid&ts=56b21dfd]

Бинарная логистическая регрессия недоступна нам в традиционном conjoint'е, как мы уже говорили. Однако это не значит, что мы не можем применить эту модель в другом виде conjoint анализа. CBC дизайн, например, как раз предполагает, что зависимая переменная принимает только два значения: «выбор» или «не выбор». Воспользовавшись логитом, мы можем предсказать, с какой вероятностью респондент выберет или не выберет тот или иной профиль. Возможно, логит-модель будет лучше подстраиваться под наши данные, чем линейная регрессия и мы получим модель более высокого качества с большей предсказательной силой.

Логит и отношение шансов

Логистическая регрессия подразумевает, что мы не просто вводим дихотомическую переменную в качестве зависимой переменной, но мы прибегаем к некоторой «хитрости», к функции, которую принято называть «логит». Логит - это некоторая переменная z, которая эквивалентна натуральному логарифму отношению шансов. Данное равенство мы можем записать в виде уравнения.

Если мы преобразуем данные уравнения, то мы получим, что отношение шансов равное экспоненте в степени z:

(&)

Исходя из формулы логита, мы можем сделать выводы об интерпретации коэффициентов b логистической регрессии. При изменении xi на 1 единицу, отношение шансов изменяется в ebi раз

Качество модели логистической регрессии

Анализ данных методом логистической регрессии можно проводить в разных статистических пакетах. В нашей работе мы будем использовать SPSS. В результате анализа SPSS считает два показателя качества: статистика Вальда и Classification Table, или таблица правильного предсказания.

Статистка Вальда сообщает нам степень адекватности модели. Если p(value) > значимости статистики Вальда, то мы отвергаем гипотезу о том, что модель неадекватно описывает данные, и принимаем альтернативную гипотезу об адекватности модели. Второй тест модели проводится с помощью таблицы классификаций. Таблица позволяет получить информацию о том количестве человек, что указали «1» и «0». Мы также видим, для какого количества и процента респондентов из выборки модель правильно предсказывает выбор «1» или «0». Это число указывается в процентах от общего числа анализируемых респондентов и рассматривается нами как характеристика качества построенной модели. Помимо общего предсказания, Classification Table демонстрирует и качество предсказания отдельных значений зависимой переменной Крыштановский А. Анализ социологических данных с помощью пакета SPSS Издательский дом ГУ-ВШЭ стр. 182-188.

2.4 Иерархическое Байесово моделирование

Иерархическое Байесовское моделирование - это не принципиально новый статистический метод исследования связи между переменными. Напротив, это может быть уже знакомый нам метод, например, линейная регрессия, приведенный в иерархический вид и оцененный методом байесовской статистики. Байесовский анализ базируется на предположении, что вероятность определяется как уровень веры, а не частота, как в классической статистике P. E. Rossi, G. M. Allenby and R. McCulloch Hierarchical Bayes Models: A Practitioners guide 2005 John Wiley & Sons, Ltd. ISBN: 0-470-86367-6 P 8.

Допустим, сначала нас интересует исключительно статистический вопрос. Для большей наглядности представим, что в клинике работает тест на наличие в истории пациента сердечного приступа. К нам приходит пациент, про которого мы точно знаем, что он пережил сердечный приступ, и мы хотим узнать, насколько тест чувствителен, или как часто тест дает положительный результат при условии, что у пациента уже был сердечный приступ. В байесовской статистике это описывается следующей формулой Высокое значение вероятности будет значить, что тест достаточно чувствителен к наличию сердечного приступа, а низкое - слабую чувствительность.

Однако потом наша задача изменяется. К нам приходит еще один конкретный пациент. Мы не знаем ничего о его болезнях. Предположим, он находится в состоянии комы, и ничего не может рассказать нам. Тем не менее, мы хотим внести в историю его болезней информацию о сердечных приступах. Теперь нас интересует, какова вероятность, что у человека был сердечный приступ, если тест дал нам положительный результат, или . Таким образом, Байесовская теорема позволяет нам переместиться от к

Байесовская теорема опирается на закон условной вероятности:

В общем виде Байесовская теорема может быть записана следующим образом:

Содержательный смысл байесовской теоремы, как и смысл любой другой теоремы, лишь в оценке вероятностей наступления события Тем не менее, ее замечательное свойство в том, что она позволяет перейти от знания о том, какие были бы данные при условии нашего точного знания о мире, к знанию о том, каким был бы мир при условии имеющихся данных. Иначе это можно записать в следующем виде:

(где ? - это параметр, который мы хотим оценить при условии имеющихся данных, а знак « ? » означает пропорциональность двух частей уравнения, поскольку наличие знаменателя в формуле Байеса не отменяется. Знаменатель просто не потребуется для дальнейших вычислений) Уравнение z можно также записать в ином виде; в Байесовской статистике левая часть уравнения называется «апостериорная вероятность», а в правой части стоит произведение «правдоподобия» и «априорной вероятности»:

Если мы хотим с помощью байесовского анализа оценить апостериорную вероятность события при условии большого числа данных параметров, то уравнение получится слишком сложным, практически неподъемным для вычислений вручную, поэтому появление методов MCMC стало «спасительным кругом» для байесовского подхода.

2.5 Методы Монте Карло по схеме Марковских цепей

Идея метода MCMC заключается в запуске алгоритма Марковской цепи, которая обладает априорным распределением p0(T). Общий алгоритм цепи заключается в последовательном совершении переходов от одного распределения плотности вероятности к другому. В результате переходов мы получаем выборку из большого числа распределений. Вероятности перехода в момент времени t можно описать, как qr(Tr+1|Tt), а выборка генерируется следующим способом: 

T1 ? p0(T),

T2 ? q1(T2|T1),

...

Tr ? qr?1(Tr|Tr?1) P. E. Rossi, G. M. Allenby and R. McCulloch Bayesian Statistics and Marketing 2005 John Wiley & Sons, Ltd. ISBN: 0-470-86367-6 P 50-51.

Заметим, что при таком подходе распределение на шаге t всегда зависит от распределения на шаге t-1. Следовательно, генерируемая выборка не является набором независимых случайных величин. Тем не менее, для conjoint анализа нам необходимо получить выборку из независимых величин. Для достижения независимости между величинами необходимо проредить полученную выборку T1, . . . , TT., сохраняя лишь каждый m-ый отсчет, где m достаточно велико Они же.

Работая с цепями Маркова, исследователи-маркетологи обращают должное внимание на несколько ограничений Марковской цепи.

· Проверка эргодичности Марковской цепи;

· Проверка сходимости и burn in Марковской цепи.

Если Марковская цепь удовлетворяет данным ограничениям, она позволяет получить корректные оценки математических ожиданий для инвариантных распределений.

Процедура проверки Марковской цепи на эргодичность

Эргодичность Марковской цепи - это обязательное условие для построения математических ожиданий для полученных инвариантных распределений. Если критерий эргодичности не выполняется, то если мы выполняем conjoint анализ методом иерархического Байеса, мы не сможем получить корректные оценки индивидуальных частичных полезностей на основе сгенерированных инвариантных распределений.

Допустим, мы хотим убедиться, что критерий эргодичности выполняется. Сперва мы должны удостовериться в том, что Марковская цепь может считаться однородной (гомогенной) если вероятность перехода qt(Tr+1|Tr) не зависит от момента времени n; вероятности переходов неизменны от шага к шагу и описываются следующим равенством:

qt(Tr+1|Tr) = q(Tr+1|Tr)

Допустим, мы будем работать дальше только с однородными Марковскими цепями. Мы создали набор значений однородной цепи при условии распределения p0(T) и вероятности перехода qt(Tr+1|Tr) = q(Tr+1|Tr). При некоторых ограничениях для функции условной вероятности и при r стремящемся к бесконечности, распределение (Tr|Tr-0) сойдется в устойчивое уникальное распределение. Такое распределение принято называть инвариантным.

Если мы создаем Марковскую цепь с инвариантным распределением и мы убедились в сходимости полученной цепи, то мы можем проверить инвариантность данного распределения . Распределение называется инвариантным относительно Марковской цепи с вероятностью перехода q, если выполняется следующее равенство:

Также мы можем записать уравнение для оценки апостериорного распределения для любой функции, которая имеет математическое ожидание, в следующем виде:

(где h - среднее значение для распределения p(T), R - наибольшее значение r)

Используя уравнение z мы предполагаем, что Марковская цепь сошлась. В следствие ее сходимости мы получили инвариантное распределение, для которого мы можем посчитать математическое ожидание:

Если уравнение z выполняется, то мы можем констатировать эргодичность цепи P. E. Rossi, G. M. Allenby and R. McCulloch Bayesian Statistics and Marketing 2005 John Wiley & Sons, Ltd. ISBN: 0-470-86367-6 P 50-51. Тем не мене, уравнение z не всегда поможет нам проверить цепь на эргодичность, поскольку иногда необходимо выполнять проверку, когда r довольно мало. Для проверки эргодичности цепи с малым числом итераций используется уравнение детального баланса.

Если уравнение z выполняется, мы также можем диагностировать эргодичность цепи P. E. Rossi, G. M. Allenby and R. McCulloch Bayesian Statistics and Marketing 2005 John Wiley & Sons, Ltd. ISBN: 0-470-86367-6 p.88.

Процедура проверки сходимости и период «burn-in»

Сходимость Марковской цепи - крайне сложный критерий для оценивания. «К сожалению, есть ощущение, что для проверки ошибок сходимости, существует какая-либо убедительная диагностика или тест, если мы изначально не знаем корректные апостериорные вероятности Они же p.100». «Интуитивно цепь должна вести себя одинаково свободно как в ядре, так и в частных случаях Они же p.62». Один из самых верных способов проверки сходимости - это разбить Марковскую цепь на подсовокупности и провести байесовский анализ для каждой из совокупностей, а затем сравнить результаты. Тем не менее, такой подход к оценке сходимости довольно сложен, поэтому на практике, чаще всего исследователи используют диаграммы средних значений параметров по всем респондентам на каждой итерации.

Рисунок 1. Средние значения частичных полезностей в по всем респондентам

Для данного иерархического байесовского анализа была сгенерирована Марковская цепь в 20 тысяч итераций. Значения параметров сохранялись каждую 20-ю итерацию, поэтому на диаграмме всего тысяча средних значений Бета. График демонстрирует, что цепь достигла сходимости на 6-ой тысяче итераций. Остальные итерации с 1 по 6000 были сгенерированы для сходимости. Их можно удалить или «сжечь». В литературе период до сходимости называется периодом «burn in» P. E. Rossi, G. M. Allenby and R. McCulloch Bayesian Statistics and Marketing 2005 John Wiley & Sons, Ltd. ISBN: 0-470-86367-6 P 51.

Алгоритмы для получения новых значений

Схема Метрополиса-Гастингса

Предположим, что нам необходимо сгенерировать выборку из распределения p0(T). Рассмотрим шаг генерации значений по схеме Метрополиса-Гастингса. Пусть на шаге-n сгенерирована конфигурация Tr, тогда на шаге r+1 сначала генерируется конфигурация T* из исходного распределения r(T|Tr). После того, как значение сгенерировано, вычисляется величина g:

Если g больше или равно 1, то значение T* принимается в качестве точки Tr для следующего шага с вероятностью g. В противном случае,

Если , то цепь сохраняет инвариантность, поскольку значение Tr не изменяется. Для второго случая, когда необходимо провести проверку на эргодичность. В данном случае r может быть мало, поэтому для проверки мы будем использовать уравнение детального баланса z. Если цепь прошла проверку на эргодичность, то мы имеем право принять данную точку c вероятностью пропорциональной увеличению плотности. Если цепь не прошла проверку, то мы принимаем данную точку с вероятностью меньшей, чем данная плотность.

Схема Гиббса

Сэмплер Гиббса позволяет сгенерировать выборку из многомерного распределения p(T), где T={}. Задача генерации выборки из многомерного распределения является задачей высшей степени сложности. Тем не менее, метод Гиббса позволяет обойти сложности и превращает процедуру генерации в более оптимальный процесс. Рассмотрим итерацию по схеме Гиббса. Допустим, на итерации r сгенерирован набор новых значений параметров Tr={ }. Тогда на следующей итерации алгоритм работает следующим образом:

Таким образом, сэмплер Гиббса всегда генерирует новое значение параметра при условии всех остальных параметров. Следовательно, генерация выборки из многомерного распределения. заменяется на генерацию новых точек из одномерных распределений Генерация значений параметров из одномерных распределений является существенно более доступным процессом.

Подводя итог по теоретическим нюансам Марковских цепей Монте Карло, в основе алгоритма MCMC лежит Марковская цепь. Идея цепи Маркова заключается в последовательной генерации новых распределений параметров при условии распределений этих же параметров на предыдущей итерации. Для генерации параметров из многомерного распределения используется сэмплер Гиббса. В процессе генерации параметров мы можем столкнуться с тем, что распределения новых параметров сомнительны. Для того, чтобы принять или отвергнуть распределения новых параметров следует воспользоваться алгоритмом Метрополис Гастингса. В течение всей процедуры MCMC необходимо следить за тем, чтобы цепь сохраняла эргодичность. Невыполнение условия эргодичности цепи приводит к генерации неинвариантных распределений параметров, на основании которых мы не можем посчитать корректные математические ожидания для выборки. Впоследствии мы не сможем получить интерпретируемые индивидуальные полезности для conjoint'a. Напротив, если наша цепь сошлась и соблюдает критерий эргодичности, то мы получаем корректные индивидуальные полезности. Чтобы окончательно убедиться в том, что мы получили корректные значения параметров, необходимо свериться с графиком средних частичных полезностей и отсечь период «burn in»

Обработка результатов Марковской цепи

По окончанию генерации Марковской цепи исследователь получает значения интересующего его параметра в следующем виде:

(Где в - значение коэффициента бета, i - респондент, j - уровень, r- шаг Марковской цепи, n - число респондентов, k - число итераций Марковской цепи)

· ПРОЦЕДУРА РАСЧЕТА ЗНАЧЕНИЙ В ДЛЯ ПОСТРОЕНИЯ ГРАФИКА СХОДИМОСТИ ДЛЯ J-ОГО УРОВНЯ

может быть описана следующим образом:

(Где в - значение коэффициента бета, i - респондент, j - уровень, r- шаг Марковской цепи, n - число респондентов, k - число итераций Марковской цепи)

Формула z описывает процедуру подсчета среднего значения в по всем респондентам для каждой итерации. Результат данной процедуры представлен на графике сходимости (Рис. Z), где каждая цепь одного цвета иллюстрирует j-й уровень.



Рисунок 2. Средние значения частичных полезностей в по всем респондентам

Обязательным условием качественного байесовского анализа является сходимость Марковской цепи, поэтому построение графика сходимости является первой процедурой, которую необходимо провести по окончанию анализа. По графику сходимости мы можем диагностировать сходимость цепи. Главным критерием сходимости является стабилизировавшаяся кривая средних значений. Стабилизацию можно описать равенством дисперсий средних значений на разных участках цепи. Участок цепи, который не является стабильным объявляется периодом «burn in» и не используется при дальнейших расчетах.

· ПРОЦЕДУРА РАСЧЕТА ИНДИВИДУАЛЬНЫХ ЧАСТИЧНЫХ ПОЛЕЗНОСТЕЙ ДЛЯ J-ОГО УРОВНЯ:

(Где в - значение коэффициента бета, i - респондент, j - уровень, r- шаг Марковской цепи, n - число респондентов, k - число итераций Марковской цепи, вводится b - шаг Марковской цепи после периода burn-in)

Формула z описывает процедуру подсчета индивидуальной полезности, т.е. среднего значения в по всем итерациям для каждого респондента.

· ПРОЦЕДУРА РАСЧЕТА ЧАСТИЧНЫХ ПОЛЕЗНОСТЕЙ ПО ВСЕЙ ВЫБОРКЕ ДЛЯ J-ОГО УРОВНЯ:

(Где в - значение коэффициента бета, i - респондент, j - уровень, r- шаг Марковской цепи, n - число респондентов, k - число итераций Марковской цепи, b - шаг Марковской цепи после периода burn-in)

Частичная полезность по всей выборке рассчитывается как среднее значение всех индивидуальных полезностей j-ого атрибута

· ПОСТРОЕНИЕ РАСПРЕДЕЛЕНИЯ ИНДИВИДУАЛЬНЫХ ЧАСТИЧНЫХ ПОЛЕЗНОСТЕЙ ПЕРВОГО РЕСПОНДЕНТА ДЛЯ J-ОГО УРОВНЯ:

(Где в - значение коэффициента бета, i - респондент, j - уровень, r- шаг Марковской цепи, n - число респондентов, k - число итераций Марковской цепи, b - шаг Марковской цепи после периода burn-in)

На рисунке z приведен пример распределения плотности вероятности



Рисунок 3. Пример распределения плотности вероятности в для j-ого уровня

...