Маркетинговые исследования

В описанном эксперименте независимым фактором, значение которого изменялось, является номинальная стоимость купона (15 или 50 центов). Зависимым фактором выступает вероятность использования купона. Посторонним контролируемым фактором являются товарные марки продуктов, Отдельные покупатели составляют единицы наблюдения. Методика проведения эксперимента предусматривала случайный отбор единиц наблюдения (покупателей) в исследуемые группы (купоны по 15 или 50 центов).

СПЕЦИАЛЬНЫЕ ОБОЗНАЧЕНИЯ

Для упрощения изложения материала о посторонних факторах и методике эксперимента введем ряд обозначений, общепринятых в маркетинговых исследованиях:

X-- воздействие на группу единиц наблюдения некоторых независимых переменных (условий, событий), результат которого необходимо установить;

О-- процесс наблюдения или измерения зависимой переменной для единиц наблюдения или их групп;

R -- случайное распределение единиц наблюдения или их групп по отдельным выборкам; Кроме того, устанавливаются следующие правила;

движение слева направо означает движение во времени;

горизонтальное расположение символов означает их принадлежность к одной выборке;

* вертикальное расположение символов означает, что они относятся к событиям или процессам, происходящим одновременно.

Например, следующий порядок расположения символов:

X О, о2

говорит о том, что данная группа единиц наблюдения подвергалась воздействию независимого фактора (X) и реакция на него измерялась на два момента времени -- О, и О, Аналогично, запись

R X, о, R Х2 02

означает, что две группы единиц наблюдения сформированы одновременно на случайной основе, и значение зависимой переменной определено в обеих группах на один и тот же момент времени.

ДОСТОВЕРНОСТЬ ЭКСПЕРИМЕНТА

При проведении эксперимента исследователь ставит перед собой две цели -- получить верные выводы о влиянии независимой переменной на анализируемую совокупность единиц наблюдения и на этой основе сделать достоверные выводы относительно всей генеральной совокупности. Первая цель связана с понятием внутренней достоверности, вторая -- с понятием внешней достоверности [9].

Внутренняя достоверность

Внутренняя достоверность (internal validity)

Мера точности результатов эксперимента. Определяет, действительно ли изменение независимой переменной вызвало изменение зависимых переменных,

Внутренняя достоверность (internal validity) определяется тем, действительно ли изменение независимой переменной вызвало наблюдаемое изменение зависимой переменной. Таким образом, внутренняя достоверность определяется тем, могло ли наблюдаемое изменение зависимых факторов быть вызвано какими-либо другими факторами, кроме независимых. Если наблюдаемые изменения вызваны или искажены посторонними факторами, то трудно сделать достоверное заключение о наличии причинно-следственной связи между независимыми и зависимыми. Внутренняя достоверность является минимальным требованием к эксперименту, которое должно соблюдаться для получения достоверных выводов. Без соблюдения этого требования результаты эксперимента нельзя считать надежными. Контроль посторонних факторов, в свою очередь, -- непременное условие признания вн>трсннсйдостоверности эксперимента.

Внешняя достоверность

Внешняя достоверность (external validity)

Определение возможности обобщения причинно-следственной зависимости, выявленной в процессе эксперимента.

Внешняя достоверность (external validity) связана с возможностью обобщения выявленной в процессе эксперимента причинно-следственной зависимости. Иными словами, можно ли выводы, сделанные на основе эксперимента, распространить на более широкий круг элементов, и, если да, то на какие именно группы населения, совокупности, периоды, независимые и зависимые переменные |Ю|. Опасность нарушения внешней достоверности эксперимента возникает, когда условия проведения эксперимента не охватывают какие-либо значимые факторы, имеюшис место в реальной действительности.

Очень желательно иметь план проведения эксперимента, обеспечивающий требования и внутренней и внешней достоверности, но в практических маркетинговых исследованиях, как правило, приходится отступать от требований одной из них для достижения другой [11]. Чтобы обеспечить контроль за посторонними факторами исследователь вынужден проводить эксперимент в искусственных (лабораторных) условиях. Это позволяет обеспечить внутреннюю достоверность, но ограничит возможность обобщения результатов, тем самым нарушая внешнюю достоверность.

В качестве примера можно привести исследование предпочтений посетителей ресторанов быстрого обслуживания по отношению к новым блюдам в меню, проводимое в оборудованных центрах тестирования. Можно ли распространить результаты, полученные в таких условиях, на действующие рестораны? (Датьнеишее обсуждение влияния искусственных условий проведения эксперимента на внешнюю достоверность его результатов приведено в разделе настоящей главы, посвященном проблемам проведения экспериментов в искусственных и полевых условиях.) Однако несмотря на такие нарушения внешней достоверности, если нарушена внутренняя достоверность эксперимента, его результаты не подлежат обобщению. Факторы, нарушающие внутреннюю достоверность, могут также нарушать и внешнюю достоверность; наиболее значимы из них -- посторонние факторы.

ПОСТОРОННИЕ ФАКТОРЫ

Необходимость контроля посторонних факторов для достижения внутренней и внешней достоверности результатов эксперимента уже обсуждалась. В этом разделе рассматриваются следующие посторонние факторы: исторические, зрелости, эффект тестирования, инструментария, статистическая регрессия, отклонение выборки и убыль.

Исторические факторы

Исторические факторы (history)

Специфические событии, внешние по отношению к эксперименту, но происходящие одновременно с ним.

В противоположность своему названию, исторические факторы (history, З) не имеют отношения к событиям, происходившим до начала эксперимента. Под историческими факторами понимаются специфические события, посторонние по отношению к эксперименту, но происходящие одновременно с ним. Такого рода события могут воздействовать на значения зависимых переменных. Пусть имеет место эксперимент, записанный следующим образом:

О, X, О;

где О, и 02 показатели объема продаж в сети розничных магазинов в определенном районе, а X, -- новая кампания по продвижению. Разность (02-- О,) представляет собой оценку влияния независимого фактора f, Если предположить, что в процессе эксперимента установлено, что разность (02-- О,) равна О, можно ли на этом основании утверждать, что новая кампания по продвижению оказалась неэффективной? Конечно, нет! Усилия по продвижению не являются единственной причиной, обуславливающей разницу между О, и О,. Она вполне может оказаться достаточно эффективной. Что если во время проведения эксперимента ухудшилась общая экономическая ситуация, и данный регион тяжело пострадал от увольнений работников и закрытия предприятия (исторический фактор)? И наоборот, даже если существует положительное значение разницы (02-- О,), может оказаться неверным утверждение об эффективности маркетинговых мероприятий, если не принимались во внимание исторические факторы. Последние могут исказить результаты эксперимента. Чем больше временной промежуток между двумя наблюдениями, тем выше вероятность искажения результатов эксперимента такого типа за счет влияния исторических факторов [12].

Факторы зрелости

Факторы зрелости (maturation -- МБ)

Посторонние факторы, связанные и изменениями в самих единицах наблюдения, происходящих с течением времени.

Факторы зрелости (maturation -- МБ) аналогичны историческим факторам, с той разницей что касаются изменений в самих единицах наблюдения. Эти изменения не связаны с изменениями независимых или зависимых переменных, а обусловлены течением времени. Для эксперимента, в котором участвуют люди, фактор зрелости проявляется по мере того, как респонденты становятся старше, опытнее, устают или раздражаются, теряют интерес к происходящему. Зрелость затрагивает также и другие единицы наблюдения а не только людей. Например,, магазины с течением времени могут изменять площадь торгового зала, оформление, маршруты движения покупателей, структуру.

Эффекты тестирования

Эффекты тестирования (testing effects)

Влияние самого процесса тестирования на результаты

Эффекты тестирования (testing effects) обусловлены самим проведением эксперимента. Обычно их влияние можно оценить количественно, измеряя значения зависимых переменных до и после представления респондентам базисных факторов или условий. Существует два основных вида эффектов тестирования -- основной эффект тестирования (main testing effect -- МТ) и интерактивный эффект тестирования (interactive testing effect-- IT).

Основной эффект тестирования (main testing effect -- МП

Эффект тестирования, который проявляется в том, что предшествующее наблюдение влияет на последующее.

Основной эффект тестирования имеет место тогда, когда предшествующее наблюдение влияет на последующее. Рассмотрим эксперимент по определению влияния рекламы на восприятие какой-либо марки продукта. Респондентам раздается предварительная анкета для оценки уровня их осведомленности о предмете и отношения к нему. Затем им предлагают просмотреть рекламный ролик, показываемый в одной из телепрограмм. После этого им опять предлагают заполнить анкету, где, помимо прочих, содержатся и вопросы об отношении к исследуемой торговой марке. Если отношение к торговой марке до и после просмотра рекламы не изменилось, свидетельствует ли это о том, что реклама была неэффективной? Альтернативным объяснением может быть то, что респонденты пытались сохранить связь между своими оценками продукта до и после просмотра рекламы. Вследствие основного эффекта тестирования оценка товара после просмотра рекламы определялась не столько самой рекламой, сколько оценкой, высказанной до ее просмотра. Основной эффект тестирования может также носить характер ответной реакции, заставляя респондентов скрывать свое истинное отношение к предмету исследования только потому, что оно подвергается оценке. Основной эффект тестирования нарушает внутреннюю достоверность результатов эксперимента.

Интерактивный эффект тестирования (interactive testing effect -- ГГ)

Эффект, проявляющийся в том, что предварительная оценка влияет на реакцию единиц наблюдения на независимую переменную.

Интерактивный эффект тестирования (interactive testing effect -- IT) заключается в том, что предварительная оценка влияет на реакцию единиц наблюдения на независимую переменную. Возвращаясь опять к примеру с экспериментом по оценке эффективности рекламы, необходимо отметить, что просьба к респондентам оценить свое отношение к данной торговой марке привлекла к ней их внимание. После этого естественна их большая готовность обратить внимание на ее рекламу по сравнению с теми, кто не участвовал в предварительном опросе. Полученные результаты нельзя будет распространить на всю генеральную совокупность, следовательно, интерактивный эффект тестирования нарушает внешнюю достоверность эксперимента.

Инструментарий

Инструментарий (instrumentation)

Посторонний фактор, включающий изменения в способах оценки и в действиях самих исследователей.

Инструментарий (instrumentation -- I) включает в себя факторы, связанные с изменением в способах оценки. Иногда в процессе проведения эксперимента способы оценки совершенствуются. Применительно к эксперименту с действенностью рекламы это означает, что если дли последующей оценки использовалась новая анкета, это могло привести к изменению полученных результатов. Представим себе, что объем продаж магазина измерен до и после размещения рекламы в торговом зале (независимый фактор). Если в промежуток времени между этими двумя измерениями (между О, и 02) изменялась цена товаров безотносительно к проведению эксперимента, то имеют место изменения в инструментарии эксперимента, поскольку объем продаж до и после размещения рекламы определялся на основе различных цен за единицу товара. В этом случае изменение объема продаж (02-- О,) можно отнести за счет изменения инструментария.

Как следует из изложенного выше, влияние изменений в инструментарии имеет место большей частью тогда, когда в процессе эксперимента проводятся замеры факторов-характеристик до и после изменения базисного фактора. Эффективность действий интервьюеров также бывает различной в различное время.

Статистическая регрессия

Статистическая регрессия (statistical regression)

Посторонний фактор, возникающий в том случае, если единицы наблюдения с крайними | значениями показателей приближаются к средним значениям в процессе эксперимента.

Эффект статистической регрессии (Statistical Regression -- SR) возникает в том случае, если единицы наблюдения с крайними значениями показателей приближаются к средним значениям в процессе эксперимента. В примере с определением действенности рекламы у отдельных респондентов возникло очень положительное или очень отрицательное отношение к продукту. После просмотра рекламы их отношение могло стать более умеренным. Отношение людей к различным вещам все время изменяется. У людей с ярко выраженным отношением амплитуда изменения последнего больше. Поэтому и вероятность его изменения выше. Это искажает результаты эксперимента, поскольку изменения отношения к продукту до и после просмотра рекламы могут в значительной степени объясняться действием фактора статистической регрессии, а не независимого фактора (рекламного ролика).

Отклонение выборки

Отклонение выборки, ошибка отбора (Selection Bias -- SB)

Посторонний фактор, возникающий в результате неверного определения состава групп единиц наблюдения для оценки действия независимой переменной.

Отклонение выборки, ошибка отбора (Selection Bias -- SB) возникает в результате неверного определения состава групп единиц наблюдения для оценки действия независимой переменной. Это отклонение возникает, когда порядок формирования групп единиц наблюдения приводит к созданию групп, отличающихся по какой-либо зависимой переменной еше до начала эксперимента. Если единицы наблюдения объединяются в группы по собственному выбору либо на основе произвольных указаний исследователя, возможно возникновение отклонения выборки. Например, представим себе эксперимент, в котором две рекламные выкладки товаров (новая и старая) размещаются в различных универмагах. Универмаги в этих двух группах могут изначально различаться по целому ряду значимых характеристик, например размеру торговой площади. Размер торговой площади способен влиять на объем продаж независимо от того, какая выставка -- новая или старая -- размещена в универмаге.

Убыль (mortality)

Посторонний фактор, связанный с выбытием части единиц наблюдения в процессе эксперимента.

Убыль (mortality-- МО) -- фактор, связанный с выбытием части единиц наблюдения в процессе эксперимента. Это происходит по многим причинам, в том числе в связи с отказом части респондентов участвовать дальше в эксперименте. Убыль единиц наблюдения искажает результаты эксперимента, поскольку трудно определить, является ли реакция выбывших элементов на независимый фактор в среднем такой же, как и у оставшихся элементов. Возвращаясь к примеру с размещением рекламных выкладок в универмагах, представим, что три универмага, в которых размешены новые варианты выкладок, отказались потом в нем участвовать. Исследователь не может определить, был бы средний уровень продаж в этих универмагах в результате новых выкладок выше или ниже фактического, если бы они согласились продолжать эксперимент.

Различные типы посторонних факторов не взаимоисключающие. Они могут действовать одновременно и взаимодействовать. Например, сочетание факторов убыли, тестирования и зрелости характерно ~ля ситуации, когда в результате проведения предварительной оценки отношения и убеждения людей изменяются в ходе эксперимента и когда присутствует значительная убыль респондентов из различных обследуемых групп.

КОНТРОЛЬ ПОСТОРОННИХ ФАКТОРОВ

Искажающие факторы (confounding variables)

Синоним посторонних факторов. Термин используется для отражения того факта, что посторонние факторы могут искажать результаты эксперимента, воздействуя на зависимые переменные.

Посторонние факторы представляют собой незапланированные факторы, влияющие на результаты эксперимента. Они создают угрозу соблюдению внутренней и внешней достоверности эксперимента. Если их не контролировать, они воздействуют на зависимые переменные и тем самым искажают результаты эксперимента. По этой причине они называются также искажающими факторами (confounding variables). Существует четыре основных способа контроля искажающих факторов: случайный отбор, группировка, статистический и методический контроль.

Случайный отбор

Случайный отбор (randomization)

Один из методов контроля посторонних факторов, включающий случайный отбор единиц наблюдения в группы для проведения эксперимента на основе использования случайных чисел. Варианты независимых переменных или условий для отдельных групп определяются также случайным образом.

Случайный отбор (randomization) представляет собой один из методов контроля посторонних факторов, включающий случайный отбор единиц наблюдения в экспериментальные группы на основе использования случайных чисел. Варианты базисных факторов или условий для отдельных экспериментальных групп определяются также случайным образом. Например, респонденты случайным образом распределяются в три группы для проведения эксперимента. Один из трех образцов рекламного ролика, выбранный случайным образом, предлагается для просмотра каждой группе. В результате случайного отбора посторонние факторы одинаково влияют на результаты оценки каждого из трех вариантов независимой переменной. Случайный отбор -- приоритетный метод обеспечения равнозначности экспериментальных трупп Г13]. Тем не менее случайный отбор оказывается неэффективным, если размер экспериментальной группы невелик, поскольку он обеспечивает равнозначность групп лишь в среднем. Таким образом, существует возможность проверить эффективность метода случайного отбора, оценивая влияние возможных посторонних факторов на каждую из экспериментальных групп с последующим сравнением результатов,

Группировка

Группировка (matching)

Один из методов контроля посторонних факторов, предполагающий группировку единиц наблюдения на основе набора базовых критериев, прежде чем распределять между ними варианты базисных условий.

Группировка (matching) представляет собой один из методов контроля посторонних факторов, предполагающий группировку единиц наблюдения на основе набора базовых критериев, прежде чем они подвергаются воздействию независимых переменных. В случае с экспериментом по оценке рекламных выкладок в универмагах последние можно разделить на категории в соответствии с такими критериями, как размер торговой площади, местоположение, годовой объем продаж. Затем один универмаг из каждой категории включается в каждую экспериментальную группу.

Метод группировки имеет два основных недостатка. Во-первых, группировка единиц наблюдения может быть проведена лишь по ограниченному числу критериев, т.е. сформированные таким образом экспериментальные группы могут быть равнозначными по установленным критериям, но неравнозначными по другим критериям. Во-вторых, если критерии группировки не влияют на зависимые переменные, то применение метода бесполезно [14].

Статистический контроль

Статистический контроль (statistical control)

Один из методов контроля посторонних факторов, предполагающий измерение их влияния ! с его последующей корректировкой статистическими методами.

Статистический контроль (statistical control) представляет собой один из методов контроля посторонних факторов, предполагающий измерение их влияния с его последующей корректировкой методами статистического анализа. Это показано в табл. 7.2, где исследуется зависимость между покупками модной одежды и уровнем образования, при контроле за уровнем доходов. Могут также применяться и более сложные статистические методы, такие как анализ ко-вариации (ANCOVA). В анализе ковариации влияние посторонних факторов на зависимые переменные элиминируется корректировкой их среднего значения по каждому варианту независимой переменной. AN С OVA более подробно рассматривается в главе 16.

Контроль методики

Контроль методики (design control)

Один из методов контроля посторонних факторов, состоящий в использовании специальных методик эксперимента.

Контроль методики (design control) представляет собой один из методов контроля посторонних факторов, состоящий в использовании специальных методик эксперимента. Формы контроля, обеспечиваемые разработкой специальных методик проведения эксперимента, представлены в следующем примере.

ПРИМЕР. Эксперименты с новыми товарами

Контролируемое продвижение товара с помощью электроники на пробном рынке все чаще используется при проведении экспериментальных исследований по новым товарам. Этот метод позволяет контролировать ряд посторонних факторов, влияющих на динамику продаж нового продукта, и изменять базисные факторы в заданном направлении. Он дает' возможность убедиться в том, что новый продукт достаточно представлен в магазинах и в сети продвижения товаров, привлекательно расположен на соответствующих полках магазина, представлен на достаточном количестве рекламных плакатов, имеет обоснованную текущую цену продажи, есть на складах в достаточном количестве и достиг запланированной интенсивности продвижения на рынок, рекламы и уровня цены в предусмотренные сроки. Таким образом можно достичь высокой степени внутренней достоверности эксперимента [15].

Пробный маркетинг детально рассматривается в последующих разделах этой главы, но приведенный пример показывает, что контролируемое продвижение товара с помощью электронного пробного рынка способствует эффективному контролю отдельных посторонних факторов. Последние могут также контролироваться применением специальных методик проведения эксперимента, как показано в следующем разделе.

КЛАССИФИКАЦИЯ МОДЕЛЕЙ ЭКСПЕРИМЕНТА

Модели предварительного эксперимента (preexper.mental designs)

Модели, не предполагающие применения контроля посторонних факторов методами случайного отбора.

Модели действительного эксперимента (true experimental designs)

Модели эксперимента, которые предполагают формирование исследователем групп единиц наблюдения и определение варианта независимых переменных для каждой группы на случайной основе.

Модели псевдоэксперимента (quasi-experimental designs)

Модели, предполагающие использование части процедур и приемов действительного эксперимента, но не обеспечивающие полного контроля за ходом эксперимента,

Статистические модели (statistical design)

Модели, допускающие возможность статистического контроля и анализ й внешних факторов,

Модели эксперимента можно классифицировать следующим образом: модели предварительного эксперимента, модели действительного эксперимента, модели псевдоэксперимента и статистические модели, (рис. 7.1) Модели предварительного эксперимента (preexperimental designs) не включают контроль посторонних факторов методами случайного отбора. К их числу принадлежат однократные исследования, предварительные и итоговые исследования в рамках одной экспериментальной группы, модель статичной группы. При применении моделей действительного эксперимента (true experimental designs) исследователь формирует группы единиц наблюдения и определяет варианты независимых переменных для каждой группы на случайной основе, К этому типу относятся модели предварительного и последующего исследования с использованием контрольных групп, только итоговые исследования с применением контрольных групп и модель четырех групп Соломона Модели псевдоэксперимента (quasi-experimental designs) применяются тогда, когда исследователь не может в полной мере управлять независимыми переменными, но может использовать часть процедур и приемов действительного эксперимента. К ним относятся такие два типа моделей, как временные ряды и множественные временные ряды. Статистаческие модели (statistical design) представляют собой серию базовых экспериментов, предоставляющих возможность статистического контроля и анализа внешних факторов. К основным моделям этого типа принадлежат модели случайных блоков, Латинского квадрата, факториал. экспериментов. Статистические модели классифицируются на основе используемых показателей и применения.

Их применение показано на примере исследования эффективности пробной рекламы для универмага [16].

Рассмотрим первый тип этих моделей -- предварительный эксперимент.

МОДЕЛИ ПРЕДВАРИТЕЛЬНОГО ЭКСПЕРИМЕНТА

В моделях предварительного эксперимента не применяются методы случайного отбора. Рассмотрим три специальные модели: однократное исследование, предварительные и итоговые исследования в рамках одной экспериментальной группы, модель статической группы.

Однократное исследование

Однократное исследование (one-shot case study)

Модель однократного исследования (one-shot case study) известна также под названием "только последующий анализ" (after-only), в ней приняты следующие обозначения:

Единственная группа единиц наблюдения подвергается воздействию независимого фактора X, после чего измеряется зависимый фактор (Of). Случайный отбор в данном случае не применяется. Примечательно, что символ R не используется, поскольку единицы наблюдения сами принимают решение о включении в группу или отбираются исследователем в произвольном порядке.

Опасность получения недостоверных выводов в таком эксперименте очевидна. Отсутствует база сравнения полученного значения С, с его значением при условии отсутствия воздействия независимого фактора X. Кроме того, полученное значение О, может искажаться из-за воздействия многочисленных посторонних факторов, в частности исторических, зрелости, отбора и убыли, Недостаточная степень контроля этих факторов подрывает внутреннюю достоверность результатов эксперимента. Поэтому однократное исследование больше подходит для поисковых, чем для итоговых исследований.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Однократное исследование

Однократное исследование для определения эффективности пробной рекламы в универмагах можно провести следующим образом. С респондентами, входящими в общенациональную выборку, проводятся телефонные опросы по поводу телевизионной программы, показанной накануне вечером. Упомянутая программа включала рекламный ролик (X). Зависимой переменной выступала способность вспомнить содержание рекламы без помощи и с помощью наводящих вопросов (О й Способность вспомнить рекламный ролик без помощи интервьюера оценивалась вопросом респондентам о том, помнят ли они рекламу интересующей категории товаров. При утвердительном ответе задавались вопросы о ее содержании. Респондентов, ответивших отрицательно на первый вопрос, просили припомнить конкретный рекламный ролик определенного товара (наводящий вопрос) и затем спрашивали о его содержании. Результаты опроса с помощью и без помощи наводящих вопросов сравнивались ддя разработки шкалы оценки результатов эксперимента.

Модель предварительного эксперимента, при которой базисный фактор (условие) X представляется единственной группе единиц наблюдения и затем проводится однократное измерение факторов характеристик.

Предварительное и итоговое исследование в рамках одной экспериментальной группы

Предварительное и итоговое исследование в рамках одной экспериментальной группы (one-group pretest-posttest design)

Модель предварительного эксперимента, в кпфупп»· единицы наблюдения экспериментальной группы измеряются дважды.

Предварительное и итоговое исследование в рамках одной экспериментальной группы (one-group pretest-posttest design) можно записать следующими обозначениями:

Здесь измерение экспериментальной группы проводится дважды. Контрольная группа отсутствует. Первое измерение (О,) проводится до ознакомления группы с независимым фактором, затем она подвергается воздействию независимого фактора (А) После этого проводится второе измерение (О,). Эффект воздействия независимой переменной определяется как (П,-П,}, но достоверность этого вывода проблематична, поскольку посторонние факторы в основном не подлежат контролю.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Предварительное и итоговое исследование в рамках одной экспериментальной группы

Предварительное и итоговое исследование в рамках одной экспериментальной группы для * исследования эффективности рекламы в универмаге можно провести следующим образом.

Респонденты отбираются для тестирования в исследовательских центрах в разных городах ; страны. В исследовательских центрах проводится прежде всего личный опрос для выяснения, среди прочего, их восприятия исследуемого продукта \0-·. Затем они смотрят телевизионную программу, в которую включен рекламный ролик (X). После просмотра проводится повторный личный опрос для определения восприятия исследуемого продукта (О,). Эффективность пробной рекламы оценивается как разность (0,-0,)

Исторические факторы, факторы зрелости, тестирования (как основные так и интерактивные), факторы инструментария, отбора, убыли и регрессии, вероятно, в этом случае имеют место.

Модель статичной группы

Статичная группа (static group)

Модель проведения предварительного эксперимента, предполагающая использование двух групп - основной экспериментальной группы (EG), с помощью которой оценивается влияние независимого фактора, и контрольной экспериментальной группы (CG). Оценка восприятия в обеих группах проводится только один раз после воздействия независимой переменной, и при формировании групп не применяются методы случайного отбора.

Модель статичной группы (static group) предполагает участие в эксперименте двух групп. На одну из них, основную экспериментальную группу (EG), воздействует независимый фактор, а на другую, контрояьнуюгруппу (CG) -- не воздействует. Измерения восприятия проводятся в обеих группах только один раз после воздействия независимой переменной. Единицы наблюдения включаются в группы без применения методов случайного отбора. Эту модель можно записать в виде обозначений"

Измерение результата воздействия независимой переменной можно оценивать как разность О, ~ 02 Необходимо отметить, что эта разность может быть приписана по меньшей мере двум посторонним факторам (отбора и убыли). Поскольку при включении единиц наблюдения в группы не использовался метод случайного отбора, группы могут сушественн. 'отличаться еще до начала эксперимента и может возникнуть отклонение отбора. Фактор убыли тоже может иметь место, поскольку возможно выбытие единиц наблюдения в процессе эксперимента как из экспериментальной, так и из контрольной группы. Вероятность этого возрастает, если эксперимент имеет неприятные для участников аспекты.

На практике, контрольная группа иногда понимается, как группа лиц, подвергающихся влиянию рекламы в обычных условиях, а не как группа лиц, не подвергающихся воздействию рекламы вообще. Такое определение имеет право на существование, поскольку очень сложно в обычных условиях вообще убрать рекламу и прямые продажи. Посмотрим, как выглядит модель статичной группы в применении к проекту "Выбор универмага".

СКВОЗНОЙ ПРИМЕР, ВЫБОР УНИВЕРМАГА

Модель статичной группы

Анализ эффективности воздействия рекламы с использованием модели статичной группы можно провести следующим образом. Две группы респондентов отбираются по усмотрению I I исследователя. Телевизионная программа, содержащая анализируемый рекламный ролик, демонстрируется только одной из этих групп. Затем проводится измерение восприятия универмага основной и контрольной группами. Эффективность воздействии рекламы оценивается как разность О, -- О,

МОДЕЛИ ДЕЙСТВИТЕЛЬНОГО ЭКСПЕРИМЕНТА

Модели действительного эксперимента по сравнению с моделями предварительного эксперимента отличаются в основном использованием методов случайного отбора. При применении моделей действительного эксперимента исследователь распределяет единицы наблюдения и анализируемые независимые переменные по группам случайным образом. Модели действительного эксперимента включают предварительное и итоговое исследование с использованием контрольной группы, итоговое исследование с использованием контрольной группы, модели четырех групп Соломона.

Предварительное и итоговое исследование с использованием контрольной группы (pretest posttest control group design)

Модель эксперимента, при которой экспериментальная группа подвергается воздействию независимого фактора, а контрольная - не подтверждается. Предварительное и итоговое измерения проводятся в обеих группах.

В предварительном и итоговом исследовании с использованием контрольной группы (pretest-posttest control group design) единицы наблюдения случайным образом распределяются между экспериментальной и контрольной группой и предварительные измерения проводятся в обеих группах. Эту модель можно записать в вид. обозначений:

Предварительное и итоговое исследование с использованием контрольной группы

Эффект воздействия базисного фактора (ТЕ) определяется как

Эта модель дает возможность контролировать большинство посторонних факторов. Отклонения выборки элиминируется методом случайного отбора. Прочие посторонние факторы контролируются следующим образом:

0,-0,= TE+ff+MA + MT+IT+1+SR + MO О} -- 0}--Н + МБ + МГ+I + SR + МО

-- EV (посторонние факторы)1

Полученный результат эксперимента можно записать так; (02- О) - (О, - Оз) -- ТЕ+ IT

Интерактивный фактор тестирования не поддается контролю из-за влияния предварительного исследования на восприятие независимой переменной единицами наблюдения в экспериментальной группе. Следующий пример демонстрирует технику проведения предварительного и итогового исследования с использованием контрольной группы.

В рамках эксперимента по определению эффективности рекламы предварительное и итоговое исследование с использованием контрольной группы можно осуществить так. Случайным образом определяется выборка респондентов Половина из них случайным образом отбирается для включения в экспериментальную группу, вторая половина включается в контрольную группу. Респонденты обеих групп заполняют анкету для определения предварительного отношения к данному универмагу. Затем только респондентам экспериментальной группы демонстрируется телевизионная передача, содержащая рекламный ролик о данном универмаге. После этого обеим группам еще раз предлагается заполнить анкету для оценки изменений в восприятии универмага.

Модель итогового исследования с использованием контрольной группы представляет собой более простой случай,

Модель итогового исследования с использованием контрольной группы

Модель итогового исследования с использованием контрольной группы (posttest only control group design)

Модель гровеляния эксперимента, при которой основной группе респондентов демонстрируется базисный фактор, а контрольной группе ~ не демонстрируется, и при этом не проводится предварительное измерение восприятия респондентами анализируемого объекта.

Модель итогового исследования с использованием контрольной группы (posttest-only control group design) не предусматривает проведения каких-либо предварительных измерений восприятия объекта исследования. Запишем е« гак:

Эффект воздействия базисного фактора определяется как

Обозначения поспюроши -факторов приводилась раньше в тексте.

Эта модель очень проста в применении. Поскольку нет предварительных измерений, отсутствует и эффект тестирования, однако на результаты могут повлиять факторы отклонения отбора и убыли. Предполагается, что обе группы имеют одинаковое предварительное восприятие объекта исследования, поскольку они сформированы на основе случайного отбора. Однако, поскольку предварительное измерение не проводится, проверить это предположение невозможно. Эта модель чувствительна также к фактору убыли. Трудно определить, одинаково ли восприятие объекта исследования у тех респондентов, которые выбыли в процессе эксперимента из экспериментальной и контрольной группы. Другой недостаток этой модели -- невозможность для исследователя анализировать эффект зрелости отдельных единиц наблюдения.

Контроль факторов ошибки отбора и убыли возможен при применении специально разработанных процедур эксперимента. Изменения отдельных элементов, связанные с их зрелостью, часто не представляют особенного интереса для исследователя. С другой стороны, эта модель имеет значительные преимущества с учетом сроков и стоимости проведения исследований, а также требований к размеру выборки. Для ее применения требуются лишь две группы респондентов и всего одно обследование каждой группы. Благодаря простоте применения эта модель на данный момент наиболее распространенная в практике маркетинговых исследований. Необходимо также отметить, что она очень схожа по своему содержанию с моделью предварительного и итогового исследования с использованием контрольной группы.

Модель четырех групп Соломона (Solomon four-group design)

Модель эксперимента, обеспечивающая в дополнение к контролю остальных посторонних факторов также и надежный контроль за интерактивным эффектом тестирования.

В приведенном примере исследователь может пренебречь фактором зрелости отдельных единиц наблюдения. Если же последний представляется существенным, лучше применить модель четырех групп Соломона (Solomon four-group design). Она свободна от недостатков двух выше рассмотренных моделей, поскольку, кроме контроля других посторонних факторов (EV) позволяет осуществлять контроль интерактивного эффекта тестирования. Тем не менее, и эта модель имеет определенные недостатки. Она требует значительных затрат времени и денег. Поэтому подробно она не рассматривается [17].

Для всех моделей действительного эксперимента характерна высокая степень контроля исследователя за внутренними и внешними факторами. В частности, исследователь определяет момент проведения измерений, состав единиц наблюдения, порядок задействования независимых переменных. Более того, исследователь случайным образом отбирает единицы наблюдения и независимые факторы, демонстрируемые той или иной группе респондентов. В некоторых ситуациях исследователь не имеет такой возможности, и в этих случаях используются модели псевдоэксперимента.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

ИтоговС' исследование с использованием контрольной группы

Модель итогового исследования с использованием контрольной группы для оценки эффективности рекламы можно реализовать так. Случайным образом формируется выборка респондентов. Затем также на случайной основе респонденты распределяются по двум группам -- экспериментальной и контрольной. Телепередача с анализируемым рекламным роликом, демонстрируется только экспериментальной группе респондентов. Затем обе группы респондентов заполняют анкету для оценки итогового восприятия универмага. Различие восприятия универмага респондентами основной и контрольной групп характеризует эффективность показанной рекламы.

МОДЕЛИ ПСЕВДОЭКСПЕРИМЕНТА

О применении моделей псевдоэксперимента можно говорить при выполнении следующих условий. Во-первых, исследователь сможет контролировать, когда и над кем он будет проводить измерения. Во-вторых, исследователь не имеет возможности определять порядок задействования независимых переменных и случайным образом отбирать респондентов в экспериментальную и контрольную группы [18]. Псевдоэкспериментальные модели полезны, когда исследователь не сможет использовать модели действительного эксперимента или когда нет времени и средств на проведение последних. Тем не менее, поскольку степень контроля со стороны исследователя в данном случае гораздо ниже, необходимо учитывать влияние неконтролируемых факторов на полученные результаты. Распространенными примерами псевдоэкспериметадьных моделей являются временные ряды и множественные временные ряды.

Временные ряды

Временные ряды (time series design)

Псевоэкспериментальная модель, включающая периодическое проведение измерений зависимых переменных для группы единиц наблюдения. После того как группа подверглась воздействию независимой переменной, снова проводится серия измерений зависимых переменных для оценки степени влияния независимого фактора.

Модель временных рядов (time series design) предполагает периодическое проведение измерений зависимых переменныхдля группы единиц наблюдения. После того как группа подверглась воздействию независимой переменной, снова проводится серия измерений зависимых переменных для оценки степени влияния независимого фактора. Эксперимент с использованием временных рядов можно представить следующими условными обозначениями:

Такая модель считается псевдоэкспериментальной, поскольку не проводится случайный отбор единиц наблюдения и независимых факторов, а исследователь также не определяет время задействования независимого фактора.

Проведение серии измерений до и после задействовании независимого фактора обеспечивает по крайней мере частичный контроль за некоторыми посторонними факторами. В частности, такой контроль обеспечивается для фактора зрелости в единицах наблюдения, поскольку этот фактор не может избирательно влиять лишь на результаты отдельных измерений, скажем, Osu 0„, но повлияет и на результаты всех остальных измерений. Поэтому можно считать контролируемыми факторы основного эффекта тестирования, инструментария и статистической регрессии. Если единицы наблюдения отбираются случайным образом или из аналогичных пар, то отклонение отбора можно значительно сократить. Несколько проблематичен фактор убыли, однако и его можно нивелировать, предложив респондентам вознаграждение за участие в опросе либо применив какие-либо другие стимулы. Основной недостаток модели временных рядов -- отсутствие контроля исторического фактора. Другой недостаток -- невозможность устранения влияния интерактивного эффекта тестирования, поскольку проводится неоднократное измерение факторов-характеристик на базе одних и тех же респондентов. Тем не менее эта модель весьма полезна, что и подтверждается нижеприведенным примером. Эффективность пробного рекламного ролика (X) после его трансляции заданное количество раз можно оценить на основе опроса заранее определенной экспериментальной выборки респондентов. Хотя исследователь устанавливает время и частоту трансляции ролика, он тем не менее не может уверенно утверждать, сколько раз и где его прослушал каждый отдельный респондент из выборки, Покупки респондентов из выборки регистрируются до, во время и после трансляции ролика, чтобы определить, имеет ли последний кратковременный, долговременный или нулевой эффект на покупательское поведение респондентов.

Модель множественных временных рядов

Модель множественных временных рядов (multiple time series design)

Модель временных рядов, при которой, кроме экспериментальной группы, используется и j контрольная группа.

Модель множественных временных рядов (multiple time series design) аналогична по содержанию модели временных рядов, за исключением того, что при ней используется, кроме основной группы, еще и контрольная. Эту модель можно представить следующим образом:

При условии правильного отбора респондентов в контрольную группу эта модель дает более надежные результаты, чем модель временных рядов. Надежность возрастает за счет двоякого сравнения результатов измерений: в экспериментальной группе до и после задействования независимой переменной и по сравнению с контрольной. Применительно к ситуации с оценкой эффективности рекламы данная модель выглядит так: пробный рекламный ролик показывают отобранным респондентам лишь в некоторых городах. Респонденты в этих городах составят экспериментальную группу, в городах, где реклама не демонстрировалась, -- контрольную группу. Еше один пример применения этой модели -- многократная демонстрация рекламного ролика по каналам кабельного телевидения компанией ADTEL.

ПРИМЕР. Интенсивность рекламы повышает ее эффективность

Модель множественных временных рядов использовалась для оценки кумулятивного I эффекта интенсификации рекламы. Данные получены от Burke Marketing Services. Inc., из полевого эксперимента с изменением интенсивности рекламы фирмы ADTELno кабельному телевидению. Сформированы две одинаковые панели домохозяйств: экспериментальная и контрольная. Эти две панели сходны по своим демографическим характеристикам. Сбор данных проводился в течение 76 недель. Обеим панелям реклама анализируемого продукта демонстрировалась по кабельному телевидению с одинаковой интенсивностью в течение первых 52 недель. Затем в течение следующих 24 недель экспериментальной панели реклама продукта демонстрировалась с интенсивностью, в два раза превышающей интенсивность рекламы того же продукта в тот же период времени для контрольной панели. Результаты свидетельствовали о том, что с увеличением интенсивности рекламы количество покупок I данного продукта немедленно возрастало. Такого рода информация может использоваться I для разработки стратегии рекламной кампании (т.е. определения количества показов рекламы в отдельные периоды времени на протяжении рекламной кампании для получения максимального эффекта) [191.

В заключение рассмотрения моделей предварительного эксперимента, действительного эксперимента и псевдоэксперимента приведена табл. 7.3, обобщающая данные обо всех возможных факторах влияния на достоверность результатов, полученных применением каждой из этих моделей.

Знак "минус" означает относительно ослабляющее воздействие данного фактора; "плюс"' означает, что соответствующий фактор контролируемый; знак вопроса означает, что характер воздействия фактора неопределен, но существует потенциальная проблема: наконец, пропуск означает, что фактор не влияет на результаты, полученные в соответствии с данной моделью, При этом необходимо помнить, что потенциальные факторы недостоверности и реальные погрешности в результатах -- это не одно и то же.

СТАТИСТИЧЕСКИЕ МОДЕЛИ

Статистические модели предполагают проведение нескольких серий измерений, дающих возможность статистическими методами контролировать и анализировать влияние посторонних факторов. Иными словами, несколько одинаковых экспериментов проводится одновременно. Таким образом, на результаты, полученные в рамках статистического моделирования, влияют те же факторы недостоверности, что и на результаты, полученные в рамках базовых моделей. Статистические модели имеют следующие преимущества

Можно измерить влияние более чем одного независимого фактора.

Конкретные посторонние факторы поддаются статистическому контролю.

Экономически значимые выводы можно сделать при условии, что проводится более одного измерения каждой единицы.

Наиболее распространенными статистическими моделями являются модели случайных групп, латинского квадрата и факториальные методы.

Модель случайных групп

Модельслучайных групп (randomized block design)

Статистическая модель, при которой единицы наблюдения объединяются в отдельные категории в зависимости от значении какого-либо постороннего фактора для равномерного включения представителей каждой такой группы в экспериментальную и контрольные группы.

Модель случайных групп (randomized block design) полезна в тех случаях, когда существует только один значимый посторонний фактор (такой как объем продаж, доходы респондента, размер магазина), способный повлиять на значение зависимой переменной. Единицы наблюдения разбиваются по категориям в зависимости от значений этого постороннего фактора. Исследователь должен иметь возможность определить и измерить разницу в значении постороннего фактора между отдельными категориями. Выделением категорий единиц наблюдения исследователь обеспечивает равное представительство единиц наблюдения из каждой категории в экспериментальных и контрольных группах, формируемых для проведения эксперимента.

СКВОЗНОЙ ПРИМЕР. ВЫБОР УНИВЕРМАГА

Модель случайных групп й

Рассмотрим пример анализа рекламы в универмаге с точки зрения того, каким образом I юмор влияет на ее эффективность. Три образца рекламных роликов А, В и С созданы соот-I ветственно в серьезном стиле, с легким юмором и в шуточном стиле. Какой из них наиболее ! эффективен? Менеджеры универмага предполагают, что оценка респондентами рекламных Й роликов зависит оттого, являются ли они постоянными покупателями данного универмага;

таким образом, частота совершения покупок в данном универмаге определена как критерий I формирования категорий респондентов. Случайным образом выбранные респонденты Й сгруппированы в четыре категории (постоянные покупатели; лица, периодически совершающие покупки; лица, изредка совершающие покупки; лица, не являющиеся покупателями данного универмага). Представители каждой категории случайным образом включаются в экспериментальные группы, которым будут продемонстрированы рекламные ролики. Результаты эксперимента позволяют сделать вывод о том, что рекламный ролик в легком I юмористическом стиле (В) наиболее эффективный (табл. 7.4) [20].

Как показывает пример, в большинстве случаев маркетинговых исследований посторонние факторы, такие как объем продаж, размер магазина, тип магазина, его расположение, род занятий и социальный статус респондентов, влияют на значения зависимых переменных. Таким образом, модель случайных групп употребляется чаще, чем модели, основанные на случайном отборе респондентов. Однако основным недостатком этой модели является то, что исследователь с ее помощью может в каждом отдельном случае контролировать только один посторонний фактор. Б ситуациях, когда необходимо контролировать несколько посторонних факторов одновременно, используются модель Латинского квадрата или факториальные модели.

Модель латинского квадрата

Модель латинского квадрата (Latin square design)

Статистическая модель, позволяющая наряду с манипуляциями с независимо, переменной контролировать два невзаимосвязанных посторонних фактора.

Модель латинского квадрата (Latin square design) позволяет наряду с манипуляциями с независимой переменной контролировать два невзаимосвязанных посторонних фактора. В зависимости от значений каждого из двух контролируемых посторонних, или категориальных, факторов выделяется одинаковое количество категорий респондентов. Одновременно выделяется такое же количество значений независимого фактора. Модель латинского квадрата можно представить в виде таблицы (табл. 7.5), в которой колонки и строки представляют собой отдельные категории респондентов, выделенные в зависимости от значении каждого из посторонних факторов. Таким образом, каждая ячейка таблицы представляет группу респондентов, удовлетворяющую одновременно условиям принадлежности к одной из категорий каждого из двух контролируемых посторонних факторов. Затем устанавливается соответствие между значениями независимой переменной и группами респондентов, попавшими в каждую ячейку таблицы. Правило установления соответствия заключается в том, что каждое значение независимого фактора должно появляться только один раз в каждой строке и в каждом столбце, как показано в табл. 7.5.

...