Валідизація методик вимірювання репутації на пострадянському просторі

Розробники методики приділили велику увагу питанню її валідизації, досить детально описавши використовувані процедури й підходи та отримані результати. Оскільки для перевірки надійності та валідності методики RepTrak™ на пострадянському просторі отримані результати порівнюватимуться з результатами, які наводили автори методики, стисло їх розглянемо.

Проте, перш ніж переходити до розгляду результатів розробників методики, необхідно зазначити два аспекти, важливі для подальшого викладу інформації. Перший аспект є надзвичайно важливим і стосується термінології, використовуваної авторами методики при викладі матеріалу, що буде відображено далі. Такі категорії, як «надійність» та «валідність», використовують у різних дисциплінах -- соціології, психології, маркетингу та ін., і в межах кожної з дисциплін вони передбачають як певне змістове наповнення, так і певні процедури та критерії. Навіть у межах соціології існують складності з концептуалізацією понять «валідність» та «надійність», пов'язані з наявністю двох традицій, західної та радянської, в межах яких валідність та надійність мають різне значення. Фактично це призводить до того, що критерії валідності, які наводять автори методики, за назвами можуть відповідати критеріям валідності, що існують в соціології, проте за своїм змістом вони можуть відрізнятися. Така термінологічна розбіжність може заплутувати чи навіть викликати упереджене ставлення до наведених результатів. Тому важливо зробити наголос, що в межах перевірки надійності та валідності методики ми використовуватимемо ті позначення та назви критеріїв валідності, що були наведені авторами методики. Та якщо надійність у тому розумінні, як її застосовували автори методики, є близькою до соціологічного розуміння надійності як за змістом, так і за методами перевірки, то у випадку валідності ситуація дещо складніша.

До класичного соціологічного розуміння валідності та її типів можна віднести підхід Д. Кемпбела, котрий розрізняє внутрішню валідність, зовнішню валідність та конструктну валідність, яку, своєю чергою, поділяє на конверґентну та дискримінантну [Campbell, 1959]. Інший відомий підхід до концепту валідності, запропонований В. Трочимом, передбачає вирізнення внутрішньої, зовнішньої, конструктної валідності та валідності виводу [Trochim, 2020]. Вдосконалений та розширений варіант типології валідності В. Трочима був запропонований С. Дембіцьким і видається авторам цієї статті найактуальнішим на сьогодні. Він включає п'ять типів валідності: теоретичну, конструктну, зовнішню, внутрішню та передбачувальну. Теоретична валідність показує, наскільки теоретичний конструкт, покладений в основу дослідження, відповідає реальному соціальному феноменові. Конструктна валідність показує, якою мірою вимірювальна методика та результати, отримані на цих засадах, відповідають теоретичному конструктові. Зовнішня валідність показує, наскільки вибіркова сукупність може бути підставою для узагальнень стосовно інших людей, контекстів та періодів. Внутрішня валідність показує, наскільки вимірювання підтверджують існування зв'язків між змінними та наскільки ці зв'язки можуть бути підтвердженням причинно-наслідкової залежності між змінними. Передбачувальна валідність показує, якою мірою теоретична, зовнішня та внутрішня валідності забезпечують передбачувальний потенціал дослідження [Дембіцький, 2008: с. 107].

Водночас автори методики RepTrak™ в розвідці «RepTrak™ Pulse: Conceptual izing and Validating a Short-Form Measure of Corporate Reputation» [Ponzi, 2011] оперують поняттями конверґентної, дискримінантної, номологічної та крос-культурної валідності, а в розвідці «Stakeholder Tracking and Analysis: The RepTrak™ System for Measuring Corporate Reputation» [Fombrun, 2015] -- внутрішньої, конверґентної, дискримінантної та конструктної.

Відповідно до використаних критеріїв конверґентна, номологічна, внутрішня та конструктна валідності відповідають популярній в соціології факторній валідності [Дембицкий, 2017: с. 116], а крос-культурна -- поняттю інваріантності [Жуленьова, 2017: с. 36-40]. Проте, виходячи з наявності можливості фактично повторити процедури перевірки надійності та валідності, здійснені розробниками методики, на даних, зібраних на пострадянському просторі, автори статті вважають доречним використовувати для цих процедур ориґінальні назви та терміни, зважаючи при цьому, що фактично використаний набір процедур перевіряє тільки валідність методики (інструментарію), а не дослідницьку процедуру в цілому, оскільки не розглядаються зовнішня та передбачувальна валідності.

Другий аспект стосується назв компонентів моделі. Коли у 2020-му компанія «Reputation Institute» була перейменована на «RepTrak», відбувся і ребрендинґ моделі. Назва моделі «RepTrak™» залишилась без змін, проте зміни відбулись у компонентах моделі. Індекс емоційної репутації замість «Pulse» отримав назву «Reputation Index», фактори замість «Dimensions» стали «Drivers», а атрибути замість «Attributes» стали «Factors». Без змін залишився тільки блок «Supportive Behaviour», що відображає артикульовані наміри щодо поведінки. Проте оскільки в цій статті ми посилаємося на праці розробників методики та використовуємо наявні в них дані як референтні для перевірки надійності та валідності методики на пострадянському просторі, доречно використовувати й назви компонентів методики, що представлені у відповідних працях.

У статті «RepTrak™ Pulse: Conceptualizing and Validating a Short-Form Measure of Corporate Reputation» розглянуто тільки індекс Pulse, який відповідає емоційному вимірові репутації, без коґнітивних компонентів. Висновки авторів методики стосовно надійності та валідності індексу базуються на одному якісному та чотирьох кількісних дослідженнях. Кількісні дослідження проводили в різних країнах та серед різних цільових аудиторій (груп стейкхолдерів). Перший проєкт був якісним та проводився у США. У межах другого проєкту представники громадськості (General Public) США оцінювали відомі американські компанії, у третьому дослідженні канадські лікарі оцінювали фармацевтичні компанії, у четвертому -- споживачі у США оцінювали енергетичні компанії, у п'ятому -- співробітники Данської залізничної компанії оцінювали свого роботодавця.

Для підтвердження надійності методики її розробники розглядають кореляцію між складовими індексу Pulse та кореляцію між кожною зі складових індексу із самим індексом. Високі позитивні значення кореляції є доказом надійності індексу. Також розробники методики наводять значення а Кронбаха, які є високими. При цьому а Кронбаха є вищою із кожним зі складових індексу, ніж без нього, що також підтверджує надійність індексу Pulse. Зазначаючи, що а Кронбаха може занижувати надійність шкали, автори методики наводять додатковий показник -- композитну надійність (Composite Reliability, СR), яку обчислюють як один із показників у моделюванні структурних рівнянь (Structure Equation Modelling) Більшість перекладів цього показника на пострадянському просторі знаходимо саме в російськомовних матеріалах. Найчастіше зустрічаються варіанти перекладу «composite reliability» як «составная надёжность» (складена надійність) та «композитная надёжность» (композитна надійність). Авторам цієї статті варіант «композитна надійність» видається більш коректним, тому надалі використовуватимемо саме його.. Для всіх проєктів, що становили емпіричну базу дослідження, значення цього показника перевищило референтне значення 0,7, що є підтвердженням надійності методики. Додатково у двох з п'яти проєктів для аналізу випадковим чином було відібрано частину спостережень, тобто здійснено розщеплення вибірки. Отримання аналогічних результатів на розщеплених частинах вибірки є ще одним критерієм, що підтверджує надійність емоційного індексу.

У разі перевірки валідності індексу Pulse автори методики розглядають конструктну (конверґентну, дискримінантну, номологічну) та крос-культурну валідність [Ponzi, 2011: р. 23]. Під номологічною валідністю ми розуміємо перевірку того, чи великою за модулем є кореляція між компонентами, що мають корелювати між собою, якщо виходити з теоретичного конструкту, та чи відповідає знак (напрямок) цієї кореляції теоретичному конструктові. Фактично номологічна мережа, яка відображає зв'язки між досліджуваними явищами чи характеристиками об'єкта та іншими явищами й характеристиками, є графічним поданням теоретичного конструкту.

Рис. 1. Графічне зображення конструкту корпоративної репутації (емоційного компонента репутації) RepTrak™ Pulse¹

Для підтвердження конверґентної валідності автори методики побудували структурну модель конструкту корпоративної репутації з використанням програми SPSS AMOS 6.0. Підтвердженням конверґентної валідності (яка є складовою конструктної валідності) є високе значення середньої поясненої дисперсії (Average Variance Extracted, AVE). AVE в російськомовній літературі перекладають і як «средняя объяснённая дисперсия» [Беляева, 2017: с. 144] (середня пояснена дисперсія), і як «средняя извлечённая дисперсия» [Широкова, 2015: с. 13] (середня вилучена дисперсія), і просто як «средняя дисперсия» (середня дисперсія). Фактично це величина дисперсії, пояснюваної конструктом, у відношенні до загальної дисперсії -- для рефлексійних моделей [Devinney, 2008] AVE оцінює, наскільки латентна змінна пояснюється спостережуваними змінними. Отже, більш коректним варіантом авторам статті видається саме «середня пояснена дисперсія». Формула для розрахунку AVE виглядає так:

де k -- це кількість індикаторів у конструкті, X -- факторне навантаження, Var(e) -- залишкова дисперсія (error variance) k-го індикатора в конструкті. Див.: [Ponzi, 2011: р. 23].

Error variance перекладається в різних джерелах або як «дисперсія похибки», або як «залишкова дисперсія». На думку авторів цієї статті, переклад «залишкова дисперсія» кращою мірою відображає зміст поняття.

Для всіх кількісних досліджень, розглядуваних авторами статті, значення AVE становило понад 0,78, що вище за референтне значення 0,5 [Ponzi, 2011: р. 24] та є підтвердженням конверґентної валідності методики. Для з'ясування другого компонента конструктної валідності -- дискримінантної валідності потрібно довести, що латентна змінна більшою мірою пояснюється змінними, які мають її пояснювати відповідно до моделі, ніж іншими змінними. У розвідці «RepTrak™ Pulse: Conceptualizing and Validating a Short-Form Measure of Corporate Reputation» для цього використано процедуру, запропоновану Андерсом та Ґербінґом [Anderson, 1988: р. 411-423]. Спершу в програмі AMOS було побудовано структурну модель, що включала дві латентні змінні -- емоційну репутацію та артикульовані наміри щодо поведінки (рис. 2).

Рис. 2. Структурна модель, що поєднує емоційну репутацію та поведінку (артикульовані наміри щодо поведінки). Повні формулювання артикульованих намірів щодо поведінки наведено в Додатку 2

Після цього було створено альтернативну, так звану обмежену, модель. Для цього дисперсію латентної змінної було взято за одиницю, коефіцієнти реґресії, що пов'язують спостережувані змінні з латентною змінною, були вилучені, коваріацію між двома латентними змінними було взято за одиницю. Після цього розробники методики порівняли початкову модель, де кореляції оцінювали вільно, та обмежену модель. Для кожного із досліджень, що слугували емпіричною базою, Х² показав значимість відмінностей між початковою та обмеженою моделями, що підтвердило, що індекс репутації Pulse та підтримувальна поведінка є різними конструктами.

Для підтвердження номологічної валідності автори методики розглянули зв'язок між репутацією та поведінкою. В усіх проєктах, що були емпіричною базою, зв'язок між латентними змінними в моделі, відображеній на рисунку 2, становив понад 0,8 за прийнятних показників відповідності моделі. Високе значення зв'язку та позитивний знак є підтвердженням номологічної валідності.

Окремо автори методики RepTrak™ також розглянули крос-культурну валідність, для перевірки якої було проведено окреме дослідження, яке охоплювало 17 країн на шести континентах -- Австралію, Канаду, США, Велику

Британію, Китай, Японію, Росію, Нідерланди, Швейцарію, Францію, Італію, Аргентину, Мексику, Данію, Швецію, Індію, Південну Африку. В межах дослідження було зібрано оцінки про 800 компаній. Кількість компаній у кожній з країн визначали, виходячи з кількості населення та розмірів компаній. Автори методики повторили аналіз надійності та конверґентної валідності, який робили на попередніх даних, для кожної із 17-ти країн та порівняли отримані результати. Кореляція між складовими індексу репутації спостерігається висока та позитивна між всіма складовими і в усіх країнах. Коефіцієнт а Кронбаха має високе значення та варіює від 0,937 для Індії до 0,967 для Великої Британії та США. GFI (Goodness of Fit) варіює від 0,989 для Аргентини та Великої Британії до 0,998 для Австралії та Данії, CFI (Comparative Fit Index) -- від 0,972 для Великої Британії до 0,998 для Австралії та Японії, RMSEA (Root Mean Square Error of Approximation) -- від 0,019 для Японії до 0,081 для Великої Британії, AGFI (Adjusted Goodness of Fit) -- від 0,945 для Аргентини до 0,988 для Данії [Ponzi, 2011: p. 30]. Отримані результати підтверджують не тільки високу надійність та валідність методики, а й її крос-культурну універсальність.

Другим кроком обґрунтування надійності та валідності методики було доведення зв'язку між емоційним індексом репутації та коґнітивними компонентами репутації, викладене у розвідці Ч. Фомбруна, Л. Понзі та В. Ньюбері «Stakeholder Tracking and Analysis: The RepTrak™ System for Measuring Corporate Reputation» [Fombrun, 2015: p. 10], що вийшла друком за чотири роки після першої статті. Емпіричними даними послугували п'ять досліджень -- опитування лідерів думок у Бразилії, громадськості у США, інвесторів в Іспанії, лікарів у Швейцарії та клієнтів страхових компаній в Данії та Швеції. У цій розвідці, посилаючись на сиґнальну теорію, автори методики розглядають, яким чином інформаційні сиґнали, які посилає компанія, пов'язані з репутацією компанії. Сформульовані у вигляді тверджень у позитивній конотації 23 сиґнали, які вони назвали «атрибутами», пов'язані із сімома напрямками, названими «факторами» (на нашу думку, саме «фактор» є найбільш релевантним варіантом перекладу для ориґінальної назви «Dimension» Хоча «Dimension» перекладається як «вимір», «розмірність» чи «габарит», в ідеології методики RepTrak™ Dimensions - це коґнітивні чинники, які впливають на репутацію та формують її. На думку авторів, назва «фактор» найкращою мірою передає зміст цього компонента моделі.). Загальна логіка моделі корпоративної репутації така: атрибути (вони ж сиґнали) як змінні, спостережувані безпосередньо, пояснюються факторами. Фактори пояснюються латентною змінною другого порядку, яка може бути названа раціональною, або ж коґнітивною репутацією. Своєю чергою раціональна репутація пов'язана з емоційною репутацією, представленою в моделі у вигляді ще однієї латентної змінної. У структурній моделі розробників методики використано такі назви латентних змінних, як «корпоративна репутація» та «репутація» (рис. 3). У цій моделі не представлена артикульована готовність до дії й вона відображає лише частину загальної моделі корпоративної репутації.

Хоча, на думку Ч. Фомбруна, Л. Понзі та В. Ньюбері, запропонована ними модель є змішаною -- і рефлексійною, і формувальною одночасно, за формальними критеріями вона все-таки належить до рефлексійних моделей, тобто на безпосередньо спостережувані змінні впливають латентні змінні, при цьому латентні пояснюють тільки частину дисперсії безпосередньо спостережуваних.

Процедура здійсненого авторами методики аналізу передбачала три етапи: на першому було здійснено перевірку надійності та валідності кожного з отриманих факторів за допомоги експлораторного факторного аналізу (Exploratory Factor Analysis, EFA). На другому етапі було проведено перевірку валідності семифакторної структури (яку автори методики назвали структурою корпоративної репутації, хоча це радше структура сиґналів, що формують корпоративну репутацію, або ж, на думку авторів статті, «раціональна модель корпоративної репутації») за допомоги конфірматорного факторного аналізу (Confirmatory Factor Analysis, CFA). На третьому етапі було здійснено конфірматорний факторний аналіз другого порядку для підтвердження зв'язку між семифакторною структурою репутації та емоційною репутацією. Означені структури та зв'язок між ними розробники методики назвали факторною ієрархією корпоративної репутації.

На першому етапі для перевірки надійності кожного із семи коґнітивних факторів було визначено а Кронбаха -- значення понад 0,7 для всіх факторів та всіх проєктів є свідченням високої надійності методики. Також для всіх факторів значення а Кронбаха за всіх включених тверджень було вищим, ніж в разі виключення будь-якого з тверджень. На другому етапі було побудовано модель раціональної корпоративної репутації, що включала коґнітивні атрибути та фактори. Значення поясненої дисперсії (AVE) на рівні понад 0,7 для всіх проєктів є ознакою конверґентної валідності. Для підтвердження дискримінантної валідності автори статті використали критерій Форнела-Ларкера та порівняли AVE зі спільною дисперсією (shared variance). Згідно з критерієм Форнела-Ларкера дискримінантна валідність підтверджується, якщо квадрат кореляцій між кожною парою змінних є меншим за середню пояснену дисперсію (AVE) [Ab Hamid, 2017]. Спільна дисперсія -- це частка дисперсії, яку латентна змінна може пояснити в іншій латентній змінній і яка розраховується як квадрат кореляцій між ними. Для кожного з факторів AVE виявився значимо вищим за спільну дисперсію, що є підтвердженням дискримінантної валідності методики.

На третьому етапі для кожного із п'яти проєктів було побудовано модель другого порядку, до якої увійшли модель корпоративної репутації (раціональна) та модель емоційної репутації. Задовільні результати, отримані за ключовими параметрами оцінки моделі (рис. 3), такими як: CFI більший за 0,93; TLI більший за 0,92; RMSEA від 0,05 та 0,08, згідно з позицією авторів методики, є підтвердженням конструктної валідності методики дослідження корпоративної репутації.

Рис. 3. Графічне зображення моделі, що включає емоційні та коґнітивні компоненти [Fombrun, 2015: р. 10]

В разі аналізу процедур підтвердження надійності та валідності моделі досить дивним видається, що насправді повної моделі ніде не наведено. Одна частина досліджень показує зв'язок між емоційним компонентом репутації (індекс Pulse) і поведінкою, інша -- між емоційним і коґнітивними компонентами сприйняття. Хоча коґнітивні компоненти також об'єднуються латентною змінною, вона не є частиною моделі. Проте для підтвердження надійності та валідності методики на пострадянському просторі найбільш релевантним є відтворення описаних розробниками дослідницьких процедур на даних, зібраних на пострадянському просторі. Аналіз спірних питань, що стосуються методики, та її вдосконалення з метою розроблення на її підставі методики, яка повністю відповідала б розумінню репутації як категорії економічної соціології, є темою окремої роботи.

Перевірка надійності та валідності методики RepTrak™ на пострадянському просторі