Валидность моделей личности в практике оценки

Размещено на http://www.allbest.ru/

ВВЕДЕНИЕ

Проблематика исследования.

В практике оценки персонала используется достаточно большое количество различных инструментов оценки личности (личностных конструктов, качеств, типов и т.п.), большинство из которых базируется на какой-то своей определенной модели (теории) личности и ее организации. Само по себе сравнение критериальной (конкурентной валидности) инструментов является важной задачей для определения степени границ точности и прогностической возможности данных методов для оценки. Однако в данном исследовании мы предполагаем сосредоточится на решении теоретически более концептуальной задачи - сравнении валидности самих моделей личности в решении практических задач. Практическая значимость любой теории (модели) заключается не только в ее способности описать окружающую действительность (в данном случае, действительность личности) и обладать качеством содержательной валидности, но и давать достаточно точные и полезные прогнозы, иными словами - иметь прогностическую ценность как способность прогнозировать, или в минимальном случае, быть связанной с успешностью человека в работе. Таким образом, в исследовании мы ставим задачу исследование прогностической ценности моделей в практике оценки персонала и тех факторов, от которых эта ценность может зависеть.

Цель исследования:

Изучение конкурентной (критериальной) валидности применяемых в практике оценки персонала моделей личности.

Предмет исследования:

Валидность моделей личности в практике оценки.

Объект исследования:

Модели личности, разработанные разными авторами в рамках разных подходов.

В соответствии с поставленной целью можно выделить следующие задачи исследования:

Теоретические задачи:

· обзор и анализ моделей личности;

· классификация инструментов оценки личности по моделям и подходам;

· определение ключевых понятий исследования.

Методические задачи:

· операционализация понятий валидности моделей в практике оценки;

· определение критериев включения имеющихся данных в мета-анализ.

Эмпирические задачи

· работа с литературой (сбор данных по валидности);

· мета-аналитическое сравнение мощности моделей (величины эффекта валидности относительно эффективности выполнения работы);

· выделение наиболее валидных моделей и определение факторов, влияющих на валидность;

· описание полученных результатов.



1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

Обзор проблематики моделей (теорий) личности

Изучение проблематики личности и дифференциальных различий между людьми началось задолго до возникновения психологии как науки. Множество мыслителей древности задавались этими вопросами, и создавали свои теории относительно таких понятий, как личность, характер, темперамент, а порой и формировали сами эти понятия. Так, философ Теофраст в трактате «Характеры» выделил около 30 характеров, которые могут быть присущи людям. Он же сформулировал один из базовых вопросов дифференциальной психологии - «почему люди, живущие в одной местности и в схожих условиях, так сильно отличаются между собой?». Известнейшие произведения поэтов и сказателей Древней Греции, которые принято объединять в «Мифы Древней Греции», также сами по себе содержат описания ряда характеров или личностных типов (например. греческие боги), на основании которых современные исследователи продолжают изучать и описывать тенденции, характерные для ныне живущих людей (например, теория архетипов в аналитической психологии). Другой известный ученый, Гиппократ, и в последствии его продолжатель Гален, создали теорию темпераментов, в которой не просто пытались классифицировать людей на типы, но и показать причины, по которым эти темпераменты могут возникать (с отсылкой к биологическим факторам).

На рубеже 19-20 века, с формирование психологии как науки, множество исследователей начинают заниматься проблемой личности с опорой на научные методы познания, и возникают разнообразные теории и модели личности, ее структурной организации и развития. Во многом каждая модель и теория зависит от той школы, в рамках которой она создавалась, и является следствием более широкого понимания психики, которая была характерна для той или иной парадигмы. При этом, ставился еще один концептуальный вопрос, который мог повлиять на весь ход изучения этого понятия - «а возможно ли в принципе изучать индивидуальные различия»? В общем виде это был и остается спор между представителями идеографического подхода (Г. Олпорт) и номотетическго подхода (Р. Кеттел, Г. Айзенг). В конечном счете, не смотря на сильные аргументы со стороны первого подхода, были разработаны и сформулированы (а затем эмпирически изучены) ряд моделей, которые позволили стандартизировать и выделить закономерности между людьми, которые с одной стороны, отличали их как индивидов друг от друга, но при этом были общими для ряда индивидов. В рамках этого подхода было сформулировано ряд теорий и моделей личности, а также инструментов, позволяющих проводить их диагностику и оценку, которые затем стали применяться для решения практических задач, в том числе для оценки эффективности профессиональной деятельности и предсказания этой эффективности. Данные модели и являются основным объектом анализа в рамках нашей работы.

Что касается определения самого понятия «личности», то тут существует множество трактовок. Личность может пониматься как «совокупность общественных отношений, реализующихся в многообразных деятельностях» (А.Н. Леонтьев), «субъект общественного поведения и коммуникации» (Б.Г. Ананьев), «носитель сознания» (К.К. Платонов) и т.п. данные определения характеризуют личность как составную часть и даже производную общественных отношений. Тем не менее, если описывать структуру личности, то туда неизменно будут входить разные уровни организации психики человека, начиная от темпераментальных характеристик, характера, чет и индивидуальных особенностей, мотивации, ряда когнитивных способностей, ценностей и Я-концепции, и заканчивая сознанием, социальными ролями и экзистенциальными сущностями. Таким образом, понятие личности является достаточно интегральным конструктом, что не могло не отразиться на тех теориях, которые стремились его описать.

Классификация теорий (концепций) личности может иметь множество разных оснований, в зависимости от истории возникновения, научной школы, динамических или структурных подходов и т.п. Так, выделяют следующие концепции: психодинамическая концепция (Фрейд), аналитическая психология (Юнг), психосоциальная теория (Эриксон), теория черт личности (Олпорт, Кеттел), типы личности (Айзенг), бихевиористическая теория (Скиннер), социальное научение (Роттер), когнитивная теория (Келли), гуманистическая теория (Маслоу), феноменологическая теория (Роджер) и т.п. (Хьелл и Зиглер, 1997). В каждой теории личность рассматривается и операционализируется совершенно по-разному, где то выступая в качестве более общего и теоретического конструкта (что характерно для работ Фрейда и Юнга), где-то как фактор когнитивной деятельности (Келли), где-то как промежуточное звено между потребностью и поведением, а где-то как самостоятельная структура, имеющая свою организацию и черты, существующие независимо от конкретного индивида, но при этом проявляющиеся в каждом из нам и определяющие поведение, мысли и ценности. В данном случае такой подход последовательно воплощался в теориях личностных черт, в рамках которой возникло ряд моделей личности, которые мы и собираемся рассматривать в своем исследовании (Дружинин, 2003).

Большинство из этих подходов опирались на набирающие популярность в психологии методы статистического анализа данных и психометрику, в рамках которой исследователи старались использовать естественнонаучные методы для описания психологических феноменов. Данные методы позволяли проводить измерения и давать возможность статистически проверять наличие тех или иных психологических закономерностей, которые описывались в рамах теоретических предположений. При этом, само развитие этих методов происходило не независимо, а зачастую в ответ на запросы конкретных исследовательских задач, что определяло и специфику движения научного познания в камках данной проблематики.

Основные модели личностных черт

Теории личностных черт и типов завоевали достаточно серьезные позиции в практике оценки персонала за счет своей структурированности, проработанности практических аспектов, наличия мощной диагностической и эмпирически верифицируемой базы. Немаловажным обстоятельством стал и тот факт, что в данных моделях позиционировалась одна очень простая, но прогностическая причинная связь между определенными чертами (или их сочетаниями) и желаемым профессиональным поведением. Тем не менее, можно выделить ряд достаточно разных подходов и моделей, которые были созданы в рамках этой теории и ее принципов.

Каждый подход основан на своей логике поиска универсальных факторов - в какой то парадигме исследователи шли от эмпирических данных, создавая модели на основе статистических процедур (например, факторного анализа), в других парадигмах они могли идти от теории и пытаться воссоздать ее модель на практике.

Таблица 1. Подходы и принципы создания моделей личности

Подходы	Принципы построение моделей личности
Лексикографический	Эмпирический
Диспозициональный	Теоретико-эмпирический
Лексикографический и диспозициональный	Эмпирический
Типологический	Теоритический
Клинический	Теоретико-эмпирический
Професссиональный	Теоретико-эмпирический

Лексикографический (психографический) подход

Одной из первых моделей, в последствии ставшей достаточно популярной в научной и практической деятельности, стала 16-факторная модель (16 PF), предложенная Р. Кеттелом. Исходный набор личностных черт был получен путем анализа слов английского языка, что стало воплощением идеи Ф. Гальтона о том, что наиболее значимые различия между людьми закреплены в структуре натурального языка. В своей работе Кеттел опирался на список из 4500 слов, составленный Олпортом и Одбертом (Allport & Odbert, 1936), в последствии сократив его до 171 слова. Помимо этого, он предложил разделить исходные данные на три основных типа: L - данные (real-life ratings), Q - данные (questionnaire data) T - данные (objective test data). Первый типа базировался на наблюдении экспертов, второй - на данных опросников, третий - на измерении объективных данных об испытуемых. В результате факторизации L и Q - данных им было выделено 16 факторов первого порядка, которые легли в основу модели 16 PF. В дальнейшем были выделены факторы второго порядка (8 факторов), и факторы третьего порядка (5 факторов), которые выделялись в результате следующих факторизаций данных.

В дальнейшем множество исследований было посвящено попыткам воспроизведения результатов Кеттела, но не во всех их них удавалось подвердить первичную 16-факторную модель. Ряд исследований показывали схожие результаты (Krug, Jones, 1986), ряд могли получать во многом не совпадающие результаты, например, получать 12 факторов (Matthews, 1989). Таким образом, на разных выборках могла показываться разная степень воспроизводимости модели первичных факторов, хотя модель второго и третьего порядка могли быть более устойчивыми.

Диспозициональный подход

Данный подход во многом ориентирован на изучение биологических предикторов и оснований личностных черт и различий, и в основном строится на изучении темпераментальных черт, которые, тем не менее, могут обуславливать и социальное поведение (Русалов, 2003). Одной из самых известный моделей личности, появившейся в рамках данного подхода, является EPI (трехфакторная модель Г. Айзенга и М. Айзенга). В ней личность рассматривается как структура, в рамках которой функционируют три этих базовых свойства темперамента и когнитивный фактор (Eysenck & Eysenck, 1985). Во многом эта модель перекликается с теориями темперамента, которые появились еще в до-психологический период, затрагивает учение Павлова и типах нервной системы. Помимо проработки структурного содержания модели Г. Айзенг во многом стал методологом большого количества исследований в области психологии личности и выдвинул критерии, которые, с одной стороны, могли отличать научные теории от чисто теоретических, с другой стороны, обозначали требования, которым должна удовлетворять действительно комплексная модель личности (Eysenck, 1991). Также, помимо моделей Айзенга в рамках данного подхода можно выделить модель Цуккермана, которая основана на пяти основных факторах личности (Zuckerman, 1990).

Лексикографический и диспозициональный подход

Направления исследований, которые были заложены Кеттелом и Айзенгом, в дальшейшем привели к поиску новых факторных моделей, которые могли бы описать специфику и разнообразие личностных черт, с одной стороны, с другой стороны, были бы достаточно стабильны и воспроизводимы в исследованиях. Данная модель была получена в ряде исследований, выполненных в 1960-е годы (Borgatta, 1964; Norman, 1963; Tupes & Christal, 1961), и получила название BigFive. Впервые названия для пяти факторов были даны Норманом (1963), и звучали как экстраверсия, доброжелательность, добросовестность, эмоциональная стабильность и культура (или открытость новому опыту (Costa & McCrae, 1992). Само название же модели было дано Голдбергом (Goldberg, 1981).

С 1960 по 1980 пальма первенства, тем не менее, принадлежала моделям Айзенка и Кэттела. Так, если в середине 1980-х индекс цитирования BigFive уступал совокупному индексу цитирования моделей Айзенка и Кэттела более чем в 100 раз, то к середине 1990-х две группы моделей сравнялись по частоте цитирования, а к 2009 году уже частота цитирования Большой Пятерки превзошла использование моделей Айзенка и Кэттела вместе взятых более чем в 50 раз (John et al., 2008).

Данная модель, как и 16PF, основана на изучении списков прилагательных, но при этом аппелирует к допущению в том, что ее факторы являются образованием надкультурным, в сущности, не зависимым от языка. Однако вероятность существования специфических, культурно обусловленных, факторов весьма велика. Большим преимуществом модели является ее глубокая эмпирическая проработка. В течение 1990-х годов был проведен целый ряд «региональных» исследований Большой Пятерки. Модель получила свою эмпирическую поддержку на китайской (Yang & Bond, 1990), чешской (Hrebickova & Ostendorf, 1995), греческой (Saucier, Georgiades, Tsouasis, & Goldberg, 2005), израильской (Almagor et al., 1995), венгерской (Szirmak & De Raad, 1994), польской (Szarota, 1995), испанской (Benet-Martinez & Waller, 1997), филиппинской (напр., Church & Katigbak, 1989; Church et al., 1997), турецкой (Somer & Goldberg, 1999) выборках. Была получена эмпирическая верификация Большой Пятерки и в России (Shmelyov & Pokhil'ko, 1993). В целом, результаты этих исследований показывают, что во многих языках получаются структуры, похожие на Большую Пятерку, хотя иногда образуются 2 «местных» фактора, согласующихся с одним из традиционных факторов. Больше всего проблем возникает с 5 фактором, который варьируется от чистого интеллекта (на немецких выборках) до неконвенциональности и непокорности в голландских и итальянских группах. личность персонал успешность

Существует ряд диагностических инструментов, которые используется при измерении факторов BigFive. Среди них можно выделить вопросник NEO-PI-R (Costa& McCrae, 1992), полная версия которого содержит 240 пунктов, BFI (Big Five Inventory; John,Danahue, & Kentle, 1991) и т.д.

Типологический подход

В рамках данного подхода личность рассматривается не как совокупность некоторого количества факторов, имеющих распределение признака в рамках одной переменной, а как дискретные типы, имеющие бимодальное распределение по дихотомической шкале. Во многом данный подход также продолжает традиции до-психологического понимания структуры организации психики человека, заложенного в традициях ранней философии.

Наиболее известной типологической моделью личности является модель MBTI, построенная на теории К.Г. Юнга (который считается родоначальником такого понятия «интроверсия - экстраверсия» - как одной из самых наиболее используемых черт личности). Она возникла в 40-х годах 20 века и получила широкое распространение в США и Европе. Типология Майерс-Бриггс изначально разрабатывалась Изабель Майерс-Бриггс и её матерью Кэтрин Бриггс на основе работы Юнга «Психологические типы». Первая версия теста Майерс-Бриггс (Myers-Briggs Type Indicator, MBTI) появилась в 1942 году. В 1972 году был создан Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность и осуществляющий подготовку специалистов по применению MBTI. В 1972 году был создан Center for Applications of Psychological Type (CAPT), ведущий исследовательскую деятельность и осуществляющий подготовку специалистов по применению MBTI. Значительная часть исследований по типологии Майерс-Бриггс публикуется в журнале The Journal of Psychological Type.

Особенности данной модели являются и одним из самых критикуемых ее недостатков. Типологический подход предполагает наличие ярких «типов», в то время как в исследованиях распределение ответов тяготеет к нормальному с центром в равновесии для всех 4-х бинарных признаков (мышление-чувство, экстраверсия - интроверсия, и др.) Таким образом, большое количество людей будет отнесено к существенно разным типам при наличии незначительной разницы в измеренных тестом значениях. Такая ситуация также повышает вероятность ошибки измерения.

Помимо MBTI в практике тестирования также используются методики Д.Кейрси (Keirsey Temperament Sorter), DISC, Tomas и другие.

Клинический подход

Данный подход во многом кардинально отличается от рассмотренных выше по нескольким основаниям. Во-первых, модели личности в рамках него строятся не на основании факторной обработки данных, а, во-вторых, имеют в своей основе либо психодинамические, либо клинические предпосылки (личностные черты определяются как те или иные нарушения, акцентуации, клинические характеры). За счет этого данные модели чаще используются в практике клинической работы, но могут и применяться в ситуациях для ситуаций оценки в профессиональной деятельности.

Одной из наиболее известных моделей и методик данного подхода является Миннесотский многоаспектный личностный опросник или MMPI (Minnesota Multiphasic Personality Inventory), разработанный в конце 30 -- начале 40 годов в Университете Миннесоты С. Хатуейем и Д. МакКанли. В 1989 году выпущен рестандартизированный вариант методики -- «MMPI-2». В классическом варианте содержит 10 факторов плюс 4 показателя достоверности ответов. В РФ известны адаптации этого опросника под названиями ММИЛ (Ф. Березин) и СМИЛ (Л.Н. Собчик).

Другим также достаточно известным опросником и моделью организации личности является CPI (California psychological inventory), который был разработан Х. Гуфом (Gough, 1957). В нем выделяется до 20 переменных личности, сгруппированных в четыре группы шкал. Критика моделей в рамках данного подхода строится в основном на отсутствии серьезной психометрической проработки опросников и высокой гомогенности (связанности) между шкалами (Reynolds & Nichols, 1977).

Профессиональный (компетентностный) подход

Данный подход можно выделить не с точки зрения отличия по критериям отнесения к той или иной психологической школе, или методу работы с данными, который может лежать в его основе, а скорее в силу его практической направленности. В рамках данного подхода могут создаваться модели личности, которые отражают специфику поведения человека в деловых и профессиональных ситуациях. Таким образом, данных подход не всегда может претендовать на всестороннее описание личности, но может быть более продуктивен с точки зрения предсказания эффективности профессиональной деятельности.

Примером такой модели и опросника может быть OPQ, созданный в начале 80-х годов. Авторами опросника являются П.Сэвил (P. Saville) и Р. Холдсуорто (R. Holdsworth). Опросник специально разработан для оценки типичного или предпочитаемого стиля поведения человека в профессиональной деятельности. Опросник OPQ дает возможность получить подробную информацию относительно того, насколько кандидаты подходят к конкретной рабочей среде, как они будут работать с окружающими. Кроме того, результаты OPQ позволяют сопоставить личностный потенциал сотрудника и требования к рабочему поведению сотрудника в рамках компетенций.

Еще одним примером может служить опросник HPI - The Hogan Personality Inventory. Разработан R. Hogan, Curphy, and J. Hogan, содержит 7 интегральных показателей. Описывающих поведение человека, и 41 подфактор (HICs). Также содержит шкалы, прогнощирующие эффективность в ряде профессиональных направлений (управление, продажи, сервис и т.п.).

Другими примерами подобных моделей могут быть опросник Wave - 36 показателей (P. Saville), Dimensions (R. Holdsworth) и т.д.

По итогам анализа можно составить сводную таблицу, характеризующую базовые моменты каждого из подходов и моделей.

Таблица 2. Сравнительные характеристики моделей.

Модель	Подход	Автор	Кол-во показателей
16PF	Лексикографический	Р. Кеттел	16
EPI	Диспозициональный	Г. Айзенг	3
BigFive (NEO-PI-R & BFI	Лексикографический и диспозициональный	Голдберг	5
MBTI (Кейрси, DISC)	Типологический	Майерс-Бриггс	4
MMPI (ММИЛ, СМИЛ)	Клинический	Хатуей -МакКанли	10
CPI		Гуф	20
OPQ	Профессиональный	Сэвил - Холдсуорто	32
Wave		Сэвил	36
HPI		Hogan	7



Рассмотренные нами примеры подходов к структурированию и организации личностных характеристик и реализуемых в рамках этих подходов моделей наглядно показывают многообразие, с которым сталкивается любая практическая задача, требующая измерения и диагностики личности. Сфера оценки персонала (подбор и отбор), прогноза профессиональной успешности не является исключением, что еще раз показывает актуальность исследования прогностичности моделей личности для данных целей.

Применение моделей личности в практике оценки персонала.

В практике работы с персоналом используются достаточно большое количество инструментов диагностики личности, большинство которых отражает свою модель личностных конструктов и черт. К примеру, отчет компании Birkman International содержит ссылки на 7 различных инструментов личностной диагностики, наиболее популярных в практике оценки персонала (Birkman International, 2007). В качестве таких инструментов упоминаются Myers-Briggs Type Indicator (MBTI), Insights Discovery System, Profiles XT Assessment, The Hogan Personality Inventory (HPI), The DiSC Assessment, 16PF (Pearson Assessments), The Birkman Method. Естественно, данный обзор нельзя считать строго научным, а представленные инструменты - отражающими различные модели личности. В обзоре не затронуты данные по «клиническим» тестам личности (например, MMPI).

Другой обзор методов оценки персонала и роли личностных моделей в оценке, а также сочетания различных предикторов успешности работы друг с другом содержаться в работе Ones & Viswesvaran, 2004. В качестве используемых моделей и инструментов упоминаются The Hogan Personality Inventory (HPI), the California Psychological Inventory (CPI), the NEO Personality Inventory-Revised (NEO PI-R), and the Personal Characteristics Inventory (PCI), The Minnesota Multiphasic Personality Inventory (MMPI).

Ряд исследований посвящены мета-аналитическому изучению валидности личностных моделей в практике оценки персонала и прогнозирования успешности профессиональной деятельности. Так, в работе Scroggins, Thomas & Morris (2009) анализируется целый пул таких исследований, как в контексте валидности личностных моделей (в основном на примере Big Five), так и в их сравнении с их с моделями общих и специальных способностей. Известнейшая мета-аналитическая работа Hunter & Hunter (1984) также посвящена изучению сравнительной валидности различных предикторов успешности работы, в том числе моделей личности. Данная работа считается классической в плане построения мета-аналитического исследования, а также сравнения вклада эффективности различных методов оценки в прогноз профессиональной успешности. При этом, в ней не рассматриваются модели личности в отдельности как таковые, а выделяется лишь подраздел тестов личности, который сравнивается с другими методами оценки (тесты способностей, интервью, биографический метод, оценки наблюдателей и даже графология). Тем не менее, данную работу можно считать некоторым модельным образцом и для нашего исследования. Тем более что в ней обосновывается существенная роль тестирования личности при отборе и оценке. В дальнейшем авторы продолжили работу в этом направлении и опубликовали исследование по уточненным данным сравнительной валидности различных инструментов (Schmidt & Hunter, 1998).

Исследование Dakin & Armstrong (1989) раскрывает проблему соотношение данных мета-аналитических обзоров по валидности методов оценки и мнения экспертов в области оценки персонала относительно валидности. Приводятся ссылки на мета-аналитические работы и данные по соотношению полученных эмпирических закономерностей с мнениями экспертов - практиков.

В целом работы по анализу валидности личностных моделей продолжают публиковаться, как в контексте мета-аналитических исследований (например, способность личности объяснять лидерское поведение, эмоциональное выгорание, стрессы на работе, девиантное поведение), так и в контексте конкретных исследований. Большая часть таких исследований, тем не менее, провидится на примере модели Big Five.

Аналитические обзоры по валидности моделей и инструментов в практике оценки

Проблематика прогностической валидности достаточно часто затрагивается в работах, посвященных изучению соотношения личностных качеств и будущей профессиональной успешности. Это и не удивительно, ведь практика постоянно требует подтверждения эффективности используемых инструментов. Само по себе понятие прогностической валидности метода связано с его способностью предсказывать будущую успешность.

Под прогностической валидностью понимают информация о том, с какой степенью точности и обоснованности методика (тест) позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Она отражает временной интервал, на который распространяется обоснование такого суждения. Сведения о такой валидности имеют самое непосредственное отношение к раскрытию предсказательной силы методики, выяснению степени обоснованности сформулированного на ее основе ближайшего и более отдаленного прогноза, анализу значимости получаемых в показателей с точки зрения экстраполирования результатов на будущее. Принято различать прогностическую и текущую валидность в зависимости от временной связи между критерием и тестом. При этом обе они относятся к критериальной валидности. Иногда употребляется термин предсказательной валидности. Термин «предсказание», по мнению А. Анастази (1982), может использоваться как в широком смысле, означая прогноз на основе данных тестирования поведения испытуемого в реальной (критериальной) ситуации, так и в более узком смысле, указывая лишь на временной интервал.

В качестве валидизации критерия могут выступать не только показатели актуального поведения, но и ожидаемые результаты деятельности, обучения и т. д. Процедура определения прогностической валидности опирается на анализ корреляции между оценками по измерениям и предсказанными результатами деятельности, формирующимися свойствами личности и т. п. Вместе с тем различие двух видов критериальной валидности связано не только с временными пределами критериальных сопоставлений. Валидность текущая и прогностическая отражают разные цели применения методики: текущий диагноз, оценка настоящего положения, с одной стороны, и прогнозирование развития качества или успеха в деятельности -- с другой.

В рассматриваемых работах могут затрагиваться оба аспекта критериальной валидности. Естественно, за счет больших трудозатрат на получение информации о будущем поведении, многие исследования опираются на выявление текущей валидности (сравнение с теми внешними показателями, которые можно собрать одновременно с измерениями по конкретной модели личности). Поэтому в нашей работе также предстоит определить, насколько богато поле данных по прогностической валидности, или же данную работу невозможно провести, не привлекая данные по текущей валидности.

Другой вопрос, который так или иначе связан с имеющимися исследованиями валидности моделей личности, упирается в проблематику внешних критериев. Как правило, можно выделить три группы критериев, с которыми исследователи проводят сравнение при определение валидности модели. Первая группа затрагивает общие показатели успешности профессиональной деятельности. Как правило, они связаны с качеством выполнения работы в целом, и могут базироваться на производственных данных, рейтингах и оценках руководителей и коллег. Вторая группа связаны с выполнением конкретных рабочих операций или видов деятельности (например, аналитическая работа, управленческая деятельность, продажи и коммуникации). Третья группа может быть связана с изучением успешности в определенных профессиональных областях, с прогнозированием карьерного развития. Несмотря на взаимную связанность этих критериев, данное разнообразие может существенно усложнять сравнение данных по моделям, когда для одной из них будут данные по определенной профессиональной области, а по другой - нет.

В научной литературе содержится достаточно большое количество статей, базирующихся либо на мета-аналитических, либо частных исследованиях, посвященных валидности той или иной модели в практике оценки и прогнозированию успешности. Например, обзорная статья, которая, тем не менее, дает общее представление о валидности моделей в практике отбора и оценки, а также затрагивает ключевой вопрос исследования - сравнение моделей друг с другом, на примере противопоставления модели Big Five и более специальных моделей (Rothstein & Goffin, 2006). Также в статье рассматриваются интересные эффекты, которые могут влиять на валидность инструментов и моделей.

В отдельную группу можно вынести мета-аналитические исследования валидности Big Five относительно успешности профессиональной деятельности. Этой теме посвящено достаточно большое количество статей, к примеру Ones, Dilchert, Viswesvaran & Judge (2007) в своем мета-аналитическом исследовании опираются еще как минимум на 10 подобных работ, анализируя общую валидность модели Big Five, валидность относительно различных типов работ (простая, одиночная, лидерская деятельность и т.п.), а также видов профессиональной деятельности (профессий: менеджеры, специалисты по продажам, полицейские и т.п.). Помимо этой работы можно отметить мета-анализы по этоц модели таких авторов, как Hurtz & Donovan, 2000, Barrick & Mount, 1991.

Некоторые исследователи делают попытки доработки популярной модели Big Five, выделяя более интегральные факторы и изучая их валидность относительно успешности работы (Linden, Nijenhuis & Bakker, 2010), либо выявляя стабильность лишь ряда факторов из классического пятифакторного набора (Saggino, 2000), что в обоих случаях создает новую модель личностных качеств и может быть использовано для соотнесения по показателям валидности в практике оценки. К примеру, отдельное мета-аналитическое исследование, которое посвященно проблеме критериальной валидности интегральных факторов Стабильности и Пластичности модели Big Five (Alessandri & Vecchione, 2012). В работе Schmidt & Hunter, 1998 аторы также приводят данные, что наибольшей валидностью может обладать не сама модель Big Five, а отдельные ее факторы (например, сознательность и самоконтроль).

Некоторые исследователи, напротив, расширяют модель Big Five, добавляя значимые черты и изучая их предсказательную силу для прогнозирования успешности работы (Johnson, Rowatt & Petrini, 2011). В статье речь идет о черте Честности-Смирение (Honesty-Humility) как 6 показатели модели, который может служить хорошим предиктором для ряда рабочих навыков по сравнению с классическими 5 факторами.

Ряд исследований связано с изучением валидности 16PF относительно успешности работы. В статье Jenkins & Griffith (2004) приводятся данные мета-анализа взаимосвязи между факторами данной модели и общими показателями успешности профессиональной деятельности.

Исследованию валидности MBTI в литературе уделено гораздо меньше внимания. Есть отдельные исследования, посвященные изучению валидности методики в конкретных областях (например, Furnham & Stringfield (1993) изучали валидность модели для предсказания успешности в управленческой деятельности). Также ряд статей посвящено изучению соотношения модели MBTI с 16PF, EPQ и Big Five (The location of the Myers-Briggs type indicator in personality factor space). Тоже справедливо относительно ряда других моделей, которые затрагиваются в нашем исследовании.

Помимо научных данных существует еще целый пул данных, которые предоставляют сами разработчики инструментов, опирающихся на те или иные модели. Эти данные содержаться в руководствах к методикам (manual & handbooks), публикациях на сайтах и конференциях и т.д. В них можно найти данные как по взаимной взаимосвязи моделей друг с другом (например, MBTI FormM MANUAL SUPPLEMENT), так и сравнительных исследованиях критериальной валидности в конретных исследованиях (например, P. Saville, How Valid Is Your Questionnaire?). Поиск и обработка такого типа данных также является задачей нашего исследования.

В завершении приведем исследование, которое можно назвать модельным относительно нашей работы (исследование, которое можно принять за образец текущему исследованию) В работе Morey et al. (2007) рассматривается исследование, которое посвящено изучению валидности нескольких моделей психологических расстройств (PD). В работе изучаются модели «Большой Пятерки» (FFM), «Перечень неадаптивных и адаптивных личностей (SNAP) и DSM-IV (CLPS). Авторами рассматриваются различные виды валидности и способности моделей прогнозировать проявления личностных расстройств на практике. В частности, изучаются показатели конструктной валидности, стабильности моделей, а также прогностической валидности. В исследовании проводится сравнительный анализ моделей по данным показателям. Отличительной особенностью данного исследование является метод сбора данных - не с помощью мета-анализа других исследований, а непосредственное проведение конкуретного исследования с помощью методик, измеряющих показатели моделей. Тем не менее, ряд приемов и подходов, задействованных в исследовании Morey et al. представляется возможным использовать и в нашем исследовании.

В заключении можно сказать, что большинство мета-анализов на текущий день ставило целью определение валидности личностных моделей в практике оценки только на примере одной модели - Big Five. Другие модели либо приводились к Big Five, либо не рассматривались по отдельности. Сравнительный анализ валидности моделей мог провидится только в конкретных исследований, но редко в каких модели сравнивались в количестве большем, чем несколько штук. Проведенный обзор литературы лишь подтверждает актуально и новизну нашего исследования, основная цель которого - сравнительный анализ валидности моделей личности методом мета-анализа.

Мета-анализ: технология применения

Возникновение мета-анализа как метода было связано с необходимостью обобщения результатов нескольких исследований, которые ставили перед собой один и тот же исследовательский вопрос, с тем, чтобы получить более общее знание. Например, мета-анализ часто использовался, чтобы обобщить результаты, полученные на разных выборках. Существуют целые руководства или обзорные статьи, касающиеся того, как проводить мета-аналитические исследования (Field & Gillett, 2010).

Использование мета-анализа позволяет оценить и исследовать следующие показатели:

1. Среднее и дисперсию исследуемого эффекта или явления в популяции. На основании этих параметров распределения возможно построить доверительные интервалы какого-либо явления в популяции.

2. Вариацию размера исследуемого явления в различных исследованиях (гомогенность эффекта в различных исследовательских ситуациях). По сути, разные явления могут быть в разной степени гетерогенны, и выбирать на основе мета-анализа метод, дающий наибольший эффект неправильно. Однако, в этой связи мета-анализ позволяет оценить распределение значений изучаемого явления. На основании этих данных исследователь может оценить ориентировочный интервал значений и оценить адекватность полученных им данных.

3. Возможные явления-модераторы. Во многих случаях вариация размера эффекта может быть связана со взаимодействием с каким-либо третьим параметром - модератором. Анализ проведённых исследований на предмет модерации позволяет делать более глубокие выводы относительно природы исследуемого явления.

Мета-аналитическая работа включает в себя несколько этапов:

· Обзор исследований,

· Решение о включении некоторых критериев в мета-анализ и их применение,

· Расчет размера эффекта для каждого из исследований, которые будут включены в анализ,

· Непосредственно количественный анализ изучаемого явления,

· Дополнительный анализ, который включает в себя рассмотрение ошибок (bias) проведённых исследований, а также изучение переменных-модераторов,

· Подведение итогов.

Обзор исследований

При поиске исследований для включения в мета-анализ нужно обращать особое внимание на исследовательские вопросы, которые ставят авторы и следить, чтобы они в точности совпадали с нашими исследовательскими вопросами. Поиск с помощью электронных ресурсов ВШЭ даёт ряд преимуществ, по сравнению с обычным поиском в сети: электронные базы публикаций позволяют делать довольно сложные поисковые вопросы и таким образом находить, например, все работы одного автора (авторы часто имеют больше одной публикации на одну тему), или просматривать статьи, которые цитируют то или иное исследование.

Не стоит забывать, что во многих журналах (если не во всех) имеется тенденция публиковать только значимые результаты, избегая незначимые данные (Dickersin, Min, & Meinert, 1992; Hedges, 1984). Coursol & Wagner (1986) показали, что исследования с положительным результатом публикуются в 7 раз чаще, чем исследования, в которых принимается нулевая гипотеза (то есть показывается независимость событий, отсутствие взаимодействия и т.д.). В другом исследовании говорится о том, что 97% публикаций в психологических журналах описываются только значимые результаты (Sterling, 1959). Поэтому при поиске литературы для мета-анализа нужно не забывать об этом, и искать источники не только в опубликованных материалах, но и в неопубликованных, а также в материалах подходящих конференций, рабочих докладах, а в нашем случае - методических материалах и handbooks (руководствах к методикам). Часть информации может содержаться не только в научных публикациях, но и в коммерческих отчетах, которые используются только в практических целях, но не доходят до публикации в научной периодике. Если же использовать только опубликованные в журналах результаты, можно переоценить или недооценить эффект явления. Ещё один способ поиска литературы - непосредственное обращение к видным авторам в исследуемой области (например, Кеттел, Айзенг, МакКрей и Коста и др).

Критерии и их применение

Для того чтобы решить, включать или нет то или иное исследование в свой мета-анализ, нужно разработать критерий, по которому можно было бы точно и достоверно судить о качестве исследования. В качестве критерия можно использовать определение основного понятия, которое используется в исследовании (например, понятие текущей или прогностической валидности и его наличие в исследовании, понятия job performance и т.п.). Также следует обратить внимание на методологический аспект исследований: описывают ли они валидность и надёжность применяемых методик? Используют ли контрольную группу, и т.д.

Расчет размера эффекта

После подбора статей встает вопрос о том, как же их оценить? Для этого и нужен расчет размера эффекта. Под размером эффекта обычно подразумевается стандартизированное измерение величины наблюдаемого явления (Clark-Carter, 2003; Field, 2005c). Существует множество способов расчета величины эффекта, но обычно используются три показателя:

· Коэффициент корреляции Пирсона,

· Коэффициент Кохена (Cohen),

· Отношение шансов (odds ratio).

Коэффициент корреляции Пирсона является стандартизированной мерой ковариации между двумя непрерывными (интервальными) переменными. Однако, часто этот показатель используется для измерения экспериментального эффекта. Как известно, коэффициент корреляции колеблется от -1 до 1, -1 говорит о наличии сильной линейной отрицательной корреляции, 1 - о сильной положительной линейной корреляции. Cohen (1988, 1992) предложил следующую градацию коэффициента корреляции:

o Если r примерно равен 0,1 по модулю, то такой эффект можно считать слабым, он объясняет всего 1% дисперсии.

o Если r примерно равен 0,3 по модулю, то такой эффект можно считать средним, он объясняет порядка 9% дисперсии.

o Если r примерно равен 0,5, то такой эффект можно считать сильным, поскольку он объясняет около 25% дисперсии зависимой переменной.

Стоит отметить, что такие рекомендации не следует воспринимать буквально, всегда следует учитывать контекст того исследовательского поля, в котором мы работаем.

Итак, после выбора подходящей метрики нужно рассчитать размер эффекта для всех отобранных статей. Даже если в статьях используются другие показатели эффекта, они зачастую переводимы друг в друга, поскольку основываются на среднем значении и дисперсии. Например, коэффициент корреляции Пирсона можно рассчитать, если имеются данные по t, z, F или хи-квадрат статистикам.

Основной мета-анализ

Как указывалось ранее, основная задача мета-анализа состоит в том, чтобы оценить какой-либо эффект в популяции на основе знаний об эффекте из различных статей. Оценка эффекта в популяции достигается за счет усреднения всех эффектов из выбранных статей. Но такое усреднение должно быть взвешенным, поскольку в анализе участвуют статьи с разными выборками, больший вес следует назначать тем статьям, выборки которых многочисленны и репрезентативны. Это делается для того, чтобы уменьшить влияние побочных факторов, которые могут привнести результаты исследований со слишком специфичными выборками.

После расчета основного эффекта следует рассчитать доверительный интервал для этого значения. Необходимость этого продиктована тем, что отобранные исследования могут не полностью отражать исследовательский вопрос, в результате чего ошибка измерения увеличится. Чтобы учесть эту ошибку и нужен доверительный интервал.

По сути, есть два способа концептуализировать мета-анализ: использование моделей с фиксированными эффектами, или использование моделей со случайными эффектами (fixed- and random-effects models) (Hedges, 1992; Hedges&Vevea, 1998; Hunter&Schmidt, 2000).

Модель с фиксированными эффектами предполагает, что выбранные исследования отобраны из одной генеральной совокупности, в которой существует среднее значение эффекта, которое может быть предсказано с помощью нескольких основных предикторов. Из такой концептуальной схемы можно заключить, что все эффекты в выбранных исследованиях должны быть примерно одинаковыми, поскольку репрезентируют одну генеральную совокупность. Другое предположение (модель со случайными эффектами) подразумевает, что во всех выбранных исследованиях средний размер эффекта колеблется случайным образом, поскольку все исследования репрезентируют разные совокупности с разными средними эффектами. И чтобы создать одну генеральную совокупность нужно сначала обобщить данные выборок на небольшие генеральные совокупности (по одной на каждое исследование) и затем обобщить их в одну генеральную совокупность.

В зависимости от того, какой подход выбран, мы определяем, какой метод мета-анализа следует применять. Основное отличие моделей с фиксированными эффектами от моделей со случайными эффектами заключается в том, откуда берётся ошибка. В моделях с фиксированными эффектами существует ошибка репрезентации выборок относительно генеральной совокупности. В моделях со случайными эффектами также содержится ошибка репрезентации выборок относительной генеральной совокупности. Но поскольку здесь предполагается, что генеральная совокупность в каждом исследовании своя, то сюда прибавляется ошибка репрезентации выделенных генеральных совокупностей относительно одной большой совокупности, эффект которой мы и стремимся оценить.

Основными методами, которые используются при расчете величин эффекта, являются Hunter-Schmidt method (Hunter & Schmidt, 2004) и Hedges and colleagues' method (Hedges & Olkin, 1985; Hedges & Vevea, 1998). В обоих методах используются алгоритмы подсчета величины эффектов и стандартизации данных в зависимости от размеров выборок и т.д.

Помимо расчета и сравнения величин эффекта при проведении мета-анализа может быть проведен дополнительный анализ, который включает в себя рассмотрение ошибок (bias) в рассматриваемых исследованиях, а также изучение переменных-модераторов, которые могут опросредовать наблюдаемые эффекты.

В итоге следует отметить, что существуют определенные правила, которые необходимо учитывать при публикации мета-аналитических исследований (Rosenthal, 1995). Во-первых, необходимо четкое изложение позиции авторов относительно целей анализа, критериев поиска и включения тех или иных исследований. Во-вторых, необходимо обосновывать, почему к данных применяются те или иные методы мета-анализа. Необходимо сообщать статистические данные, касающиеся изменчивости величины эффекта (в них необходимо включать оценку фактической изменчивости, а также статистических испытаний на изменчивость), и оценку связанного с ним доверительного интервала. Также необходимо предоставлять информацию о систематической ошибке измерения.

Таким образом, мы описали основные принципы метаанализа, которыми стоит руководствоваться при проведении подобного рода исследований.

2. ЭМПИРИЧЕСКАЯ ЧАСТЬ

Мета-анализ валидности моделей личности в практике оценки

В теоретической части мы рассмотрели основные модели личности и соответствующие им инструменты диагностики. Были выделены основные понятия исследования, а также рассмотрены основные источники данных для исследования.

Виды исследуемой валидности

На теоретическом этапе может рассматриваться содержательная или конструктная валидность (как показатель соотнесения модели и инструмента). На эмпирическом этапе - критериальная валидность (текущая и прогностическая) как показатель валидности в практике оценки персонала.

В соответствии с целью исследования могут быть рассмотрены следующие исследовательские вопросы:

«Какая модель личности наиболее валидна в практике оценки персонала (интегрально) и почему?»

• разная ли валидность у моделей, разработанных в рамках различных подходов;

• зависит ли валидность от количества факторов в модели;

• разные ли валидности у моделей в зависимости от уровня позиции (синие воротнички, белые воротнички, руководители, предприниматели);

• зависит ли валидность от типа инструмента (например, опросники, выявляющие именно рабочее поведение и черты (сформулированные как поведение на работе) более валидными, чем опросники общего типа).

Для решения этих вопросов необходимо выполнить ряд описанных ниже задач.

Эмпирические задачи

· работа с литературой (сбор данных по валидности)

· определение критериев включения имеющихся данных в мета-анализ

· мета-аналитическое сравнение мощности моделей (величины эффекта валидности относительно эффективности выполнения работы)

· рассмотрение дополнительных факторов, которые могут влиять на показатели валидности.

План (дизайн) исследования: разработка критериев включения данных в мета-анализ (выделение ключевых показателей валидности и сфер ее применения), отбор литературы согласно этим критериям (сбор данных для мета-анализа), выбор типа и метода мета-анализа, расчет данных и их обработка, интерпретация результатов, описание выводов

Процедура и методика исследования

Первичным этапом любого мета-аналитического исследования является сбор литературы, выбор метода мета-анализа и критерия (показателя), по которому он может проводится. Для нашего исследования был выбран метод, разработанный Hunter & Schmidt (2004). Данный метод активно применяется в мета-аналитических исследованиях схожего типа (расчета мощности валидности различных инструментов прогнозирования успешности в работе), позволяет работать с таким показателем валидности, как коэффициент корреляции (r), и также позволяет учитывать ошибки измерения, которые заложены как в самих инструментах (тестах), так и в критериях эффективности (показателей успешности работы).

Сбор данных проводился по четырем основным источникам (см. Таблицу 3), которые включали в себя поиск научных статей с исследованиями валидности, так и технических отчетов по методикам, не опубликованным в научных журналах.

Поиск статей или публикаций поводился по единой технологии. В начале в поисковую строку любого источника вводилось лишь наименование модели (например, «MBTI»), после чего экспертно анализировались абстракты статей или сами статьи на предмет соответствия теме исследования (то есть наличия исследования на тему валидности относительно успешности в работе в любом формате и на любой должности, а также в успешности в подготовке к работе (тренинги) и пр.). После анализа списка дополнительно в поисковые строки вводились такие уточняющие слова, как «validity» и «job performance», и полученный список заново отсматривался на предмет появления новых статей. В большинстве случаев первичный поиск позволял получить до 90-95% статей, которые после выводились с уточняющим поиском.

Следует сразу оговорится, что поиск статей в классическом мета-анализе проводится в более расширенном виде, анализируются списки литературы в статьях, которые встречаются в первичном поиске, проводится поиск по базам диссертаций и неопубликованным работам, рассылаются письма авторам, чьи работы не содержат нужных данных с просьбой их уточнить и т.п. Все это позволяет получить больше данных, в том числе отрицательных, которые обычно не публикуются, но являются очень важными для мета-анализа. В нашем исследовании мы ограничились лишь первичным поиском в силу характера работы и ограниченности ресурсов на полномасштабное исследование.

После сбора первичных данных на предмет соответствия теме необходимо было выбрать статистический критерий (показатель) включения статей в исследования. Классическим показателем для мета-анализа Hunter & Schmidt является коэффициент корреляции (r), который встречался и в большинстве наших данных, поэтому этот коэффициент был выбран нами для проведения мета-анализа. Стоит отметить, что определенный процент статей мог вообще не содержать данных по корреляции модели с показателем успешности (в таком случае статью приходилось исключать из выборки), часть статей (особенно 60-80 годов) содержало данные по сравнению средних (t- или F- коэффициенты), которые по специальным формулам могли быть переведены в переведены в показатели r (подробнее о переводе см. Student Handout - Meta-Analysis.pdf). Часть статей по ряду моделей была включена в анализ из других мета-анализов, которые могли содержать либо сырые данные (непосредственные показатели r, например Tett, Jackson & Rothstein, 1991), либо уже подсчитанные по аналогичной технологии мета-аналические показатели (для модели Big Five, Hurtz & Donovan, 2000).

...