Валидность моделей личности в практике оценки

В итоге был получен финальный список из 86 статей и технических отчетов, который был закодирован в матрицу сырых данных со следующими показателями:

· Авторы (указание авторов публикации)

· Название публикации

· Год публикации

· Модель (16 PF, MMPI, MBTI & etc.)

· Надежность модели (тип - альфа кронбаха, тест-ретест или оба типа)

· Надежность модели (коэффициент)

· Выборка исследования (размер)

· Тип исследования (Научная статья или технический отчет)

· Вид критерия успешности (Job performance (O), Job ratings (S), Training (T), Персональные данные (P))

· Надежность критерия (коэффициент)

· Тип профессии (Manager, Sales, White collar, Blue collar, Service, Other)

· Статус профессии (гражданская или военная)

· Указание профессии (наименование, если есть)

· R mean (абсолютная усредненная корреляция модели с критерием)

· № R mean (кол-во корреляций)

· R significant (абсолютная усредненная значимая корреляция модели с критерием)

· № R significant (кол-во значимых корреляций)

В кодировании матрицы участвовал один эксперт, стаж работы в области оценки персонала - 8 лет. Частично данные матрицы приведены в приложении №1.

Далее стоит остановится на двух таких важных моментах, как расчет R mean и R significant, и данных по надежности моделей и критериям. Расчет R mean производился по технологии, описанной Tett, Jackson & Rothstein, 1991, которая стоится на расчете абсолютной средней корреляции факторов модели с критерием. В данном исследовании мы отдельно ввели понятие R significant как абсолютная усредненная значимая корреляция модели с критерием. Так как мы сравниваем модели друг с другом по мощности объяснительной способности, нам было важно не только понять, насколько модель способна быть связанной с критерием успешности, но и в какой степени она способна производить значимые корреляции в исследованиях. Приведем пример. Возьмём данные вымышленного исследования, например показатели корреляции между факторами модели Big Five и успешностью в управлении:

Для расчета R mean нам достаточно взять каждый показатель r по модулю, и получить среднее значение. В данном случае оно будет равно 0,18. Для расчета R significant мы берем только значимые корреляции по модулю, и усредняем их - получая уже 0,28. Таким образом, в данном исследовании модель Big Five имеет среднюю мощность в полтора раза меньшую, чем значимую. Но в практике зачастую для использования модели отбираются именно значимые корреляции, таким образом их также важно учитывать в исследовании.

Вторым важным моментом является учет показателей надежности моделей и критериев успешности, которые позволяют скорректированный коэффициент мощности P mean (Hunter & Schmidt , 2004). Надежность модели фактически равна коэффициенту альфа -кронбаха или данным тест-ретеста (или их среднему), надежность критерия зависит от его типа (например, это объективный показатель успешности, рейтинг со стороны коллег или супервизоров и т.п.). Идеальной ситуацией является та, где в исследовании авторы перепроверяют как надежность модели, и надежность критерия, и приводят эти показатели (хотя таких исследований в нашей выборке оказалось не больше 15%). В остальных случаях приходится брать те показатели надежности моделей, которые приводятся в технических отчетах по методикам, и данные из других мета-анализов, где приводятся показатели средней надежности критериев в зависимости от их типа.

Как видно, границы надежности моделей находятся в рекомендованном в психометрике диапазоне от 0,75 и в среднем достаточно близки друг к другу. Только модель MMPI имеет более низкую надежность, отчасти на чем и строится классическая критика этой модели. Тем не менее, нужно понимать, что чем ниже показатель надежности модели, тем в большей степени она будет скомпенсирована показателем P mean в мета-аналитическом исследовании.

Данные получены из сравнительных мета-аналитических исследований (Tett, Jackson & Rothstein, 1991, Barrick & Mount, 1991). Наибольшей надежностью (стабильностью) обладают объективные показатели работы, но часто в ввиду сложности сбора данных их заменяют рейтингами и субъективными оценками, которые имеют более низкую надежность и большой разброс значений (от 0,4 до 0,8 с одним ст.откл). Также могут использоваться исследования, где люди либо учатся, либо имитируют работу (тренинги). Также есть прием измерения эффективности через сравнения с персональными данными (например, принадлежность к профессии, рост дохода или статуса в профессии). В случае работы с этими данными поправка на надежность критерия не производилась ввиду отсутствия по ним данных о надежности.

Таким образом, в нашем примере для получения P mean коэффициенты R mean и R significant нужно было бы скорректировать на показатели надежности модели и критерия, и дальше произвести все необходимые расчеты (Hunter & Schmidt, 2004). Все расчеты выполнялись в программе MS Excel по формулам авторов. В дальнейшем результаты расчетов были частично проверены с использованием синтаксиса SPSS, написанным специально для этого метода (Field & Gillett, 2010), и показали полное совпадение результатов.

В качестве промежуточных выводов в описании методики и процедуры хотелось бы отметить пожелания для стандартов научных публикаций - включать матрицы сырых корреляций моделей (или иных предикторов успешности) и критериев в публикации. Данная информация поможет существенно упростить технологию проведения мета-анализа и увеличит возможности для его качественного проведения.

Результаты исследования

В результате обработки данных нами было выделено 86 статей (выборка наблюдений - порядка 15000), которые были включены в мета-анализ. Большинство статей было получено из научных публикаций (89%), и часть - из технических отчетов к методикам, не опубликованных в научных изданиях (11%).

По каждой из моделей были получены примерно схожие размеры выборок (от 1134 до 3261), хотя распределение статей отличалось большим разбросом - от 3 до 23. Данные по модели Wave включали в себя только 3 технических отчета и ни одной научной публикации. Данные по модели Big Five были взяты из уже существующих мета-аналитических исследований (Hurtz & Donovan, 2000). Кстати, предыдущее исследование по валидности Big Five давало схожие результаты (Barrick & Mount, 1991).

По нашим данным, большинство исследований валидности моделей проводились в период 80-х - 2000-х годов. После этого стали публиковаться результаты мета-аналитических исследований валидности психологических моделей (прежде всего по Big Five), что возможно “поумерило пыл” исследователей в этой теме.

По показателям популярности исследований в начале можно было отметить MMPI (50-70 гг.), затем проявился интерес к CPI (60-80 гг.), затем 16PF, EPI и MBTI (70-2000 гг.), затем OPQ и HPI (2000-2010гг.). Наиболее современные исследования посвящены прежде всего моделям, возникшим в рамках профессионального подхода (OPQ, HPI, Wave).

Средние показатели r-mean и P-mean в нашем исследовании составили 0,11 и 0,15 соответственно, что выше, чем в более мощном исследовании только по модели Big Five - 0,08 и 0,12 (Hurtz & Donovan, 2000), но ниже, чем в также мощном мета-анализе по многим моделям личности, в том числе малоизвестным от Tett, Jackson & Rothstein, 1991, где они составляли 0,16 и 0,23. Таким образом, сравнивая эти исследования, мы можем сделать вывод о том, что наше исследование дает результаты, близкие к данным более мощным и признанным мета-анализам (оно сравнимо с ними), и то что включение большего круга моделей дает более высокие коэффициенты, чем просто анализ по Big Five. Также можно предположить, что включение иных моделей может дать более высокие коэффициенты и в нашем сравнительном исследовании.

Сравнение средних показателей мощности моделей показывает, что наиболее продуктивными подходами оказываются клинический (CPI/MMPI) и профессиональный (HPI/OPQ). Стоит отметить, что модель Wave исключалась из данного типа анализа по двум причинам - 1) данные по ней присутствовали только по 3 техническим отчетам и в наличие не было научных публикаций 2) данные по валидности по своему типу отличались от данных по другим исследованиям (во всех других исследованиях все факторы модели сравнивались с одним критерием успешности, по данным Wave - каждый фактор сравнивался со своим критерием, что могло вносить артефакты в усредненные данные по всей модели).

Сравнение средних показателей мощности моделей показывает, что наиболее продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, MMPI и HPI. Стоит отметить, что модель Wave исключалась из данного типа анализа по причинам, описанным выше в анализе подходов.

Также стоит отметить, что модель MMPI имела наименьший показатель надежности, что могло повлиять на ее высокое положение в рейтинге, но только в случае с показателем P-mean. Но и по показателю r-mean она оказалась на втором месте.

Данные позволяют проверить и гипотезу относительно валидности и размерности модели. В данном случае гипотеза подтвердилась лишь на уровне тенденции, но средняя положительная корреляция кол-ва факторов в модели и показателей валидности (0,35 и 0,37) позволяет утверждать ее правомерность - чем больше факторов у модели, тем выше может быть ее объяснительная способность.

Средние показатели r-mean и P-mean по значимым корреляциям составили 0,20 и 0,28 соответственно, что даже выше, чем приводимом выше мета-анализе по многим моделям личности от Tett, Jackson & Rothstein, 1991, где они составляли 0,16 и 0,23. Таким образом, показатель значимости, введенный в нашем исследовании, может обосновывать большую практическую и теоретическую пользу для применения моделей личности в практике прогноза эффективности работы.

В данном типе анализа мы не смогли включить такую модель, как Big Five, так как данные нужного нам типа отсутствовали в исходных мета-анализах и не собирались нами в конкретных исследованиях. При этом, мы смогли включить модель Wave, так как для анализа значимых корреляций с критерием нам подходили исходные данные по ней, и вероятность искажений была меньше.

Сравнение значимых показателей мощности моделей показывает, что наиболее продуктивными подходами вновь оказываются клинический (CPI/MMPI) и профессиональный (HPI/OPQ/Wave). Причем в значимых показателях они почти сравнялись друг с другом, а клинический подход лидирует только за счет CPI.

Сравнение значимых показателей мощности моделей показывает, что наиболее продуктивными из них по обоим показателям (r-mean и P-mean) оказываются CPI, OPQ и Wave. Модель CPI становится лидером по итогам двух сравнений, а по показателям значимых корреляций представители профессионального подхода - OPQ и Wave, занимают второе и третье места. MMPI - один из лидеров по средним показателям, существенно отстает по значимым, вновь хорошими показателями обладает HPI, а типологический подход и MBTI здесь выходят ближе в верхушке рейтинга.

Гипотеза относительно валидности и размерности моделей по значимым корреляциям подтвердилась еще в большей степени, положительная корреляция кол-ва факторов в модели и показателей валидности стала высокой и близкой к значимой (0,50 и 0,60), что еще больше позволяет утверждать ее правомерность - чем больше факторов у модели, тем выше может быть ее объяснительная способность.

Обсуждение результатов

В нашем исследовании нам удалось ответить на главный вопрос - какая модель личности наиболее валидна в практике оценки персонала и измерения эффективности работы. Этой моделью оказалась CPI - California Psychological Inventory.

Данная модель была разработана как определенный аналог MMPI, но для практики работы не в клинических случаях, а для выборок людей без психиатрических отклонений. Наиболее распространенная в исследованиях версия опросника включает в себя 434 пункта, некоторая часть которых напрямую позаимствована из MMPI (Gough, 1987). Методика построена по нормативному типу, и достаточно длительна по времени.

Попробуем проанализировать содержание методики. В ней выделяется 18 показателей (факторов), сгруппированных в 4 типа: 1) измерение уравновешенности, властности, уверенности в себе и межличностной адекватности; (2) измерение социализации, ответственности, внутриличностных ценностей, и характера; (3) измерение потенциала к достижениям и интеллектуальной эффективности; (4) измерение типов интеллектуальной активности и интересов (Gough & Bradley, 1996). Три фактора из 18 выполняют роль служебных показателей. Также существует так называемая Folk Concept Scales для этой модели, где выделяется 20 факторов: доминантность, потребность в статусе, коммуникабельность, социальность, принятие себя, независимость, эмпатия, ответственность, социализация, самоконтроль, чувствительность, общественность, самочувствие, толерантность, конформность, склонность к достижениям, интеллектуальность, открытость, гибкость, маскулинность (в оригинале - Dominance, Capacity for Status, Sociability, Social Presence, Self-acceptance, Independence, Empathy, Responsibility, Socialization, Self-control, Good Impression, Communality, Well-being, Tolerance, Achievement via Conformance, Achievement via Independence, Intellectual Efficiency, Psychological-mindedness, Flexibility, and Femininity/Masculinity). Модель слабо представлена в РФ, особенно с сфере работы с персоналом.

Исходя из содержания модели сложно выдвинуть предположения, почему именно она оказалась наиболее связанной с показатели эффективности работы. Можно лишь рекомендовать ее более глубокое изучение в рамках этих задач. Тем не менее, она содержательно отличается от других моделей, и в этом может быть ее преимущество.

Стоит сказать, что в ответе на основной вопрос исследования нам было важнее разработать технологию сравнения моделей и апробировать ее на практике, чем построить окончательный рейтинг и выделить лучшие модели. Любые новые данные могут существенно повлиять на рейтинг и изменить положение моделей в нем, но нам важнее было показать, что модели можно и важно сравнивать друг с другом, в том числе чтобы отбирать наиболее применимые для практики.

Следующие вопросы, которые нас интересовали, касались причин различия в валидности между моделями. Нам удалось найти несколько причин и оснований, которые могут влиять на валидность моделей.

Первое основание - это подходы, в рамках которого модель может быть разработана. Наиболее продуктивными оказались клинический и профессиональные подходы. Возможно, первый подход позволяет выделять хорошо дифференцирующие людей качества в поведении (так как в основе своей имеет классификацию симптомов), второй изначально нацелен на диагностику успешности (поэтому также концентрируется на качествах, важных именно в работе).

Вторая причина, и на наш взгляд более существенная, заключается в дробности моделей и наличии узких, специфических качеств, которые позволяют модели лучше «цепляться» за столь же специфические критерии успешности и условия, в которых она проявляется. Более интегральные модели (такие как Big Five, EPI и MBTI) показывают худшие показатели валидности по этой же причине (что показано практически статистически значимо). Все это позволяет рекомендовать использовать в практике более специализированные и дробные модели личности. Стоит заметить, что многие модели имеют подфакторы (практически любые из перечисленных нами в исследовании моделей). Однако во многих исследованиях взаимосвязи ищутся на уровне интегральных факторов, что делает такую модель менее конкурентоспособной. Можно предположить, что широко распространенная в исследовательской практике модель Big Five была бы более валидна, если бы исследователи пытались отслеживать валидность не на уровне пяти интегральных факторов (в «угоду» содержательной валидности), а на уровне подфакторов (ориентируясь на критериальную валидность).

К сожалению, нам не удалось ответить на другие вопросы исследования, которые касались валидности моделей и уровня позиции, типа инструмента и так далее, в связи с ограниченным объемом данных по этим критериям. Тем не менее, нам удалось найти несколько исследований, которые раскрывают ответы на некоторые вопросы, и здесь также хотелось бы их обсудить, в контексте общего вопроса - что же позволяет увеличить валидность модели личности?

В первую очередь можно отметить исследование Tett Et al. 2003, в котором сравнивалась валидность интегральных показателей модели HPI (7 факторов), и так называемых HICs - подфакторов (41). В результате исследования было показано, что подфакторы в гораздо большей степени объясняют вариативность критерия успешности, чем интегральные показатели модели. Во многом на этом в модели HPI и других строятся дополнительные показатели, прогнозирующие успешность в той или иной деятельности. Для нас же важно, что данной исследование показывает, как специфические факторы оказываются продуктивнее интегральных.

Мета-анализ, который мы уже не раз упоминали в своей работе (Tett, Jackson & Rothstein, 1991) также дает ответы на некоторые вопросы, а именно - более высокие показатели валидности моделей достигаются в исследованиях, в которых применяется предварительная процедура анализа работ (job analysis), и которые строятся по конфирматорному типу. То есть в тех исследованиях, где заранее анализируется работа и под нее подбирается модель или хотя бы гипотезы (какие качества будут нужны в работе), показатели валидности могут в разы превышать те, которые получаются в исследованиях обратного типа - без анализа работы и со случайной моделью. Таком образом, предварительное изучение работы и тех черт, которые могут влиять на эффективность позволяет подобрать лучшие модели, или как минимум - черты, и получить в итоге большую валидность для искомой ситуации. Подтверждают предыдущие оба предположения исследователи в статье Jenkins & Griffith, 2004.

Любопытные данные были получены в исследовании Jackson & Corr, 1998. В ряде исследований авторы замеряли связь между показателями по личностным моделям и критериям успешности. На индивидуальном уровне данные связи были не велики с сравнимы со многими, которые были получены в нашем исследовании. Но как только исследователи выходили на группой уровень (например, сравнивали общей уровень экстраверсии у группы успешных и неэффективных), то показатели связи становились в разы больше. Данное направление тоже может быть весьма интересным для применения относительно моделей личности.

Также в ряде исследований было показано, что валидность зависит не только от модели личности, но и от того, насколько сам инструмент, ее измеряющий, релевантен поведению именно на работе (Heller et al., 2009; Hunthausen et al., 2003). Исследования показывают, что методики, описывающие именно рабочее поведение в рамках модели имеют большие показатели валидности относительно эффективности на работе, чем просто те же черты в общих жизненных ситуациях.

Таким образом, ряд наших предположений имеют косвенное подтверждение в исследованиях, но не относительно каждой из моделей, а относительно общей ситуации с моделями личности (обычно на примере модели Big Five).

Стоит рассмотреть и ограничения нашего исследования, которые безусловно могут влиять на полученные результаты. В первую очередь, нужно выделить проблему выборки. В нашем исследовании использовался первичный поиск данных, не были включены диссертации, внутренний поиск по литературе, письма авторам и т.п. Безусловно, расширение выборки может дать иные данные для исследования и результатов. Во вторую очередь, стоит упомянуть проблему кодирования данных, в которой участвовал один эксперт (в классическом мета-аналитическом исследовании привлекается группа экспертов и замеряется согласованность). В конце следует сказать о том, что не все модели личности были включены в этот анализ, и данные по некоторым также могли бы повлиять на общие результаты.

В завершении хотелось бы обсудить два практических вопроса - что дает применение моделей личности на практике, что означает рейтинг моделей для решения практических задач. Ведь зачастую именно практика ставит запросы на точное и надежное прогнозирование в области изучения человеческих ресурсов, и стремится к максимальным показателям.

Что касается применения моделей личности на практике, то в научной среде отчасти устоялось определенное двуполярное мнение. С одной стороны, диагностика личностных качеств не позволяет получить высокий уровень объясняемой дисперсии успешности в работе, с другой - так называемые integrity tests могут давать достаточно высокие показатели валидности (Schmidt & Hunter, 1998). На примере наших данных мы также попытались рассчитать эффективность от применения моделей личности на практике.

Если брать средние значения по моделям, то процент объясненной дисперсии успешности (как самый строгий показатель) действительно будет достаточно низким - в самом лучшем случае всего 8%. Но если учитывать предположения Тейлора - Рассела о сложности работы и жесткости отбора на ту или иную должность, то в среднем точность отбора с применением модели личности может вырасти до 64% (Шмелев, 2013).

Что касается применимости полученного рейтинга на практике, то мы склонны полагать, что модели из верхушки рейтинга (например, CPI), действительно могут оказаться более продуктивными с точки зрения валидности в общих универсальных ситуациях (с учетом специфики выборки и позиций, на которых были собраны данные). Но в целом любая модель может дать хорошие показатели валидности, если она 1) содержит много специфических факторов; 2) применяется вместе с анализом работы по конфиматорному типу; 3) специализирована относительно поведения на работе.

ВЫВОДЫ

По итогам исследования нами была разработана технология сравнения моделей личности друг с другом относительно валидности в практике оценки персонала, с применением мета-анализа. Был построен рейтинг валидности моделей, наиболее валидная модель - CPI. В исследовании было показано, что чем больше показателей (факторов модели), тем выше ее валидность как способность измерять эффективность работы. Наиболее валидные модели личности были разработаны в рамках клинических и профессиональных подходов. По итогам исследования даны теоретические и практические рекомендации по применению результатов.

СПИСОК ЛИТЕРАТУРЫ

1. Alessandri, G., Vecchione, M. (2012). The higher-order factors of the Big Five as predictors of job performance. Personality and Individual Differences, 53, 779-784

2. Barrick, M. R., & Mount, M. K. (1991). The Big Five personality dimensions and job performance: A meta-analysis. Personnel Psychology, 44, 1-26.

3. Birkman International. (2007). Trends in Personality Assessments and Applications

4. Dakin, S., Armstrong, J.S. (1989). Predicting job performance: A comparison of expert opinion and research findings. International Journal of Forecasting, 5, 187-194

5. Field, A., Gillett, R. (2010). How to do a meta-analysis. British Journal of Mathematical and Statistical Psychology, 63, 665-694

6. Furnham, A., Stringfield, P. (1993). Personality and work perfomance: myers-briggs type indicator correlates of managerial performance in two cultures. Person. Individ. Dif Vol. 14, No. I, p. 145- 153

7. Gough, H.G. (1987) California Psychological Inventory Administrator's Guide. Palo Alto, CA: Consulting Psychologists Press, Inc.

8. Gough,H.G. & Bradley, P. (1996). "CPI Manual." Ed.3. Palo Alto, CA: Consulting Psychologists Press

9. Heller, D., Ferris, D. L., Brown, D., & Watson, D. (2009). The influence of work personality on job satisfaction: Incremental validity and mediation effects. Journal of Personality, 77, 1051-1084.

10. Hunter, J. E., & Hunter, R. F. (1984). Validity and utility of alternative predictors of job performance. Psychological Bulletin, 96, 72-98

11. Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: Correcting error and bias in research findings (2nd ed.). Newbury Park, CA: Sage

12. Hunthausen, J. M., Truxillo, D. M., Bauer, T. B., & Hammer, B. L. (2003). A field study of frame-of-reference effect on personality test validity. Journal of Applied Psychology, 88, 545-551.

13. Hurtz, G.M., & Donovan, J. J. (2000). Personality and Job Performance: The Big Five Revisited. Journal of Applied Psychology, Vol. 85, No. 6, 869-879

14. Jackson, C. J., Corr, P. J. (1998) Personality-performance correlations at work: Individual and aggregate levels of analyses. Personality and Individual Differences. Volume 24, Issue 6, Pages 815-820

15. Jenkins, M. & Griffith, R. (2004) Using Personality Constructs to Predict Performance: Narrow or Broad Bandwidth. Journal of Business and Psychology, Volume 19, Issue 2, pp 255-269

16. Jenkins, M., Griffith, R. (2004). Using personality constructs to predict performance: narrow or broad bandwidth. Journal of Business and Psychology, Vol. 19, No. 2

17. Johnson, M., Rowatt, W., Petrini, L. (2011). A new trait on the market: Honesty-Humility as a unique predictor of job performance ratings. Personality and Individual Differences, 50, 857-862

18. Linden, D., Nijenhuis, J., Bakker, A. (2010). The General Factor of Personality: A meta-analysis of Big Five intercorrelations and a criterion-related validity study. Journal of Research in Personality, 44, 315-327

19. Morey, L., Hopwood, C., Gunderson, J., Skodol, A., Shea, M., Yen, S., Stout, R., Zanarini, M., Grilo, C., Sanislow, C., Mcglashan, T.(2007). Comparison of alternative models for personality disorders. Psychological Medicine, 37, 983-994

20. Ones, D., Dilchert, S., Viswesvaran, C., Judge, T. (2007). In support of personality assessment in organizational settings. Personnel psychology, 60, 995-1027

21. Ones, D., Viswesvaran, C. (2004). Personnel Selection. Encyclopedia of Applied Psychology, V 3, 35-43

22. Rothstein, M.G., Goffin, R.D. (2006). The use of personality measures in personnel selection: What does current research support? Human Resource Management Review, 16, 155-180

23. Saggino, A. (2000). The Big Three or the Big Five? A replication study. Personality and Individual Differences, 28, 879-886

24. Schmidt, F. L., Hunter, J. E. (1998) The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, Vol 124(2), 262-274

25. Scroggins, W., Thomas, S., Morris, J. (2009). Public Personnel Management, Volume 38 No. 1

26. StudentHandout-Meta-Analysis.pdf. http://maamodt.asp.radford.edu/PSYC%20651/Student%20Handout%20-%20Meta-Analysis.pdf

27. Tett, R. P. Et al. (2003) Broad and Narrow Measures on Both Sides of the Personality-Job Performance Relationship. Journal of Organizational Behavior, Vol. 24, No. 3, pp. 335-356

28. Tett, R. P., Jackson, D. N., & Rothstein, M. (1991). Personality measures as predictors of job performance: A meta-analytic review. Personnel Psychology, 44, 703-742.

29. Дружинин В.Н (2003). Психология 21 века: Учебник для Вузов. ПЕР СЭ, 600-611

30. Хьелл, Л., Зиглер, Д. (1998). Теории личности. СпБ: Питер Ком, 575-602

31. Шмелев А.Г. (2013). Практическая тестология. Москва.

Размещено на Allbest.ru