Добровольное интернет-тестирование как источник валидных оценок группового психометрического интеллекта

Наиболее убедительные, как нам представляется, оценки измерительной эквивалентности результатов выполнения КОТ-30 в ситуации НИТ и контролируемых условиях были получены с помощью сопоставления трех групп коэффициентов конгруэнтности, характеризующих процессы выполнения теста на пунктовом уровне, а именно - паттерны трудности, дискриминативности и факторных нагрузок частных тестовых заданий на генеральный фактор. Во всех случаях, когда результаты выполнения КОТ-30 в условиях НИТ сравнивались с результатами выполнения этого теста в контролируемых условиях (и к тому же в другом формате - бланковом), конгруэнтность данных оказывалась весьма высокой и превосходила по этому параметру некоторые из контрольных тестов.

Хотя этот тезис справедлив для всех трех групп КК, некоторые из них оказались более эффективными, чем другие. В использованных нами выборках максимальную дистанцию между конвергентными и дивергентными КК продемонстрировали те из них, которые рассчитывались на основе факторных нагрузок; наименее эффективными оказались КК, рассчитанные на основе индексов трудности пунктов. Причина последнего результата представляется достаточно ясной: многие неадаптивные КТ конструируются таким образом, чтобы в начале теста располагались менее трудные задания, а в конце - более трудные (принцип прогрессии). В этом случае ряды чисел, отражающих изменение индексов трудности от начала теста к концу, могут обнаруживать довольно высокую степень сходства даже в тестах разного содержания и направленности.

Поскольку при сравнении КК контрольных тестов были выявлены некоторые тесты-аутсайдеры, анализ возможных причин таких отклонений может представлять интерес как для пользователей тестов, так и для тех, кто занимается их конструированием. В частности, наибольшее ослабление КК зафиксировано для методики «Аналогии» в условиях транзита форматов. Анализ возможной причины этого показал, что данный тест отличается от всех прочих тем, что проводится в условиях чрезмерно жесткого (для данной популяции) пятиминутного временного ограничения, при котором от 36 до 86% респондентов не успевает дать ответ на последний пункт (в то время как рекомендуемый лимит для тестов уровня - не более 20-30% [29. Р. 2]). Парадоксальным, на первый взгляд, кажется тот факт, что в условиях бланкового обследования число не справившихся с последними заданиями оказалось вдвое больше, чем при диалоговом. Однако он может быть объяснен тем, что в условиях диалогового обследования респондент с помощью линейной шкалы в нижней части экрана информируется о соотношении доли выполненных заданий и доли затраченного времени и благодаря этому имеет возможность оптимизировать выполнение теста, действуя в более быстром темпе ценой некоторого снижения точности. В бланковом формате респонденты не имеют возможности контролировать затраты времени и из-за этого больше времени тратят на ранние задания, не успевая решить поздние (т.е. демонстрируют более высокую точность при меньшей скорости). В итоге примерное равенство выборочных средних, дисперсий и ОМН обеспечивается фактически разными тактиками выполнения теста, что наиболее ярко отразилось в низкой межформатной конгруентности факторных нагрузок. В данном случае, несмотря на примерное равенство средних оценок, эквивалентность двух форматов может быть поставлена под сомнение.

Еще одним «побочным» продуктом выполненного нами исследования стало получение убедительных свидетельств того, что между 20- и 30-минутными версиями СПМ нет сколько-нибудь заметных различий; это согласуется с выводами Д. Давыдова и Е. Чмыховой [30. С. 137].

Заслуживает обсуждения вопрос о репрезентативности данных, полученных в условиях НИТ в контексте привлечения потенциальных кандидатов на военную службу по контракту. Наиболее очевидная уязвимость исследованных данных состоит в том, что респондентами были исключительно (или, по крайней мере, в абсолютном большинстве) мужчины. Однако содержание использованного теста таково, что он содержит как вербальные задания (дающие некоторое преимущество женщинам), так и задания, адресованные счетным и пространственным способностям (где незначительное преимущество имеют мужчины). Таким образом, благодаря сбалансированности тестового контента нет оснований ожидать, что при ином гендерном составе участников обследования распределение оценок и выявленные взаимосвязи могли бы оказаться существенно иными. Тем не менее включение в состав участников НИТ женщин, несомненно, повысило бы степень убедительности любых выводов, которые могут быть сделаны на основе этих или подобных им данных. В связи с недавними изменениями кадровой политики Минобороны России есть основания рассчитывать на то, что в ближайшем будущем такая возможность представится.

Говоря о репрезентативности данных, нельзя не упомянуть о довольно широком возрастном, образовательном и, тем более, географическом диапазоне участников НИТ, с которым едва ли сможет сравниться какое-либо из опубликованных до настоящего времени отечественных исследований в области психологии. Если еще 10-15 лет назад о пользователях сети Интернет можно было говорить как об особой популяции, то в период сбора данных для нынешнего исследования доля населения, имеющего в России доступ к Интернету, превысила 2/3 и к 2016 г. достигла 76,4% [31. С. 1084]. Включение в число респондентов максимально широких (по географии, национальному составу, образовательному уровню и т. п.) слоев населения и тесно связанная с этим высокая статистическая мощность подобных исследований традиционно отмечаются как важнейшие преимущества НИТ, которые способны с лихвой перевесить отдельные присущие ему недостатки [5, 6, 9, 15]. Подтверждением справедливости этого тезиса стал уже упоминавшийся выше коэффициент корреляции (0,872) между численностью населения региона и численностью респондентов, представляющих данный регион в массиве данных НИТ. Столь тесная связь позволяет считать полученные данные репрезентативными, в том числе на региональном уровне.

Заключение

Значительный по объему массив данных, полученный в условиях неконтролируемого интернет-тестирования, оценивался с точки зрения возможности извлечения из подобных данных валидных оценок группового психометрического интеллекта. Одним из основных способов валидизации данных, полученных в условиях НИТ, является демонстрация измерительной эквивалентности оценок, полученных в контролируемых и неконтролируемых условиях. Поскольку в известной литературе описывается довольно ограниченный набор способов оценки эквивалентности результатов выполнения когнитивных тестов, нами был предложен и апробирован ряд дополнительных приемов для проведения такого сопоставления на пунктовом уровне.

Для проверки работоспособности предложенных коэффициентов конгруентности были привлечены архивные данные, содержащие результаты выполнения различных когнитивных тестов в контролируемых условиях и разных форматах обследования.

Анализ НИТ-данных показал, что психометрические характеристики оценок выполнения когнитивного теста в этих условиях - и на шкальном, и на пунктовом уровнях - не уступают таковым, рассчитанным в условиях контролируемого тестирования в аттестационном контексте. Показано, что, даже несмотря на наличие потенциальных уязвимостей, рассчитанные на основе интернет-данных групповые оценки демонстрируют высокий уровень робастности и иммунитета по отношению к контаминации. Установлено, что коэффициенты конгруэнтности между результатами выполнения методики КОТ-30 в условиях НИТ и в контролируемых условиях имеют тот же уровень значений, что и КК, рассчитанные для широко применяемых когнитивных тестов в условиях их проведения в разных форматах в аттестационном контексте. Среди апробированных КК наилучшую дифференциацию между конвергентными и дивергентными индексами продемонстрировали те, которые рассчитывались на основе факторных нагрузок.

Результаты исследования позволяют сделать вывод о возможности использования данного массива НИТ-данных для изучения групповых психологических феноменов, в частности на популяционном и географическом уровнях.

психометрический когнитивный тест интегральный

Литература

1. Шмелев А.Г. Практическая тестология. Тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 688 с.

2. Использование новейших информационных технологий в мероприятиях по профессиональному психологическому отбору в Вооруженных Силах Российской Федерации: материалы научно-практической конференции (Москва, 2-3.10.2002 г.). М.: ГШ ВС РФ, 2003. 248 с.

3. Компьютерная психодиагностика в профессиональном психологическом отборе военных специалистов РВСН: учеб.-метод. пособие / под ред. К.В. Сугоняева. М.: ЦИПК РВСН, 2005. 184 с.

4. Соколов А.А. Перспективы автоматизации профессионального психологического отбора в Вооруженных Силах Российской Федерации // 20 лет функционирования системы профессионального психологического отбора в Вооруженных Силах Российской Федерации, итоги и перспективы совершенствования: сб. мат. военно- науч. конф. (Москва, 22 апреля 2014 г.) / под общ. ред. С.В. Чваркова. М.: ВАГШ ВС РФ, 2014. С. 87-95.

5. Tippins N.T., Beaty J., Drasgow F., Gibson W.M., Pearlman K., Segall D.O., Shepherd W. Unproctored Internet testing in employment settings // Personnel Psychology. 2006. Vol. 59, № 1. P. 189-225.

6. Gosling S.D., Mason W. Internet research in psychology // Annual Review of Psychology. 2015. Vol. 66. P. 877-902.

7. Soto C.J., John O.P., Gosling S.D., Potter J. Age differences in personality traits from 10 to65: Big five domains and facets in a large cross-sectional sample // Journal of Personality and Social Psychology. 2011. Vol. 100, № 2. P. 330-348.

8. Gebauer J.E., Sedikides C., Schonbrodt F.D., Bleidom W., Rentfrow P.J., Potter J., Gosling S.D. The religiosity as social value hypothesis: a multi-method replication and extension across 65 countries and three levels of spatial aggregation // Journal of Personality and Social Psychology. 2017. Vol. 113, № 3. P. e18-e39.

9. Gosling S.D., Sandy C.J., John O.P., Potter J. Wired but not WEIRD: the promise of the Internet in reaching more diverse samples // Behavioral and Brain Sciences. 2010. Vol. 33, № 2-3. P. 94-95.

10. Gleibs I.H. Are all `research fields' equal? Rethinking practice for the use of data from crowdsourcing market places // Behavior Research Methods. 2017. Vol. 49, № 4. P. 1333-1342.

11. Chuah S.C., Drasgow F., Roberts B.W. Personality assessment: Does the medium matter? No // Journal of Research in Personality. 2006. Vol. 40, № 4. P. 359-376.

12. Vecchione M., Alessandri G., Barbaranelli C. Paper-and-pencil and web-based testing: The measurement invariance of the Big Five personality tests in applied settings // Assessment. 2012. Vol. 19, № 2. P. 243-246.

13. Le Corff Y., Gingras V., Busque-Carrier M. Equivalence of unproctored internet testing and proctored paper-and-pencil testing of the Big Five // International Journal of Selection and Assessment. 2017. Vol. 25, № 2. P. 154-160.

14. International Testing Commission. International guidelines on computer-based and Internet-delivered testing: Version 2005 // International Journal of Testing. 2006. Vol. 6, № 2. P. 143-172.

15. Crump M.J.C., McDonnell J.V., Gureckis T.M. Evaluating Amazon's Mechanical Turk as a tool for experimental behavioral research // PLoS ONE. 2013. Vol. 8, № 3. e57410.

16. Potosky D., Bobko P. Selection testing via the Internet: Practical considerations and exploratory empirical findings // Personnel Psychology. 2004. Vol. 57, № 4. P. 1003-1034.

17. Arthur W., Glaze R.M., Villado A.J., Taylor J.E. The magnitude and extent of cheating and response distortion effects on unproctored Internet-based tests of cognitive ability and personality // International Journal of Selection and Assessment. 2010. Vol. 18, № 1. P. 1-16.

18. Lievens F., Burke E. Dealing with the threats inherent in unproctored Internet testing of cognitive ability: Results from a large-scale operational test program // Journal of Occupational and Organizational Psychology. 2011. Vol. 84, № 4. P. 817-824.

19. Радченко Ю.И., Сугоняев К.В. Разработка тестового комплекса для Интернет- самотестирования потенциальных кандидатов на военную службу по контракту // Актуальные проблемы психологического обеспечения практической деятельности силовых структур: сб. мат. 3-й Всерос. науч.-практ. конф. СПб.: С.-Петерб. им. В.Б. Бобкова филиал РТА, 2014. С. 317-324.

20. Grigoriev A., Ushakov D., Valueva E., Zirenko M., Lynn R. Differences in educational attainment, socio-economic variables and geographical location across 79 provinces of the Russian Federation // Intelligence. 2016. Vol. 58. P. 14-17.

21. Lynn R., Fuerst J., Kirkegaard E.O.W. Regional differences in intelligence in 22 countries and their economic, social and demographic correlates: a review // Intelligence. 2018. Vol. 69. P. 24-36.

22. Практикум по психодиагностике: конкретные психодиагностические методики. М.: МГУ, 1989. C. 112-126.

23. Hunt E. What makes nations intelligent? // Perspectives on Psychological Science. 2013. Vol. 7, № 3. P. 284-306.

24. Российский стандарт тестирования персонала / Н.А. Батурин и др. // Организационная психология. 2015. Т. 5, № 2. С. 67-138.

25. Cohen J. A power primer // Psychological Bulletin. 1992. Vol. 112, № 1. P. 155-159.

26. McCrae R.R. A note on some measures of profile agreement // Journal of Personality Assessment. 2008. Vol. 90, № 2. P. 105-109.

27. Furr R.M. A framework for profile similarity: Integrating similarity, normativeness, and distinctiveness // Journal of Personality. 2008. Vol. 76, № 5. P. 1267-1316.

28. Hausknecht J.P., Halpert J.A., Di Paolo N.T., Moriarty G.M.O. Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability // Journal of Applied Psychology. 2007. Vol. 92, № 2. P. 373-385.

29. Kyllonen P.C., Zu J. Use of response time for measuring cognitive ability // Journal of Intelligence. 2016. Vol. 4, № 4. 14.

30. Давыдов Д.Г., Чмыхова Е.В. Применение теста Стандартные прогрессивные матрицы Равена в режиме ограничения времени // Вопросы психологии. 2016. № 4. С. 129-139.

31. Регионы России. Социально-экономические показатели. 2017: стат. сб. / Росстат. М., 2017. 1402 с.

Размещено на Allbest.ru