Добровольное интернет-тестирование как источник валидных оценок группового психометрического интеллекта

Размещено на http://www.allbest.ru/

Добровольное интернет-тестирование как источник валидных оценок группового психометрического интеллекта

К.В. Сугоняев, Институт психологии Российской академии наук; Ю.И. Радченко, А.А. Соколов, Военная академия Генерального штаба ВС РФ

Представлены результаты психометрического анализа масштабного массива данных, полученного в условиях добровольного интернет-тестирования, который включал результаты выполнения методики КОТ-30, зарекомендовавшей себя в условиях контролируемого обследования как надежный индикатор общей когнитивной способности. Предполагалось, что результаты выполнения этого теста в режиме онлайн могут оказаться пригодными для получения оценок психометрического интеллекта больших групп (возрастных, образовательных, региональных и т.п.). Для проверки данного предположения была выполнена серия сопоставлений результатов выполнения ряда когнитивных тестов, включая КОТ- 30, в различных форматах обследования. Предложена и апробирована методология оценки эквивалентности результатов выполнения когнитивных тестов, выходящая за рамки традиционного сопоставления мер центральной тенденции, вариативности и надежности. Гипотеза относительно возможности использования результатов онлайн-тестирования в качестве источника валидных оценок группового психометрического интеллекта подтвердилась.

Ключевые слова: неконтролируемое интернет-тестирование; интеллект; общая когнитивная способность; психометрические характеристики; измерительная эквивалентность; факторный анализ.

Voluntary internet-based testing as a source of valid group psychometric intelligence scores

Konstantin V. Sugonyaev, Institute of Psychology of Russian; Yurij I. Radchenko., Alexander A. Sokolov, Military Academy of General Staff

Unproctored Internet-based testing (UIT) is becoming more popular in recruitment and employment settings due to its cost-effectiveness, and because it makes it possible to reach diverse and geographically distant populations. Growing body of evidences is accumulated about equivalence of UIT to traditional proctored paper-and-pencil testing as applied to surveys and personality inventories, but there is little information available about suitability of UIT for collecting ability-test data. We hypothesized that such data may be quite useful for estimation of psychometric intelligence of large groups differed on age, education level, regions of living and so on. To check this supposition we used large-scale data gathered from September 2012 to December 2017, which included 262652 protocols of carrying-out of cognitive screening test (CST).

This UIT-data were compared to results of carrying-out this test by military conscripts sample (N = 3182) in controlled conditions in paper-and-pencil mode (CPPT-data). Tests of measurement equivalency included both traditional procedures (comparison of scores distributions, means, standard deviations and reliability indexes) and three more fine grained ones based on item-level responses (comparison of patterns of item's difficulties, item-scale correlations and item's loadings on g-factor). Although mean scores were slightly higher for integrated UIT-sample, this difference disappeared if education level of UIT- and CPPT -responders has been equated. Links of aggregated IQ-scores extracted from UIT-data with age and education had high level of similarity with analogous links calculated for sample of 27388 candidates equated for age and gender, which was tested by other cognitive test in controlled high-stake conditions.

Indexes of congruency between different segments of UIT-data and between UIT-, CPPT- and computer-based data on scale- and item-level were compared with analogous indexes calculated for 15 control samples fulfilled five cognitive tests in controlled conditions in the same or different modes (total size more than 47000). Congruency between different segments of UIT-data were none the worse than between samples examined by the same tests in same-mode cases; congruency between UIT- and CPPT-data for the CST was not the worse than congruency between data obtained from samples examined by the same tests in cross-mode cases. Although percentage of repeated testing protocols in UIT-data was near 7.6%, retesting didn't bias the mean IQ- scores of educational groups (d<0.01). These finding suggests that UIT-data can be a source of valid information about group psychometric intelligence.

Keywords: Unproctored; Web-based testing; intelligence; general mental ability; psychometric properties; factor analysis.

Введение

Широкое распространение персональных компьютеров в последние три десятилетия позволило перенести компьютерную психодиагностику в России из научных лабораторий в общественную практику, прежде всего в тех сферах, где психологическое тестирование в силу необходимости носит массовый характер [1]. Неудивительно, что одним из пионеров компьютеризации практической психодиагностики в России стало Министерство обороны, где широкое внедрение компьютерных технологий - первоначально в сфере психологического отбора, а затем и психологического сопровождения деятельности военнослужащих - началось уже в конце 1990-х гг. [2, 3]. Преимущества компьютеризации психодиагностики (равно как и возможные издержки, проистекающие из чрезмерного увлечения процессом в ущерб содержанию) уже неоднократно и детально обсуждались в литературе [1, 4], что избавляет нас от необходимости вновь возвращаться к обсуждению этих вопросов.

Развитие и широкое проникновение современных информационных технологий, прежде всего глобальной информационной сети Интернет, формирует новые вызовы, но и представляет новые, недоступные ранее возможности для расширения круга потенциальных респондентов, поскольку открывает доступ к тестовым процедурам в удобное для них время и в удобном месте при минимальных затратах для бенефициара. Благодаря этому интернет-тестирование не только быстро стало элементом мероприятий рекрутинга и начальных этапов отбора персонала [5], но со временем превратилось в важное средство получения научных знаний, в том числе относящихся к сфере общей и дифференциальной психологии [6].

В результате в психологической литературе в последнее десятилетие стали публиковаться результаты исследований, выполненных в относительно короткие сроки на выборках, насчитывающих от нескольких десятков тысяч до миллионов респондентов [7, 8]. Хотя в России также реализуются сходные по направленности проекты (например, «Клуб испытателей тестовых технологий», учрежденный компанией «Гуманитарные технологии» [1. С. 393]), отечественные публикации, основанные на интернет-опросах, пока еще уступают по охвату аудитории зарубежным аналогам. Следует отметить, что интерес к данным, полученным на больших выборках, дополнительно стимулируется обескураживающе низкой воспроизводимостью результатов, полученных на более «традиционных» для академической психологии немногочисленных студенческих выборках За рубежом для обозначения доминирующей в научных исследованиях категории респондентов получила распространение аббревиатура WEIRD (western, educated, industrialized, rich, democratic) [9].. Именно поэтому включение в научный анализ данных, полученных в рамках программ добровольного интернет-тестирования, рассматривается некоторыми авторами как одно из средств преодоления «кризиса воспроизводимости» в психологии [10].

Однако вопрос о валидности полученных с помощью неконтролируемого интернет-тестирования (НИТ) данных продолжает оставаться предметом дискуссий. Если в отношении личностных инструментов получены достаточно убедительные свидетельства высокой степени измерительной эквивалентности данных, полученных в разных форматах обследования (бумажнокарандашном, компьютерном диалоговом, НИТ) [11-13], то к когнитивным тестам отношение исследователей гораздо более настороженное. Практически единодушно считается, что результаты выполнения когнитивных тестов в условиях НИТ могут легко фальсифицироваться, вследствие чего их результаты требуют перепроверки в контролируемых условиях [1, 5]; данная норма закреплена, в частности, в п. 45.3 стандарта Международной тестовой комиссии [14]. Следует, однако, подчеркнуть, что данное предостережение относится к индивидуальным результатам и представляется обоснованным в аттестационных (high stake) ситуациях при принятии персонализированных решений. В то же время сравнительно мало известно о том, насколько оправдана подобная настороженность по отношению к групповым результатам, полученным в условиях самопознания. Есть основания полагать, что собранные в подобных условиях данные могут быть вполне пригодными для использования в решении как практических, так и некоторых фундаментальных вопросов, стоящих перед современной психологией [6, 9, 15].

Немногочисленные исследования сопоставимости групповых результатов выполнения когнитивных тестов, полученных в условиях традиционного администрирования и НИТ, демонстрируют противоречивые результаты: одни тесты характеризуются высокой степенью сопоставимости результатов, другие нет [16-18]. Обращает на себя внимание ограниченность используемых при этом методов оценки сопоставимости результатов тестирования, которые в большинстве случаев сводятся к сравнению мер центральной тенденции, вариативности и одномоментной надежности интегральных тестовых оценок.

В 2012 г. при участии авторов статьи на официальном сайте Минобороны России в разделе, посвященном военной службе по контракту, была размещена система интернет-тестирования, включающая три психометрических методики (когнитивную, личностную и мотивационную) и алгоритм оценки индивидуальных результатов, настроенный на скрининг лиц, имеющих явные противопоказания к подобной службе [19]. Цель размещения системы - привлечь внимание граждан, интересующихся перспективой военной службы по контракту, к тому факту, что Минобороны России нуждается в качественных человеческих ресурсах.

Особенностью системы является то, что тестирование носит добровольный и анонимный характер, интерпретация его результатов доводится только до самого респондента и не учитывается в последующих отборочных процедурах, т.е. данная процедура была спланирована и реализована как элемент рекрутинга, а не отбора. К концу 2017 г. данный раздел сайта посетили несколько сот тысяч человек, большинство из которых выполнили хотя бы одну методику. В частности, было получено свыше 260 тыс. протоколов выполнения когнитивного теста (КТ), содержащих некоторые социально-демографические данные о респонденте, итоговую оценку успешности выполнения КТ и ответы на отдельные задания. Поскольку столь большой массив данных выполнения одного КТ в сопоставимых условиях интерактивного интернет-тестирования, охватывающего все регионы страны, был аккумулирован в России, возможно, впервые, представлялось весьма заманчивым оценить его пригодность для решения некоторых актуальных вопросов, в частности оценки качества региональных когнитивных ресурсов [20, 21]. Для достижения этой цели мы обратились к способам доказательства валидности оценок КТ, основанным на внутренней структуре теста и соотношениях с доступными внешними переменными. В качестве последних были использованы данные, которые сообщал о себе респондент в ходе регистрации, а именно дата рождения, место проживания (страна, регион, населенный пункт) и уровень образования.

Исследование выполнялось в два этапа. На первом этапе были исследованы психометрические характеристики интегрального массива оценок выполнения КТ, их связь с возрастом и образовательным уровнем респондентов, предпринята попытка оценить долю повторных прохождений КТ и степень их влияния на групповые индексы. Также был осуществлен качественный анализ идентифицирующей респондента информации с целью определения наиболее вероятных угроз ее достоверности.

На втором этапе комплекс количественных индексов, характеризующих результаты выполнения КТ в условиях НИТ, был сопоставлен с аналогичными индексами, рассчитанными по результатам выполнения этого же и пяти других тестов в условиях контролируемого обследования в диалоговом или бланковом формате. Дополнительные тесты, для которых имелись достаточно большие массивы данных, были использованы в нашем исследовании для того, чтобы обеспечить интерпретируемость полученных оценок конгруэнтности. В сопоставление были включены результаты выполнения тестов как в общем формате (бланк-бланк или диалог-диалог), так и в разных (бланк-диалог).

Методики

В исследовании было использовано 7 когнитивных тестов, первый из которых выполнялся в формате НИТ и являлся центральным для данного исследования. Результаты выполнения этого же и шести других КТ в контролируемых условиях в аттестационном контексте были использованы в интересах сопоставления и верификации эффектов, выявленных на основе анализа интернет-данных.

1. Методика с условным обозначением КОТ-30 входит в состав тестовой батареи, реализуемой системой интернет-тестирования. Методика разработана нами в 2011 г. специально для данной системы и является укороченной и модифицированной версией Краткого ориентировочного теста [22]. По сравнению с прототипом КОТ-30 обладает улучшенными психометрическими характеристиками благодаря исключению менее дис- криминативных пунктов и частичному редактированию оставшихся. Тест состоит из 30 заданий, на выполнение которых отводится 15 минут. Задания адресованы вербальному, счетному, пространственному и перцептивному факторам интеллекта (с преобладанием первых двух) и имеют от трех до пяти вариантов ответа, лишь один из которых является правильным. Пригодность теста для оценки общей когнитивной способности подтверждается коэффициентом корреляции со Стандартными прогрессивными матрицами Равена 0,598 без коррекции и 0,675 после коррекции с учетом неидеальной надежности обоих тестов (К = 654).

2. Вербальный тест (ВТ). Предназначен для оценки вербальных способностей. Состоит из 36 заданий с четырьмя вариантами ответов в каждом, на выполнение которых отводится 9 минут. Задания требуют умения анализировать соотношения между понятиями, устанавливать аналогии, находить синонимичные и антонимичные понятия. В исследовании использовался интегральный массив данных, полученных в диалоговом формате обследования.

3. Исключение слова (ИС). Методика предназначена для оценки способности к обобщению вербальной информации и нахождению семантически дистантного понятия. Включает 30 заданий с пятью вариантами ответов в каждом, на выполнение которых отводится 8 минут. В сопоставление было включено два бланковых массива.

4. Установление закономерности (УЗ). Методика предназначена для оценки скорости и точности нахождения лексического эквивалента для знаковой последовательности. Включает 30 заданий с пятью вариантами ответов в каждом, на выполнение которых отводится 8 минут. В сопоставление было включено два бланковых массива, полученных на тех же выборках, которые выполняли предыдущую методику.

5. Аналогии (Ан). Методика предназначена для оценки способности к пониманию характера логических связей и отношений между понятиями. Включает 30 заданий с пятью вариантами ответов в каждом, на выполнение которых отводится 5 минут. В исследование было включено два бланковых и два диалоговых массива данных.

6. Стандартные прогрессивные матрицы Равена с 20- и 30-минутным ограничением (СПМ₂₀; СПМ₃₀); для каждой из версий имелись данные, полученные как в бланковом, так и в диалоговом форматах.

7. Укороченная 20-пунктовая версия Продвинутых прогрессивных матриц Равена (ППМ-20), составленная из заданий 1-го и 2-го наборов, отобранных по параметрам трудности и дискриминативности. На выполнение методики отведено 12 минут. В исследование было включено два бланковых и один диалоговый массив данных.

Для всех тестов рассчитывался комплекс оценок, характеризующих различные аспекты выполнения КТ (продуктивность, скорость, точность и эффективность), однако в настоящем исследовании анализируется лишь один индекс успешности выполнения теста - сумма правильно решенных заданий (продуктивность).

Характеристика выборок

Исходный массив протоколов выполнения КОТ-30 в формате НИТ, собранных в период с сентября 2012 по декабрь 2017 г., составил 262 652. Часть протоколов (3 505), не имеющих региональной принадлежности или выполненных нерезидентами Российской Федерации, была исключена из анализа. Таким образом, до чистки от повторных прохождений теста количество включенных в анализ протоколов составило 259 147. Согласно заданным ограничениям респондентами были мужчины в возрасте 18- 40 лет До октября 2013 г. возрастной диапазон был ограничен 19-30 годами; с сентября 2017 г. возрастной ценз снижен до 18 лет. (26,593 ± 4,936) и уровнем образования не ниже среднего общего. За редкими исключениями все участники НИТ являлись гражданскими лицами, представляющими 85 регионов России.

Прочие выборки, привлеченные для сравнительного анализа, представлены военнослужащими различных категорий либо кандидатами на военную службу по контракту или обучение в военных учебных заведениях. Их краткая характеристика представлена в табл. 1.

Таблица 1. Характеристика респондентов из контрольных выборок

Примечания. ВСП - военнослужащие по призыву; ВСК - военная служба по контракту.

Все выборки - за исключением абитуриентских 2013 и 2014 гг. - были независимыми. В некоторых случаях выборки были составными, но их объединение происходило только при отсутствии существенных различий средних и гистограмм распределения тестовых оценок. Во всех случаях в анализ включались только результаты первичного прохождения теста.

Процедура исследования

Результаты НИТ, включая социально-демографические данные о респондентах и результаты их тестирования (на уровне шкальных оценок и ответов на отдельные пункты), предоставлялись в ВАГШ ВС РФ ежемесячно в формате Microsoft Excel. Поскольку интернет-обследование носит анонимный характер, выявление протоколов повторных прохождений КОТ-30 опиралось на такие идентифицирующие признаки, как повторение в пределах одного региона в течение 1-2 месяцев сочетаний одинаковой даты рождения, уровня образования и наименования населенного пункта. Таких протоколов выявлено 19 706 (7,6% от числа включенных в анализ), причем число повторов у отдельных респондентов варьировало от 1 до 26.

Обследование контрольных выборок проходило в аттестационном контексте. Во всех случаях, когда обследование проходило в диалоговом формате, предъявление заданий, регистрация ответных действий респондентов и оценивание результатов осуществлялись с помощью компьютерного психодиагностического комплекса (КПДК). В случае бланкового формата (paper & pencil) обследование осуществлялось в составе групп. Испытуемые получали стандартные тестовые материалы (стимульные буклеты и регистрационные бланки), начало и завершение тестирования осуществлялись по команде администратора. Заполненные испытуемыми регистрационные бланки обрабатывались автоматически путем сканирования с использованием аналогичных КПДК.

Накопленные данные анализировались и вычищались (от повторных обследований и outliers) с помощью встроенных средств КПДК, после чего экспортировались в формате табличного процессора MS Excel. С помощью Excel рассчитывались некоторые дескриптивные статистики и точный возраст респондентов. Корреляционный и факторный анализ данных выполнялся с использованием пакета прикладных программ StatSoft Statistics, v. 8.0. Статистический анализ сопоставимости результатов, полученных в разных форматах и выборках, включал в себя не только сравнение средних, мер вариативности и одномоментной надежности итоговых тестовых оценок, но и сравнения на пунктовом уровне, а именно коэффициентов трудности и дискриминативности заданий, а также их факторных нагрузок на генеральный фактор.

Результаты

Психометрические характеристики оценок КОТ-30 в формате НИТ оценивались как в интегральной выборке (до и после чистки от повторных прохождений теста), так и в некоторых ее фрагментах (табл. 2).

Таблица 2. Основные психометрические индексы, характеризующие выполнение КОТ-30

Примечания. ОМН - одномоментная надежность, оцениваемая с помощью коэффициента альфа Кронбаха.

Представленные в табл. 2 данные свидетельствуют о высокой степени устойчивости оценок КОТ-30, полученных в формате НИТ, а значения индексов ОМН указывают на их высокую измерительную точность. Сходные по значениям индексы ОМН были получены и при иных способах структурирования интегральной выборки (по уровню образования, возрасту, региональной принадлежности).

Оценки психометрического интеллекта связаны с продолжительностью обучения; например, в работе Э. Ханта (2012) приводятся данные о том, что каждый год формального образования ведет к росту оценок КТ, эквивалентному 2,7 единиц шкалы ^ (т.е. 0,18 стандартного отклонения) [23. С. 298]. Исходя из этого, можно было предполагать, что оценки лиц со средним и высшим образованием могут различаться в среднем на 0,7-0,9 ББ. Усредненные оценки по трем основным образовательным категориям До сентября 2017 г. учитывалась также категория «незаконченное высшее образование», однако выбирающие ее респонденты по своим характеристикам незначительно отличалась от лиц, указывающих категорию «высшее образование». (до и после чистки от повторов) представлены в табл. 3.

Таблица 3. Психометрические индексы, характеризующие выполнение КОТ-30в образовательных категориях (без учета возраста) до и после чистки от протоколов ретестирования

Представленные в табл. 3 результаты свидетельствуют о том, что чистка данных от повторных прохождений КТ не оказала существенного влияния ни на один из индексов, рассчитываемых по большим массивам данных. В то же время различия средних, рассчитанных для трех образовательных категорий, оказались ниже зарубежных оценок и составили 0,26 стандартного отклонения в паре высшее-среднее общее и 0,55 в паре высшее-среднее профессиональное.

Более детальный анализ с учетом возраста показал, что недооценка различий в уровне психометрического интеллекта групп с высшим и средним образованием связана главным образом с более юными и многочисленными участниками тестирования (18-24 года), тогда как к 30 годам различие достигает уровня 0,5-0,6 стандартного отклонения. Также было выявлено присутствие среди респондентов 18-20 лет от 10 до 20% тех, кто выбрал в меню пункт «высшее образование», хотя это едва ли соответствует реальности. Можно предположить, что в эту категорию включают себя, в том числе, те участники НИТ, которые еще не закончили обучение в вузе. Возрастная динамика оценок в каждой из трех указанных образовательных категорий представлена на рис. 1.

Рис. 1. Возрастные изменения оценок КОТ-30 в трех образовательных категориях

Из представленных на рис. 1 данных следует, что в двух образовательных категориях оценки в исследованном диапазоне возрастов остаются относительно стабильными, тогда как в группе со средним общим образованием наблюдается их заметное снижение. На уровне индивидуальных оценок теснота связи с возрастом в интегральной выборке слабая (-0,048), хотя и значимая (р < 0,001), однако в группе лиц со средним общим образованием она увеличивается до -0,197. Если возраст заменить годом рождения, нелинейный характер динамики оценок КОТ-30 во времени проявляется более четко, чем это видно на рис. 1: в когортах 1973-1987 гг. оценки колеблются около уровня 19,8 баллов, но затем они начинают линейно расти, в результате чего лица, рожденные в 1998 г., достигают средней оценки 20,9 баллов.

Для того чтобы уточнить, насколько выявленные различия специфичны для НИТ, аналогичный анализ был выполнен для контрольной выборки, выполнявшей в условиях аттестационного обследования, предполагающего точную фиксацию реального образовательного уровня, методику ВТ. В интегральной выборке средний балл составил 20,383 ± 6,853 при ОМН = 0,877; в выборке лиц с высшим образованием (К = 5 096) - 22,671 ± 6,515; в выборке лиц со средним общим образованием (Ы = 10613) - 19,127 ± 6,790; в выборке лиц со средним профессиональным образованием (Ы = 10040) - 20,212 ± 6,776. Таким образом, в контрольной выборке стандартизированное различие средних в группах с высшим и средним общим образованием составило 0,52 стандартного отклонения. Другое отличие этой выборки от выборки НИТ состоит в том, что доля лиц с высшим образованием ни в одной из возрастных групп не превышала 30%, тогда как среди участников НИТ на наличие высшего образования указали почти 48% респондентов.

Анализ распределения возрастов среди посетителей сайта показал, что имеет место быстрый рост представленности от 18 до 22 лет с последующим постепенным, практически линейным спадом в диапазоне 2240 лет. Сравнение с распределением возрастов среди кандидатов, выполнявших ВТ, показало высокую степень сходства двух кривых: корреляция рядов чисел, отражающих представленность различных возрастов в диапазоне 18-40 лет, составила 0,943 (р < 0,0005), при этом мода в обоих случаях приходилась на 22 года. Тот факт, что в двух независимых популяциях граждан, интересующихся перспективой военной службы по контракту, распределение возрастов оказалось практически идентичным, может рассматриваться как косвенное подтверждение довольно высокой степени достоверности данных о дате рождения в ситуации НИТ. Об этом же свидетельствуют равная частотность чисел в датах рождения и отсутствие выраженных пиков около дат с облегченным набором (вроде 11.11.1991).

Качественный анализ возможных угроз валидности групповых оценок в условиях НИТ. Хотя в условиях анонимного НИТ с целью самопознания у респондентов нет явных причин фальсифицировать данные о себе, исключить вероятность искажений априори едва ли возможно. Выше мы уже отмечали, что по ряду признаков есть основания с высокой степенью доверия относиться к данным о дате рождения респондента (которая в сопоставлении с датой обследования позволяет рассчитать точный возраст в момент тестирования). Более подверженной контаминации представляется информация, сообщаемая респондентом о своем образовании, причем здесь, помимо случайных ошибок, возможна и направленная тенденция к завышению имеющегося образовательного уровня. На присутствие первой составляющей указывает то, что в сериях протоколов, идентифицированных как ретестирование, иногда наблюдается варьирование образовательной категории. Вторая выявляется в таких признаках, как довольно высокая доля лиц с якобы высшим образованием в возрасте 18-20 лет и вызывающее сомнение преобладание лиц с высшим образованием в интегральной выборке. Тем не менее благодаря масштабам выборки даже такие смещенные оценки позволяют выделять «полезный сигнал» из информационного шума и выявлять некоторые общие тенденции.

Региональная принадлежность респондентов представляет большой практический и научный интерес (например, она может давать четкое представление о географическом распределении потенциальных кадровых ресурсов для военной службы по контракту и их динамике во времени), поэтому оценка достоверности сведений о географической локализации - несмотря на ее трудоемкость - представляется очень важной.

Подводя итог многомесячной работе по выявлению возможных искажений данной информации, мы можем сделать общий вывод: подавляющее большинство респондентов, скорее всего, указывает реальную региональную принадлежность. Вместе с тем выявлен ряд предпосылок к возможному искажению этой информации в относительно небольшом проценте случаев и предприняты шаги по ее исправлению, если признаки таких искажений удавалось обнаружить. Их перечень представлен ниже.

1. Хотя русскоговорящим гражданам иностранных государств предоставлена возможность регистрироваться в системе по месту реального проживания и проходить тестирование, некоторые из них предпочитают указывать произвольный регион России, чаще всего - граничащий с данным государством. К счастью, многие из них на следующем шаге указывают не только населенный пункт (находящийся за пределами России), но и реальную страну пребывания. Было выявлено свыше 500 таких протоколов.

2. Наиболее частые ошибки региональной локализации связаны с промахом при выборе региона проживания из алфавитного перечня субъектов Российской Федерации, вследствие чего случайно может оказаться выбран смежный (по списку) регион. Хотя в целом частота таких ошибок ничтожна (обычно не выходит за пределы десятых долей процента), она может повышаться в тех случаях, когда наименования регионов- смежников созвучны или содержат общие структурные элементы. К числу пар регионов «повышенного риска» неточной локализации относятся Республика Алтай и Алтайский край; Краснодарский и Красноярский края; Курская и Курганская области; Нижегородская и Новгородская области; Ненецкий и Ямало-Ненецкий автономные округа. В этих случаях вероятность неверной локализации может достигать нескольких процентов.

3. Наибольшая частота ошибок локализации, достигающая в процентах двузначных значений, связана с тремя парами субъектов: Москва и Московская область; Санкт-Петербург и Ленинградская область; Севастополь и Республика Крым. Распространенная ошибка жителей мегаполисов и Севастополя - указание в качестве места проживания области (республики), тогда как истинная локализация попадает в графу «населенный пункт». В данном случае ошибка носит однонаправленный характер и связана, с одной стороны, с нечеткостью инструкции, а с другой - с тем, что не все граждане вникают в тонкости административно-территориального устройства страны.

4. Среди участников НИТ имеется незначительная доля тех, кто по каким-то причинам не хочет указывать регион проживания, но поскольку этот пункт носит обязательный характер, выбирает один из пунктов в начале списка, в большинстве случаев - республики Адыгея и Алтай. Именно на эти два региона приходится наибольшее число протоколов с неясной локализацией, которые желательно исключать из анализа на региональном уровне.

В абсолютном большинстве случаев коллизий, подобных перечисленным выше, истинная локализация может быть уточнена по наименованию населенного пункта (что и было осуществлено).

Результаты анализа типичных ошибок, допускаемых респондентами, легли в основу подготовленных нами предложений по совершенствованию работы системы интернет-тестирования.

Исследование сопоставимости результатов тестирования в контролируемом и НИТ-формате осуществлялось путем сравнения интегральных тестовых оценок и оценок на пунктовом уровне. В первом случае основное внимание уделялось воспроизводимости средних, вариативности (стандартного отклонения) и ОМН. Основные психометрические индексы и результаты сравнения средних оценок представлены в табл. 4 Несмотря на формальные различия двух версий СПМ в части временного ограниче-ния, мы объединили их в одну методику, поскольку результаты их выполнения различались несущественно..

Как видно из представленных в табл. 4 данных, все тесты имеют измерительную точность, отвечающую требованиям п. 4.4.2 Российского стандарта тестирования персонала [24]. Оценки КОТ-30 характеризуются весьма респектабельными значениями ОМН при любом формате проведения, их вариабельность не превышает таковую других тестов в условиях контролируемого обследования и составляет от 1,5 до 3,7% (в контрольных выборках - от 0 до 7%). Колебания вариативности оценок КОТ-30 при транзите с контролируемого бланкового формата обследования на НИТ не превышают 9%; такой же порядок имеют межформатные колебания стандартного отклонения в методике «Аналогии», в случае СПМ они достигают 20%.

То же самое можно сказать о различиях средних оценок: хотя некоторые из них достигают уровней, которые Дж. Коэн предложил считать умеренными [25], они не выходят за пределы вариативности, характеризующей реальные различия в уровнях общей когнитивной способности разных популяций (в представленных в табл. 4 примерах - от 0,004 до 0,70).

Таблица 4. Психометрические характеристики и сравнение средних в родственных интернет- и контрольных выборках

Все же сравнение психометрических индексов, рассчитанных для теста в целом, является довольно грубой оценкой возможной измерительной эквивалентности разных форматов тестирования, к тому же ее затруднительно интерпретировать: вариации могут быть обусловлены не транзитом форматов, а идиосинкразическими особенностями использованных выборок, в частности их селективностью. Более точные данные, по нашему мнению, может предоставить изучение процессов выполнения теста на пунктовом уровне. Мы предположили, что высокая степень эквивалентности тестовых результатов должна проявляться в сходстве распределения коэффициентов трудности и дискриминативности тестовых заданий, а также в сходных паттернах факторных нагрузок пунктов на генеральный фактор. Поскольку одной из наиболее популярных мер сходства двух профилей является коэффициент корреляции [26, 27], мы избрали в качестве меры конгруэнтности непараметрический коэффициент корреляции Спирмена (р).

Учитывая дефицит данных, на которые можно опереться для интерпретации рассчитанных коэффициентов конгруэнтности (КК), мы рассчитали для каждого из трех параметров 23 подобных коэффициента для предположительно совместимых данных (относящихся к одному тесту). В группе тестов, имеющих одинаковую длину (30 заданий), для этих же параметров было рассчитано по 52 коэффициента межтестовой конгруэнтности. По аналогии с одним из методов доказательства конструктной валидности тестов с помощью расчета многопризнаковой-многометодной матрицы коэффициенты первой группы мы обозначили как конвергентные, второй - как дивергентные. Конвергентные КК могли быть классифицированы на внутриформатные (диалог / диалог и бланк / бланк) и межформатные (диалог / бланк). Поскольку интернет-тестирование по технологии взаимодействия с респондентом имеет максимальное сходство с диалоговым форматом тестирования на КПДК, ожидалось, что в благоприятном случае КК между результатами выполнения методики КОТ-30 разными образовательными группами будут близки к внутриформатным КК в контрольных выборках, а КК между результатами интернет- и бланкового тестирования будут близки к межформатным КК в этих выборках.

Матрицы КК, рассчитанные для 30-пунктовых тестов, включая КОТ-30, представлены в табл. 5.

Таблица 5. Матрицы КК, рассчитанные для индексов трудности, дискриминативности и факторных нагрузок заданий 30-пунктовых тестов

Примечание. В верхней части таблицы выше диагонали представлены КК, рассчитанные на основе коэффициентов трудности; ниже диагонали - на основе коэффициентов дискриминативности; в нижней части таблицы представлены коэффициенты КК, рассчитанные на основе факторных нагрузок. Жирным шрифтом выделены конвергентные КК. Все корреляции от 0,37 и выше значимы на уровне р < 0,01. Использованы те же обозначения выборок, что и в табл. 4.

Обобщая данные, представленные в табл. 6, можно констатировать следующее. Средняя конгруэнтность значений трудности заданий в разных популяциях, выполнявших один тест, очень высока (0,916), однако если внутриформатные КК приближаются к единице (0,99), то межформатные составили в среднем в исследованных методиках / популяциях 0,845. Межтестовая конгруентность существенно ниже (в среднем - 0,528), хотя заметно выше, чем при использовании двух других параметров. Возможная причина этого будет рассмотрена ниже. На фоне таких значений высокий уровень конгруэнтности данных, полученных в условиях НИТ, не вызывает сомнения: 0,99 между разными популяциями в условиях НИТ, 0,860,90 с результатами выполнения КОТ-30 в контролируемых условиях (в бланковом формате).

Средняя конгруэнтность значений дискриминативности заданий в разных популяциях, выполнявших один тест, также довольно высока (0,806), однако можно отметить существенный разброс значений между внутриформатными (в среднем 0,941) и межформатными (в среднем 0,736) КК. Межтестовая конгруентность характеризуется предсказуемо низкими значениями (в среднем 0,298). Здесь также интернет-данные демонстрируют высокую консистентность: 0,93-0,98 между интернет-выборками, 0,85-,86 с результатами выполнения КОТ-30 в ином формате в контролируемых условиях.

Таблица 6. Межформатные КК, рассчитанные для тестов СПМ и ІІІІМ-20

Наконец, средняя конгруентность факторных нагрузок составила 0,802 (от 0,730 в условиях смены формата до 0,930 при использовании одного формата). Средний КК межтестовых факторных нагрузок составил 0,137. И в этом случае результаты тестирования в условиях НИТ выглядят вполне респектабельно: 0,95-0,99 между интернет-выборками, 0,86-0,88 между НИТ и результатами выполнения КОТ-30 в ином формате в контролируемых условиях.

Для методик с другой длиной были получены следующие внутриформатные значения КК: 1) СПМ, трудность пунктов: 0,996 для пары Д1/Д2; 0,962 для пары Б1/Б2; дискриминативность: соответственно 0,945 и 0,841; факторные нагрузки: соответственно 0,906 и 0,842; 2) ППМ-20,

Б1/Б2: трудность пунктов - 0,989; дискриминативность - 0,871; факторные нагрузки - 0,917. Поскольку число межформатных КК существенно больше, они представлены в табл. 6.

Обсуждение результатов

Целью настоящей работы был анализ массива протоколов выполнения КТ в условиях НИТ с точки зрения оценки его пригодности для изучения психологических феноменов, например возрастной динамики и географии распределения оценок способностей, взаимосвязей когнитивных и личностных переменных и др. В качестве такого массива были использованы данные, собранные в период с 2012 по 2017 г., где размещена система самотестирования граждан, проявляющих интерес к военной службе по контракту в Вооруженных Силах Российской Федерации. Онлайн-тестирование обладает рядом преимуществ перед тестированием в контролируемых условиях - прежде всего благодаря дешевизне и возможности рекрутирования больших и диверсифицированных выборок - и потому становится все более популярным.

Поскольку массив данных НИТ подобного объема (около 260 тыс. протоколов) стал объектом анализа в России впервые, на начальном этапе исследования были выполнены некоторые расчеты, призванные продемонстрировать правдоподобие информации, извлекаемой из этих данных. Также были оценены потенциальные угрозы для валидности тестовых оценок и регистрационных данных респондентов и возможные способы их нейтрализации. На этом этапе были получены следующие основные результаты.

1. Психометрические характеристики оценок группового психометрического интеллекта, рассчитанные на основе как интегральных НИТ-данных, так и их отдельных фрагментов, не уступают таковым, рассчитанным по результатам применения этого же теста в контролируемых условиях.

2. Распределение возрастов среди респондентов НИТ посетителей тестовой системы, обнаружило высокую степень сходства с возрастным составом кандидатов, прошедших тестирование в контролируемых условиях (г = 0,943), что может свидетельствовать о высокой степени достоверности сведений о дате рождения.

3. Получены косвенные свидетельства того, что часть респондентов НИТ, возможно, завышает свой образовательный уровень. Отчасти это может происходить вследствие выбора пункта «высшее образование» не только обладателями дипломов о высшем образовании, но и студентами. Вместе с тем преобладание в популяции участников НИТ лиц с высшим образованием не обязательно может быть следствием намеренного искажения данных. Имеются признаки того, что среди участников НИТ было немало тех, кто проходил тестирование исключительно ради самопознания, удовольствия и удовлетворения любопытства. На...