К вопросу о выборе модели при оценивании индивидуальных различий в траекториях латентного роста

Размещено на http://www.allbest.ru/

К вопросу о выборе модели при оценивании индивидуальных различий в траекториях латентного роста

Додонова Ю.А., Додонов Ю.С.

В исследованиях скорости переработки информации в задачах с варьирующей сложностью часто обнаруживаются проблемы методологического характера, связанные с невозможностью оценить надежные индивидуальные различия в параметрах, характеризующих возрастание времени ответа с усложнением задачи, а также с нестабильностью получаемых корреляций этих параметров с внешними мерами. В данной работе с помощью компьютерных симуляций, включавших многократную генерацию данных и их последующий анализ на основе моделирования латентного роста, демонстрируется, что нестабильность и систематическое занижение оценок связи параметра роста с внешней мерой вполне может быть следствием некорректного выбора модели для описания индивидуальных траекторий возрастания. Кроме того, выбор недостаточно «гибкой» функции для моделирования может не позволить корректным образом идентифицировать индивидуальные различия в форме возрастания. Полученные результаты и выводы, хотя и обсуждаются в контексте изучения скорости переработки информации, справедливы для любых исследований, в которых на латентном уровне моделируются траектории изменения психологических показателей.

Ключевые слова: индивидуальные различия, моделирование латентного роста, компьютерная симуляция, скорость переработки информации, интеллект

По понятным историческим причинам стремительное развитие психологических исследований, условно объединяющихся в общую парадигму «умственной хронометрии», практически полностью осталось за рамками внимания российской психологии. Описывая лавинообразный рост количества работ на самом раннем этапе становления хронометрического подхода, Д. Лохман вспоминает: «Те, кто не был вовлечен [в эти исследования] с самого начала, совершенно не могут себе представить то чувство волнения, которое пронизывало эту область в начале 1970-х. Когнитивная психология обещала освободить дифференциальную психологию от психометрики и вернуть ее в основное русло психологических исследований» [Lohman, 1994, p. 1].

Новизна хронометрических исследований того времени состояла в попытке перенести когнитивные модели, создаваемые в рамках экспериментальной психологии, в область изучения индивидуальных различий. Регистрируя время ответа в задачах, аналогичных разработанным в экспериментальной парадигме, и эксплицитно оценивая в отдельности для каждого испытуемого параметры моделей, привнесенных из экспериментальной психологии, исследователи рассчитывали получить возможность анализировать индивидуальные различия в хорошо интерпретируемых теоретически значимых показателях. Оценивание взаимосвязей такого рода параметров с традиционными психометрическими показателями, в первую очередь с интеллектуальным уровнем, позволило бы совершить прорыв за пределы констатирующих исследований и приблизиться к пониманию природы и сущности индивидуальных различий в когнитивных способностях.

Одним из наиболее ярких примеров исследований в этой парадигме могут быть работы, в которых изучалось увеличение времени реакции выбора с ростом числа альтернативных стимулов (подробный обзор и обсуждение этой линии исследований могут быть найдены в работах [Jensen, 1987a, 1998a, 2006]). Мы вернемся к обсуждению результатов, получаемых при изучении времени реакции выбора, несколько позднее в данной работе, пока же отметим, что изначальный исследовательский интерес к изучению роста времени ответа с увеличением числа альтернатив зародился в русле экспериментальной психологии. Именно работая в рамках экспериментального подхода с опорой на теорию информации К.Шеннона [Shannon, 1948], У.Хик [Hick, 1952] и Р.Хайман [Hyman, 1953] независимо друг от друга сформулировали теоретическую модель, предполагавшую логарифмическое возрастание времени ответа с увеличением числа альтернативных стимулов.

Можно приводить множество примеров когнитивных задач и исследовательских вопросов, в которых, как и в описанном выше случае, первоначальная теоретическая модель формулировалась в рамках экспериментальной психологии, а уже затем переносилась в область изучения индивидуальных различий. Это и исследования индивидуальных различий в скорости сканирования памяти в задаче С.Стернберга [Sternberg, 1966] и в задаче зрительного сканирования (например, [Jensen, 1987b; Neubauer et al., 1997]), и работы Э.Ханта по изучению индивидуальных различий в задачах зрительного поиска и сопоставления, объема внимания [Palmer, MacLeod, Hunt, Davidson, 1985] и верификации предложений [Hunt, MacLeod, 1978] (в последней из перечисленных работ может быть также найдено полезное обсуждение потенциальных противоречий между дифференциальной и когнитивной психологией и возможных путей интеграции и взаимообогащения этих дисциплин).

Заметим при этом, что ранние исследования в рамках хронометрического подхода были весьма трудоемкими, поскольку требовали регрессионного анализа индивидуальных результатов каждого испытуемого. Кроме того, применявшиеся процедуры анализа понятным образом не позволяли получать апостериорные оценки соответствия моделей эмпирическим данным, а также вызывали определенные вопросы к получаемым оценкам параметров. Качественно новый этап в хронометрических исследованиях индивидуальных различий стал возможен с развитием структурного моделирования, в частности, моделирования латентного роста [Duncan, Duncan, 1995; McArdle, Epstein, 1987; Meredith, Tisak, 1990].

Любопытным является тот факт, что уже в одной из первых работ, посвященных моделированию латентного роста, подчеркивалось, что этот метод анализа позволяет на латентном уровне оценивать изменение психологических переменных не только со временем, но и с «возрастом, годом обучения, номером предъявления стимула, степенью активации, экспериментальным условием, тестовой формой или интенсивностью стимула» [Meredith, Tisak, 1990, p. 107]. Однако удивительным образом этот вид моделирования, хотя и стал активно применяться в лонгитюдных исследованиях, достаточно долгое время оставался вне пределов внимания исследователей, изучающих индивидуальные различия в скорости ответа в изначально экспериментальных задачах.

Одним из первых авторов, начавших активно применять структурное моделирование с целью изучения траекторий изменения времени ответа с изменением условий когнитивной задачи, стал К.Швайцер [Schweizer, 2006a, 2006b]. Однако необходимо отметить, что вариант структурного моделирования, применяемый К.Швайцером, не является собственно моделированием латентного роста в классическом понимании, поскольку работает исключительно с ковариационной матрицей и не подразумевает включение в анализ вектора средних. Возможности классического моделирования латентного роста в описании индивидуальных различий в скорости ответа в задачах с возрастающей сложностью достаточно подробно обсуждались нами в работе [Dodonov, Dodonova, 2012].

Следует отметить, что исследования, направленные на изучение индивидуальных различий в траекториях изменения времени ответа с изменением условий когнитивной задачи, хотя и обогатились в последние десятилетия благодаря возможности применения современных методов анализа данных, однако по-прежнему имеют в своем багаже целый ряд накопившихся проблем и противоречий методологического характера, что позволяет отдельным исследователям открыто выражать скептическую позицию в отношении будущего данной исследовательской парадигмы (например, [Lohman, 1994]).

В частности, примером не вполне оправдавшихся теоретических ожиданий, породивших дискуссии методологического характера, могут быть исследования индивидуальных различий в задаче времени реакции выбора, называемой также задачей У.Хика. Напомним, что процесс решения этой задачи традиционно интерпретировался в терминах теории информации, что предполагало, что получаемые данные описываются логарифмической функцией f(x) = a • log (x + 1) + b, где параметр b описывает базовый уровень и традиционно интерпретируется как репрезентирующий скорость сенсомоторных процессов, а параметр a характеризует возрастание времени ответа с увеличением числа возможных альтернатив и считается репрезентирующим собственно скорость переработки информации.

Логичным образом, при переносе данной модели в область исследования индивидуальных различий ожидалось, что оцененный на индивидуальном уровне показатель скорости переработки информации (параметр возрастания функции) окажется связанным с уровнем общих способностей испытуемых [Roth, 1964]. Иными словами, предполагалось, что испытуемые с невысоким интеллектуальным уровнем медленнее в элементарной переработке информации, чем испытуемые с высоким уровнем способностей. Однако результаты, в действительности получаемые в эмпирических исследованиях, оказались как минимум противоречивыми. Некоторые авторы сообщают об отсутствии достоверной взаимосвязи между параметром возрастания времени ответа в задаче У.Хика и уровнем интеллекта [Beauducel and Brocke, 1993], тогда как в других исследованиях обнаруживается умеренная статистически достоверная связь между этими показателями [Neubauer et al., 1997; Rammsayer, Brandler, 2007]. Кроме того, для параметра базового уровня функции У.Хика зачастую обнаруживается неожиданно более высокая взаимосвязь с показателями интеллекта, чем для коэффициента наклона [Jensen, 1987a, 1998a].

Комментируя эти противоречия, А.Дженсен предпочитал обсуждать преимущественно вопросы методологического характера: «Часто сообщаемая для параметра наклона функции Хика невозможность подтвердить теоретические предсказания его взаимосвязи с интеллектом - это ложный приговор… Этот факт свидетельствует не о провале теоретических ожиданий, а скорее о влиянии неотъемлемых статистических артефактов, приводящих к подавлению теоретически ожидаемых корреляций» [Jensen, 1998b, p. 43]. Так, А.Дженсен аналитически показывал, что параметр роста всегда будет иметь заведомо более низкие оценки надежности, чем параметр базового уровня. Одновременно ошибки измерения параметров возрастания и базового уровня с неизбежностью являются отрицательно коррелирующими. В совокупности это приводит к тому, что параметр базового уровня оказывается переменной, приводящей к занижению оценок взаимосвязи параметра роста с внешними переменными. Более детальное обсуждение этих проблем, безусловно, не входит в задачи нашего исследования и может быть найдено в работе [Jensen, 1998b].

Однако следует отметить еще один момент, который никогда не обсуждается при рассмотрении возможных методологических проблем, возникающих при анализе возрастания времени ответа с увеличением числа возможных альтернатив в задаче времени реакции выбора. Данные, получаемые в парадигме У.Хика, всегда моделировались исключительно с использованием логарифмической функции, поскольку именно такая форма возрастания предсказывалась при интерпретации процесса решения данной задачи в терминах теории информации. Безусловно, мы вынуждены оставить за рамками данной работы дискуссию о том, в какой мере накопленные в экспериментальной психологии данные в действительности позволяют говорить о зависимости времени реакции выбора от количества информации (например, С.Корнблюм в серии работ, обобщенных в статье [Kornblum, 1969], продемонстрировал, что истинной зависимой переменной в таких исследованиях, по-видимому, является не количество информации, а вероятность не повторения следующего стимула). Для исследований индивидуальных различий представляет, однако, несомненный интерес вопрос соответствия логарифмической модели индивидуальным данным, получаемым в эмпирических исследованиях.

Насколько нам известно, в работах А.Дженсена, наиболее активного исследователя в области индивидуальных различий во времени реакции выбора, не встречается эксплицитных указаний на несоответствие логарифмической функции (или, в более традиционных для исследований А.Дженсена терминах, линейной функции в полулогарифмических шкалах) эмпирическим данным. Однако, например, А.Нойбауэр в исследовании с использованием модифицированной задачи У.Хика сообщает, что данные приблизительно 20% испытуемых не согласовывались с теоретически ожидаемой логарифмической зависимостью [Neubauer, 1991]. Кроме того, необходимо помнить, что в исследованиях в парадигме У.Хика единственным показателем соответствия функции эмпирическим результатам являлся RІ (доля объясненной дисперсии), для которого, строго говоря, отсутствуют какие-либо четкие границы значимости.

Так, в одном из исследований А.Дженсен [Jensen, 1987b] сообщает величину R, рассчитанную для усредненных данных всех испытуемых, равную 0,971, что соответствует RІ = 0,943. Оставив в стороне вопрос о том, какие значения RІ для индивидуальных испытуемых могут скрываться за приведенными для «среднего испытуемого» данными, рассмотрим возможные примеры наборов из четырех точек, для которых RІ = 0,943. Два таких примера приведены на рис. 1А и рис. 1В (график функции f(x) = a • log₂ (x + 1) = + b с параметрами, оптимальными для этих наборов точек, показан синим цветом). Очевидно, что действительная форма возрастания в этих примерах является различной, и ни в том, ни в другом случае логарифмическая функция не оказывается достаточно гибкой, чтобы адекватным образом описать истинную форму возрастания. Чтобы проиллюстрировать эту идею, на рис. 1С и рис. 1D те же наборы точек были аппроксимированы более гибкой функцией f(x) = a / (x + k) + b, в которой возрастание описывалось не одним, а двумя параметрами. Очевидно, насколько более адекватно эта функция описывает данные (что отражается и в выросшей до 0,998 величине RІ).

Рис. 1. Примеры наборов данных, которые могут быть аппроксимированы логарифмической функцией с RІ = 0,943 (А и В) и их аппроксимация более гибкой функцией (С и D).

Однако следует отметить, что применение более гибкой функции в данном примере не просто позволило получить более высокий показатель доли объясненной дисперсии. Оценки параметра а (единственного параметра, описывающего возрастание в логарифмической модели) оказались для этих двух гипотетических испытуемых практически идентичными: a = 1,01 и a = 0,99. Одновременно более гибкая функция позволила идентифицировать различия в параметрах возрастания для этих двух испытуемых, оценки соответствующих параметров для этой функции были a = -4,84 и k = 0,33 для графика на рис. 1С и a = -848 и k = 40,16 для графика на рис. 1D.

Иными словами, недостаточная гибкость функции в приведенном наглядном примере стала тем фактором, который не позволил бы обнаружить индивидуальные различия в показателях, характеризующих возрастание. Однако следует отметить, что, в то время как невозможность надежной идентификации дисперсии параметров роста является частой проблемой исследований такого рода, возможная неадекватность модели и последствия применения некорректной модели до сих пор не обсуждались в качестве возможной причины описанных методологических проблем. Приведенные ниже исследования имеют своей целью до некоторой степени восполнить этот пробел. Используя метод компьютерных симуляций, мы анализировали, какие последствия неадекватный выбор формы функции в моделировании возрастания может иметь для получаемых оценок индивидуальных различий в параметрах роста, а также величин их взаимосвязи с внешними переменными.

Исследование 1: Выбор модели латентного роста и значимость дисперсии индивидуальных показателей возрастания

Обсуждавшийся выше пример возможного наличия или отсутствия индивидуальных различий в оценках возрастания при разном выборе функции для данных, аналогичных данным, получаемым в задаче У.Хика, был построен для индивидуальных наборов точек. В данном исследовании проблема была переформулирована в более адекватном для современного анализа контексте, а именно в терминах значимости оценок дисперсии латентных компонентов, получаемых при структурном моделировании возрастания индивидуальных показателей с увеличением сложности задачи. В центре нашего внимания, таким образом, оказался вопрос о том, может ли некорректный выбор функции для моделирования данных с явным трендом возрастания существенным образом повлиять на получаемые величины дисперсии латентных компонентов возрастания и их возможную интерпретацию в качестве статистически значимых или незначимых.

Методы

Описание методов этого исследования, как и исследования, представленного в следующем разделе данной работы, состоит из трех частей, образующих логическую структуру анализа с использованием метода Монте-Карло. Во-первых, мы описываем правила генерации набора данных, соответствующих нашей теоретической модели. Во-вторых, мы специфицируем те структурные модели, которые применялись к сгенерированному набору данных на каждом шаге анализа, и те параметры моделей, которые представляли для нас интерес. В-третьих, мы уточняем, в какой форме будут представлены результаты, полученные по итогам многократного повторения этапов генерации и моделирования. Все виды анализа, описанные в данной работе, выполнялись в программной среде R [R Core Team, 2012]. Для структурного моделирования использовался пакет lavaan [Rosseel, 2012]. Полный алгоритм генерации и анализа данных, использованный в данной работе, может быть найден по ссылке http://dodonovs.com/R/101-r.ru.htm.

В первом исследовании, как было указано выше, нас интересовало, каким образом выбор более или менее «гибкой» функции для описания латентного роста может повлиять на получаемые в структурном моделировании оценки значимости дисперсии латентных компонентов, характеризующих постоянный уровень и динамику изменений при переходе от одного уровня манифестной переменной к другому. Логичным образом, генерировались данные, которые могли быть правдоподобно описаны как наиболее простой линейной функцией, в которой возрастание задается единственным параметром наклона, так и нелинейной, в данном случае квадратичной, функцией, в которой возрастание описывается одновременно двумя компонентами - линейным и квадратичным.

Генерировался набор данных из 500 строк (иными словами, 500 виртуальных испытуемых), где каждая строка представляла собой девять уровней манифестной переменной (соответствовавших, например, девяти уровням сложности возможной задачи). Для каждого виртуального испытуемого генерировались данные, в которых возрастание было нелинейным и описывалось, хотя и с некоторой погрешностью, квадратичной функцией. Одновременно весь массив данных был составлен таким образом, чтобы усредненные по всем строкам данные давали очевидный линейный тренд. Данная идея представлена на рис. 2А. Отметим, что генерируемые числа приблизительно соответствовали величинам возможных времен ответов, традиционно получаемым в скоростных когнитивных задачах, что служит исключительно целям удобства восприятия результатов, поскольку изначально в данной работе проблема выбора функции была поставлена нами в контексте изучения индивидуальных различий в скоростных показателях в задачах с возрастающей сложностью.

Рис. 2. А. Примеры индивидуальных данных, сгенерированных из квадратичной зависимости (зеленый и фиолетовый графики) и линейный тренд для средних данных (красный график). В и С. Структурные модели линейного и квадратичного роста.

Для сгенерированных данных проверялись две модели латентного роста: линейная и квадратичная (рис. 2B и рис. 2C, соответственно). И в линейной, и в квадратичной модели латентный компонент, репрезентирующий постоянный базовый уровень, задавался путем фиксации на 1 нагрузок между этим компонентом и каждой из манифестных переменных. Линейный компонент в каждой из моделей задавался путем фиксации линейно возрастающих нагрузок манифестных переменных: 0; 1; 2; 3; 4; 5; 6; 7; 8. Наконец в квадратичной модели был добавлен еще один компонент, нагрузки на который возрастали в соответствии с квадратичной зависимостью: 0; 1; 4; 9; 16; 25; 36; 49; 64. Все элементы ковариационной матрицы латентных компонентов свободно оценивались в каждой из моделей. При этом интерес для данного исследования представляли величины дисперсии латентных компонентов (в первую очередь характеризующих возрастание), их стандартные ошибки и соответствующие уровни значимости. Поскольку величины дисперсии сами по себе не являются информативными, основным показателем для нас являлся их уровень значимости, рассчитанный на основании стандартных ошибок.

Для оценки соответствия моделей сгенерированным данным фиксировался индекс SRMR (Standardized Root Mean Square Residual [Jцreskog, Sцrbom, 1981]), не требующий сравнения анализируемой модели с нулевой моделью. Инкрементные индексы (такие как CFI и TLI) не рассматривались, поскольку их вычисление для моделей латентного роста требует переопределения и дополнительного оценивания нулевой модели [Widaman, Thompson, 2003], что в данном случае только увеличило бы общее время выполнения алгоритма компьютерной симуляции, практически не добавив содержательной информации.

Описанная выше процедура генерации данных и оценивания линейной и квадратичной моделей для сгенерированного набора данных повторялась 500 раз. Таким образом, по итогам компьютерной симуляции для каждой из моделей были получены распределения величин уровня значимости для оценок дисперсии латентных компонентов, а также значений индекса SRMR.

Результаты

Полученные распределения индекса SRMR для линейной (черный график) и квадратичной (зеленый график) моделей приведены на рис. 3А. Очевидно, что в ситуации сравнения двух моделей квадратичная модель выглядит предпочтительнее (напомним, что этот результат абсолютно предсказуем, поскольку данные генерировались на основании квадратичной зависимости). Однако следует отметить, что и оценка SRMR линейной модели также является приемлемой, что (в отсутствие квадратичной модели как модели сравнения) вполне позволило бы интерпретировать линейную модель как хорошо описывающую данные. Однако при этом для линейной модели приблизительно в 30% генераций оптимальное решение было найдено при негативных оценках дисперсии латентного компонента линейного роста, и обсуждаемые ниже результаты приводятся без учета этих случаев. Для квадратичной модели дисперсия линейного компонента была оценена негативно в 0,8% генераций, дисперсия квадратичного компонента оказалась негативной в 0,6% генераций, эти случаи также не учитывались при дальнейшем представлении результатов.

Рис. 3. А. Значения индекса SRMR для линейной (черный график) и квадратичной (зеленый график) моделей. В. Распределение величины уровня значимости дисперсии компонента возрастания в линейной модели. С. Распределение величины уровня значимости дисперсии линейного (синий график) и квадратичного (зеленый график) компонентов возрастания квадратичной модели.

Дисперсии латентных компонентов, репрезентирующих постоянный базовый уровень, были значимы (p < 0,001) во всех генерациях для каждой из моделей. Однако, как отмечалось выше, наибольший интерес для нас представляли дисперсии латентных компонентов, характеризующих возрастание. Распределение уровней значимости для величины дисперсии компонента линейного роста в линейной модели представлено на рис. 3В. Даже при либеральном уровне значимости p = 0,05 оценки дисперсии компонента линейного роста оказались значимыми только в 6,4% генераций. Иными словами, даже в тех случаях, когда дисперсия компонента возрастания в недостаточно гибкой линейной модели оценивалась положительно, ее величина в подавляющем большинстве случаев была статистически не отличающейся от нуля.

На рис. 3С приведены аналогичные распределения уровней значимости дисперсии линейного (синий график) и квадратичного (зеленый график) компонентов квадратичной модели. При том же уровне значимости p = 0,05 для тех же сгенерированных наборов данных дисперсия линейного компонента оказалась значимой в 76,4% случаев, а дисперсия квадратичного компонента - в 82,2% случаев.

Обсуждение

При генерации данных в описанном выше исследовании мы имитировали вполне правдоподобную ситуацию, в которой исследователь, получив данные и проанализировав результаты, усредненные по всем испытуемым, предположил бы линейное возрастание анализируемых показателей при переходе от одного уровня манифестной переменной к другому (например, линейное возрастание времени ответа при увеличении сложности когнитивной задачи). Индексы соответствия линейной модели данным вполне позволили бы рассматривать эту модель в качестве приемлемой. Однако на основании полученных оценок параметров линейной модели был бы сделан вывод об отсутствии значимой дисперсии линейного компонента. Иными словами, продолжая пример с моделированием времен ответов в задаче с возрастающей сложностью, исследователь говорил бы об отсутствии значимых индивидуальных различий в скорости увеличения времени ответа с усложнением задачи. Кроме того, отсутствие дисперсии линейного компонента не позволило бы в дальнейшем оценивать возможные взаимосвязи индивидуальной скорости изменения времени ответа с внешними переменными (например, с интеллектом).

Однако, как было показано, проблема состояла в том, что данные в действительности возрастали нелинейно. Применение «истинной» квадратичной модели позволило идентифицировать сразу два латентных компонента, описывающих возрастание, для каждого из которых оцененная выборочная дисперсия оказывалась значимой. В случае же линейной модели выбранная функция была недостаточно «гибкой», и при ее использовании для описания данных исследователь терял информацию об индивидуальных различиях в траекториях возрастания.

Безусловно, речь не идет о том, что отсутствие значимой дисперсии компонентов латентного роста во всех случаях является артефактом неверного выбора функции. Скорее можно говорить о том, что корректный выбор функции является необходимым, хотя и недостаточным условием адекватной идентификации латентных параметров роста и их выборочных дисперсий. Корректный выбор функции не означает сам по себе, что дисперсии латентных компонентов роста окажутся значимыми; однако в случае обнаружения незначимых индивидуальных различий в траекториях возрастания у исследователя есть все основания задуматься, достаточно ли гибкой была выбранная функция, чтобы выявить ожидаемые индивидуальные различия.

Исследование 2: Выбор модели латентного роста и корреляции индивидуальных показателей возрастания с внешними переменными

В описанном выше исследовании речь шла о том, что функция, выбранная для моделирования латентного роста, может оказаться недостаточно гибкой, чтобы обнаружить индивидуальные различия при описании траекторий возрастания. Однако очевидно, что гибкость выбираемой функции, то есть количество ее параметров, всегда и неизбежно имеет определенные разумные ограничения. Действительно, девять манифестных переменных из рассмотренного выше примера могут быть идеальным образом описаны полиномом восьмого порядка - что не означает, конечно, что моделирование полиномиальной функции восьмого порядка имело бы какой-либо смысл в реальных исследованиях.

С другой стороны, даже при равном количестве параметров разные функции могут с различной успешностью описывать имеющиеся данные, что, в свою очередь, может сказываться на оцениваемых величинах взаимосвязи получаемых оценок параметров возрастания с внешними переменными. Вопросу о том, может ли предпочтение той или иной модели быть существенным фактором, влияющим на оценки корреляций параметров роста с внешними переменными, и было посвящено следующее исследование. В отличие от предыдущей серии компьютерных симуляций в данном исследовании рассматривались две функции с одинаковым количеством параметров, в каждой из которых возрастание описывалось единственным параметром, однако форма моделируемого роста была различной.

Методы

Как и в предыдущем исследовании, генерировался набор данных из 500 строк (500 виртуальных испытуемых), где каждая строка представляла собой девять уровней манифестной переменной (соответствовавших, например, девяти уровням сложности возможной задачи). В данном исследовании для каждого виртуального испытуемого данные генерировались на основании степенной функции f(x) = a • (x) ^ 0,5 + b с добавлением некоторой погрешности. В дополнение к основному массиву данных генерировалась еще одна переменная, представлявшая собой гипотетическую внешнюю меру (в эмпирических исследованиях в рамках хронометрического подхода такой внешней мерой, как обсуждалось выше, часто является показатель интеллекта). Генерация внешней переменной производилась таким образом, чтобы она умеренно положительно коррелировала с латентным показателем возрастания.

Для сгенерированных данных проверялась «истинная» степенная модель с нагрузками манифестных переменных на латентную переменную роста, заданными с помощью чисел 0; 1; 1,414; 1,732; 2; 2,236; 2,449; 2,646; 2,828, и альтернативная (хотя и очень близкая по форме к степенной) логарифмическая модель f(x) = a • log₂ (x + 1) + b, в которой соответствующие нагрузки были заданы с помощью чисел 0; 1; 1,585; 2; 2,322; 2,585; 2,807; 3; 3,170. Корреляции компонента возрастания, а также компонента, репрезентирующего базовый уровень, с внешней переменной эксплицитно оценивались в модели. На рис. 4А для наглядности представлен пример данных, сгенерированных для одного гипотетического испытуемого, а также показана форма проверяемых функций - степенной и логарифмической. На рис. 4В в общем виде показана структурная модель, проверявшаяся для сгенерированных данных (напомним, что степенная и логарифмическая модели отличались исключительно величинами нагрузок латентного компонента роста, задававшими конкретную форму возрастания).

Рис. 4. А. Пример индивидуального набора данных и оптимальным образом описывающих его функций: «истинной» степенной (красный график) и альтернативной логарифмической (синий график). В. Общий вид структурной модели с внешней переменной (значения, использованные для фиксации нагрузок л₁ … л₉, приведены в тексте).

Процедура генерации данных и моделирования повторялась 500 раз. На каждом шаге фиксировались значения индекса SRMR в качестве показателя пригодности степенной и логарифмической моделей для описания данных, а также оцененные величины корреляций каждого из латентных компонентов с внешней мерой.

Результаты

На рис. 5А представлены распределения индекса SRMR для степенной (зеленый график) и логарифмической (черный график) моделей. Как и в предыдущем случае, «истинная» модель предсказуемо лучше описывает данные, однако и альтернативная модель вполне могла бы быть интерпретирована как приемлемая в условиях отсутствия степенной модели как модели сравнения.

Рис. 5. А. Значения индекса SRMR для логарифмической (черный график) и степенной (зеленый график) моделей. В. Значения коэффициентов корреляций с внешней переменной, полученные в рамках степенной и логарифмической моделей для латентных компонентов возрастания (синий график) и базового уровня (красный график).

Рис. 5В представляет оцененные величины корреляций латентных компонентов с внешней мерой. Синие точки графика соответствуют коэффициентам корреляции с внешней мерой, полученным для параметра роста, красные точки - аналогичным коэффициентам корреляции для параметра базового уровня. Для каждой точки на графике абсцисса представляет собой величину коэффициента корреляции с внешней мерой, оцененную в рамках «истинной» степенной модели, а ордината - аналогичную величину, оцененную в рамках «ложной» (хотя и приемлемо описывающей данные) логарифмической модели. В идеальном случае, если оценки взаимосвязи с внешней мерой для параметров базового уровня и возрастания не являются чувствительными к выбору конкретной функции для описания траекторий роста, все точки на рис. 5В должны лечь на прямую линию с наклоном 45?, обозначенную для наглядности на графике.

В действительности же, как видно из рис. 5В, даже в условиях близости формы двух сравниваемых функций выбор модели оказывает существенное влияние на получаемую оценку взаимосвязи латентных компонентов с внешней переменной. Для латентного компонента, репрезентирующего возрастание, корреляции с внешней переменной, полученные в рамках «истинной» степенной модели, преимущественно варьируют в достаточно узком диапазоне от 0,35 до 0,55. Диапазон аналогичных корреляций, полученных для тех же сгенерированных данных в рамках «ложной» логарифмической модели, гораздо более широк (основной массив значений приблизительно лежит в диапазоне от -0,2 до 0,6). При этом основное облако значений для латентного компонента возрастания очевидно лежит ниже обозначенной на графике диагонали. Иными словами, корреляции между латентным компонентом роста и внешней переменной, получаемые в рамках «ложной» модели, в большинстве случаев занижены по сравнению с аналогичными корреляциями, оцененными в «истинной» модели.

Корреляции между латентным компонентом, репрезентирующим базовый уровень, и внешней переменной в данной серии генераций были близки к нулю, и в целом соответствующее им облако на рис. 5В не столь информативно. Однако и в случае с этим компонентом можно говорить о том, что для одних и тех же данных форма моделируемой функции возрастания не является иррелевантным фактором для получаемых оценок взаимосвязи с внешней переменной.

Обсуждение

Результаты, полученные в данной серии компьютерных симуляций, достаточно красноречиво показывают, какова возможная цена ошибки при неверном выборе модели в исследованиях, имеющих своей целью проанализировать на латентном уровне взаимосвязь индивидуального темпа возрастания показателей с усложнением задачи и внешних переменных, таких как интеллектуальный уровень. Для одних и тех же данных, сгенерированных в данном исследовании, применение корректной модели позволило адекватно выявить умеренные по величине положительные корреляции, тогда как неадекватный выбор модели (хотя и приемлемо описывающей данные) приводил к систематическому занижению аналогичных корреляций и их варьированию в широком диапазоне от слабо отрицательных до умеренно положительных. Иными словами, продолжая пример о взаимосвязи интеллектуального уровня и темпа замедления с возрастанием сложности задачи, надо констатировать, что вполне реальна ситуация, когда исследователь придет к некорректным выводам о статистической недостоверности такого рода взаимосвязи исключительно в силу того, что базовая модель недостаточно адекватно описывала эмпирические данные.

Заключение и выводы

В данной работе мы намеренно ограничили проблему выбора адекватной модели для описания эмпирических данных исключительно рассмотрением отдельных методических аспектов, а именно тех возможных последствий, которые некорректный выбор модели может иметь для исследований индивидуальных различий. Безусловно, проблематика построения моделей, адекватно описывающих наблюдаемые явления действительности, выходит далеко за рамки обсуждения, возможного в одной частной работе, и затрагивает базовые вопросы онтологии и гносеологии. Можно ли на основании того факта, что одна модель описывает имеющиеся данные лучше других построенных моделей, считать, что эта модель в действительности репрезентирует реальность? Может ли в принципе модель репрезентировать действительность, а не просто являться инструментом ее описания? Эти вопросы восходят еще к конфликту Галилео Галилея и римской католической церкви, и остаются не менее актуальными со времен знаменитого письма кардинала Беллармино [Blackwell, 1991].

В задачи данной работы, однако, ни в коем случае не входило обсуждение того, в какой мере и при каких условиях та или иная модель, сформулированная на основании соответствующим образом проведенных экспериментов, может считаться корректной и адекватно описывающей реальность. Мы лишь стремились обратить внимание на то, насколько высока возможная цена ошибки при неверном выборе модели, разработанной в рамках экспериментального подхода, при ее прямом применении с целью изучения индивидуальных различий. Ведь именно оценивание индивидуальных различий в параметрах моделей, разработанных в экспериментальной психологии, было несомненным сильным исследовательским ходом в ранних работах в рамках хронометрического подхода.

Современные статистические методы оказались способными сделать исследования в этой парадигме еще более мощными, позволив в рамках единых моделей анализировать как общие тренды, так и индивидуальные различия в тех или иных параметрах, а также апостериорно оценивать модели с точки зрения их соответствия эмпирическим данным. Однако применение более совершенного математического аппарата само по себе не всегда может решить проблемы методического характера, в частности связанные с идентификацией надежных индивидуальных различий в параметрах, описывающих индивидуальные траектории возрастания времени ответа с изменением условий когнитивной задачи, а также с оцениванием их взаимосвязей с внешними переменными. В данной работе мы продемонстрировали, что некорректный выбор модели для описания траекторий возрастания вполне может быть причиной (или одной из причин) подобного рода проблем. Идентификация этого фактора тем более важна, что он вполне поддается контролю и манипулированию со стороны исследователя, поскольку как рутинные процедуры анализа, применявшиеся на этапе становления хронометрического подхода, так и современные формы моделирования предполагают, что именно исследователь эксплицитно задает предполагаемую форму функции возрастания.

Конечно, прямое сопоставление результатов описанных выше компьютерных симуляций и данных, получаемых, например, с использованием задачи У.Хика, некорректно. Однако напомним обсуждавшиеся выше результаты, накопленные в исследованиях времени реакции выбора: вопреки теоретическим ожиданиям, корреляции интеллектуального уровня и параметра возрастания времени ответа с увеличением числа альтернативных стимулов оказываются относительно невысокими и не воспроизводятся стабильно во всех работах, варьируя от неотличимых от нуля до умеренных по абсолютной величине, что сопровождается невысокими оценками надежности и низкой дисперсией показателя возрастания. Безусловно, не подвергая дополнительному анализу реальные эмпирические данные, мы не можем однозначно утверждать, что могло стать причиной таких результатов, тем более что возможных причин систематического занижения оценок дисперсии и нестабильности корреляций с внешними мерами может быть множество. Однако результаты описанных выше симуляций однозначно говорят о том, что одной из таких причин вполне может быть некорректный выбор модели для описания индивидуальных результатов. Такое предположение тем более правдоподобно, что исследования в парадигме У.Хика с исторической точки зрения до некоторой степени уникальны в том смысле, что ни одна другая модель, кроме логарифмической, для данных времени реакции выбора не рассматривалась даже в тех ситуациях, когда логарифмическая функция оказывалась очевидно не соответствующей получаемым результатам.

В заключение необходимо еще раз подчеркнуть, что, хотя в данной работе речь шла преимущественно об изучении индивидуальных различий в решении задач с возрастающей сложностью, область применения моделей латентного роста в современных психологических исследованиях необычайно широка. Очевидно, что и в лонгитюдных исследованиях, и при изучении эффектов тренировки или забывания, и при моделировании траекторий научения исследователь, эксплицитно оценивая соответствующие параметры, рассчитывает обнаружить достоверные и надежные индивидуальные различия в латентных параметрах, характеризующих кривые роста, и относительно стабильные оценки взаимосвязи этих параметров с внешними переменными. Это означает, что абсолютно все замечания, сделанные в данной работе относительно выбора формы функции и его возможной критической роли для обнаружения надежных индивидуальных различий в траекториях возрастания, в равной степени верны для любых исследований, в которых на латентном уровне изучается изменение каких-либо психологических показателей - будь то изменение по мере усложнения когнитивной задачи, по мере варьирования экспериментального или терапевтического воздействия, увеличения объема тренировок, взросления или старения.

Наконец, наша заключительная ремарка касается использования метода Монте-Карло в современных психологических исследованиях. К сожалению, в российской психологии научные работы методического характера, основанные исключительно на компьютерной симуляции данных, еще очень далеки от того, чтобы занимать достойное место в ряду теоретических и эмпирических исследований. Безусловно, многократно генерируемые и моделируемые наборы чисел сами по себе не приближают исследователя к описанию и пониманию того или иного аспекта действительности, в отличие от грамотно собранных и проанализированных эмпирических данных. Однако именно компьютерные симуляции могут оказать исследователю неоценимую помощь в выявлении потенциально проблемных аспектов анализа данных, способных привести к некорректной интерпретации результатов и безосновательным выводам, и с этой точки зрения значимость анализа Монте-Карло для современных исследований невозможно переоценить.

индивидуальный латентный время когнитивный

Литература

Beauducel A., Brocke B. Intelligence and speed of information processing: further results and questions on Hick's paradigm and beyond. Personality and Individual Differences, 1993, 15(6), 627-636. doi: 10.1016/0191-8869(93)90004-M

Blackwell R.J. Galileo, Bellarmine, and the Bible. Notre Dame: University of Notre Dame Press, 1991.

Dodonov Y.S., Dodonova Y.A. Response time analysis in cognitive tasks with increasing difficulty. Intelligence, 2012, 40(5), 379-394. doi: 10.1016/j.intell.2012.07.002

Duncan T.E., Duncan S.C. Modeling the processes of development via latent variable growth curve methodology. Structural Equation Modeling. 1995, 2(3), 187-213. doi: 10.1080/10705519509540009

Hick W.E. On the rate of gain of information. The Quarterly Journal of Experimental Psychology, 1952, 4(1), 11-26. doi: 10.1080/17470215208416600

Hunt E., MacLeod C.M. The sentence-verification paradigm: A case study of two conflicting aproaches to individual differences. Intelligence, 1978, 2(2), 129-144. doi: 10.1016/0160-2896(78)90004-1

Hyman R. Stimulus information as a determinant of reaction time. Journal of Experimental Psychology, 1953, 45(3), 188-196. doi: 10.1037/h0056940

Jensen A. Individual differences in the Hick paradigm. In: P.A. Vernon (Ed.), Speed of information processing and intelligence. Norwood, NJ: Ablex, 1987(а). pp. 101-175.

Jensen A.R. Process differences and individual differences in some cognitive tasks. Intelligence. 1987(b), 11(2), 107-136. doi: 10.1016/0160-2896(87)90001-8

Jensen A. The g factor. London: Praeger, 1998(а).

Jensen A. The suppressed relationship between IQ and the reaction time slope parameter of the Hick function. Intelligence, 1998(b), 26(1), 43-52. doi: 10.1016/S0160-2896(99)80051-8

Jensen A.R. Clocking the mind: Mental chronometry and individual differences. Amsterdam: Elsevier, 2006.

Jцreskog K.G., Sцrbom D. LISREL VI: Analysis of linear structural relationship by maximum likelihood and least squares methods. Chicago: National Educational Resources, 1981.

Kornblum S. Sequential determinants of information processing in serial and discrete choice reaction time. Psychological Review, 1969, 76(2), 113-131. doi:10.1037/h0027245

Lohman D.F. Component scores as residual variation (or why the intercept correlates best). Intelligence, 1994, 19(1), 1-11. doi: 10.1016/0160-2896(94)90048-5

McArdle J.J., Epstein D. Latent growth curves within developmental structural equation models. Child Development, 1987, 58(1), 110-133. doi:10.2307/1130295

Meredith W., Tisak J. Latent curve analysis. Psychometrika, 1990, 55(1), 107-122. doi:10.1007/BF02294746

Neubauer A.C. Intelligence and RT: A modified Hick paradigm and a new RT paradigm. Intelligence, 1991, 15(2), 175-193. doi:10.1016/0160-2896(91)90029-D

Neubauer A.C., Riemann R., Mayer R., Angleitner A. Intelligence and reaction times in the Hick, Sternberg and Posner paradigms. Personality and Individual Differences, 1997, 22(6), 885-894. doi:10.1016/S0191-8869(97)00003-2

Palmer J., MacLeod C.M, Hunt E., Davidson J.E. Information processing correlates of reading. Journal of Memory and Language, 1985, 24(1), 59-88. doi:10.1016/0749-596X(85)90016-6

R Core Team R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria, 2012. http://www.R-project.org/.

Rammsayer T.H., Brandler S. Performance on temporal information processing as an index of general intelligence. Intelligence, 2007, 35(2), 123-139. doi:10.1016/j.intell.2006.04.007

Rosseel Y. lavaan: An R package for structural equation modeling. Journal of Statistical Software, 2012, 48(2), 1-36.

Roth E. Die Geschwinddigkeit der Verabeitung von Information und ihr Zusammenhang mit Intelligenz. Zeitschrift fuer Expermintelle und Angewandte Psychologie, 1964, 11(4), 616-622.

Schweizer K. The fixed-links model in combination with the polynomial function as a tool for investigating choice reaction time data. Structural Equation Modeling, 2006(a), 13(3), 403-419. doi:10.1207/s15328007sem1303_4

Schweizer K. The fixed-links model for investigating the effects of general and specific processes on intelligence. Methodology, 2006(b), 2(4), 149-160. doi:10.1027/1614-2241.2.4.149

Shannon C.E. A mathematical theory of communication. The Bell System Technical Journal, 1948, 27, 379-423, 623-656.

Sternberg S. High speed scanning in human memory. Science, 1966, 153(3736), 652-654. doi:10.1126/science.153.3736.652

Widaman K.F., Thompson J.S. On specifying the null model for incremental fit indices in structural equation modeling. Psychological Methods, 2003, 8(1), 16-37. doi:10.1037/1082-989X.8.1.16

Размещено на Allbest.ru