Анализ психометрических параметров шкалы фобических переживаний и шкалы коррекции опросника невротических расстройств

Размещено на http://www.allbest.ru/

Анализ психометрических параметров шкалы фобических переживаний и шкалы коррекции опросника невротических расстройств

Analysis of Psychometric Parameters of the Phobic Experience Scale and the Correction Scale of the Questionnaire of Neurotic Disorders

Цидик Л.И.

Резюме

В клинической психодиагностике психометрика составляет научную основу для создания психодиагностических методик, их модификации и оценки эффективности. Большинство применяемых в клинике психодиагностических инструментов созданы в формате классической теории тестов, с чем связана нестабильность их всех психометрических параметров. Метрическая система Раша, являясь разновидностью современной теории тестов, содержит все необходимое для полноценного психометрического анализа шкалы.

Цель исследования. Осуществить анализ психометрических параметров шкалы фобических переживаний и шкалы коррекции опросника невротических расстройств на основе метрической системы Раша (всего обследовано 296 человек).

Результаты. Разработана шкала фобических переживаний и шкала коррекции на основе опросника невротических расстройств. Данные шкалы имеют удовлетворительные психометрические характеристики: трудность пунктов находится в пределах от -2 до +2 логитов, утверждения обладают адекватной конструктной валидностью, шкалы являются одномерными, имеют относительно сбалансированную метрическую структуру, индекс надежности равен для шкалы фобических переживаний 0,8, а для шкалы коррекции 0,85, шкалы способны дифференцировать 3 уровня выраженности свойств.

Ключевые слова: метрическая система Раша, опросник невротических расстройств, шкала фобических переживаний, шкала коррекции, конструктная валидность, индексы качества, трудность пунктов, индекс надежности.

Abstract

In clinical psychodiagnostics, psychometrics forms the scientific base for creation of psychodiagnostic methods, their modification, and evaluation of effectiveness. The majority of the psychodiagnostic tools used in the clinic is created in the format of the classical theory of tests, with which the instability of all psychometric parameters is connected. The Rasch metric system, being a type of modern test theory, contains everything necessary for a full psychometric analysis of the scale. Purpose. To analyze the psychometric parameters of the scale of phobic experiences and the correction scale of the questionnaire of neurotic disorders on the base of the metric system of Rasch (296 people were examined).

Results. The scale of phobic experiences and the correction scale based on the questionnaire of neurotic disorders were developed. These scales have satisfactory psychometric characteristics: the difficulty of points ranges from -2 to +2 logits; the statements have adequate construct validity; the scales are one-dimensional; they have a relatively balanced metric structure; the reliability index is 0.8 for the phobic experience scale and 0.85 for the correction scale; the scales are able to differentiate 3 levels of severity of the properties.

Keywords: Rasch metric system, neurotic disorders questionnaire, scale of phobic experiences, correction scale, construct validity, quality indices, difficulty of items, reliability index.

Введение

Целью практически каждого психодиагностического исследования является получение цифровых данных о психологической переменной. На основе статистического анализа полученных данных выдвигаются гипотезы, разрабатываются концепции, теории, делаются выводы, прогнозы. Однако большинство подобных исследований отличается фактическим отсутствием хотя бы единичных сведений о том, на основе каких принципов и правил измерения были получены цифровые данные [1].

Используемые в клинике на сегодняшний день психодиагностические методики обнаруживают ряд недостатков, значительно снижающих их диагностическую эффективность. Поэтому достаточно актуальны вопросы модификации имеющихся психодиагностических инструментов и разработка новых психометрических технологий, которые лишены недостатков классических подходов и являются продуктом научного прогресса в психометрике. Основная концепция классической теории тестов (КТТ), в рамках которой и был разработан опросник невротических расстройств (ОНР), заключается в понятии истинной оценки. Максимальное приближение наблюдаемой оценки к истинной представляет собой главный «измерительный» принцип КТТ, согласно которой если методика обладает достаточной надежностью, значит, при ее создании соблюдены все правила научного измерения [2, 3]. Такие параметры пунктов, как трудность и дискриминативность, не интегрированы в классическую психометрическую модель и находятся за ее рамками. Использование этих параметров в отборе диагностических пунктов при конструировании методик определяется их влиянием на дисперсию наблюдаемой оценки и надежность методики. Трудность пункта в КТТ полностью зависит от распределения психологического конструкта в популяции, т. е. данный параметр не является объективным показателем психодиагностической методики. Кроме того, основной недостаток шкалы в рамках КТТ состоит в том, что она полностью привязана к одной выборке испытуемых, которая использовалась для создания этой шкалы. Довольно часто получается так, что методика применяется в популяциях, значительно отличающихся по своим характеристикам от нормативной выборки [4, 5].

Классическая теория тестов, указывает Б. Райт, не содержит правил построения научно обоснованной шкалы измерения латентных психологических конструктов. Классическая теория тестов лишь допускает, что при достаточной надежности психодиагностическая шкала может обладать измерительными свойствами. Последствия такого подхода негативно сказываются на точности и валидности результатов психодиагностики, что особенно актуально для клинической психодиагностики в Республике Беларусь [6].

Модель измерения, разработанная Рашем, была впервые опубликована в его одноименной монографии в 1960 г. Его модели измерения не базировались на представлениях о нормальном распределении психологических конструктов. Заслуга Раша состоит в том, что он изобрел статистическую модель, которая позволяла построить измерение латентного психологического конструкта таким образом, чтобы были соблюдены все принципы аддитивного и объективного измерения [7]. Валидное измерение заключается не в нормализации тестовых оценок с допущением о нормальном распределении измеряемого конструкта, а в определении возможности тестовых данных быть объективно представленными в статистической модели измерения. Дальнейшее свое развитие модель Раша получила в США, где из теоретической модели она трансформировалась в мощную прикладную аналитическую систему построения и оценки измерительных шкал. Благодаря этим разработкам модель Раша в настоящее время используется в прикладных психометрических исследованиях [8].

В литературе часто модель Раша представляется как однопараметрическая логистическая модель. В отличие от однопараметрической модели модель Раша математически формулируется не в категориях вероятности, а в терминах шанса ключевого ответа на пункт. В контексте психометрики шанс ключевого ответа равен отношению вероятности ключевого ответа к вероятности неключевого ответа [9].

Цель исследования

Проанализировать психометрические параметры шкалы фобических переживаний и шкалы коррекции многошкального опросника невротических расстройств.

В рамках данной работы был произведен расчет трудности пунктов шкал и их конструктной валидности, проведен содержательный анализ утверждений. Надежность шкал оценивалась с помощью показателей надежности и сепарационной статистики на основе модели Раша, произведена оценка уровня соответствия показателей трудностей ответных категорий пунктов шкал уровню выраженности исследуемых конструктов на основе карт распределения.

Материалы и методы

Исследование пациентов осуществлялось на базе психоневрологического отделения учреждения здравоохранения «Городская клиническая больница № 3 г. Гродно». В исследовании участвовали пациенты с верифицированными диагнозами (п=220) из рубрик невротические, связанные со стрессом, и соматоформные расстройства ^40, F41, F43, F45), рекуррентное депрессивное расстройство и депрессивный эпизод умеренной степени тяжести ^32, F33), а также здоровые испытуемые (п=76). Группа исследования включала 296 человек, каждый из которых подписал информированное согласие, одобренное на этической комиссии УО «Гродненский государственный медицинский университет». Состав группы по полу: мужчин - 129, женщин - 167. Возраст испытуемых составил от 18 до 60 лет.

В КТТ выраженность конструкта определяется путем суммирования ответов по всем пунктам шкалы. Обычно ответы суммируются в общую оценку, а затем конвертируются в стандартную оценку. В современной теории тестов определение выраженности конструкта у испытуемых не основано на сложении ответов на пункты в общую оценку по тесту. Меры выраженности конструкта изначально не известны, а оцениваются они в процессе построения измерительной модели. Имея паттерн ответов испытуемого и знание того, как особенности пунктов влияют на поведение, можно определить, какой уровень конструкта наиболее подходит для объяснения такого паттерна ответов. Современная теория тестов, в частности ее разновидность - модель Раша, основана на допущениях одномерности и локальной независимости [10, 11].

Современная теория тестов содержит предположение о том, что перечень диагностических пунктов оценивает только один конструкт. Данное предположение называется одномерностью. В основе этого допущения лежит концепция локальной независимости. Одномерность подразумевает наличие одного доминантного фактора, который определяет ответы испытуемых на утверждения шкалы. Данный фактор включает только один психологический конструкт, измеряемый данным тестом [12].

Наиболее простой метод оценки одномерности шкалы заключается в анализе собственных чисел факторной корреляционной матрицы пунктов. Матрица рассчитывается на основе парных корреляций Пирсона. Как правило, факторная корреляционная матрица состоит из нескольких факторов. Отсутствие однофакторной структуры не говорит о многомерности, поскольку различные факторы могут отражать разные стороны одного и того же конструкта или иметь незначительный вес. Для оценки размерности можно использовать график «каменистой россыпи». Число факторов перед «падением» графика и свидетельствует о количестве размерностей шкалы [13].

Допущение локальной независимости означает, что на одном и то же уровне выраженности конструкта диагностические пункты не связаны друг с другом, т. е. вероятность ключевого ответа на пункт полностью определяется выраженностью конструкта испытуемого, не включая влияние ответов на другие пункты. В неоднородной популяции испытуемых наблюдаемые ответы могут коррелировать друг с другом, не нарушая локальную независимость. Это связано с тем, что корреляции образуются между ответами испытуемых, обладающими разными уровнями конструкта [14]. С точки зрения Л. Крокера и Дж. Алгина, тест одномерен в том случае, если его пункты статистически зависимы в целой популяции, что обуславливает измерение только одного латентного конструкта.

ЖТ-модели, разновидностью которых является модель Раша, описывают взаимодействие испытуемых с диагностическими пунктами с помощью ряда параметров. Каждый пункт описывается одним или несколькими параметрами. В процессе ^-моделирования анализируется функциональная связь психологического конструкта с вероятностью ответа на каждый диагностический пункт психометрической шкалы.

Методология создания психодиагностических шкал в рамках метрической системы Раша структурированно описана в предыдущих статьях. Моделирование данных шкал осуществлялось в той же последовательности. После того, как испытуемые отвечали на 300 утверждений опросника, формировалась общая матрица данных, которая изначально рассматривалась как единая шкала. Данная матрица служила основой для расчета конструктной валидности путем вычисления индексов качества для каждого пункта опросника. Пункты, индексы качества которых не входили в диапазон приемлемых значений (для клинических опросников он равен 0,7--1,3), исключались из дальнейшего анализа как нарушающие конструктную валидность шкалы. Вычисление указанных индексов основано на анализе стандартизированных остатков.

Модель Раша позволяет оценить надежность диагностической методики на основе показателя надежности и индекса «числа слоев». Показатель может принимать значения от 0 до 1; значения, которые меньше 0,5, характеризуют надежность методики как неприемлемую, 0,5-0,6 - низкую, 0,6-0,7 - приемлемую, 0,7-0,9 - хорошую, больше 0,9 - очень хорошую. Индекс «числа слоев» представляет собой количество уровней выраженности конструкта, которое способен выявить диагностический инструмент в исследуемой выборке, что имеет непосредственное отношение к дифференциально-диагностическим свойствам методики.

На основании матрицы вероятностей также произведен факторный анализ остатков, позволяющий определить одномерность или неодномерность полученных шкал методики.

Результаты и обсуждение

В процессе конструирования шкалы фобических переживаний был осуществлен только 1 итерационный цикл, в результате которого сформировалась монолитная шкала, состоящая из 13 утверждений. Индексы качества UMS и WMS пунктов шкалы, представленные в табл. 1, находятся в рамках приемлемого диапазона для дихотомических шкал (0,7-1,3).

Процесс формирования шкалы коррекции состоял из 4 итерационных циклов, а окончательный вариант шкалы составили 10 утверждений. Значения индексов валидности UMS и WMS пунктов шкалы, полученные в результате проведения всех итераций, представлены в табл. 2. Анализируя таблицу, видим, что значения индексов качества

Таблица 1

Значения индексов UMS и WMS утверждений шкалы фобических переживаний ОНР

Таблица 2

Значения индексов UMS и WMS утверждений шкалы коррекции ОНР

WMS и UMS пункта № 185 (WMS=1,34, UMS=1,54) и значение UMS=2,60 пункта № 299 в 1-й итерации превысили диапазон приемлемых значений для дихотомических шкал, поэтому они были исключены из дальнейших вычислений. Во 2-й и 3-й итерации значения индекса UMS еще 3 пунктов (№ 15, № 36, № 300) превысили установленные значения, что свидетельствует об их несоответствии диагностической направленности данной шкалы. После их элиминации все оставшиеся пункты при проведении заключительной итерации показали удовлетворительные значения индексов качества.

Следовательно, полученные показатели конструктной валидности сформированных шкал позволяют сделать вывод о высокой степени репрезентации исследуемых психологических конструктов в их результатах, а шкалы оценить как достаточно конструктно валидные.

Контент-анализ утверждений первой из рассматриваемых шкал показал, что все пункты описывают немотивированный страх перед какой-либо ситуацией. В табл. 3 представлены некоторые утверждения

Таблица 3

Примеры утверждений шкалы фобических переживаний

Таблица 4

Примеры утверждений шкалы коррекции

новой шкалы. Таким образом, оценка содержательной валидности пунктов шкалы позволила назвать ее «шкалой фобических переживаний».

Вторая шкала названа шкалой коррекции, она будет выявлять степень искажения профиля, связанного как с контролем над эмоциями, тенденцией критически оценивать себя, так и с силой защитных механизмов и адаптивностью личности. Примеры утверждений данной шкалы представлены в табл. 4.

Далее был произведен анализ параметров трудностей пунктов. Показатель трудности пункта в рамках модели Раша вычислялся итерационным способом с помощью оценивания методом максимального правдоподобия. В модели Раша параметр трудности выражается в логитах и характеризует количество испытуемых, не предоставивших ключевой ответ на пункт. Испытуемые с низкой выраженностью конструкта предоставят ключевой ответ на пункт с меньшей степенью вероятности по сравнению с испытуемыми со значительной выраженностью. Отсюда в первом случае трудность пункта будет более высокой, а во втором - более низкой. При оценке полученных значений показатели сопоставлялись с оптимальным для психодиагностических методик интервалом от -2 до +2 логитов.

Анализируя данные, представленные в табл. 5 и 6, видим, что меры трудностей исследуемых конструктов в целом соответствуют данному диапазону распределения. Трудность пункта соответствует определенной мере выраженности конструкта. Пункт шкалы фобических переживаний № 215 со значением трудности -2,02 логита и пункт шкалы коррекции № 292 со значением трудности -2,43 логита являются наиболее «легкими», т. е. вероятность ключевого ответа на них высока у испытуемых с минимальной выраженностью конструктов. Наиболее «трудные» - пункт № 204 шкалы фобических переживаний со значением трудности 1,51 логита и пункт № 165 шкалы коррекции со значением трудности

Таблица 5

Параметры трудностей пунктов шкалы фобических переживаний (в логитах)

Таблица 6

Параметры трудностей пунктов шкалы коррекции (в логитах)

логита. На них, наоборот, ключевой ответ возможен только при значительной выраженности исследуемых свойств. Присутствие в структуре шкал «полюсных» утверждений расширяет их диагностические возможности.

Рис. 1. Диаграмма собственных чисел и график россыпи факторов матрицы остатков шкалы фобических переживаний ОНР

Факторный анализ нормализованных остатков от разницы между наблюдаемыми и ожидаемыми оценками ответов на утверждения шкал показал их одномерность, т. е. шкалы оценивают только по одному конструкту, в данном случае уровень фобических переживаний и степень искажения профиля соответственно. В этом состоит одно из основных требований современной психометрики. Рис. 1 и 2 отражают полученные значения факторных остатков, которые в обоих случаях ниже 2. Это свидетельствует о том, что на результаты исследований никакие другие факторы, кроме уровней выраженности исследуемых конструктов, влияния не оказывают.

Рис. 2. Диаграмма собственных чисел и график россыпи факторов матрицы остатков шкалы коррекции ОНР

Надежность шкал оценивалась с помощью показателей надежности и сепарационной статистики модели Раша. Значение индекса надежности шкалы фобических переживаний, полученного при осуществлении единственной итерации, составило 0,8, а шкалы коррекции в результате 4-го итерационного цикла было равно 0,85, что соответствует в обоих случаях хорошему уровню надежности и характеризует шкалы как популяционно-независимые. Далее был осуществлен анализ показателя «индекс числа слоев» для оценки дифференцирующей способности шкал. В нашем исследовании значение данного показателя для обеих шкал составило 3, т. е. шкалы дифференцируют три уровня выраженности исследуемых конструктов, что является показателем высоких дис- криминативных свойств.

Рис. 3. Карта распределения мер выраженности конструкта у испытуемых и трудностей ответных категорий пунктов шкалы фобических переживаний ОНР

Путем визуального анализа карт распределения осуществлялась оценка соответствия трудностей ответных категорий пунктов шкал распределению мер выраженности исследуемых свойств. Полученные данные представлены на одной равноинтервальной шкале, учитывая, что в статистической модели Раша меры трудности и меры конструкта оцениваются в одних и тех же единицах измерения (логитах). Если распределение трудностей ответных категорий пунктов максимально охватывает распределение мер выраженности исследуемого конструкта, то шкалу оценивают как обладающую достаточной диагностической мощностью.

Оценка уровня соответствия показателей трудностей ответных категорий пунктов шкалы фобических переживаний уровню выраженности конструкта в исследуемой группе проводилась путем визуального анализа карты соотношения этих мер (рис. 3). Анализируя карту, видим, что распределение мер выраженности исследуемого свойства у испытуемых (левая часть карты) находится преимущественно в диапазоне от -2,5 до 2,7 логита. Исследуя правую часть карты, видим, что распределение трудностей ответных категорий пунктов шкалы находится в диапазоне от -2,1 до 1,5 логита. Из этого следует, что границы диапазона распределения мер выраженности свойства у испытуемых несколько шире, чем границы диапазона распределения трудностей ответных категорий пунктов шкалы. Следует обратить внимание, что основная масса трудностей ответных категорий на утверждения шкалы сосредоточены в диапазоне средних значений, т. е. шкала преимущественно будет ориентирована на выявление умеренно выраженных проявлений фобических переживаний. Следовательно, шкала имеет относительно сбалансированную метрическую структуру, характеризующуюся адекватным соответствием распределения оцениваемых уровней свойства и трудностей ответных категорий пунктов шкалы.

психометрический фобический невротический

Рис. 4. Карта распределения мер выраженности конструкта у испытуемых и трудностей ответных категорий пунктов шкалы коррекции ОНР

Проводя визуальный анализ карты распределения мер выраженности конструкта и трудностей ответных категорий пунктов шкалы коррекции (рис. 4), видим, что распределение мер выраженности свойства у испытуемых находится в широком диапазоне - от -4,7 до 3,5 логита (левая часть карты). Оценивая правую часть карты, видим, что трудности ответных категорий пунктов находятся в более узком диапазоне - от -2,5 до 1,0 логита, что покрывает преимущественно зону умеренной выраженности конструкта в нашей выборке, следовательно, шкала будет с наибольшей точностью выявлять именно средний уровень свойства. Что касается зоны высоких и низких значений выраженности конструкта, там могут быть искаженные данные.

Выводы

Разработана шкала фобических переживаний и шкала коррекции многошкального клинического опросника на основе ОНР.

Данные шкалы имеют удовлетворительные психометрические характеристики: трудность пунктов находится в пределах от -2 до +2 логитов, утверждения обладают адекватной конструктной валидностью.

Шкалы являются одномерными, имеют относительно сбалансированную метрическую структуру.

Индекс надежности равен для шкалы фобических переживаний 0,8, а для шкалы коррекции - 0,85, шкалы способны дифференцировать 3 уровня выраженности свойств, что является показателем высоких дискриминативных свойств.

Литература

Assanovich M. (2012) Klinicheskayapsihodiagnostika: Uchebnoeposobie [Clinical psychodiagnostics: Tutorial]. Minsk, 343 p. (in Russian)

Assanovich M. (2014) Statisticheskoe obosnovanie kriteriev ocenki vyrazhennosti izmeryaemogo konstrukta v klinicheskoj psihodiagnostike [Statistical substantiation of the criteria of evaluation of the severity of the measured construct in clinical psychodiagnostics]. Psihiatriya, psihoterapiya i klinicheskaya psihologiya, vol. 2, no 16, pp. 9-18.

Tsidik L., Assanovich M. (2018) Ocenka diagnosticheskih harakteristik shkaly trevozhnyh perezhivanij oprosnika nevroticheskih rasstrojstv na osnove metricheskoj sistemy Rasha [Evaluation of the diagnostic characteristics of the scale of anxiety experiences of the questionnaire of neurotic disorders on the base of the metric system of Rasch]. Psihiatriya, psihoterapiya i klinicheskaya psihologiya, vol. 9, no 2, pp. 142-151.

Feinstein A. (1987) Clinimetrics. Yale University Press, 272 p.

Tsidik L. (2019) Analiz psihometricheskih svojstv shkaly social'noj trevozhnosti oprosnika nevroticheskih rasstrojstv [Analysis of the psychometric properties of the social anxiety scale of the questionnaire of neurotic disorders]. Obozrenie psihiatrii i medicinskojpsihologii im. V. M. Behtereva, no 1, pp. 70-76.

Wright B. (1996) Reliability and separation. Rasch Measurement Transactions, vol. 9, no 4, pp. 472.

Baghaei P (2008) The Rasch Model as a Construct Validation Tool. Rasch Measurement Transactions, vol. 22, pp. 1145-1146.

Boone W. (2014) Rasch Analysis in the Human Scienses. New York, London: Springer, 482 p.

Maurer K. Rasch Scaling of a Screening Instrument: Assessing Proximity to Psychosis Onset by the ERIraos Checklist [Electronic resource]. SAGE Open. Available at: http://journals.sagepub.com/doi/10.1177/2158244014545326. Date of access: 28.02.2018.

Fer R. (2010) Psihometrika: Vvedenie [Psychometrics: Introduction]. Chelyabinsk: Izdatel'skij centr YuUrGU, 445 p. (in Russian)

Assanovich M. (2017) Metodologicheskie podhody k nauchnomu izmereniju v klinicheskoj psihodiagnostike [Methodological approaches to scientific measurement in clinical psychodiagnostics]. Minsk, 224 p. (in Russian)

Nunnally J. (1994) Psychometric Theory. McGraw-Hill, 752 p.

Bech P (2012) Clinical psychometrics. Wiley-Blackwell, 202 p.

Olsen L. (2003) Essays on Georg Rasch and his contributions to statistics: Ph. D. thesis, 222 p.

Размещено на Allbest.ru