Валидность тестов. Виды и типы валидности. Проблема расчета валидности

Размещено на http://www.allbest.ru/

ОГЛАВЛЕНИЕ

Введение

Типы валидности

Виды валидности

Проблемы расчета валидности

Заключение

Список используемой литературы

ВВЕДЕНИЕ

Достоверность психодиагностического измерения определяется валидностью (соответствием тестовых данных измеряемому свойству), надежностью и прогностичностью применяемых психологических методик.

Валидность теста -- понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает. Характеристика психодиагностической методики как валидной свидетельствует о ее соответствии и пригодности для оценивания именно того психологического качества, для которого она предназначается.

Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).

Характеристика валидности методики включает в себя не только сведения о том, что данная методика на самом деле измеряет, но также информацию об условиях, о сфере ее применения.

Валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики. Выражение валидности в общих терминах наименования принципиально невозможно, так как ни один тест нельзя охарактеризовать высоким или низким уровнем валидности абстрактно, не учитывая его конкретной целенаправленности. На деле между наименованием теста и его практическим назначением нередко существует несоответствие.

Валидность теста должна определяться только относительно его специального использования. Шнейдер Л.Б. Основы экспериментальной психологии. М.: Изда-тельство «МПСИ», 2011. - 376 с.

ТИПЫ ВАЛИДНОСТИ

Различают два типа валидности -- внешнюю и внутреннюю.

Внешняя валидность есть мера возможности распространения результатов тестирования на генеральную совокупность, т.е. внешняя валидность определяет то, в какой мере результаты, полученные в эксперименте, могут соответствовать тому типу жизненной ситуации, которая была исследована, и то, насколько возможно обобщить эти результаты на все подобные жизненные ситуации.

Как и в отношении любой другой валидности, о внешней валидности в исследовании, вероятно, невозможно сказать, что она абсолютно соблюдена, можно указать только на её нарушение. Абсолютным соблюдение внешней валидности считалось бы тогда, когда результаты исследования можно обобщить на любые популяции при любых условиях и в любое время, поэтому учёные говорят не о соблюдении либо несоблюдении внешней валидности, а о степени её соблюдения.

Чтобы исследование обладало наивысшей степенью валидности, должна существовать возможность генерализации его результатов на другие популяции, другие условия, другое время.

Чтобы увеличить степень внешней валидности, в исследованиях могут не ограничиваться лишь экспериментальным методом, но также использовать и другие -- например, наблюдение, межкультурные исследования и т. д.

При современном научном подходе в психологии соблюдение внешней валидности в исследованиях играет ведущую роль, так как наиболее ценным считается создание общих теорий, моделей и алгоритмов, применимых к психике в целом, независимо от контекста, -- то есть моделей, обладающих крайне широкими предсказательными возможностями; поэтому исследования, результаты, которых можно применить только к какой-то определённой ограниченной ситуации, обладают нисходящей ценностью.

Внешняя валидизация осуществляется путем расчета репрезентативности экспериментальной выборки при отработке теста и перекрестной валидизации, то есть определения валидности теста на выборке, отличающейся от той, на которой отрабатывался стимульный материал и задания к тесту.

Репрезентативность выборки -- это представительность экспериментальной выборки, которая отражает основные свойства генеральной совокупности. Репрезентативность определяется путем сопоставления качественных и количественных характеристик экспериментальной выборки с характеристиками исследуемой популяции с целью определения их однородности.

Внутренняя валидность -- это мера соответствия тестовых оценок уровню развития измеряемого свойства. Внутренняя валидность тем выше, чем больше вероятность того, что изменение зависимой переменной вызвано изменением именно независимой переменной (а не чего-либо ещё).

Данное понятие можно рассматривать как междисциплинарное: оно широко применяется в экспериментальной психологии, а также в других сферах науки. Внутренняя валидность - соответствие реального исследования идеальному. Руденко А. М. Экспериментальная психология. Ростов-на-Дону: Издательство «Феникс», 2011. - 288 с.

При обладающем внутренней валидностью исследовании исследователь уверен, что результаты, полученные измерением зависимой переменой, непосредственно связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором.

Однако, фактически, в науке (особенно в психологии) невозможно со стопроцентной уверенностью утверждать, что внутренняя валидность соблюдена. Существует много факторов, угрожающих внутренней валидности:

1) Изменение во времени (зависимость субъектов и окружающей среды от времени суток, времён года, изменений в самом человеке -- старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.)

2) Эффект последовательности - влияние одного из условий эксперимента на следующее за ним.

3) Эффект Розенталя - психологический феномен, заключающийся в том, что ожидания личностью реализации пророчества во многом определяют характер её действий и интерпретацию реакций окружающих, что и провоцирует самоосуществление пророчества. Может проявиться на любой стадии исследования и в любой науке: и при проведении процедуры эксперимента, и при обработке результатов, и при интерпретации результатов исследования, и т. д.

4) Эффект Хоторна - это условия, в которых новизна, интерес к эксперименту или повышенное внимание к данному вопросу приводят к искажённому, зачастую слишком благоприятному результату. Участники эксперимента действуют иначе, более усердно, чем обычно, только благодаря осознанию того, что они причастны к эксперименту.

5) Эффект плацебо - вещество без явных лечебных свойств, используемое в качестве лекарственного средства, лечебный эффект которого связан с верой самого пациента в действенность препарата. Иногда капсулу или таблетку с плацебо называют пустышкой. В качестве вещества для плацебо часто используют лактозу.

6) Эффект аудитории (эффект Зайонца, эффект фасилитации) -- влияние постороннего присутствия на поведение человека. Этот эффект необходимо учитывать при проведении психологических исследований.

7) Эффект первого впечатления -- влияние мнения о человеке, которое сформировалось у субъекта в первые минуты при первой встрече, на дальнейшую оценку деятельности и личности этого человека.

8) Эффект Барнума (эффект Форера, эффект субъективного подтверждения) -- общее наблюдение, что люди крайне высоко оценивают точность таких описаний их личности, которые, как они предполагают, созданы индивидуально для них, но которые на самом деле неопределённы и достаточно обобщены, чтобы их можно было с таким же успехом применить и ко многим другим людям. Эффектом Барнума многие учёные частично объясняют феномен широкой популярности астрологических гороскопов, хиромантии и других псевдонаук.

9) Сопутствующее смешение -- на зависимую переменную обычно влияют различные нерелевантные стимулы, от которых принципиально невозможно избавиться. В задачи исследователя входит определение степени влияния этих стимулов на зависимую переменную, чтобы быть уверенным в том, какое влияние на неё оказывает изменение независимой переменной, интересующей экспериментатора.

10) Факторы выборки:

- неправильная селекция (неэквивалентность групп по составу, вызывающая систематическую ошибку в результатах);

- статистическая регрессия (частный случай ошибки селекции, когда группы отбираются на основе крайних показателей);

- экспериментальный отсев (неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу);

- естественное развитие (свойство живых существ к изменению). Никандров В. В. Экспериментальная психология. С-Пб.: Издательство «Речь», 2007. - 512 с.

ВИДЫ ВАЛИДНОСТИ

Внутренняя валидность включает в себя, по крайней мере, пять элементов:

1) Концептуальная (теоретическая) валидность -- теоретическое обоснование возможности измерения исследуемого свойства данным психодиагностическим средством.

2) Содержательная валидность -- степень репрезентативности содержания заданий теста измеряемой области психических свойств, т.е. характеризует тест по степени его соответствия предметной области.

3) Конструктная валидность -- степень репрезентативности исследуемого психологического конструкта в результатах теста.

4) Операциональная валидность -- степень репрезентативности в конкретных экспериментальных операциях реальных операциональных условий психической деятельности.

5) Эмпирическая валидность -- совокупность характеристик валидности теста, полученная сравнительным статистическим способом оценивания, среди них очевидная и критериальная виды валидности.

6) Очевидная валидность.

7) Критериальная валидность.

8) Конкурентная валидность.

9) Прогностическая валидность.

Согласно А.Анастази, содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения. Такая процедура валидизации обычно применяется для тестов достижений. Содержательная валидность необязательно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективностью дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.

Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляется спецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.

Согласно П.Клайну содержательная валидность определяется следующим образом:

1) указать категорию лиц, для которой предназначен тест;

2) составить список знаний, умений, навыков, подлежащих тестированию;

3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;

4) на основе списка составить перечень заданий;

5) выполнить внешнюю экспертизу полученных заданий;

6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.

Конструктная валидность, обоснованная Л.Кронбахом в 1955г., характеризуется способностью теста к измерению такой черты, которая была обоснована теоретически (как теоретический конструкт). Когда сложно найти адекватный прагматический критерий, может быть выбрана ориентация на гипотезы, сформулированные на основе теоретических предположений об измеряемом свойстве. Подтверждение этих гипотез свидетельствует о теоретической обоснованности методики. Сначала необходимо, насколько возможно полно, содержательно описать конструкт, для измерения которого предназначен тест. Это достигается за счет формулирования гипотез о нем, предписывающих, с чем данный конструкт должен коррелировать, а с чем не должен. После чего данные гипотезы проверяются. Это наиболее эффективный способ валидизации для личностных опросников, для которых установление единственного критерия их обоснованности является затруднительным.

Конструктная валидность является наиболее комплексным и сложным видом валидности. Вместо одного результата (прежде всего прагматического) необходимо учитывать множество (чаще всего собственно психологических). Конструктная валидность имеет отношение к попыткам обозначения любых аспектов эксперимента. Опасности нарушения конструктной валидности заключаются в неправильном обозначении причины и эффекта с помощью абстрактных терминов, терминов, взятых из обыденного языка или формальной теории.

Операциональная валидность -- частный случай внутренней валидности, степень соответствия методики и плана эксперимента проверяемой гипотезе.

Операциональная валидность определяет степень соответствия используемой экспериментальной методики (экспериментальных утверждений) теоретическим положениям, которые положены в основу организации и проведения данного эксперимента.

Частью операциональной валидности можно считать конструктную валидность.

Идея эмпирической валидности заключается в определении способности теста служить индикатором или предсказателем строго определенной психической особенности или формы поведения человека. Для измерения эмпирической валидности теста вычисляется коэффициент корреляции тестового результата с внешним критерием -- R(X,T).

Очевидная валидность -- это представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого и другого лица, не располагающего специальными сведениями о характере использования и целях методики.

Она означает то впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста. Очевидная валидность играет важную роль в процессе тестирования, поскольку именно она в первую очередь определяет отношение испытуемых к обследованию.

Критериальная валидность -- комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев развития измеряемого свойства. Критериальная валидность оценивается величиной связи, корреляции показателя теста с "внешним критерием".

Текущая (диагностическая или конкурентная) валидность -- мера способности теста дифференцировать испытуемых по изучаемому признаку. Текущая валидность теста определяется исходя из его "трудности" и меры изменчивости измеряемого признака.

Определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

Трудностью теста называется отношение количества решенных и нерешенных заданий методики.

Прогностическая валидность («предсказывающая») является элементом содержания достоверности тестов и определяется как степень точности и обоснованности суждения о диагностируемом психическом свойстве, по его результату спустя определенное время после измерения.

Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

Показателем прогностичности теста является степень регрессии тестовых данных к объективным критериям. Корнилова Т. В. Экспериментальная психология. М.: Издательство «Юрайт», 2011. - 656 с.

ПРОБЛЕМЫ РАСЧЕТА ВАЛИДНОСТИ

психодиагностический измерение валидность эмпирический

Когда стоит вопрос о выяснении валидности психодиагностической методики, следует рассматривать и оценивать каждую из разновидностей валидности отдельно.

Анализ всего теста целиком зависит от валидности входящих в него пунктов. Максимальная валидность достигается за счет отбора таких пунктов из пилотажной батареи, которые, обладая значимой корреляцией с критерием, минимально коррелируют между собой. Отбор пунктов именно по критерию валидности обеспечивает максимальную прагматическую эффективность теста. После отбора валидных пунктов должна быть произведена перекрестная валидизация. Простой метод реализации принципа перекрестной валидизации состоит в том, что вся выборка делится на две случайные половины и производится раздельный расчет корреляций пунктов с критерием для каждой половины выборки. Если выделенные (значимые) пункты совпадают, то перекрестную валидизацию можно считать удачной.

Следует еще раз подчеркнуть, что анализ валидности отдельных пунктов служит не только прагматическим целям, но может и должен служить целям углубления представлений о содержательно-теоретическом смысле измеряемого свойства: на основании содержательного анализа пунктов, отобранных по критерию, психолог уточняет и корректирует свою первоначальную теоретическую схему, свое понимание измеряемого свойства.

Существуют четыре основных способа установления валидности теста.

I. Оценка очевидной валидности.

Очевидная валидность - валидность, при которой оценивается общее соответствие теста его назначению.

II. Оценка содержательной валидности.

Содержательная валидность предполагает, что тест обнаруживает в себе полный набор заданий для измерения определенной черты.

III. Оценка конструктной валидности.

Этот способ проверки заключается в проведении продуманных экспериментов. Подход первый -- «конвергентная валидизация» -- это проверка ожидаемой связи тестовых оценок с другими показателями. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями. Подход второй -- «дивергентная валидизация». Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

IV. Оценка прогностической валидности.

Прогностическая валидность заключается в том, что психологический тест часто используется для прогноза поведения. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что тест был валидным. Но для характеристики многих видов деятельности этого метода не достаточно.

Рассматривая общую проблему валидности целесообразно выделить вопрос об обеспечении валидности процедур стандартизованного самоотчета. Сюда относятся различные техники шкалирования, классифицирования, сравнения и тест-опросники. Вербальная форма тестового материала порождает у испытуемого определенные встречные гипотезы о цели тестирования. Если ситуация диктует испытуемому необходимость фальсификации ответов, то он редко отказывается от этой возможности.

Психологические факторы, от которых зависит достоверность самоотчета, условно можно сгруппировать в следующие классы:

1. Факторы знания. У испытуемого может быть более или менее четкое представление о следующем:

а) свойственно ли ему в действительности или нет тестируемое поведенческое проявление;

б) какое личностное свойство скрывается у психолога за тем или иным конкретным поведением, описанным в суждении;

в) как это свойство соотносится с общепринятыми моральными нормами и признаками социального успеха.

2. Фактор социальной желательности. Обозначает тенденцию испытуемого давать о себе социально одобряемую информацию. Сила этой тенденции зависит как от общей внеситуативной установки испытуемого на морализацию «Я-образа» и социальную успешность, так и от того, насколько эту установку актуализирует сама ситуация тестирования.

3. Факторы индивидуальной тактики. Здесь подразумевается действие «Я-концепции» и «Я-образа» на ситуативную тактику испытуемого в момент тестирования. Выполняя тест, испытуемый всегда находится в невольном диалоге с самим собой и в своих ответах на вопросы раскрывает себя не только для других, но и для себя самого. Испытуемый стремится подтвердить «Я-концепцию» или фальсифицировать определенный «Я-образ» с заданными свойствами.

Заслуживает внимание и особые формы отказа испытуемого от тестирования: позиционный стиль ответа (соглашательство или отрицание), случайные ответы. Для выявления подобных отказов обычно достаточно довольно простых мер: 1) для исключения влияния соглашательства (отрицания) применяются перечни с «прямыми» (ответ «верно» в пользу измеряемого свойства) и «обратными» (ответ «неверно» в пользу измеряемого свойства) пунктами; 2) для выявления случайных ответов в большие перечни вводят вопросы-дубли (синонимические перефразы) или прямые повторы. Вводят также и крайне редкие утверждения, с которыми испытуемые, как правило, соглашаются только по ошибке. Анастази А. Психологическое тестирование. С-Пб.: Издательство «Питер», 2009. - 188 с.

ЗАКЛЮЧЕНИЕ

Итак, понятие валидности относится не только к тексту, но и к критерию оценки его качества. Только проверенные на валидность тесты можно использовать в профессиональной ориентации, профессиональном отборе и в научных исследованиях.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду. Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой -- низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку.

В ходе выполнения курсовой работы было охарактеризовано понятие валидности -- это понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает и конструктной валидности -- степень репрезентативности исследуемого психологического конструкта в результатах теста.

Выяснили, что существует 2 типа валидности и как минимум 11 видов. Определили в чем состоят проблемы расчета ваидности.

Также была оценена валидность методики «Потребность в достижении цели» (Ю.М.Орлов), исходя из критерия конструктной валидности, проведенная на группе студентов психологов (возраст 19-20 лет). В ходе данной курсовой работы цель была достигнута, задачи выполнены и гипотеза подтверждена. Дружинин В. Н. Экспериментальная психология. С-Пб.: Издательство «Питер», 2011. - 320 с.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Анастази А. Психологическое тестирование. С-Пб.: Издательство «Питер», 2009. - 188 с.

3. Дружинин В. Н. Экспериментальная психология. С-Пб.: Издательство «Питер», 2011. - 320 с.

4. Корнилова Т. В. Экспериментальная психология. М.: Издательство «Юрайт», 2011. - 656 с.

5. Никандров В. В. Экспериментальная психология. С-Пб.: Издательство «Речь», 2007. - 512 с.

6. Руденко А. М. Экспериментальная психология. Ростов-на-Дону: Издательство «Феникс», 2011. - 288 с.

7. Шнейдер Л.Б. Основы экспериментальной психологии. М.: Изда-тельство «МПСИ», 2011. - 376 с.

Размещено на Allbest.ru