ВАЛИДНОСТЬ ТЕСТА
Понятие валидности
В психометрике различают понятие объект и предмет измерения. Под объектом понимаются испытуемые или группы испытуемых, а под предметом – их психологические характеристики.
Если понятие «надежность» относится к объекту, то понятие «валидность» – к предмету измерения.
Надежность – это устойчивость процедур измерения относительно объектов. Валидность процедуры измерения состоит в однозначности, устойчивости полученных результатов относительно измеряемых свойств объектов. Валидность указывает на то, какое свойство тест измеряет и насколько хорошо он это делает.
Валидность теста – это степень зависимости результатов тестирования от выраженности в поведении субъекта измеряемого психологического качества. При измерении психологических качеств предъявляемый тест отнюдь не обязательно актуализирует именно тот психический процесс, который предполагается измерить. Например, столкнувшись с уже встречавшейся задачей, испытуемый может просто вспоминать те решения, к которым он уже однажды пришел, а не решать заново тестовые задачи. Поэтому здесь будет измеряться скорее уровень словесной памяти, чем уровень вербального интеллекта.
Надежность является необходимым условием, но недостаточным условием валидности теста. Это означает, что наличие надежности не обязательно предполагает валидность. Тест хотя и может устойчиво дифференцировать испытуемых, но нельзя с уверенностью сказать, что эта дифференциация происходит именно по интересующему нас свойству. Следовательно, валидность ? надежность.
Повышение надежности не обязательно ведет к повышению валидности.
Содержательная валидность – это соответствие заданий теста содержанию предмета измерения. Она характеризует степень репрезентативности в заданиях теста измеряемые психологические переменные. Это основной тип валидности. Он особенно важен для тестов, измеряющих сложные психологические переменные, складывающиеся из множества разнородных факторов. К таким переменным относятся:
— особенности личности,
— специальные знания, умения, навыки,
— способности и т.д.
Содержательная валидность закладывается в тест при подборе заданий. Это осуществляется в 3 этапа:
1) Изучение сложной способности или деятельности и выделение в ней элементов, подлежащих измерению.
2) Разработка модели тестовой деятельности, содержание которой соответствует выделенным наиболее важным элементам реальной деятельности.
3) Анализ степени соответствия разработанной модели тестовой деятельности содержанию реальной деятельности, проверка соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности.
Оценка содержательной валидности производится экспертами. Содержательная валидизация важна для тестов достижений, методик профотбора, оценки успешности овладения профессией.
Эмпирическая валидность.В разных сферах материального и духовного производства существуют такие показатели деятельности людей, которые стремятся повысить или понизить. Например, учителя стремятся повысить успеваемость учащихся, на производстве стремятся повысить производительность труда и снизить текучесть кадров, аварийность. При этом предполагается, что наличие или отсутствие некоторого психологического свойства влияет на указанные показатели, например, стрессоустойчивость обеспечивает эффективные действия операторов в экстремальных ситуациях, что позволяет ему избегать аварий в своей работе. Если научиться измерять стрессоустойчивость и отбирать для работы оператором только стрессоустойчивых, то можно снизить аварийность в автоматизированных системах управления. Тесты, измеряющие подобные психологические свойства, и должны обладать эмпирической валидностью.
Показатель деятельности, который мы хотим либо повысить, либо понизить, выступает в качестве внешнего критерия эмпирической валидности. Таким образом, эмпирическая валидность определяется как корреляция между внешним критерием и баллами по тесту. Ориентируясь на вычисление данного коэффициента корреляции можно решить сразу две задачи: задачу измерения валидности и задачу измерения практической эффективности всей психодиагностической программы. Если будет получен значимый коэффициент корреляции между критерием и результатами тестирования, – обе задачи решены. Если корреляции не обнаружено, то либо не валидна сама процедура тестирования, либо не верна гипотеза о наличии причинно-следственной связи между измеряемым психическим свойством и выбранным практическим критерием.
В зависимости от временного статуса внешнего критерия различают два типа эмпирической валидизации.
1) Ретроспективная валидизация. Критерием является событие в прошлом. К участию в психодиагностическом обследовании достаточно привлечь только тех испытуемых, которые оказались на экстремальных полюсах по этому критерию, то есть применяется метод экстремальных (контрастных) групп. Взаимосвязь критерия с суммарным баллом по тесту оценивается с помощью бисериального коэффициента корреляции.
2) Проспективная валидизация.Критерием является будущее событие. В данном случае выборка должна быть составлена с запасом – с учетом вероятного объема экстремальных групп в будущем. Например, выясняется, можно ли диагностикой темперамента предсказать риск психосоматических заболеваний. Пусть известно, что в течение 3-х лет из 1000 человек этими болезнями заболевают 57. Это означает, что предварительной диагностикой должно быть охвачено 2000 человек, чтобы получить численность высокой группы (заболевших) 100 человек.
Проспективная валидизация выявляет прогностическую эффективность диагностической процедуры. Высокая прогностическая валидность доказывает как валидность самого измерения, так и наличие предполагаемой причинной связи.
Ретроспективная валидизация позволяет в лучшем случае решить только первую из двух задач.
Конструктная валидностьотражает степень репрезентации исследуемого психологического конструкта в результатах теста. При измерении конструктной валидности могут возникнуть 2 ситуации.
1) Для измерения данного свойства в психологии уже имеется процедура с известной валидностью. В данном случае вычисляется корреляция между баллами двух тестов: нового и старого. Корреляция указывает на то, что новый тест обладает конвергентной валидностью по отношению к старому. Если новый тест обладает высокой конвергентностью результатов со старым и одновременно более компактен и экономичен в проведении и подсчете, то можно использовать новый тест вместо старого.
2) Для измеряемого свойства не ни одного теста с известной валидностью. В этом случае он может сформулировать ряд предсказательных гипотез о том, как будет коррелировать его новый тест с другими тестами, измеряющими родственные характеристики испытуемых. Эти гипотезы выдвигаются на основе теоретических представлений об измеряемом свойстве. Их подтверждение указывает на валидность выдвигаемого конструкта, т.е. на конструктную валидность теста («предполагаемая валидность»).
Конвергентная и дискриминантная валидность
Желательно иметь в тесте такие пункты, которые однозначно информируют только об одном факторе. Однако это требование реально никогда не выполнятся. Всякий пункт теста детерминируется не только релевантным (нужным нам) фактором, но и другими иррелевантными факторами.
Соответствие пунктов измеряемому фактору обеспечиваетконвергентную валидность теста.Сбалансированность пунктов относительно иррелевантных факторов обеспечиваетдискриминантную валидность(отсутствие значимой корреляции с тестом, измеряющим концептуально независимое свойство).
Пример. Пусть имеются 3 пункта теста. Для них постоянным релевантным фактором является фактор А, во всех случаях он сопряжен с иррелевантными факторами x, y, z. Задача состоит в том, чтобы подобрать такие пункты, чтобы все иррелевантные факторы оказались уравновешенными, то есть ни один из них не встречался чаще других на множество пунктов, включенных в тест.
1 2 3
 |  |  |
x A y y A z x A z
Экспертная эмпирическая валидизация теста. Когда отсутствует валидизированный тест, измеряющий изучаемое свойство, и отсутствует разработанный теоретический подход, позволяющий проверить конструктную валидность создаваемого теста, необходима экспертная валидизация. Данная процедура предполагает работу экспертов не с тестом, а с испытуемыми из выборки стандартизации. Разработчик коррелирует результаты измерения с помощью валидизируемого теста с результатами экспертной оценки измеряемого свойства. При этом экспертам следует обеспечить стандартные условия для наблюдения за испытуемыми. Обычно в качестве экспертов используют лиц, которые хорошо знают испытуемых, имеют опыт реального общения с ними. Поэтому процедура оценивания приспосабливается к обычным людям, которые не являются психологами.
Задача психолога – составить детальную инструкцию, однозначно задающую смысл оцениваемой характеристики. На практике часто прибегают к оценкам особого типа – к субъективным оценкам, которые выносят испытуемому группы испытуемых, из его круга общения, тесно контактирующих между собой. Они могут одновременно побывать и испытуемыми по отношению к тесту, и оценщиками по отношению друг к другу.
Для того, чтобы групповая оценка была источником валидной информации, эксперты должны оценивать испытуемых согласованно. Для измерения согласованности оценок строится следующая таблица.
| Испытуемые | Эксперты и их оценки | Сумма экспертных оценок ?э | Сумма баллов по опроснику ?о | ||||
| О1 | О2 | О3 | … | Оn | |||
| X11 | X12 | X13 | … | X1n | |||
| X21 | X22 | X23 | … | X2n | |||
| X31 | X32 | X33 | … | X3n | |||
| … | … | … | … | … | |||
| n | Xn1 | Xn2 | Xn3 | … | Xnn | ||
| ?хj | x | … |
Общей мерой согласованности оценщиков может служить коэффициент надежности ? Кронбаха
К – количество экспертов,
Sj2 – дисперсия по j-му эксперту,
Sх2 – дисперсия суммарных баллов по всем экспертам.
Если групповая оценка не обнаруживает надежности, то она не может использоваться в качестве критерия валидизации.
Эмпирическое значение коэффициента валидности рассчитывается как линейная или ранговая корреляция между суммарными баллами экспертной оценки и тестовыми баллами. При наличии статистически значимого, но не высокого коэффициента надежности критерия, показатель валидности корректируется по формуле:
,
– истинная валидность теста,
– эмпирическое значение коэффициента корреляции,
? – надежность критерия.
