Показатели качества психодиагностических методик: надежность и валидность

Надёжность и валидность.

Важнейшими показателями качества психодиагностических методик  являются надежность и валидность.

Надежность- помехоустойчивость теста, независимость его результатов  от действия всевозможных случайных  факторов. К числу таких факторов следует отнести:

1. разнообразие внешних  материальных условий тестирования, меняющихся от одного испытуемого  к другому (время суток, освещенность, температура в помещении, наличие  посторонних звуков, отвлекающих  внимание и т. п.),

2. динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой "врабатываемости" выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т. п.),

3. информационно- социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства о данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Выделяют три типа надежности (К. М. Гуревич):

1. надежность самого  измерительного инструмента. 

2. стабильность изучаемого  признака.

3. константность, (независимость  результатов от личности экспериментатора).

Надежность теста показывает независимость его результатов от действия разных случайных факторов. Средняя относительная величина этого отклонения определяется как "стандартная ошибка измерения" (Se). Величина ошибки измерения указывает на уровень неточности или ненадёжности тестовой шкалы.

Для проверки стабильности изучаемого признака используется метод, получивший название “тест- ретест”, который заключается в проведении повторного психодиагностического  испытания той же выборки испытуемых (от 30 человек) через определенный промежуток времени, в вычислении коэффициента корреляции между результатами первого (X) и второго (У) тестирования.

Повторное обследование проводится через несколько месяцев (но не более  чем через пол года). Повторное  испытание не проводят слишком быстро после первого, поскольку есть опасность, что испытуемые будут воспроизводить свои ответы по памяти.

Коэффициент константности  определяется путем корреляции результатов  двух психодиагностических испытаний, проведенных на одной и той  же выборке испытуемых с соблюдением идентичности условий, но разными экспериментаторами.

При этом, метод измерения "ретестовой надёжности" пригоден только для психических свойств, стабильных во времени. Надёжность тестов на психические состояния и динамичные установки личности нельзя проверить таким образом. В этом случае применяют различные методы "расщепления" теста на отдельные пункты.

Для проверки надежности инструмента  по показателю однородности используют метод расщепления - для этого  все задания психодиагностического  инструмента делятся на четные и нечетные (по нумерации), отдельно обрабатываются, а затем подсчитываются коэффициенты корреляции между этими рядами. Чем выше величина коэффициента корреляции, тем однороднее методика, тем выше ее надежность.

Валидность.

Для характеристики способности теста измерять действительный уровень психического свойства или качества используется понятие валидности. Валидность (Validity) теста показывает, в какой мере он измеряет то качество (свойство, способность, характеристику и т п), для оценки которого он предназначен. Высокая валидность указывает на то, что тест измеряет именно то, на что направлен. Инвалидный, т.е. не обладающий валидностью, тест не пригоден для практического использования.

В современной психометрии  выделяются три основных вида валидности:

1) содержательная валидность. (Content validation).

Содержательная валидность означает, что тест является валидным по мнению специалистов.

2) эмпирическая валидность. (empirical validity).

Эмпирическая валидность заключается в определении способности теста служить индикатором или предсказателем строго определённой психической особенности или формы поведения человека.

3). концептуальная валидность. (construct validity).

Она устанавливается путём  доказательства правильности теоретических  концепций, положенных в основу теста.

Также выделяют следующие  виды валидности:

1. конвергентная валидность - сопоставление данной методики  с авторитетными родственными  методиками и доказательство  значимых связей с ними.

2. дискриминантная валидность - сопоставление  с методиками, имеющими другое  теоретическое основание и констатация  отсутствия значимых связей с  ними, называется.

3. прагматическая валидность - проверка  методики с точки зрения ее  практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются независимые внешние критерии (независимый от теста, внешний источник информации о проявлении в реальной жизни и деятельности людей измеряемого психического свойства).

 В зависимости от специфики самой диагностической методики и внешнего критерия различают несколько ее видов.

1. Валидность «по одновременности», или текущая валидность. Определяется  с помощью внешнего критерия, информация по которому собирается  в период проведения испытаний (например, успеваемость, производительность труда и др.).

2. Прогностическая, или  «предсказывающая», валидность отличается  тем, что информация по внешнему  критерию собирается некоторое  время спустя после проведения  обследования. Такая валидность свидетельствует о возможностях методики предсказывать успешность испытуемого в каких-либо видах деятельности.

Для проверки прогностической  валидности теста нужно обследовать  более 300 человек, а через 2 - 3 года выделить среди этих людей критериальные  группы по высоким и низким значениям (например, отличники и двоечники) и посчитать корреляцию с прежними показателями теста.

3. Ретроспективная валидность  определяется на основе критерия, отражающего событие или состояние  качества в прошлом. Она также  может свидетельствовать о предсказательных возможностях методики.

 На валидность теста  также негативно влияют случайные  факторы. Поэтому в психометрике  принято следующее психометрическое  неравенство: ВАЛИДНОСТЬ < НАДЁЖНОСТЬ. Это означает, что валидность  не может превышать надёжность теста.

 Методы проверки валидности  тестов.

 Критерий валидности - это независимый от теста,  внешний по отношению к тесту  источник информации об измеряемом  психическом свойстве.

 Мы не можем судить  о валидности теста до тех  пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо более валидной) информации об измеряемом свойстве- с критерием.

4. Часто в качестве  критерия валидности используется  экспертная оценка.

 Это метод "известных  групп" (здесь к участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе по критерию они относятся).

 Метод "известных  групп" обладает серьезным  недостатком. Он не всегда позволяет  использовать тест для прогноза. Так, при формировании "известных групп" оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест дня прогноза поведения, которое будет происходить в будущем.

5. Для решения этой  проблемы применима прогностическая  схема валидизации теста, которая затрагивает большой промежуток времени.

 Когда заказчик твёрдо  знает, каких доказательств эффективности  предлагаемого теста можно потребовать  от тестолога, он будет надёжно  застрахован от профанации.

 Для проверки валидности  теста можно использовать метод “известных групп”, когда приглашаются люди, про которых известно, к какой группе по критерию они относятся (например, группа «высокоуспешных, дисциплинированных студентов» - высокий критерий и группа «неуспевающих, недисциплинированных студентов» — низкий критерий, а студенты со средними значениями не участвуют в тестировании), проводят тестирование и находят корреляцию между результатами теста и критерием.

 Измерение психометрических  характеристик теста осуществляют  разработчики теста, но пользователи должны знать и понимать, насколько тот или иной тест надежен, валиден, стандартизирован, достоверен и репрезентативен.

 Качество любой психодиагностической  методики зависит от степени  ее стандартизованности, надежности  и валидности. При разработке любой диагностической методики ее авторы должны проводить соответствующую проверку и сообщать в руководстве к ее применению полученные результаты.