Тестирование

5. Надежность

Это, может быть, самое главное достоинство тестов. “Лотерейный” характер современных экзаменов с вытягиванием “счастливых” или “несчастливых” билетиков давно стал притчей во языцех. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявлений какого-то умения или способности). В результате возможность для “хвостиков” выбиться в отличники, а для отличника вдруг “провалиться” резко сокращается.

Назовем также ряд достоинств, которые в логическом смысле являются следствиями, производными от перечисленных выше, но заслуживают самостоятельного упоминания.

6. Справедливость

Справедливость является важнейшим социальным следствием перечисленных выше достоинств метода тестов. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех испытуемых в равные условия. Наиболее сильно субъективизм экзаменаторов проявляется, как известно, не в трактовке уровня решенности задачи (не так просто можно назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий: своим – полегче, чужим – труднее. Во введении к настоящему пособию уже говорилось, что именно тесты обеспечивают важнейшую функцию школы как социального фильтра, функцию “социально-профессиональной селекции”. То, насколько справедливой оказывается подобная селекция, имеет гигантское значение для развития общества. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного их применения. Ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе.

7. Возможность компьютеризации

В данном случае это не просто дополнительное удобство, сокращающее живой труд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптивном компьютерном тестировании резко сокращается время тестирования). Специально подчеркнем, что компьютеризация – это мощный инструмент обеспечения информационной безопасности (достовер­ности диагностики).Компьютерная организация тестирования, предполагающая создание мощных информационных “банков тестовых заданий”, позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкурентному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

8. Психологическая адекватность

Это важнейшее психологическое следствие оптимальной сложности. Наличие в тесте (по сравнению с традиционными экзаменационными вариантами) большого количества кратких заданий средней трудности дает многим испытуемым (особенно тревожным, не уверенным в себе) шанс “зацепиться”, поверить в себя, активизировать психологически оптимальную установку “на преодоление”. Ведь когда такой испытуемый остается лицом к лицу с одной-двумя очень сложными и большими задачами и не видит, как можно с ними справиться вообще, то он падает духом и не раскрывает всех своих возможностей. А если заданий много и часть из них явно начинает “поддаваться” (испытуемый уверен, что он с ними справится), человек в процессе тестирования ободряется и начинает “бороться” за максимальный результат. Уже упомянутое нами свойство оптимальной сложности важно для теста тем, что оно обеспечивает не только измерительную (различающую) силу тесту, но и оптимальный психологический настрой испытуемых. Человек не является пассивным объектом измерений при тестировании (подобно гире при взвешивании), а он всегда остро эмоционально реагирует на тест. Тестовая ситуация оптимальной сложности является оптимальным возбудителем – люди испытывают нормальный уровень стресса (напряжения), необходимый для того, чтобы показать наивысший результат. Недостаток стресса (в случае легкого теста), а тем более избыток (в случае трудного) искажают результаты измерения. Этого, как правило, совершенно не понимают организаторы наших конкурсных экзаменов, пытающиеся в случае высокого конкурса дать абитуриентам задачки посложнее (“на засыпку”), что создает избыточный стресс, который не дает возможности проявить себя людям, подготовленным хорошо, но обладающим пониженной стрессоустойчивостью.

Во многих странах внедрение методов тестирования (равно как и сопротивление этому внедрению) тесно связано с социально-политическими обстоятельствами. Внедрение технически хорошо оснащенных тестовых служб в образовании – важнейший инструмент в борьбе с коррупцией, поражающей правящую элиту (номен­клатуру) во многих странах. На Западе тестовые службы работают независимо от “выпускающих” (школы) и “принимающих” (вузы) организаций и снабжают абитуриента независимым сертификатом по результатам тестирования, с которым он может отправляться в любое учреждение. Эта независимость службы тестирования от выпускающих и принимающих организаций является дополнительным фактором демократизации процесса селекции профессиональных кадров в обществе, дающая талантливому и просто работоспособному человеку лишний шанс проявить себя.

Однако все перечисленное выше не означает, что метод тестов не обладает некоторыми весьма серьезными недостатками, не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию.

2. Недостатки тестирования

Как всегда, определенные недостатки метода тестов являются продолжением его достоинств.

1. Опасность “слепых” (автоматических) ошибок

Слепая вера низкоквалифицированных исполнителей в то, что тест должен сработать правильно автоматически, порождает иногда тяжелые ошибки и казусы: испытуемый не понял инструкцию и стал отвечать совсем не так, как требует стандартная инструкция, или по каким-то причинам применил искажающую тактику, возник “сдвиг” в приложении трафаретки-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т.п. Мораль – пользователь не должен подходить к тесту с “магической установкой”, будто этот волшебный “черный ящик” должен всегда работать исправно без всякого контроля со стороны человека.

2. Опасность профанации

Это эффект деятельности “профанов” в буквальном смысле слова. Не секрет, что внешняя легкость проведения тестов прельщает людей, непригодных к квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. В результате все проблемы предполагается решать с помощью 2-3 тестов – “на все случаи жизни”.

К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Ходовой пример – повальное использование клинического теста MMPI для отбора кадров в нашей стране. В этом случае высокий балл по восьмой шкале “Шизофрения” интерпретируется как “оригинальность мышления”, по четвертой шкале “Психопатия” – как “импульсивность” и т.п. Мысль о том, что нормальный здоровый испытуемый настораживается при виде многих вопросов MMPI, в которых откровенно называются психиатрические симптомы (“Я часто слышу голоса”) и выдают чисто “защитный” профиль, профанов не тревожит[3].

Еще раз подчеркнем, что недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку.

3. Потеря индивидуального подхода, “стрессогонность”

Тест – самая общая “гребенка”, под которую подгоняют всех людей. Возможность упустить уникальную индивидуальность нестандартного человека (тем более ребенка), к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует – особенно в ситуации аттестационного тестирования.

У людей с пониженной стрессоустойчивостью возникает даже определенное нарушение саморегуляции – они начинают волноваться и ошибаться в элементарных для себя вопросах (просто из-за “мандра­жа”). Вовремя заметить такую реакцию на тест – задача, которая под силу квалифицированному исполнителю.

4. Потеря индивидуального подхода, “репродуктивность”

Тесты знаний апеллируют, прежде всего, к стандартному применению готовых знаний. Отсутствие возможности раскрыть свою индивидуальность при наличии стандартных, заданных ответов – ничем не восполнимый недостаток метода тестов. С точки зрения выявления творческого потенциала большинство тестов весьма ограничены именно тем, что они не апеллируют к творческой, конструктивной деятельности. Во всяком случае, отдельные стандартизированные творческие тесты имеют дело с весьма абстрактным материалом, а тесты достижений (знаний), адаптированные на жизненно важном материале (профессионально релевантном), как правило, выполнены в форме стандартного набора заданий с заданным ответом.

5. Отсутствие доверительной обстановки

Бездушный и формализованный характер процедуры тестирования, конечно, оборачивается тем, что испытуемый лишается ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь ему. Диалогические методы (беседа, игра и т.п.) в этом плане имеют несомненные преимущества: непосредственно общаясь с испытуемым, квалифицированный психолог может установить доверительный контакт, проявить персональное участие, создать атмосферу, снимающую напряжение и защиту.

6. Потеря индивидуального подхода, неадекватная сложность

Иногда неквалифицированные “тестологи” обрушивают на ребенка тесты слишком трудные, сложные для его возраста. У него еще не сложились необходимые понятия и понятийные навыки, чтобы адекватно осмыслить как общую инструкцию к тесту, так и смысл отдельных вопросов. Мы уже говорили о драматических казусах резкой недооценки умственного развития детей при применении вербальных тестов. Но многие “невербальные” тесты также требуют развития речевого мышления хотя бы для осмысления того, что говорит взрослый в своей инструкции. Альтернатива “взрослому” тестированию в детской психологии – игровой подход к тестированию, когда тест включается в контекст игры, и ребенок выполняет его как бы играя.

Таким образом, тесты нельзя делать единственным исчерпывающим методом любой диагностики (и образовательно-профес­сиональной, и личной). Они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). То есть место тестов – дополнять указанные выше традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.

Спокойное рациональное осознание достоинств и недостатков метода тестирования освобождает всех (исполнителей, заказчиков, испытуемых) как от чрезмерных упований на метод тестов, так и от пренебрежения к нему.

Лучшая гарантия от профанов и профанации – серьезный и квалифицированный интерес к тому, какую экспериментально-научную работу проделали разработчики теста, как полно эта работа и ее результаты отражены в сопутствующей документации. Это прежде всего вопросы надежности, выносливости и репрезентативности.

3. Надежность теста

Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста). Надежность – это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т.п.);

динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой “вырабатываемости” – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т.п.);

информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к тестам и т.п.).

Разнообразие и изменчивость всех этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения – измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как “стандартная ошибка измерения” (Se). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы (специально подчеркнем, что в психометрической теории надежность и точность оказываются синонимами).

Ошибка измерения (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:

R= 1 – S e2/ S x2, (1)

где Sх – дисперсия тестовых показателей Х.

Формула (1) является чисто теоретической, и на ее основе нельзя определить степень надежности теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы. Самый известный из них – метод перетестирования (тест-ретест), или метод измерения ретестовой надежности. На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование Х, а затем повторное тестирование Y. Интервал, как правило, – две недели, что гарантирует забывание вопросов теста.

где SX, SY – стандартные отклонения Х и Y;

Cov (х, y) – ковариация двух переменных Х и Y.

В этой книге мы не ставим целью научить студентов-педагогов корреляционным методам и пытаемся изложить лишь принципиальную суть дела. Интересующиеся найдут все необходимые формулы и вычислительные примеры в любом учебнике по статистике, а также в специализированных изданиях по психодиагностике и психометрике (“Общая психодиагностика”, 1987; Клайн, 1994).