Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса

ПЕДАГОГИЧЕСКОЕ ТЕСТИРОВАНИЕ КАК СРЕДСТВО ПОВЫШЕНИЯ КАЧЕСТВА КОНТРОЛЯ И ОЦЕНКИ ЭФФЕКТИВНОСТИ УЧЕБНОГО ПРОЦЕССА

Мировой опыт констатирует всевозрастающую роль применения в высшей школе тестовых форм контроля. В последние годы значительное внимание уделяется этой проблеме и российской высшей школе, о чем свидетельствует большое количество всевозможных научных публикаций, посвященных исследованию сущности и особенностей данного феномена. Среди отечественных ученых, успешно работающих в этой предметной области, можно выделить В. С. Аванесова, З. Д. Жуковскую, В. П. Мизинцева, Ю. Г. Татура и других.

Педагогические тесты (далее по тексту ПТ) помогают получить более объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников военных вузов заданным стандартам, выявить пробелы в подготовке курсантов и слушателей. 

Педагогический тест следует понимать как систему заданий специфической формы и определенного содержания, расположенных в порядке возрастающей трудности, создаваемой с целью объективной оценки структуры и измерения уровня подготовленности обучающихся. 

Из определения следует, что ПТ целесообразно рассматривать не как обычную совокупность или набор заданий, а как систему, обладающую двумя главными системными факторами: содержательным составом тестовых заданий, образующих наилучшую целостность, и нарастанием трудности от задания к заданию.

Принцип нарастания трудности позволяет определить уровень знаний и умений по контролируемой дисциплине, а обязательное ограничение времени тестирования – выявить наличие навыков и умений. Трудность задания как субъективное понятие определяется эмпирически, по величине доли неправильных ответов. Этим трудность отличается от объективного показателя – сложности, под которой понимают совокупность числа понятий, вошедших в задание, числа логических связей между ними и числа операций, необходимых для выполнения задания.

Отметим, что задания теста представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых превращаются в истинные или ложные. Исходя из технологичности процедуры тестирования ответы кодируются двоичным кодом: 1 – истинно и 0 – ложно, и в таком виде могут поступать в современные системы обработки информации.

Тестовое задание должно отвечать целому ряду требований. Оно должно иметь четкую форму, отличаться предметной чистотой содержания, быть логически правильным, технологичным, иметь известную трудность и коррелировать с выбранным критерием. Из перечисленных требований следует, что тестовые задания должны обязательно проверяться эмпирически. От таких заданий следует отличать задания в тестовой форме, у которых отсутствуют системообразующие свойства, например система заданий не организована по принципу возрастания трудности. 

Качество тестов традиционно оценивается двумя основными критериями.

Первый – надежность теста, ассоциируемая, в первую очередь, с точностью измерения, которая определяется воспроизводимостью полученных результатов на том же контингенте испытуемых, использованием параллельных тестов или других методов контроля.

Второй критерий – валидность теста, определяемая обычно как его способность измерять именно то, что он призван измерять по замыслу автора. При проверке ПТ на валидность он подвергается экспертной оценке. Чтобы исключить угадывание из общего суммарного балла вычитают корреляционные по угадыванию, т. е. количество баллов, которые могут быть получены курсантами и слушателями, при этом убирается.

Все задачи педагогического контроля можно условно разделить на два класса. В один класс входят задачи, связанные со сравнением учебных достижений обучающихся. Они решаются нормативно-ориентированным тестированием. В другой класс входят задачи, связанные с оценкой степени овладения курсантами и слушателями учебным материалом. Они соответствуют критериально-ориентированному подходу.

В основе нормативно-ориентированных ПТ лежит сопоставление индивидуального балла испытуемого с тестовыми баллами, полученными другими испытуемыми из той же группы. Известно, что уровень подготовки учебной группы зависит от многих факторов: состава группы, доминирующей мотивации в обучении, качества преподавания и даже числа занятий, попавших на праздничные дни. В качестве основного недостатка названного класса тестирования важно указать и такой: испытуемый из слабой группы, показавший в своей группе наилучший результат, может оказаться среди отстающих при сравнении его балла с результатами тестирования в сильной группе.

В рамках одного высшего военно-учебного заведения эта проблема преодолевается довольно просто. Необходимо протестировать по одному и тому же тесту все учебные группы или прибегнуть к формированию так называемой выборки стандартизации. Это специально подобранная репрезентативная группа испытуемых. Результаты тестирования такой выборки называются тестовыми нормами. Отсюда и происхождение термина: “нормативно-ориентированное тестирование”. Если выборка репрезентативная, то, сопоставляя индивидуальный балл с полученными нормами, можно получить объективную оценку уровня достижений отдельного испытуемого по сравнению с уровнем достижений всех курсантов и слушателей, и эта оценка уже не будет зависеть от уровня подготовленности конкретной учебной группы, в которой проводилось тестирование. Специфика нормативно-ориентированных ПТ тесно связана с их основной задачей: как можно более четко дифференцировать курсантов и слушателей.

Критериально-ориентированный ПТ представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которыми должны овладеть курсанты и слушатели в результате определенного курса обучения. При этом указанный объем называется областью содержания этого теста. С ней и соотносятся учебные достижения отдельных обучающихся, чтобы определить, какую долю учебного материала они усвоили, задачи какого уровня сложности могут решать. Выделяют два вида критериально-ориентированных ПТ. 

Первый вид (по-английски его обычно называют domain-referenced tests) предназначен для оценки доли от полного объема учебного материала, которую усвоили курсанты и слушатели, измеряемую обычно в процентах. Этот вид теста позволяет также оценить степень овладения тем или иным умением или навыком. Если испытуемый полностью овладел измеряемым умением и выработал соответствующий навык, то он в отведенное время выполнит 100 % заданий. Если умение еще не сформировано, то не будет выполнено ни одного задания. Если умение находится в стадии формирования или даже сформировано, а навыка еще нет, то будет выполнена соответственно меньшая или большая часть заданий. Процент их правильного выполнения и является оценкой степени овладения. 

Второй вид критериально-ориентированных тестов (mastery tests) используется для классификации курсантов и слушателей, разделения их на две (или более) группы на основании заранее выработанного критерия (зачет-незачет, аттестован-не аттестован). Для того чтобы быть отнесенным к группе “зачет” или “аттестован”, испытуемый должен достичь необходимого минимального для этой группы уровня овладения учебным материалом. Этот уровень устанавливается разработчиками теста и является критерием, на основании которого принимается конкретное решение относительно каждого обучающегося. В тесте критерий выражается определенным количеством заданий. Если испытуемый выполняет данное количество заданий или превосходит его, он аттестовывается, в противном случае – нет. При этом за критерий обычно принимается 80–90 % от общего числа заданий в тесте, и тест включает небольшое количество заданий повышенной трудности. Выбирать критерий, равный 100 %, нецелесообразно, так как тестирование носит вероятностный характер и курсант (слушатель), полностью усвоивший необходимый материал, может дать неправильные ответы на несколько заданий в силу случайных обстоятельств, тем более, если задания давались в закрытой форме. 

Нормативно- и критериально-ориентированные тесты можно использовать для перевода тестовых баллов в традиционную систему оценок. Например, если испытуемый выполнил более 90 % заданий, то он получает оценку “отлично”, решивший от 75 до 90 % заданий “хорошо”, от 50 до 75 % – “удовлетворительно”. Критерий устанавливается самими разработчиками теста и зависит от сложности содержания и планируемой трудности задания.

В настоящее время в дидактике высшей военной школы выделяют четыре основные формы тестовых заданий:

1. Задания закрытой  формы, в которых обучающийся  выбирает правильный ответ из  нескольких правдоподобных, предложенных  на выбор. Эти правдоподобные  ответы называются “дистракторами”. Чем лучше “дистрактор”, тем чаще на него “попадается” курсант (слушатель), давая неправильный ответ. Плохие “дистракторы”, которые курсанты и слушатели не выбирают в силу их абсурдности, целесообразно убрать из тестового задания.

2. Задания открытой  формы, когда ответы дают сами  курсанты и слушатели, дописывая  ключевое слово в утверждении  и превращая его в истинное или ложное. Такое тестовое утверждение содержит в одном предложении и вопрос и ответ. Оно должно состоять из небольшого количества слов (чем меньше, тем лучше), а ключевое слово, которое вписывает обучающийся, должно завершать фразу. При формулировании задания важно минимумом слов добиваться максимальной смысловой ясности и однозначности содержания задания. 

3. Задания на  соответствие, в которых элементам  одного множества требуется сопоставить  элементы другого множества, причем  число элементов во втором  множестве должно на 20–30 % превышать  число элементов первого множества. Это обеспечивает обучающемуся широкое поле для поиска правильного ответа.

4. Задания на  установление правильной последовательности. Курсант (слушатель) указывает с  помощью нумерации операций, действий  или вычислений требуемую заданием  последовательность. Такие задания  хороши в тех областях учебной  или профессиональной деятельности, которые хорошо алгоритмизируются.

Среди преимуществ педагогических тестов перед традиционными методами контроля в военном вузе можно выделить следующие: 

– во-первых, они позволяют повысить объективность контроля, исключить влияние на оценку побочных факторов, таких как личность преподавателя и самого обучающегося, их взаимоотношения и т. п.; 

– во-вторых, оценка получаемая с помощью теста, более дифференцирована. В отличие от традиционных методов контроля, где используется 4-балльная шкала, результаты тестирования благодаря особой организации могут быть представлены в более дифференцированном виде, содержащем множество градаций оценки, а благодаря стандартизированной форме оценки педагогические тесты позволяют соотнести уровень достижений курсантов и слушателей по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в группе или любой другой выборке испытуемых; 

– в-третьих, тестирование обладает более высокой эффективностью, чем традиционные методы контроля. Его можно одновременно проводить как в группе, так и на курсе или факультете. При этом обработка результатов тестирования с использованием специальных “ключей” для теста производится намного быстрее, чем, например, проверка письменной контрольной работы; 

– в-четвертых, показатели ПТ ориентированы на измерение усвоения ключевых понятий, тем, элементов учебной программы, а не конкретной совокупности знаний, как это имеет место при традиционной оценке. Применяя батарею ПТ, можно простроить профиль овладения курсантами и слушателями всеми элементами учебной программы;

– в-пятых, ПТ обычно компактны и, как правило, легко поддаются автоматизации.

Безусловно, у тестирования как метода контроля есть и свои ограничения. Легче всего с помощью педагогического теста проверить степень овладения курсантами и слушателями учебным материалом. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным изучаемой дисциплине, в этом случае весьма затруднительна хотя в принципе возможна. Отсутствие непосредственного контакта с обучающимся, с одной стороны, делает контроль более объективным, но, с другой – повышает вероятность влияния на результат других случайных факторов. Таким образом, можно сделать вывод, что наилучший эффект дает сочетание в рамках технологии обучения педагогических тестов с традиционными методами контроля.

Критика тестирования, которую можно слышать из уст отдельных военных преподавателей, часто обусловлена непониманием специфики этого метода и реальных возможностей его использования. Она правомерна тогда, когда при некомпетентном использовании педагогических тестов абсолютизируется тестовый балл, забывается, что любая оценка дается с определенной долей вероятности. Достоинство педагогического тестирования заключается еще и в том, что можно оценить степень этой вероятности и, следовательно, знать, насколько точен полученный результат.

ИСТОЧНИК: П. И. Образцов, В. М. Косухин. Дидактика высшей военной школы, 2004 - перейти к содержанию учебника - http://med-books.info/psihologiya-pedagogika-voennaya/pedagogicheskoe-testirovanie-kak-sredstvo.html

Что такое педагогический тест

Так как отечественная тестология - еще очень молодая наука и находится в стадии становления, то одной из важнейших проблем является формирование понятийного и терминологического аппарата. В настоящий момент в различных изданиях по теории и практике тестирования можно встретить различное толкование и определение одних и тех же понятий, для обозначения одного явления может использоваться несколько синонимических терминов (дискриминативность - дифференцирующая способность), основная группа терминов имеет иноязычное происхождение - их перевод или калькирование, использование в русском языке может привести к различным толкованиям (Например, у нас тестирование - это проверка знаний посредством теста, за рубежом под тестированием понимается любое экзаменационное испытание). Отсутствие тер-минологической точности и наличие понятийной неопределенности свидетельствует о том, что дискурс тестологии только формируется и осмысляется.