Тестирование учащихся как метод проверки знаний

15. рекомендации по контингенту  учащихся для апробации теста;

16. охват требований стандартов (для аттестационных тестов);

17. рекомендуемую автором стратегию расположения заданий в тесте.

Определив цели составления  тестов, уточнив подходы и выбрав уровень использования, разработчик составляет модель педагогического тестирования. Такая модель может быть представлена в виде технологической матрицы. Технологическая матрица – форма представления отбора содержания образования для конструирования педагогическихтестов. Такая матрица может носить разные названия: содержательная решетка, организационно-деятельностная матрица, тестовая решетка и т.п. Однако смысл всегда остается один. Технологическая матрица задает содержание, которое будет отобрано для проверки, и важность того или иного элемента содержания. Она может содержать уровни достижений, которые будут проверены, их соотношение, соответствие стандарту и некоторые другие компоненты.

Весь предмет должен быть полностью охвачен предлагаемыми  вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если вопрос или часть вопроса не соответствует теме, или не полностью ясен в рамках данной темы, от вопроса следует отказаться. Таким образом, фиксируется требование широты теста, полного учета всех разделов предмета, который находит выражение в матрице. Для критериально-ориентированных тестов отбор содержания является самым важным этапом его создания, так как для принятия решения о достижении данной цели обучения, например, стандарта, необходимо достаточно полно и точно описать содержание стандарта и выразить его совокупностью заданий, которая была бы представительной для данной цели.

В матрице контролируемая область знаний отражается также  в распределении заданий по различным темам. Основанием для этого является: важность, объем и количество учебного времени. Если объем учебного материала по теме может быть увязан со временем его изучения, скорее всего, чем больше объем темы, тем больше времени на ее изучение выделяется. Важность темы совместить со временем не представляется возможным. Во-первых, темы могут быть не очень большими по объему, но очень важными, фундаментальными. Во-вторых, само понятие «важности» темы достаточно относительно. Например, для вступительных экзаменов в вузы и выпускных в ОУ, важность темы будет носить разный характер. Соответственно между технологическими решетками этих тестов может быть существенная разница. Для подсчета количества заданий, отводимых на проверку каждого пункта перечня, необходимо задаться первоначальным общим числом заданий в тесте, т.е. выбрать длину теста. Первоначальная длина теста устанавливается с учетом цели создания теста, возраста тестируемых учеников и объема содержания проверки.

Когда речь идет об итоговом тестировании, обычно останавливаются  на 60-80 заданиях. Исходя из постулатов классической теории тестирования, чем длиннее тест, тем надежнее результаты тестирования. Если исходить из того, что примерное время выполнения заданий с выбором – 2 минуты, открытой формы – до 5 минут, то тестирование старшеклассников, студентов длится около 2 часов. Это время соответствует наступлению усталости у большинства испытуемых.

4 Адаптивное тестирование и его возможности.

 Появление адаптивного  тестирования было вызвано стремлением  к повышению  эффективности педагогических измерений, которая, как правило, связывалась с уменьшением числа заданий, времени, стоимости тестирования, а также с повышением точности оценок учащихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает- генерацию эффективных тестов

Оптимизация трудности  заданий обычно проводится пошагово. Если учащийся выполняет задание верно, то затем ему дается более трудное задание. При неправильном выполнении заданиясовершается отход назад к более легким заданиям банка. При невыполнении трех заданий подряд процесс останавливается и специальными методами (чаше всего с помощью теории IRT) определяется балл учащегося за выполненные задания по сформированному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых заданий и их трудность индивидуально подбираются для каждого экзаменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подготовленности.

Получить одновременный  прирост эффективности измерений  по всем критериям невозможно, поэтому обычно при организации адаптивного тестирования на первый план выходит один, в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внимание уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех пор, пока не достигается запланированная миним&чьная ошибка измерения. На длине адаптивного теста существенно сказывается качество структуры знании учащихся. Обычно испытуемые с четкой структурой знаний выполняют задания нарастающей трудности, уточняя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудности задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества  адаптивного тестирования. К числу важных преимуществ компьютеризованного адаптивного тестирования можно отнести:

- высокую эффективность; 

- высокий уровень секретности; 

- индивидуализацию темпа  выполнения теста; 

- высокий уровень мотивации к тестированию у наиболее 

слабых обучающихся  за счет исключения из процесса предъявления излишне трудных заданий; - сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте.

Стратегии адаптивного  тестирования. Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, сообразно которым используется различная технология формирования адаптивных гестов. Двухша- говая стратегия предполагает наличие двух этапов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого — осуществление предварительной дифференциации учащихся вдоль оси переменной измерения. По результатам дифференциации на втором этапе организуется адаптивный режим и строятся адаптивные тесты. В результате развития теории IRT, обеспечивающей единую интервальную шкалу для оценок параметров испытуемых и трудности заданий теста, появилась возможность по-новому осуществить оптимизацию процедуры отбора заданий для моделирования эффективных адаптивных тестов. Стали развиваться многошаговые стратегии адаптивного тестирования, в рамках которых в процессе выполнения наборов заданий каждый испытуемый движется по своей индивидуальной траектории.

Многошаговые стратегии адаптивного тестирования подразделяются на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор заданий с их фиксированным расположением на оси трудности используется для всех испытуемых, но каждый учащийся движется по набору заданий индивидуальным путем в зависимости от результатов выполнения очередного задания, то стратегия адаптивного тестирования  является фиксировано-ветвящейся. Задания по трудности в наборе заданий обычно располагают на равном расстоянии друг от друга или выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого, поскольку по мере выполнения заданий у него нарастает утомление и снижается мотивация к выполнению заданий теста. Варьирующе-ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разностью трудностей двух соседних заданий адаптивного теста. Отличительной особенностью варьирующей ветвящейся стратегии адаптивного тестирования является пошаговая переоценка уровня подготовленности испытуемого, предпринимаемая после каждого выполнения очередного задания теста.

Надежность, валидность и длина теста при адаптивном тестировании. Так же как и при традиционном тестировании, отбор заданий в адаптивные тесты осуществляется в соответствии со спецификацией теста. Оптимизируя трудность, можно лишь уменьшить число предъявляемых заданий по каждому разделу и сохранить при этом для каждого испытуемого содержательный план теста. Таким образом, адаптивное тестирование вне зависимости от стратегии предъявления заданий и их числа должно обеспечивать высокую содержательную валидность каждого генерируемого адаптивного теста. Надежность в адаптивном тестировании зависит от совокупности факторов. К ним относятся: число заданий, наличие систематического контроля за частотой выбора заданий банка при генерации адаптивного теста. На надежность также влияют характеристики банка тестовых заданий, связанные с качеством измерений (устойчивость и диапазон вариации оценок трудности) и качеством входного (стартового) контроля.

Адаптивный алгоритм организуется так, что после каждого очередного предъявления задания проверяется разность между полученной и запланированной точностью измерений. По достижению запланированной точности алгоритм подбора заданий приостанавливается, достигается ожидаемая надежность адаптивного теста.

5

В самом простом понимании интерактивного режима обучения учащийся имеет возможность получать (читать, смотреть, слушать) только ту информацию, которую он выбирает для усвоения с использованием компьютера. Усложнение возможностей и технологии осуществления интерактивного режима приводит к моделированию окружающего мира и поведения объектов в нем, позволяя имитировать реальность.

Конечно, на сегодняшний день, в силу многих причин, в обучении используются далеко не все возможности интерактивного режима. В частности, по мнению А. Г. Шмелева, являющегося крупнейшим специалистом в России по применению интерактивных технологий в образовательном и психологическом тестировании (система «Телетестинг»), в современном Интернете преобладают неинтерактивные формы преподнесения образовательной информации

Простейший интерактивный  режим в локальной сети и в  Интернете. В соответствии с классификацией компьютерных сетей на локальные и глобальные простейший интерактивный режим организуется в пределах одной комнаты или учебного заведения либо с использованием Интернета. Как правило, интерактивность основывается на асинхронной коммуникационной связи, когда реакция педагога на результаты тестирования носит отсроченный характер из-за времени, которое необходимо на проверку теста в автоматизированном режиме и подсчет баллов учащихся по результатам его выполнения.

В первом случае, когда  в локальную сеть объединено несколько  десятков или сотен компьютеров, специальная программа-реализатор — инструментальная оболочка —  обеспечивает выдачу заданий online-теста для всей группы тестируемых, обычно в индивидуальном временном режиме. На экране каждого компьютера из локальной сети появляется задание одного из параллельных вариантов теста. При обеспечении режима информационной безопасности для всей группы учащихся может использоваться только один вариант теста.

Выполнение online-теста с использованием Интернета не имеет принципиальных отличий от случая применения локальной сети при простейшем уровне интерактивности без адаптивного режима, когда все учащиеся выполняют одинаковые варианты теста. Задания в подавляющем большинстве требуют от учащихся выбора одного или нескольких правильных ответов с помощью таких известных диалоговых объектов, как «селекторные кнопки» (radio- buttons). Подсчет тестовых баллов производится путем сличения ответов учащихся с ключом и сводится, чаще всего, к простому суммированию. Передача итогового балла по тесту может быть осуществлена с помощью электронной почты.

Время, затраченное на предъявление результата тестирования, определяется длительностью пересылки (обычно от нескольких секунд до нескольких часов) и тем временным промежутком, который пройдет до момента, когда учащийся прочтет пришедшую ему почту. В отдельных случаях, когда учащемуся требуется документальное подтверждение баллов, результаты тестирования могут быть доставлены offline с помощью записи на носитель информации. Таким образом, низкий уровень интерактивности вполне пригоден для итогового тестирования вне адаптивного режима, когда учащийся должен работать без помощи педагога, а получение результатов может носить отсроченный по времени характер.

В текущем контроле при  дистанционном обучении обычно реализуется  средний уровень интерактивности. В соответствии с возможностями  синхронного обмена информацией в реальном времени с помощью интернет-пейджеров учащемуся обеспечиваются помощьи консультации педагога при выполнении заданий корректирующего и диагностического тестов. При среднем уровне интерактивности большое разнообразие приобретают формы тестовых заданий. В частности у школьника появляется возможность редактирования текста, представленного в задании, с помощью введения новых предложений или замены одной части текста на другую. В заданиях на установление правильной последовательности сразу после выбора испытуемым некоторого порядка элементов компьютер отображает новую последовательность на экране и т.д. Если установлению синхронной связи не мешают временные пояса, интерактив незамедлительно обеспечивает эффект «педагог рядом», благодаря которому при выполнении заданий текущего контроля ученик получает помощь, оценку или подсказку педагога.