Создание педагогических тестов средствами Toobook

- Разработка методики  апробационного тестирования.

- Разработка инструкций  для учеников и для преподавателей, проводящих апробацию теста.

- Проведение апробационного тестирования.

- Сбор эмпирических результатов.

- Статистическая обработка  результатов выполнения теста.

- Интерпретация результатов  обработки в целях улучшения  качества теста. Проверка соответствия  характеристик теста научно обоснованным  критериям качества.

- Коррекция содержания  и формы заданий на основании  данных предыдущего этапа. «Чистка»  теста и добавление новых заданий  для оптимизации диапазона значений  параметра трудности и улучшения  системообразующих свойств заданий  теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

- Повторение этапа апробации  для выполнения очередных шагов  по повышению качества теста.

- Интерпретация данных  обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

В процессе конструирования педагогического теста средством оценки его качества является процедура экспертизы. Главная цель экспертизы - выявление некачественных тестовых материалов. Проблема заключается в том, что экспертиза, являясь обязательным этапом разработки тестовых материалов, до сих пор методологически полностью не исследована, не описаны возможности и роль экспертизы качества тестовых материалов с точки зрения системного и квалиметрического подходов. Отсутствие методической и технологической стороны экспертизы качества тестовых материалов на практике приводит к тому, что экспертиза очень часто пропускается и в результате для тестирования применяются некачественные тестовые материалы.

Основополагающим вопросом в методологии экспертизы качества тестовых материалов является определение «качества» тестовых материалов. Качество объекта обнаруживается в совокупности его свойств, но объект не состоит из свойств, а обладает ими. При этом категория качества не сводится к отдельным свойствам, а является целостной характеристикой существенного, выражает внутреннюю и внешнюю определенность, относительную устойчивость объекта, его отличие от других объектов или сходство с ними. Следовательно, качество тестовых материалов можно рассматривать как соответствие совокупности требований к качеству тестовых материалов. Для описания совокупности требований к качеству тестовых материалов необходимо выявить свойства, характеризующие данный объект. Традиционно тест рассматривается как средство педагогического измерения. В рамках данного подхода под тестом понимается «инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения». В соответствии с данным определением «тест должен содержать как минимум назначение (диагностические цели и задачи в операциональных терминах конкретных действий); точные сведения об авторах-разработчиках; данные об особенностях и репрезентативности выборки контингента обследуемых, на котором апробировался тест; краткое описание основных нормативов, критериальных оценок или получаемых при апробации результатов (по разным выборкам, если их было несколько); сведения о надёжности теста, о его валидности; инструкции организаторам по проведению процедуры тестирования, обработке данных результатов тестирования». Помимо традиционного подхода существует и иной, который характеризует тест как результат применения теста как метода измерения. В последнее время в работах исследователей по дидактической тестологии и др. наметился качественно иной подход к определению теста с позиций системного и квалиметрического подходов, согласно которому тест рассматривается как измерительное средство, представляющее собой стандартизированную систему калиброванных заданий специфической формы, позволяющее надежно и объективно оценить уровень учебных достижений испытуемых и выразить результат в числовом эквиваленте. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств, присущих тестовым материалам. С позиций квалиметрического подхода тестовые задания (ТЗ) и тест в целом детализируют в логике системо-деятельностного подхода требования к результатам подготовки обучающихся, которые выступают в качестве базы сравнения при оценке индивидуальных образовательных достижений. С позиций системного подхода - тест рассматривается как система, состоящая из подсистем - тестовых заданий, обладающий рядом свойств, характерных для системы в целом: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность.

Целостность теста характеризуется рядом свойств и особенностей. Многогранность целостности отражается наличием у теста общей цели - гарантии оценки качества подготовки обучающихся и характеризуется дифференциацией, интеграцией и асимметрией тестовых заданий, решающих различные задачи для достижения заданной цели.

Неаддитивность означает появление нового качества теста как системы, возникающее в результате интеграции ТЗ в единое целое. При этом интеграция ТЗ во многом определяется их совместимостью - взаимосвязанностью внутри теста в логике совместимости самого теста с элементами других систем, входящих в систему обучения:

- требованиями государственного  образовательного стандарта и  образовательной программы к  содержанию и результатам подготовки  обучающихся;

- программой и кодификатором  учебной дисциплины;

- другими контролирующими (оценочными) материалами (контрольными  заданиями, опросниками, заданиями  на выполнение лабораторных работ  и пр.).

При успешной интеграции ТЗ тест проявляет свойство синергизма, что означает одно направленность действий тестовых заданий и теста в целом.

Эмерджентность означает появление у теста эмерджентных свойств, которые не присущи составляющим ее элементам - ТЗ.

Обособленность теста как системы заключается в некоторой его изолированности системы от взаимодействия с другими контролирующими (оценочными) материалами в общей иерархии построения системы обучения, контроля и оценки образовательных достижений обучающихся.

Адаптивность - свойство теста как системы, характеризуется возможностью применения теста в изменяющихся внешних и внутренних условиях вследствие коррекций в целях обучения и содержания учебных дисциплин.

Таким образом, тест характеризуется совокупностью внутренних и внешних свойств. Внутренние свойства отражаются во взаимодействии в системе «объект-объект» во внутренней структуре теста и являются качественными неотъемлемыми характеристиками (атрибутами), стабильными и не зависящими от исследуемого контингента учащихся. Они имманентно присущи тестовому заданию. К таковым можно отнести: содержание и форму ТЗ, логичность структуры, тематическую принадлежность и пр. В отличие от внутренних свойств внешние свойства теста отражают взаимодействие в системе «субъект - объект». При этом внешние свойства ТМ представляют собой динамический элемент качества, проявляющийся во взаимодействии внутри теста - источник появления новых свойств у качества теста по отношению к качеству его частей (тестовых заданий) и во взаимодействии вне теста, либо с другими измерителями оценки образовательных достижений, либо внешней средой (группа испытуемых и условия проведения тестирования) - источник изменения свойств во времени. Внешние свойства тестовых заданий и тестов характеризуются количественными характеристиками, полученными в результате обработки результатов тестирования. В соответствии с выше изложенным, под качеством тестового материала будем понимать интегральное свойство содержательных, формальных, функциональных и структурно - логических характеристик, обусловливающих достоверность оценки образовательных достижений обучающихся.

Таким образом, выявление внутренних и внешних свойств качества тестовых материалов дает возможность описать основные требования к качеству тестовых материалов, тем самым определить методологическую базу оценки качества. [22;25]

  

 

2.3 Общая методика разработки  педагогических тестов

Основные этапы разработки теста по учебной дисциплине

Первый этап. Чтобы разработать педагогический тест по конкретной учебной дисциплине или предмету, нужно вначале содержание этой дисциплины проструктурировать, во-первых, по основным его разделам или темам, во-вторых, каждый раздел или каждую тему - по понятийным индикаторам первой, второй, третьей и т.д. ступеней, входящих в изучаемый раздел или тему.

Второй этап. Разрабатывается план теста. Если, например, учебная дисциплина состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающего 30 - 60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины. Предварительная раскладка заданий дается на примере таблицы 2.1.

Таблица 2.1Пример предварительной раскладки задания

Разделы учебной дисциплины	Количество задании	% к общему числу
I	12	20
II	18	30
III	24	40
IV	6	10
Итого	60	100

Третий этап. Разрабатывается перечень задач, которые ставятся перед тестированием, например: А - умение давать определения; Б - знание формул, законов и принципов; В - умение применять формулы, законы и принципы для решения задач и примеров; Г - умение находить сходство и различия; Д - умение представить материал на графиках и схемах. Если на проверку умения A отвести, к примеру, 10 % всех заданий, Б и В - по 30 %, Г - 20 % и Д - 10 %, то общая раскладка числа заданий для рассмотренного примера принимает вид, представленный в таблице 2.2.

Таблица 2.2 О.бщая раскладка числа заданий для примера из таблицы 2.1

Умения и % заданий по их проверке	Номера разделов, % и число заданий				Всего для проверки каждого умения
	I - 20 %	II - 30 %	III - 40 %	IV - 10 %
A - 10 %	1	2	2	1	6
Продолжение таблицы 2.2
Б - 30 %	4	5	7	1	17
В - 30 %	4	5	7	2	18
Г - 20 %	2	4	5	1	12
Д - 10 %	1	2	3	1	7
Итого заданий	12	18	24	6	60

 

После выработки общего плана теста начинается самый ответственный четвертый этап- составление и подбор заданий. Эта работа обычно поручается самым опытным учителям, неоднократно преподававшим курс и проверявшим знания учащихся по нему. При формировании заданий они руководствуются рядом требований. Первое касается количества заданий. Их должно быть примерно в два-три раза больше запланированного числа. Это объясняется тем, что не все предлагаемые задания являются, образно говоря, работоспособными в той мере, в какой это первоначально считалось: некоторые задания окажутся слишком легкими, другие, наоборот, - более трудными, чем ожидалось; одни окажутся более информативными, другие - менее. Поэтому примерно с половиной заданий приходится расставаться после первой же проверки, а с некоторыми другими - в процессе последующего углубленного анализа.

Второе требование касается форм заданий. Задания должны иметь такую форму, чтобы их можно было заложить в компьютерную программу и тем самым обеспечить машинную обработку получаемых результатов, т.е. чтобы можно было использовать элементы информационной технологии. В.С. Аванесов предлагает четыре основные формы: закрытую и открытую формы, задания на соответствие и задания на установление правильной последовательности.

Задания закрытой формы могут быть нескольких видов.

Первый - задания с двумя ответами. Ниже приводится несколько примеров:

1. Слова, противоположные по значению: 1)антонимы, 2)синонимы.

Второй вид заданий закрытой формы: с тремя ответами. Например:

1. Кинетическая энергия тела зависит от: 1)массы, 2)скорости;3)массы и скорости.

Задания закрытой формы с четырьмя ответами обладают несколько большими возможностями в смысле снижения вероятности отгадать правильный ответ.

1. Тело, падающие на землю в Северном полушарии, отклоняется к: 1)северу; 2)югу; 3)востоку; 4)западу.

Еще меньше вероятность догадки в заданиях с пятью и большим числом ответов. В практике считается достаточным иметь задания с четырьмя или пятью ответами.

1. Поверхность жидкости в цилиндрическом сосуде, вращающемся вокруг вертикальной оси, имеет форму:

1) гиперболоида; 2) сферы; 3) эллипсоида; 4) параболоида; 5) конуса.

Одно из возражений против заданий с готовыми ответами - быстрое "рассекречивание" теста. После первого тестирования учащиеся сообщают друг другу содержание запомнившихся заданий и правильные ответы к ним. Нередко имеет место и организованная утечка тестовой информации.

Средством борьбы против нарушений такого рода является увеличение числа заданий, их классификация по темам, по уровню трудности. По сути, для каждого задания создается десяток, а то и больше вариантов по сходной учебной тематике, но так, чтобы ответы на них были сравнимы по трудности. Еще одно возражение, чисто педагогическое: пользуясь готовыми ответами, учащиеся перестают думать, они не учатся творчеству и т. п. Однако в хорошо сделанном задании ученику приходится думать, сопоставляя один правдоподобный ответ с другими в поисках правильного ответа.

Понятие правдоподобный ответ требует некоторого истолкования. В заданиях с выборочными ответами правдоподобные, но все-таки неправильные ответы играют не меньшую роль, чем само задание, ибо неправдоподобные ответы легко различаются учащимися от правильного ответа, и задание "не работает" из-за плохой формулировки ответов. Каждый ответ должен как бы привлекать к себе школьников с той или иной структурой подготовленности. Мера привлекательности каждого ответа определяется долей учащихся, выбравших данный ответ. Чем выше эта доля в неправильных ответах, тем лучше ответ сформулирован. Однако один удачный ответ не делает задание хорошим. Для этого нужно, чтобы и все другие ответы были привлекательными, причем надо добиваться более или менее равномерной правдоподобности. Только тогда задание с выборочными ответами становится удачным. Мера привлекательности каждого ответа устанавливается эмпирически.

Что касается творчества, то эти способности в кратковременный период контроля развить невозможно; это следует делать в процессе занятий. Есть и другие возражения, однако перевешивают отмеченные преимущества в смысле возможностей автоматизации.

С появлением новых моделей тестового измерения вскрылся еще один дефект заданий с выборочным ответом, связанный с параметром догадки. Если до начала 80-х годов закрытые задания были самыми распространенными, то теперь популярность постепенно переходит к открытым заданиям.

Открытые задания. Эти задания долгое время были привлекательными для педагогов, использующих безмашинный контроль, и совсем неприемлемыми для тех, кто занимался машинным контролем. Объясняется это обстоятельство нетехнологичностью таких заданий: они требовали ручной обработки данных и больших затрат педагогического труда. Обратимся к примерам из различных учебных дисциплин. Отвечая на каждое задание, ученик дописывает ответ вместо прочерка.

Предполагается, что учащиеся должны давать ответы в коротких и четких формулировках, о чем следует предупредить в инструкции к тесту. Для ответа в бланке отводится столько места, сколько необходимо. Число таких заданий, называемых открытыми, бывает небольшим, обычно не более 10 - 15 в одном тесте.