Матрица тестовых результатов
После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый.Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.
Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.
Таблица 3.4 – Матрица*[9] тестовых результатов в группе из 10 человек
(для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)
| № пп | Фамилия | №№ варианта теста | Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/) | Суммарный балл по тесту | |||||||||
| Абрамов | |||||||||||||
| Дмитриев | |||||||||||||
| Васильев | |||||||||||||
| Борисов | |||||||||||||
| Щетинин | |||||||||||||
| Зыков | |||||||||||||
| Григорьев | |||||||||||||
| Кириллов | |||||||||||||
| Иванов | |||||||||||||
| Жуков | |||||||||||||
| S | - |
В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.
Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудности задания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.