Тесты как способ оценить уровень подготовленности человека очень популярны на западе и в Америке. Всем известны такие тесты, как IQ, TOEFL, GRE, GMAT и т.д. На мой взгляд, в России тестирование менее популярно. Но, несомненно, его актуальность растёт, так как у него есть очевидные положительные стороны: объективность, систематичность и строгость оценки знаний - вот, пожалуй, самое важное, что я хотел бы выделить.
Разработка тестов и оценка их качеств очень серьёзный и трудоёмкий процесс. В педагогике ему посвящена целая теория: теория педагогических измерений. В данном разделе я хочу рассказать о тех принципах, которые лежат в основе шкалирования результатов ЕГЭ. ЕГЭ- это многопрофильный(он содержит в себе задания разного уровня сложности и тематики) тест. Поэтому для объективной оценки подготовленности учащегося с его помощью нельзя пользоваться традиционной школьной пятибалльной шкалой, так как она чрезвычайно субъективна- здесь присутствует сильный человеческий фактор. Ведь сколько людей- столько и мнений: один учитель считает, что любой уважающий себя человек с аттестатом должен знать основное тригонометрическое тождество и он с большим уважением будет относиться к ученику, который ловко умеет работать с тригонометрическими выражениями. А другому для уважения этого недостаточно: ему нужна, ну, допустим, например, вся стереометрия или О! ужас щёлкать интегралы как семечки. Вот и выбирай из пяти баллов самый подходящий.
Поэтому необходимо объективные методы оценки подготовленности учащегося. Они существуют- это строгие математические модели. И они широко используются на практики для обработки результатов тестирования. ЕГЭ не исключение: его результаты обрабатываются в рамках однопараметрической модели Раша(адаптированная Нейманом). В результате такой математической процедуры получается стобальная шкала, по которой и выставляется сертификационная оценка ЕГЭ. Этот процесс состоит из 5 шагов. Я их здесь перечислю. Подробное их описание требует достаточно серьёзной специальной математической подготовке(нужно знать и понимать такие понятия как вероятность, функция распределения случайной величины, математическое ожидание и дисперсия случайной величины. Короче, всё то, что изучает “теория вероятности и математической статиcтики”). Но знать о их существовании полезно родителям и, конечно, репетиторам.
Буду всем чрезвычайно признателен за вопросы, пожелания, комментарии.
Итак…
Шаг 1. Получение первичных баллов
Вначале немного теории. Пусть имеется тест с K различных заданий бинарного типа(один бал- правильный ответ, 0-баллов неправильный ответ). Количество учеников пусть будет N. Тогда мы получим матрицу из 0 и 1, размера N×K. Обычно её рисуют так.
(*)
То есть строки- это первичные оценки испытуемого, столбцы-номера заданий. Тогда для получения первичного балла i-го испытуемого мы должны просуммировать все элементы i-строки. Это выглядит так.
Таким образом, на первом шаге обработки результатов мы получаем матрицу ответов аналогичную (*) и считаем первичный балл по формуле (суммирование всех ответов на задания теста).
Шаг 2. Подсчитать долю правильных ответов каждого испытуемого по формуле
Тогда доля неправильных ответов, очевидно, равна
Шаг3
Теперь подготовленность учащегося можно оценить как отношение долей правильных и неправильных ответов, но для удобства математической обработки эту величину выражают в логарифмической шкале. В теории педагогических измерений она называется логиты. Итак, предварительная оценка подготовленности учащегося равна
Шаг 4
Подсчёт долей правильных ответов на j-ое задание теста
Шаг 5
Предварительная оценка трудности заданий оценивается в логитах (логарифмической шкале) по формуле
Шаг 6
Результаты шага 2 и 4 усредняют по формулам, соответственно
и
Шаг7
Перевод результатов в единую шкалу путём линейного преобразования по формулам
Здесь
Шаг 8
Оценка стандартных ошибок измерений производится по следующим формулам
Теперь после подсчёта параметров нужно определить качество теста, то есть провести математико-статистическую обработку теста (построить логистические кривые)
Для этого на практике широко используется однопараметрическая модель Раша.
В этой модели рассматриваются две функции распределения вероятностей (логистические кривые):
Вероятность ответа i-го ученика на задания с трудностью 
(*)
Типичный график характеристической кривой-вероятности ответа ученика с подготовленностью 
на j-ое задание трудности .
Вероятность ответа i-го ученика с подготовленностью на задание с трудностью .
(**)
Типичный график логистической кривой трудности задания для i-го ученика c подготовленностью
Эти кривые обладают свойством инвариантности. Легко проверить, что если мы увеличим трудность задания на величину c, то кривая(*) сместиться на c вправо параллельно самой себе, то есть на это задание ответит с прежней вероятность ученик с подготовленностью 
.
Инвариантность кривой (*)
Аналогично для кривой (**) ученик с подготовленность ответит с прежней вероятностью на задание трудностью
Инвариантность кривой (**)
Логистические функции позволяют оценить адекватность теста, то есть после получения предварительных значений организаторы теста строят логистические кривые. И в зависимости от целей теста улучшают его характеристики(если нужно) с тем, чтобы логистические кривые имели желаемый вид и свойства. Описание подробностей этого процесса выходит за рамки данной статьи. Отмечу, что на практике иногда недостотчно использовать однопараметрическую модель Раша. Тогда применяют двух и трёх параметрические модели. Кроме того, для оценок параметров трудности задания и подготовленности учащегося иногда необходимо применять метод максимального правдоподобия. Но все эти темы очень объемные и выходят за рамки данной статьи. С ними можно ознакомиться здесь
Там довольно широко освещены эти и другие вопросы теории педагогических измерений с обзором имеющейся литературы по этой теме. А также предлагаю ознакомиться с английской презентацией по этой теме. Я конечно жду Ваши вопросы, комментарии и предложения на форуме.
А сейчас скажу главное-то,что я хотел показать в этой статье
- Тест-это математически выверенная система, которая обеспечивает объективность оценки результатов обучения учащегося
- Тест разрабатывается с привлечением строгого математического алгоритма
- Уважаемые коллеги нельзя диктовать ответы своим подопечным по телефону, так как тем самым Вы нарушаете адекватность математической обработки результатов теста
