Минус в отчете не делает вопрос плохим
Отрицательный индекс дискриминации Moodle означает, что участники с высоким суммарным баллом за тест получили за конкретный вопрос меньше, чем участники с низким. Для проверяемого задания это тревожный сигнал: оно работает обратно ожидаемому направлению. Но минус не доказывает, что формулировку нужно удалить.
Страница «Статистика» показывает связь результата задания с результатом всего теста в выбранных попытках. Она не проверяет доли балла, не отличает случайную ошибку от непонятного текста и не оценивает соответствие учебной цели. Поля и логику отчета описывает справка о статистике теста.
Индекс читают после проверки периода, числа завершенных попыток, версии вопроса, состава группы и режима оценивания. Один вопрос может дать плюс на потоке после темы и минус на пересдаче с пробелами в разных блоках: отчет фиксирует паттерн ответов, а не выносит приговор.
Концептуально индекс сопоставляет средний результат сильной и слабой частей группы: DI ≈ результат верхней группы − результат нижней группы. Плюс ожидаем, ноль означает слабое различение, минус — обратную связь. При частичном оценивании сравниваются доли балла, а не только «верно» и «неверно».
Индекс легкости меняет смысл отрицательного сигнала
Индекс легкости показывает долю максимального балла группы: FI = сумма баллов за вопрос / максимально возможная сумма баллов × 100%. Высокий FI означает доступность задания, низкий — что баллы набрали немногие; это не оценка качества вне цели теста. Базовый контроль может быть легким, отборочное задание — трудным.
Связка FI и DI дает первый диагноз. Высокий FI при слабом положительном DI может означать, что вопрос слишком очевиден и почти не различает подготовку. Трудный вопрос с положительным DI полезен, если проверяет заявленный результат, а не служит ловушкой. Отрицательный DI при среднем FI подозрительнее: системно подготовленные выбирают неверный вариант, менее подготовленные — верный по иной логике.
В Moodle могут быть «Индекс дискриминации» и «Коэффициент дискриминации». Их нельзя смешивать: индекс сравнивает части группы, коэффициент оценивает статистическую связь балла за вопрос с суммарным баллом теста. Оба ищут один дефект, но по-разному чувствительны к малому числу попыток, выбросам и частичным баллам. При расхождении смотрят распределение ответов, а не выбирают удобное число.
Откуда берется обратная связь с суммарным баллом
Сначала проверяют ключ и схему оценивания. В вопросах с несколькими правильными вариантами легко забыть положительную долю балла для пункта или оставить неуместный штраф. Подготовленный участник выбирает полный набор и получает меньше, чем угадавший один вариант.
Другая причина — язык: «выберите неверное утверждение», двойные отрицания, «всегда» и «исключительно» создают ловушки чтения. Сильные строго истолковывают условие, слабые отмечают знакомый термин; DI ловит трактовку текста, а не знание.
Причиной бывает конструкция теста. Если большинство заданий проверяет расчеты, а проблемное спрашивает редкое исключение из нормативного документа, сильный в расчетах участник может не помнить исключение, а слабый — случайно его запомнить. Минус тогда говорит о несогласованности теста, не обязательно об ошибке факта.
Проверяйте по порядку:
- ключ, дробные оценки, штрафы и порядок вариантов;
- текст условия: отрицания, единицы, слова-ограничители;
- доли выбора каждого дистрактора в сильной и слабой группах;
- соответствие вопроса результату обучения;
- технический контекст: импорт, смену версии, сбой медиафайла, мобильное отображение.
Если у части участников не загрузилось изображение или после импорта исчезла формула, статистика покажет педагогическую проблему, хотя сначала нужно устранить технический дефект.
Пошаговый отчет по одному заданию
Проверка должна быть воспроизводимой, а не сводиться к пометке «DI отрицательный». Для спорного вопроса соберите шесть пунктов.
- Зафиксируйте срез: тест, период, число завершенных попыток, версию вопроса, учет или неучет штрафов. Смешение первого прохождения и пересдач нередко влияет сильнее правки текста.
- Выпишите FI, DI, коэффициент дискриминации, средний и максимальный балл, а также показатели всего теста: результат мог исказить чрезмерно легкий или трудный блок.
- Откройте анализ ответов: важна не только доля верных, но и неверный вариант, который выбирают участники с высоким общим баллом. Один доминирующий дистрактор дает более ясную гипотезу, чем разрозненные ошибки.
- Проверьте авторскую логику: ключ по материалам, условие по вариантам, доли баллов по типу вопроса. В числовых заданиях — допуск, единицы, десятичный разделитель; для эссе DI зависит и от согласованности ручной проверки.
- Разделите попытки на осмысленные сегменты: первый запуск и пересдача, группы, язык интерфейса, формат обучения, версии теста. Сегментируйте, только если различие поможет действию: множество мелких срезов создает шум.
- Запишите решение и условие следующей проверки: «исправить ключ, сохранить формулировку, пересчитать после нового потока» или «оставить вопрос, собрать больше попыток». Это не позволит обсуждать тот же минус без контекста.
Условный пример: в 30 завершенных попытках FI 72%, DI -0,22. Участники с высоким баллом чаще выбирают ответ, который автор считал неверным, но он буквально соответствует лекции. Первое действие — сверить ключ и формулировку материала, не удалять вопрос. После исправления ключа прежний DI нельзя сравнивать с новым как эффект обучения: это две версии задания.
Таблица решений после проверки ответов
Таблица связывает сигнал, причину и проверяемое действие, но не заменяет просмотр попыток.
| Сигнал в отчете | Что проверить первым | Решение по вопросу |
|---|---|---|
| DI ниже нуля, сильные выбирают один дистрактор | Ключ, текст лекции, двойное отрицание | Исправить ключ или условие; старую и новую версии хранить отдельно |
| DI ниже нуля, FI близок к 100% | Угадали ли ответ, не выдает ли его длина или стиль | Убрать подсказку, собрать новые попытки |
| DI около нуля, FI очень низок | Пройденную тему, ошибку медиа или единиц | Проверить доступность материала и отображение; не судить по одному числу |
| DI около нуля, FI высок | Проверяет ли вопрос знание, а не узнавание очевидного факта | Оставить базовым контролем или заменить заданием на применение |
| Отрицательный DI только в одном сегменте | Версию, язык, устройство, условия пересдачи | Исправлять источник сегментного сбоя, не усреднять проблему |
Таблица не задает автоматический порог удаления. Один и тот же отрицательный индекс после восьми попыток и после устойчивого повторения паттерна на сопоставимых потоках требует разной уверенности.
Малая выборка и рост курса меняют расчет
На малой группе один ответ резко сдвигает индекс. Если тест написали девять человек и расчет делит их на три части, в верхней и нижней группах по трое; один дополнительный верный ответ меняет долю на 33,3 п.п. Это описывает хрупкость наблюдения, а не надежно характеризует вопрос.
Поэтому рядом с минусом указывают число завершенных попыток. Не объявляйте вопрос плохим по короткому запуску, особенно если DI и коэффициент расходятся, а ответы не образуют устойчивого паттерна. Оставьте пометку для наблюдения, проверьте ключ и дождитесь сопоставимого среза.
С ростом курса статистика может объединить разные версии и условия: тест после очного разбора и до него, старую и обновленную формулировку, компьютер и телефон. Общий индекс скрывает различия. Перед сравнением потоков убедитесь, что совпадают вопрос, максимальный балл, порядок оценивания и окно попытки.
Влияет и состав группы: больше пересдающих или иной входной уровень сдвинут FI и DI без редакторских правок. Для мониторинга сравнивайте одинаковые этапы обучения и ведите журнал изменений банка вопросов.
Переписывать вопрос стоит не всегда
Переписывайте задание при конкретном дефекте: ошибочном ключе, двусмысленном условии, неверном допуске, неработающем файле, ответе, противоречащем материалу. Старую статистику после правки закрывают как историю прежней версии: улучшение DI нельзя приписывать новому потоку без учета смены объекта измерения.
Если дефекта нет, вопрос может остаться в банке с пояснением. Нишевое задание на отдельную цель курса не обязано хорошо коррелировать с общим баллом. Решайте тогда не судьбу текста, а место вопроса: общий тест, тематический блок или отдельный критерий.
Не «лечите» индекс упрощением содержания. Удаление точного, но трудного вопроса ради ровной статистики может сузить программу до легко угадываемых фактов. Цель проверки, структура теста и качество ключа важнее красивого показателя.
Решение должно пережить следующий запуск теста
Интерпретация отрицательного DI Moodle должна завершаться документированным решением: что обнаружено, какие попытки анализировались, что изменено и на каком срезе вопрос проверят снова. Это отличает случайный минус от повторяющегося дефекта.
FI показывает фон, DI — направление различий групп, анализ вариантов — причину. Пока эти три источника не сведены, удаление вопроса остается догадкой, а не обоснованной редакторской работой.