Тридцать завершённых попыток, индекс лёгкости 72%, индекс дискриминации -22%. Такую строку в отчёте Moodle легко принять за приговор вопросу и удалить его из банка.
Чаще минус лишь показывает, что с заданием что-то не так: ключ, формулировка или состав группы. А на 30 попытках он может оказаться и просто шумом, потому что само число не отделяет ошибку в тесте от случайности малой выборки. Разобраться стоит до того, как переписывать или выбрасывать вопрос.
Минус в отчёте не делает вопрос плохим
Отрицательный индекс дискриминации в Moodle значит вот что: те, кто хорошо написал тест в целом, за этот вопрос получили меньше, чем те, кто написал плохо. Для проверочного задания это тревожный знак: оно работает наоборот. Но удалять вопрос только из-за минуса не нужно.
Страница «Статистика» показывает, насколько результат по вопросу совпадает с результатом по всему тесту. Больше она ничего не проверяет. Она не видит, верно ли настроены доли балла. Не отличает случайную ошибку от непонятного текста. Не знает, соответствует ли вопрос цели курса. Поля и логику отчёта описывает справка о статистике теста.
Прежде чем читать индекс, проверьте период, число завершённых попыток, версию вопроса, состав группы и режим оценивания. Один и тот же вопрос может дать плюс на потоке сразу после темы и минус на пересдаче, где у всех пробелы в разных местах. Отчёт фиксирует, как отвечали люди. Решение принимает преподаватель.
Проще всего представить индекс так: средний результат сильной половины группы минус средний результат слабой. DI ≈ результат верхней группы минус результат нижней группы. Плюс ожидаем. Ноль значит, что вопрос почти не отличает сильных от слабых. Минус значит, что он работает наоборот. Если за вопрос дают частичный балл, сравниваются доли балла, а не только «верно» и «неверно». Эта картинка верно показывает направление, но формула в Moodle другая, и это важно, когда речь заходит о порогах.
Как Moodle на самом деле считает этот индекс
Схема «верхние минус нижние» удобна для объяснения, но отчёт считает другое. Индекс дискриминации в Moodle считается как корреляция между баллом за вопрос и баллом за остальную часть теста, переведённая в проценты. Корреляция показывает, насколько дружно растут два числа. В документации разработчиков Moodle (страница Quiz statistics calculations) формула такая: D = 100 × ковариация(балл за вопрос, балл за остальной тест) / корень(дисперсия одного × дисперсия другого). Разность «верхние минус нижние» помогает понять направление, но путать её с корреляцией не стоит.
Moodle даёт ориентиры для чтения индекса. Выше 50% значит очень хорошо различает. 30-50% нормально. 20-29% слабо. 0-19% очень слабо. Отрицательное значение говорит, что вопрос, вероятно, с дефектом и проверяет что-то другое, чем остальной тест. Это подсказки, а не правило удаления. Они показывают, насколько вопрос согласуется с тестом, но не объясняют почему.
У метрики есть встроенное ограничение, о нём сказано в той же документации. Если индекс лёгкости не равен 50%, индекс дискриминации не может дойти до 100%. Значит, очень лёгкий или очень трудный вопрос почти всегда будет плохо различать. Низкий или даже отрицательный индекс у такого вопроса чаще связан с тем, как распределились баллы, чем с плохой формулировкой. Поэтому рядом Moodle показывает «Эффективность дискриминации» (Discrimination Efficiency). Она сравнивает реальное различение с лучшим возможным при такой лёгкости. При спорном минусе полезно смотреть обе цифры.
Индекс лёгкости меняет смысл отрицательного сигнала
Отрицательный DI почти никогда не читают в одиночку: рядом всегда стоит индекс лёгкости. Он показывает, какую долю максимального балла набрала группа: FI = сумма баллов за вопрос / максимально возможная сумма баллов × 100%. Высокий FI значит, что задание доступное. Низкий значит, что баллы набрали немногие. О качестве вопроса это само по себе не говорит. Базовая проверка может быть лёгкой, а отборочное задание трудным.
Вместе FI и DI дают первый диагноз. Высокий FI и слабый плюсовой DI: вопрос, скорее всего, слишком очевиден и почти не отличает подготовленных. Трудный вопрос с плюсовым DI полезен, если проверяет то, что заявлено, а не ловит на подвохе. Отрицательный DI при среднем FI подозрительнее всего. Подготовленные раз за разом выбирают неверный вариант, а менее подготовленные попадают в верный, рассуждая иначе.
В Moodle есть и «Индекс дискриминации», и «Коэффициент дискриминации». Это разные числа. Индекс сравнивает балл за вопрос с баллом за остальную часть теста. Коэффициент сравнивает его с баллом за весь тест, куда входит и сам вопрос. Оба ищут один и тот же дефект, но по-разному реагируют на малое число попыток, выбросы и частичные баллы. Если они расходятся, смотрите, как распределились ответы, а не выбирайте удобное число.
Откуда берётся обратная связь с суммарным баллом
Сначала проверяют ключ и схему оценивания. В вопросах с несколькими правильными вариантами легко забыть положительную долю балла для пункта или оставить неуместный штраф. Подготовленный участник выбирает полный набор и получает меньше, чем угадавший один вариант.
Другая причина в языке. «Выберите неверное утверждение», двойные отрицания, слова «всегда» и «исключительно» ставят ловушки при чтении. Сильные читают условие буквально, слабые отмечают знакомый термин. Тогда DI ловит то, как люди поняли текст, а не что они знают.
Бывает, что дело в устройстве теста. Допустим, почти все задания проверяют расчёты, а одно спрашивает о редком исключении из нормативного документа. Сильный в расчётах может не помнить исключение, а слабый случайно его запомнил. Тогда минус говорит, что вопрос выбивается из теста, а не обязательно о фактической ошибке.
Проверяйте по порядку:
- ключ, дробные оценки, штрафы и порядок вариантов;
- текст условия: отрицания, единицы, слова-ограничители;
- доли выбора каждого дистрактора в сильной и слабой группах;
- соответствие вопроса результату обучения;
- технический контекст: импорт, смену версии, сбой медиафайла, мобильное отображение.
Если у части участников не загрузилось изображение или после импорта исчезла формула, статистика покажет педагогическую проблему, хотя сначала нужно устранить технический дефект.
6 пунктов отчёта по спорному заданию
Чтобы не упустить ни одну из этих причин, проверку выстраивают как воспроизводимую процедуру. Она не должна сводиться к пометке «DI отрицательный». Для спорного вопроса соберите шесть пунктов.
- Зафиксируйте срез: тест, период, число завершенных попыток, версию вопроса, учет или неучет штрафов. Смешение первого прохождения и пересдач нередко влияет сильнее правки текста.
- Выпишите FI, DI, коэффициент дискриминации, средний и максимальный балл, а также показатели всего теста: результат мог исказить чрезмерно легкий или трудный блок.
- Откройте анализ ответов: важна не только доля верных, но и неверный вариант, который выбирают участники с высоким общим баллом. Один доминирующий дистрактор дает более ясную гипотезу, чем разрозненные ошибки.
- Проверьте авторскую логику: ключ по материалам, условие по вариантам, доли баллов по типу вопроса. В числовых заданиях это допуск, единицы, десятичный разделитель; для эссе DI зависит и от согласованности ручной проверки.
- Разделите попытки на осмысленные сегменты: первый запуск и пересдача, группы, язык интерфейса, формат обучения, версии теста. Сегментируйте, только если различие поможет действию: множество мелких срезов создает шум.
- Запишите решение и условие следующей проверки: «исправить ключ, сохранить формулировку, пересчитать после нового потока» или «оставить вопрос, собрать больше попыток». Это не позволит обсуждать тот же минус без контекста.
Возьмём 30 завершенных попыток: FI 72%, DI -0,22. Участники с высоким баллом чаще выбирают ответ, который автор считал неверным, но он буквально соответствует лекции. Первое действие: сверить ключ и формулировку материала. Удалять вопрос пока рано. После исправления ключа прежний DI нельзя сравнивать с новым как эффект обучения: это две версии задания.
В шкале Moodle этот DI -0,22 соответствует примерно -22%, то есть та самая отрицательная зона «вопрос вероятно дефектен». Порог лишь помечает вопрос к разбору. Сверка с лекцией показала, что минус здесь означал расхождение ключа с материалом, формулировка была в порядке. Поэтому пороги читают вместе с индексом легкости, эффективностью дискриминации и распределением ответов. Есть и вторая причина не торопиться: на 30 попытках такой коэффициент колеблется вокруг нуля примерно на 0,19 в обе стороны, и -0,22 от случайности почти не отличается (подробнее в разделе о малой выборке).
Таблица решений после проверки ответов
Итоги такой проверки удобно свести в таблицу решений. Она связывает сигнал, причину и проверяемое действие, но не заменяет просмотр попыток.
| Сигнал в отчете | Что проверить первым | Решение по вопросу |
|---|---|---|
| DI ниже нуля, сильные выбирают один дистрактор | Ключ, текст лекции, двойное отрицание | Исправить ключ или условие; старую и новую версии хранить отдельно |
| DI ниже нуля, FI близок к 100% | Угадали ли ответ, не выдает ли его длина или стиль | Убрать подсказку, собрать новые попытки |
| DI около нуля, FI очень низок | Пройденную тему, ошибку медиа или единиц | Проверить доступность материала и отображение; не судить по одному числу |
| DI около нуля, FI высок | Проверяет ли вопрос знание, а не узнавание очевидного факта | Оставить базовым контролем или заменить заданием на применение |
| Отрицательный DI только в одном сегменте | Версию, язык, устройство, условия пересдачи | Исправлять источник сегментного сбоя, не усреднять проблему |
Таблица не задает автоматический порог удаления. Один и тот же отрицательный индекс после восьми попыток и после устойчивого повторения паттерна на сопоставимых потоках требует разной уверенности.
На 30 попытках минус почти неотличим от шума
Любая строка этой таблицы теряет силу, если попыток слишком мало. В маленькой группе один ответ сильно сдвигает индекс. Допустим, тест написали девять человек, и вы сравниваете верхнюю и нижнюю трети. В каждой по три человека, и один лишний верный ответ меняет долю на 33,3 п.п. Такое число говорит только о хрупкости данных. О качестве вопроса по нему судить нельзя.
Для индекса Moodle есть простая прикидка. Даже если вопрос никак не связан с остальным тестом, индекс случайно отклоняется от нуля. На 30 попытках типичное отклонение около 0,19, на 100 попытках около 0,10. Рабочее правило: считать минус настоящим сигналом, когда он по модулю больше 2/√n, где n означает число попыток. Для 30 попыток порог около 0,37, для 100 около 0,20, для 400 около 0,10.
Индекс -22% из примера выше на 30 попытках порог не проходит. Ключ стоило проверить сразу, и проверка нашла ошибку, но удалять вопрос по одной этой цифре было бы рано. Тот же -22% на 400 попытках уже говорит о систематическом дефекте почти наверняка.
Поэтому рядом с минусом указывают число завершенных попыток. Не объявляйте вопрос плохим по короткому запуску, особенно если DI и коэффициент расходятся, а ответы не образуют устойчивого паттерна. Оставьте пометку для наблюдения, проверьте ключ и дождитесь сопоставимого среза.
С ростом курса статистика может объединить разные версии и условия: тест после очного разбора и до него, старую и обновленную формулировку, компьютер и телефон. Общий индекс скрывает различия. Перед сравнением потоков убедитесь, что совпадают вопрос, максимальный балл, порядок оценивания и окно попытки.
Влияет и состав группы: больше пересдающих или иной входной уровень сдвинут FI и DI без редакторских правок. Для мониторинга сравнивайте одинаковые этапы обучения и ведите журнал изменений банка вопросов.
Не проще ли удалить, чем разбирать?
У быстрого правила «отрицательный DI, значит в архив» есть сильные сторонники, и их довод практичный. В банке на 300 вопросов разбор каждого спорного задания по шести пунктам занимает час-полтора, а у преподавателя нет этих часов перед следующим потоком. Если на одну учебную цель в банке есть три-четыре равноценных вопроса, выбросить один дешевле, чем его чинить.
Довод выигрывает при трех условиях одновременно. Попыток достаточно, чтобы минус прошел порог 2/√n. У цели есть замена в банке. Вопрос не единственный, кто проверяет трудную часть программы. Тогда его можно вывести из теста без разбора. Удалять все равно не нужно: достаточно скрыть с пометкой и вернуться при ревизии банка. Если хотя бы одно условие не выполнено, удаление экономит час сейчас и надолго обедняет тест.
Переписывать вопрос стоит не всегда
Не каждый подтверждённый минус лечится переписыванием. Переписывайте задание, если нашли конкретный дефект: неверный ключ, двусмысленное условие, неправильный допуск, неработающий файл, ответ, который противоречит материалу. Старую статистику после правки считайте историей прежней версии. Если DI потом вырос, это не обязательно заслуга нового потока: вопрос-то уже другой.
Если дефекта нет, вопрос может остаться в банке с пояснением. Узкое задание на отдельную цель курса не обязано совпадать с общим баллом. Тогда решайте, где ему место: в общем тесте, в тематическом блоке или в отдельном критерии.
Не «лечите» индекс упрощением содержания. Если удалить точный, но трудный вопрос ради ровной статистики, программа может сузиться до легко угадываемых фактов. Цель проверки, устройство теста и правильный ключ важнее красивого показателя.
Решение должно пережить следующий запуск теста
Разбор отрицательного DI в Moodle должен заканчиваться записанным решением. Что нашли, какие попытки смотрели, что изменили и на каком срезе проверят снова. Так случайный минус отличают от повторяющегося дефекта.
FI показывает фон. DI показывает, в какую сторону различаются группы. Анализ вариантов ответа подсказывает причину, которую надо проверить по ключу, формулировке и условиям прохождения. Пока эти три источника не сведены вместе, удаление вопроса остаётся догадкой.
Рабочий минимум помещается в одну выгрузку: вопросы с отрицательным DI и числом попыток рядом. Те, что не проходят порог 2/√n, получают пометку «наблюдать» и ждут следующего потока.