Новая версия модели может отвечать лучше и стоить втрое дороже. Классический конверсионный A/B такой размен не заметит. Он увидит рост среднего и пропустит цену, задержку и редкие опасные ответы. Цена такой слепоты растёт с каждым миллионом запросов.
Генеративная система на один и тот же вопрос отвечает по-разному. Со временем её поведение плывёт, а вместе с ним незаметно меняется и поведение пользователей. Поэтому одной метрики конверсии мало. Цифры приходится сочетать с оценкой людей по чёткой схеме, иначе настоящее улучшение не отличить от шума.
Почему обычный A/B здесь буксует?
В генеративном продукте меняется сразу несколько слоёв: модель, промпт, интерфейс. Один и тот же промпт даёт разные ответы. Значит, пользователи внутри одного варианта получают разный опыт, и любое среднее по варианту читают осторожно.
Разброс увеличивает нужную выборку. Пусть задачу успешно решают в 60% случаев, а команда хочет заметить прирост в 3 процентных пункта. Грубая формула n ≈ 16 × p × (1-p) / δ² даёт 16 × 0,6 × 0,4 / 0,03², около 4 270 пользователей на вариант. Ответы модели к тому же случайны, поэтому к этой цифре добавляют запас в 20-30%.
Разброс вывода лишь первое из пяти свойств, о которые спотыкается привычный тест. Второе: качество субъективно. Корректность, стиль и полезность зависят от цели читателя, единой метки «правильно» нет.
Третье: стоимость сильно различается. Цену каждого ответа модели и время ожидания меряют вместе с качеством, а не после. Четвёртое: поведение меняется по мере того, как пользователь начинает доверять системе или перестаёт. Это сдвигает метрики следующих недель.
Пятое: безопасность. Апгрейд может поднять среднее качество и одновременно участить галлюцинации. Поэтому классический фреймворк дополняют парным ранжированием, оценочными рубриками и контролируемой цепочкой оценки.
Четыре типа экспериментов, четыре уровня риска
Дизайн теста начинается с вопроса, что именно меняется. Типов четыре, и каждому нужен свой уровень надзора.
Эксперименты с промптами
Варьируют тон, структуру, длину, системные инструкции, контекст и промпты для поиска по базе знаний. Они дёшевы и быстры. Но мелкая правка промпта способна изменить корректность, поэтому косметикой её не считают.
Эксперименты с версиями моделей
Проверяют переход на новую модель, смену архитектуры, дообученную модель против базовой, изменение уровней безопасности. Это самые рискованные тесты. Модель, которая лучше в среднем, может регрессировать на отдельном сегменте или типе задач.
Эксперименты качества вывода
Сравнивают конкретные улучшения: рассуждения, меньше галлюцинаций, фактическую точность, структуру ответа. Здесь человеческая оценка весит больше любой автоматической метрики.
Эксперименты с генеративным UX
Изучают опыт, который собирается на лету: онбординг, динамические состояния интерфейса, персонализированные процессы, диалоговые интерфейсы. Меряют активацию, удержание и удовлетворённость; отдельный ответ здесь вторичен.
Три ступени оценки: от дешёвой к дорогой
Любой тип теста проходит три ступени. Смысл в порядке: каждая отсеивает варианты до того, как тратится ресурс следующей.
Офлайн-оценка использует автоматические метрики, синтетические наборы и бенчмарки. Слабые варианты отсеиваются, не затронув ни одного пользователя. Человеческая оценка добавляет рубрики, парные сравнения, проверку безопасности и успеха задачи. Только потом онлайн-тест меряет поведение, удержание и стоимость на живом трафике.
Чаще всего срезают вторую ступень. Это самый дорогой короткий путь: на живой трафик попадают варианты, которые рубрика отсеяла бы за пару дней.
Масштаб офлайн-ступени можно прикинуть заранее. Возьмём эталонный набор из 300 примеров по 5 генераций на каждый: это 1 500 ответов на вариант. Этого хватает, чтобы уверенно отличить 4% выдуманных ответов от 8%: случайный разброс здесь меньше пункта, а разница в четыре пункта.
Что меряют BLEU, ROUGE и perplexity
- BLEU: какая доля коротких цепочек слов совпала с эталоном. Растёт, когда формулировки близки к образцу, и падает, если тот же смысл сказан другими словами.
- ROUGE: насколько ответ пересекается с эталоном по словам и их порядку. Придумана для проверки кратких пересказов.
- Perplexity: насколько модель «удивлена» текстом. Низкая перплексия ещё не значит, что ответ полезен.
- Similarity: насколько ответ близок к эталону по смыслу. Ловит совпадение там, где слова разные.
- Эталонный набор: вручную выверенные примеры, на которых эти проверки прогоняют до живого трафика.
Все четыре метрики меряют сходство с образцом или гладкость текста, но не пользу и не правдивость. Высокий BLEU при неверном по сути ответе вполне возможен.
Модель-судья ускоряет отсев, но не решает
Люди точны, но дороги и медленны. Поэтому между метриками и людьми всё чаще ставят модель-судью. Сильный судья совпадает с людьми почти так же часто, как люди совпадают друг с другом.
Но у судьи есть систематические смещения. Позиционное: он выбирает ответ по месту в паре, и после перестановки вариантов его оценка может перевернуться. Многословие: длинный ответ выигрывает без добавленной пользы. Самопредпочтение: судья завышает оценки ответам своей же модели. И слабость в счёте и логике.
Отсюда правило. Судья работает как первичный отсев, порядок пар перемешивают, к вопросу добавляют эталонный ответ, а финальное слово по спорным и чувствительным ответам остаётся за человеком.
Экономику судьи легко прикинуть. Допустим, оценщик размечает 60 ответов в час при ставке 15 USD. Тогда 1 500 ответов из примера выше стоят 375 USD и 25 рабочих часов. Судья проходит тот же объём за минуты. Людям остаётся выборка, где судья не уверен или где тема чувствительная.
Согласие оценщиков считают по каппе, а не в процентах
Человеческая оценка незаменима, но и самый тонкий источник ошибки. Оценщики редко согласны полностью. Сырой процент совпадений при этом обманывает, потому что не учитывает случайные совпадения по частым меткам.
Поправку на случай даёт каппа Коэна:
κ = (наблюдаемое согласие минус случайное согласие) / (1 минус случайное согласие)
Пример. Два оценщика размечают 300 ответов метками «годно» и «переделать». Каждый ставит «годно» в 80% случаев. Совпадают они в 85% ответов, цифра выглядит отлично. Случайное согласие равно 0,8 × 0,8 + 0,2 × 0,2, то есть 0,68. Каппа: (0,85-0,68) / 0,32, около 0,53.
Это лишь умеренное согласие, хотя 85% совпадений звучат отлично. Вывод простой: чем чаще встречается одна метка, тем сильнее процент совпадений завышает надёжность разметки. Для оценщиков-моделей считают то же самое, иногда через альфу Криппендорфа.
Вердикт оценщиков полезно сверять с поведением. Когортное удержание говорит об устойчивой ценности больше, чем оценка одной сессии, которую раздувает новизна. Порог каппы и долю приемлемых ответов фиксируют до запуска. Иначе планку сдвинут, когда результаты уже придут.
Четыре семейства метрик, и ни одно не прикрывает другое
Полная оценка складывается из четырёх семейств. Держать их лучше раздельно.
Качество: корректность, релевантность, связность, стиль, фактическая точность, частота галлюцинаций. Парное сравнение здесь часто надёжнее числовых оценок. Поведение: активация, успех задач, повторное использование, глубина взаимодействия, сигналы доверия вроде правок, отклонений и перехода на запасной сценарий.
Эффективность: цена ответа модели, время ожидания, нагрузка на серверы, сколько запросов система выдерживает. Безопасность: грубость и оскорбления, выполнение вредных просьб, уход в чувствительные темы, нарушения правил. Прирост качества, который ухудшает безопасность или взвинчивает стоимость, улучшением не считается. Удобно дать каждому семейству одну метрику с правом вето и порогом. Например: самые долгие ответы (95-й перцентиль) стали медленнее больше чем на 20%. Или грубых ответов стало больше, чем было.
Стоимость считают в пересчёте на успешную задачу. Допустим, ассистент делает 300 000 генераций в месяц. Вариант A стоит 0,3 цента за генерацию, то есть 900 USD, и решает 64% задач. Вариант B на модели крупнее стоит 1 цент, то есть 3 000 USD, и решает 70%. B даёт 18 000 дополнительных успешных задач за 2 100 USD, около 12 центов за каждую. Если успешная задача приносит меньше, выигрывает A.
Среднее по стоимости тоже врёт. В логах корпоративного LLM-агрегатора образовательной компании, которые разобрал на Хабре Илья Мартын в январе 2026 года, 20% пользователей давали 79,4% расходов. Средний расход на человека упал с 6,47 USD в сентябре до 3,67 USD в октябре. Поэтому стоимость смотрят по сегментам: тяжёлые пользователи способны съесть весь выигрыш от дешёвой модели.
Считать придётся регулярно: цена одних и тех же возможностей у моделей быстро падает. Вариант, который сегодня слишком дорог, через год может окупиться.
От гипотезы до раскатки
Путь варианта начинается с опровержимой гипотезы: «переход на модель B снизит галлюцинации и повысит успех задач без роста стоимости генерации». До показа пользователям фиксируют защитные меры: уровни безопасности, запасной сценарий, лимиты, мониторинг. Они определяют, когда всё останавливается, что бы ни происходило.
Офлайн-оценка отсеивает слабые варианты. Человеческая оценка решает то, чего метрики не видят. Затем идёт контролируемый A/B-тест. Каждый пользователь всё время видит один вариант, кеш не смешивает ответы разных вариантов, а случайность модели по возможности фиксируют. Результаты смотрят по сегментам. В анализе взвешивают сразу качество, поведение, стоимость и безопасность.
Раскатку ведут ступенями: 1%, 5%, 20%, 50% трафика. Правило остановки называют заранее, например: доля небезопасных ответов выше 0,5% на любой ступени означает откат без обсуждения. Раскатка цикл не закрывает. Дрейф и смена распределений требуют мониторинга и после релиза.
Три закономерности и четыре ошибки
Каждый продукт свой, но кое-что повторяется. Правку промпта ради ясного резюме проверяют по успеху задачи и стоимости: новая инструкция меняет длину ответа и число повторных генераций. Переход на крупную модель может прибавить креативности и тут же усилить галлюцинации. Это классический случай: среднее растёт, а защитная метрика требует отката.
Динамически собранный онбординг обычно сдвигает активацию сильнее правки статичного текста, потому что подстраивает первые шаги под намерение. Точные цифры зависят от базы. Переносить на свой продукт стоит направление компромисса.
Время тоже меняет картину. Краткосрочный эффект изменения может расходиться с долгосрочным: пользователи привыкают и меняют поведение. Поэтому генеративный тест держат хотя бы две-три недели и не останавливают на первой значимости.
Ошибки тоже повторяются, и у каждой есть лечение:
- опора только на субъективные оценки: добавить реальные поведенческие метрики;
- забытые риски безопасности: вынести отдельную safety-метрику в панель решения;
- только офлайн-тесты: проверять на реальном трафике до вывода;
- стоимость «потом»: считать цену генерации с первого эксперимента, до прихода счёта.
Сколько машинерии нужно команде из пяти человек?
Меньше, чем кажется. Стартапу хватит лёгкой оценки с фокусом на промптах и UX. Минимальный набор: эталонные 100-200 примеров, одна рубрика из трёх-четырёх критериев, успех задачи в онлайне и стоимость на успешную задачу. Компании на стадии scale-up уже нужны рубрики, процессы безопасности и стабильная система экспериментов. Крупной компании добавляются формальное управление рисками ИИ, комплаенс и единые эталонные наборы для сравнения команд.
Самый сильный довод против всей схемы: она медленная, а модели дешевеют быстрее, чем идёт тест. Довод верен для мелких правок промпта на той же модели, где хватит онлайн-теста с двумя защитными метриками. При смене модели он не работает: там цена ошибки выше цены недели оценки.
Уязвимее всего схема в момент, когда результаты уже пришли. Если порог регрессии и минимальную каппу назвали до запуска, спорить почти не о чем. Если их подбирают после, планка незаметно сдвигается под красивый прирост качества. Каппа ниже 0,6 до запуска означает одно: сначала чинят рубрику, потом тестируют модель.