A/B-Tests für generative KI: So trennen Sie echte Verbesserung vom Rauschen

Eine einzige geänderte Zeile in der Grundanweisung an das Modell (dem Systemprompt) kann Ton, Länge und Fehlerquote der Antworten verschieben. Klassische UX- oder Conversion-Tests sind dafür nicht gebaut. Sie sehen den Durchschnitt. Kosten, Wartezeit und die seltene gefährliche Antwort übersehen sie.

Generative Systeme antworten auf dieselbe Frage nicht immer gleich. Sie verändern sich mit der Zeit und beeinflussen das Verhalten der Nutzer, ohne dass es auffällt. Eine Conversion-Kennzahl reicht deshalb nicht. Erst Zahlen zusammen mit geordneter Bewertung durch Menschen zeigen, ob eine Verbesserung echt ist oder nur Zufall.

Warum ein Conversion-Test hier nicht reicht

Ein generatives Produkt erzeugt Inhalte erst im Moment der Anfrage, und Nutzer gehen dabei sehr unterschiedliche Wege. Das Experiment misst deshalb nicht nur die Qualität der Antworten. Es misst auch, wie Nutzer sie wahrnehmen, ob sie ihnen vertrauen, ob sie wiederkommen und was jede Antwort kostet.

Fünf Eigenschaften passen nicht zum klassischen Test:

• Die Antworten schwanken. Dieselbe Frage bringt unterschiedliche Ergebnisse. Zwei Nutzer derselben Variante erleben Verschiedenes. Ein Durchschnitt aus einer Antwort pro Nutzer täuscht.
• Qualität ist Ansichtssache. Richtigkeit, Ton, Kreativität und Nutzen hängen davon ab, was der Leser will. Ein einziges Etikett „richtig“ gibt es nicht.
• Die Kosten schwanken stark. Kosten und Wartezeit werden deshalb zusammen mit der Qualität gemessen, nicht erst danach.
• Das Verhalten ändert sich. Nutzer lernen mit der Zeit, dem System zu vertrauen oder zu misstrauen. Das verschiebt spätere Kennzahlen um Wochen.
• Sicherheit bleibt entscheidend. Ein neues Modell kann die Qualität im Schnitt heben und zugleich mehr Fakten erfinden.

Deshalb wird das klassische Framework erweitert: um den direkten Vergleich zweier Antworten, um Bewertungsraster und um eine geordnete Prüfkette.

Die Schwankung treibt auch die Zahl der nötigen Nutzer nach oben. Nehmen wir an, Nutzer lösen 55 Prozent ihrer Aufgaben, und der Test soll ein Plus von 4 Prozentpunkten erkennen. Die Faustregel ergibt 16 × 0,55 × 0,45 / 0,04², also rund 2.480 Nutzer pro Gruppe. Weil generative Antworten zusätzlich streuen, plant man 20 bis 30 Prozent mehr ein.

Vier Arten generativer Experimente

Generative Experimente lassen sich in vier Arten teilen. Jede braucht unterschiedlich viel Aufsicht.

Prompt-Experimente

Hier ändert man Ton, Länge, Aufbau, Grundanweisungen, Hintergrundinformationen und Suchanfragen im Prompt. Solche Tests sind billig und schnell und passen gut in die frühe Phase. Aber schon eine kleine Änderung am Prompt kann die Richtigkeit verschieben. Sie gilt deshalb als echte Änderung, nie als Kosmetik.

Modellversions-Experimente

Hier prüft man den Einsatz größerer oder neuerer Modelle, einen anderen Aufbau, ein speziell nachtrainiertes Modell gegen das Grundmodell oder neue Sicherheitsfilter. Diese Tests sind am riskantesten. Ein Modell, das im Schnitt „besser“ ist, kann bei bestimmten Nutzern oder Aufgaben schlechter werden.

Qualitäts-Experimente

Hier vergleicht man gezielte Verbesserungen: schlüssigere Begründungen, weniger erfundene Fakten, genauere Fakten, saubere Formatierung, bessere Zusammenfassungen. Das Urteil von Menschen wiegt hier mehr als jede automatische Kennzahl.

KI-gesteuerte UX-Experimente

Hier testet man Erlebnisse, die sich erst während der Nutzung zusammensetzen: automatisches Onboarding, Oberflächen, die sich anpassen, personalisierte Abläufe, Bedienung im Dialog. Gemessen werden, wie viele Nutzer aktiv werden, ob sie wiederkommen und wie zufrieden sie sind. Die einzelne Antwort ist zweitrangig.

Drei Prüfstufen, von billig zu teuer

Die Prüfkette hat drei Stufen, und ihr Wert liegt in der Reihenfolge. Jede Stufe siebt aus, bevor die nächste, teurere Stufe Geld und Zeit kostet.

1. Labortest. Automatische Kennzahlen, künstlich erzeugte Testfragen und Vergleichstests. Schwache Varianten fallen heraus, ohne dass ein einziger Nutzer sie sieht.
2. Bewertung durch Menschen. Mit Bewertungsrastern, dem direkten Vergleich zweier Antworten, einer Sicherheitsprüfung und der Frage, ob die Aufgabe gelöst wurde. Hier zeigt sich die Qualität, die keine Kennzahl erfasst.
3. Live-A/B-Test. Erst jetzt misst man echtes Verhalten, Wiederkehr, gefühlte Qualität und Kosten mit echten Nutzern.

Die menschliche Stufe zu überspringen ist die Abkürzung, die am teuersten wird. Die menschliche Stufe ist allerdings langsam. Das erklärt, warum eine Zwischenstufe immer beliebter wird.

Ein Modell als Richter siebt vor, entscheidet aber nicht

Immer mehr Teams lassen zwischen Labortest und Menschen ein Modell die Antworten bewerten. Lianmin Zheng und Kollegen zeigten 2023 in ihrer Studie zu MT-Bench und Chatbot Arena: Ein starker Modell-Richter stimmt etwa so oft mit Menschen überein wie Menschen untereinander. Als schneller erster Filter taugt er also.

Dieselbe Arbeit nennt auch die Schwächen eines Modell-Richters:

• Er bevorzugt eine Position. Tauschte man die Reihenfolge der beiden Antworten, blieb eines der getesteten Modelle (Claude-v1) nur in 23,8 Prozent der Fälle bei seinem Urteil. Deshalb spielt man beide Reihenfolgen durch.
• Er mag lange Antworten. Die längere gewinnt, auch wenn sie nichts Neues bringt.
• Er mag sich selbst. GPT-4 bewertete eigene Antworten um rund 10 Punkte Gewinnrate besser als Menschen.
• Er tut sich schwer mit Rechen- und Logikaufgaben.

In der Praxis heißt das: Der Modell-Richter siebt vor, die Reihenfolge wird gemischt, eine Musterantwort liegt bei, und die letzte Entscheidung trifft ein Mensch. Es lohnt sich trotzdem. Bewertungen ohne Zeitdruck passen gut zur Batch-API von OpenAI. Sie ist 50 Prozent günstiger, wenn Ergebnisse bis zu 24 Stunden warten dürfen.

Wortüberlappung und Kappa: was die Zahlen wirklich messen

Die klassischen Textkennzahlen stammen aus der maschinellen Übersetzung und dem automatischen Zusammenfassen. Sie messen, wie viele Wörter eine Antwort mit einer Musterantwort teilt. Ob die Antwort nützlich oder sachlich richtig ist, messen sie nicht. Eine inhaltlich falsche Antwort kann dabei trotzdem gut abschneiden.

Wie einig sich zwei Bewertende sind, egal ob Mensch oder Modell, misst man mit Kennzahlen, die zufällige Übereinstimmung herausrechnen: Cohens Kappa oder Krippendorffs Alpha. Die Formel für Kappa passt in eine Zeile:

κ = (beobachtete Übereinstimmung minus Zufallsübereinstimmung) / (1 minus Zufallsübereinstimmung)

Angenommen, zwei Bewertende prüfen 240 Antworten mit „akzeptabel“ oder „nachbessern“. Jede Person nennt 75 Prozent akzeptabel, in 82 Prozent der Fälle urteilen sie gleich. Die Zufallsübereinstimmung beträgt 0,75 × 0,75 + 0,25 × 0,25, also 0,625. Kappa ergibt (0,82-0,625) / 0,375, rund 0,52. Das ist nur eine mäßige Übereinstimmung. Die 82 Prozent klangen nach deutlich mehr.

Vier Gruppen von Kennzahlen, und keine darf eine andere verdecken

Die Bewertung hat mehrere Seiten. Vier Gruppen hält man besser getrennt:

• Qualität: Stimmen die Fakten, passt die Antwort zur Frage, ist sie schlüssig, stimmt der Ton, wie oft erfindet das Modell etwas? Der direkte Vergleich zweier Antworten ist hier oft verlässlicher als Punktwerte.
• Verhalten: Werden Nutzer aktiv, lösen sie ihre Aufgabe, kommen sie wieder, wie lange bleiben sie? Dazu Zeichen von Vertrauen oder Misstrauen: Nutzer bearbeiten die Antwort, lehnen sie ab oder greifen auf den alten Weg zurück.
• Effizienz: Kosten pro Antwort, Wartezeit, Rechenlast, wie viele Anfragen das System schafft.
• Sicherheit: beleidigende Sprache, das Befolgen gefährlicher Anweisungen, das Abgleiten in heikle Themen, Regelverstöße.

Ein Qualitätsgewinn, der die Sicherheit verschlechtert oder die Kosten hochtreibt, ist keine Verbesserung.

Die Kosten rechnet man auf den Aufgabenerfolg um. Ein Rechenbeispiel mit ausgedachten Nettowerten: Ein Assistent erzeugt 120.000 Antworten im Monat. Variante A kostet 0,5 Cent je Antwort, also 600 Euro, und löst 66 Prozent der Aufgaben. Variante B auf einem größeren Modell kostet 1,5 Cent, also 1.800 Euro, und löst 72 Prozent. B bringt 7.200 zusätzliche gelöste Aufgaben für 1.200 Euro, knapp 17 Cent je zusätzlicher Lösung. Ist eine gelöste Aufgabe weniger wert, gewinnt A.

Diese Rechnung veraltet schnell, denn der Preis für die gleiche Leistungsfähigkeit fällt von Jahr zu Jahr deutlich. Eine Variante, die heute zu teuer ist, kann in einem Jahr die bessere Wahl sein.

Von der Prompt-Variante zur belastbaren Entscheidung

Der Weg einer Variante beginnt mit einer Hypothese, die sich widerlegen lässt: „Modell B erfindet weniger Fakten und löst mehr Aufgaben, ohne dass die Kosten pro Antwort steigen.“ Vor der ersten Auslieferung stehen die Leitplanken fest: Sicherheitsfilter, ein Plan B, wenn das Modell versagt, Grenzwerte und Überwachung. Sie legen fest, wann alles stoppt, egal was sonst passiert.

Der Labortest filtert schwache Kandidaten heraus. Die Bewertung durch Menschen (A gegen B, Raster, Fakten- und Sicherheitsprüfung) klärt, was Kennzahlen nicht sehen. Danach folgt der A/B-Test. Dabei bleiben die Gruppen stabil, Zwischenspeicher und Zufallseinstellungen werden wo möglich festgehalten, und man wertet nach Nutzergruppen getrennt aus. Die Auswertung wägt Qualität, Verhalten, Kosten und Sicherheit gemeinsam ab.

Eine deutsche Besonderheit betrifft die Bewertungsdaten selbst. Protokolle von Fragen und Antworten, die Menschen bewerten, enthalten oft personenbezogene Daten. Nach der DSGVO müssen Zweck und Speicherdauer dokumentiert sein. Vor der Bewertung werden die Protokolle pseudonymisiert, also Namen und andere direkte Kennungen ersetzt.

Ausgerollt wird in Stufen, etwa für 1, 5, 20 und 50 Prozent der Nutzer. Für jede Stufe steht vorher fest, wann abgebrochen wird. Mit dem Rollout ist die Arbeit nicht vorbei. Das Modell und die Fragen der Nutzer verändern sich weiter, deshalb braucht es auch nach dem Start Überwachung.

Muster, Fehler und die Grenzen menschlicher Urteile

Jedes Produkt ist anders, aber manche Muster kehren wieder. Ein Prompt, der klarere Zusammenfassungen liefert, hilft meist beim Lösen von Aufgaben. Die Kosten können sich trotzdem ändern, weil eine neue Anweisung mehr oder weniger Text erzeugt. Ein größeres Modell kann kreativer werden und zugleich mehr erfinden. Der Durchschnitt steigt, aber die Leitplanke erzwingt die Rücknahme. Ein Onboarding, das sich an die vermutete Absicht des Nutzers anpasst, bewegt die Aktivierung meist stärker als jede Änderung an festem Text.

Die genaue Zahl hängt von den eigenen Nutzern ab. Übertragbar ist die Richtung des Zielkonflikts.

Vier Fehler tauchen immer wieder auf, jeder mit seiner Korrektur:

• das subjektive Urteil über Qualität zu hoch gewichten: mit echtem Nutzerverhalten verbinden;
• Rückschritte bei der Sicherheit übersehen: eine Sicherheitskennzahl in die Entscheidung aufnehmen;
• nur im Labor testen: vor jedem Schluss mit echten Nutzern prüfen;
• Kosten nicht durchrechnen: die Kosten pro Antwort vom ersten Experiment an messen.

Auch das Urteil von Menschen kann leise täuschen. Bewertende sind sich selten völlig einig, und selbst bei einem guten Modell muss ein Teil der Antworten nachgebessert werden. Ob die Bewertung einen dauerhaften Wert anzeigt, zeigt sich besser daran, ob Nutzer über Wochen wiederkommen. Eine einzelne Bewertung nach einem Besuch ist oft von der Neugier auf das Neue geschönt. Das Mindest-Kappa und der Anteil brauchbarer Antworten stehen vor dem Start fest. Sonst verschiebt sich die Latte, sobald die Ergebnisse da sind.

Was in der frühen Phase gilt und was später

Wie viel Aufwand sinnvoll ist, hängt von der Größe des Unternehmens ab. Ein Startup fährt am besten mit einer leichten Prüfkette für Prompt- und UX-Änderungen, ohne Apparat, den es nicht pflegen kann. Ein schnell wachsendes Unternehmen braucht feste Bewertungsraster, Sicherheitsabläufe und eine stabile Plattform für Experimente. Ein Konzern ergänzt klare KI-Zuständigkeiten, Compliance-Prozesse und einheitliche Testdatensätze, damit sich Experimente verschiedener Teams vergleichen lassen.

Bleibt die Frage nach dem Tempo: Modelle werden schneller billiger, als eine dreistufige Prüfung dauert. Bei einer kleinen Änderung am Prompt für dasselbe Modell reicht deshalb ein Live-Test mit zwei Leitplanken. Beim Wechsel des Modells lohnt sich die volle Prüfung, denn ein Fehler kostet dort mehr als eine Woche Arbeit.

Wer mit wenig Budget startet, setzt an der billigsten Stelle an. Ein Modell-Richter mit gemischter Reihenfolge und eine Kappa-Messung gegen 200 von Menschen bewertete Antworten kosten wenig. Liegt Kappa unter 0,6, wird zuerst das Bewertungsraster repariert und erst danach das Modell getestet.