A/B-Testing für KI-Produkte: Qualität, Kosten und Risiko prüfen

Wer einen neuen Button testet, ändert genau eine Sache und liest das Ergebnis an ein paar stabilen Kennzahlen ab. Bei einem KI-Produkt reicht das nicht mehr. Ein KI-System gibt auf dieselbe Frage nicht immer dieselbe Antwort: Es liefert probabilistische Ausgaben, also Antworten, die vom Zufall mitbestimmt sind. Es lernt aus neuen Daten und reagiert je nach Situation und Eingabe (dem Prompt) anders. Eine Variante kann die Qualität der Antworten um einige Prozentpunkte heben und gleichzeitig die Kosten pro Anfrage verdreifachen.

Ein KI-Experiment muss deshalb mehreres zugleich prüfen: Wie gut ist das Modell? Hat der Nutzer etwas davon? Greifen die Schutzregeln? Wird das Modell mit der Zeit schlechter? Und was kostet jede Antwort? Der Produktmanager verbindet diese Prüfungen zu einer einzigen Entscheidung. Sie einzeln abzuhaken und am Ende auf ein stimmiges Bild zu hoffen, reicht nicht.

Erst die Hypothese, dann die Nutzer

Ein KI-Experiment beginnt mit einer klaren Hypothese. Sie verbindet drei Ebenen. Auf der Modellebene steht, was besser werden soll: genauere Antworten, weniger erfundene Fakten (sogenannte Halluzinationen), besseres Verständnis, schnellere oder sicherere Antworten. Auf der Erlebnisebene steht, was sich dadurch für den Nutzer ändert: passendere Empfehlungen, weniger Hürden, genauere Hilfe.

Auf der Nutzerebene steht der messbare Effekt: mehr abgeschlossene Aufgaben, Nutzer, die länger bleiben, schneller erster Nutzen, mehr Käufe. Fehlt eine Ebene, misst man eine Antwort, ohne zu wissen, ob sie überhaupt etwas bewirkt.

Vor dem Start gehören auch die typischen KI-Fehler auf die Liste: erfundene Antworten, unpassende Inhalte, Antworten am Thema vorbei, längere Wartezeiten, falsche Entscheidungen des Modells und Kostenspitzen durch lange Eingaben. Genau aus diesen Risiken werden später die Leitplanken, also die Grenzen, die nicht überschritten werden dürfen.

Aus den Risiken ergibt sich der Aufbau des Tests:

Für die meisten Fälle reicht ein klassischer A/B-Test.
Bei mehreren Modellversionen hilft ein A/B/C-Test.
Bei riskanten Funktionen sieht nur ein Teil der Nutzer die neue Variante, etwa nur dann, wenn das Modell sich sicher ist.
Für stark personalisierte Systeme eignen sich sogenannte Multi-Armed-Bandits. Sie schicken automatisch mehr Nutzer zur Variante, die gerade besser abschneidet.
Bei neuen Modellen lohnt je nach Risiko ein Schattentest als Vorstufe. Das neue Modell rechnet dabei im Hintergrund mit, aber kein Nutzer sieht seine Antworten.

Vier Gruppen von Kennzahlen, und eine davon hat ein Veto

Eine einzige Kennzahl reicht hier nicht. Jede Gruppe beantwortet eine andere Frage.

Modellqualität: Wie oft liegt das Modell richtig? Fachleute messen das mit Werten wie Accuracy, Precision, Recall und F1. Dazu kommen Relevanz, wie oft und wie schwer das Modell Fakten erfindet, welche Art von Fehlern es macht, ob seine Selbstsicherheit zur Trefferquote passt und wie schnell es antwortet.

Stabilität: Bleibt ein Modell, das heute gut ist, auch morgen gut? Warnzeichen sind veränderte Eingabedaten, langsam sinkende Genauigkeit und schwankende Selbstsicherheit. Fachleute nennen das Drift.

Nutzerverhalten: Hier liegt der eigentliche Wert. Gemessen werden Nutzung, Käufe, Wiederkehr, erledigte Aufgaben, erfolgreiche Suchen und Zufriedenheit.

Wirtschaftlichkeit: Was kostet jede Antwort? Das hängt von der Länge der Eingabe, der Zahl verarbeiteter Textbausteine (Tokens), den Abfragen in der Wissensdatenbank und der Rechenleistung ab. Im Test wirken diese Kosten oft harmlos. Unter echter Last können sie explodieren.

Für die Freigabe sortiert man die Kennzahlen in drei Stufen:

Hauptkennzahlen entscheiden: Nutzen für den Nutzer, Käufe, Wiederkehr.
Erklärende Kennzahlen zeigen das Warum: Trefferquote, erfundene Antworten, Antwortzeit.
Leitplanken haben ein Veto: Sicherheit, Fairness, Kostengrenzen, rechtliche Vorgaben, Stabilität.

Kein Plus bei den Hauptkennzahlen rechtfertigt es, eine Leitplanke zu reißen.

Die Zielkonflikte muss man einzeln benennen, ein Durchschnitt verwischt sie. Genauigkeit kostet Zeit. Relevanz kostet Geld. Mehr Abdeckung bringt mehr Risiko. Mehr Personalisierung kann unfair werden. Welche Metrik am Ende dominiert, hängt vom Produkt ab. In automatischen Arbeitsabläufen sind erfundene Antworten besonders gefährlich. In Empfehlungssystemen zählt zuerst die Relevanz. In Unternehmenssoftware gehen Sicherheit und Recht vor, bei knappen Margen die Kosten pro Antwort.

Im Labor prüft man das Können, live das Verhalten

Beide Tests sind nötig, und sie beantworten verschiedene Fragen. Sie zu verwechseln ist der häufigste Fehler.

Der Labortest (Offline-Evaluation) prüft das Modell vor dem Live-Test. Man lässt es auf Daten mit bekannten richtigen Antworten laufen, zählt erfundene Fakten, misst die Relevanz, versucht es gezielt mit bösartigen Eingaben aus der Spur zu bringen, prüft die Sicherheit und schätzt die Kosten. Was echte Nutzer tun, sieht man dabei nicht.

Erst der Live-A/B-Test zeigt die Wirkung unter echten Bedingungen: wechselnde Nutzer, seltene Sonderfälle, Vertrauen, Wirkung auf den ganzen Kaufprozess, Kostenspitzen und die echte Wartezeit unter Last. Die Wartezeit wiegt schwerer, als Labortests vermuten lassen. Ein Modell, das eine Sekunde länger rechnet, verliert Nutzer, bevor seine bessere Antwort überhaupt erscheint. Ein Gewinn im Labor wird deshalb nicht automatisch zum Gewinn fürs Geschäft.

Verschwindet ein Laborgewinn im Live-Test, liegt es meist an einem dieser Punkte:

Das Modell versteht nicht, was Nutzer wirklich wollen.
Echte Nutzer stellen andere Fragen als die Testdaten.
Die Oberfläche macht es Nutzern schwer.
Es fehlt eine Erklärung, warum das Modell so antwortet.
Die Regel, wer die neue Variante sieht, funktioniert nicht richtig.

Diese Abweichung zu verstehen bringt mehr, als den Test blind zu wiederholen.

Wie viele Nutzer der Test braucht, berechnet man vorher. Ein Beispiel: 60 Prozent der Nutzer schließen ihre Aufgabe ab, und der Test soll ein Plus von 3 Prozentpunkten sicher erkennen. Die Faustregel n ≈ 16 × p × (1-p) / δ² ergibt dann 16 × 0,6 × 0,4 / 0,03², also etwa 4.270 Nutzer pro Gruppe. KI-Antworten schwanken stärker als ein klassisches Feature. Planen Sie deshalb 20 bis 30 Prozent mehr ein. Und rechnen Sie realistisch: Die meisten Varianten schlagen die Kontrolle nicht. Ein Testplan, der nur mit einem Gewinn rechnet, hat für den häufigsten Ausgang keine Antwort.

Was eine KI-Antwort kostet

Ein KI-Feature kann die Nutzung steigern und trotzdem die Marge drücken. Deshalb behandelt man die Kosten pro Antwort wie jede andere variable Kostenposition. Erst klärt man, was sie treibt. Dann legt man Grenzen fest. Dann prüft man, wie sie sich unter Last verhalten.

Die Kosten hängen vor allem davon ab, wie viel Text das Modell verarbeitet. Je mehr Hintergrundtext eine Eingabe mitschleppt, desto teurer wird jede Anfrage. Ein größeres Modell und eine komplizierte Eingabe brauchen mehr Rechenzeit. Abfragen in der Wissensdatenbank und mehrere Modelle hintereinander vervielfachen den Aufwand. Eine einzige Nutzerfrage löst dann im Hintergrund mehrere Aufrufe aus.

Warum die Kosten pro gelöster Aufgabe mehr sagen als die Kosten pro Anfrage, zeigt ein ausgedachtes Beispiel mit Nettowerten. Ein Mittelständler betreibt einen Service-Assistenten mit 50.000 Anfragen im Monat. Variante A kostet 0,6 Cent pro Anfrage, also 300 Euro. Sie löst 62 Prozent der Anliegen, das sind 31.000 Fälle. Variante B nutzt ein größeres Modell und kostet 2 Cent pro Anfrage, also 1.000 Euro. Sie löst 68 Prozent, das sind 34.000 Fälle.

B bringt 3.000 zusätzliche Lösungen für 700 Euro mehr. Das sind rund 23 Cent pro zusätzlich gelöstem Fall. Kostet ein Ticket, das ein Mensch bearbeitet, mehrere Euro, ist B klar im Vorteil. Ist eine Lösung weniger als 23 Cent wert, gewinnt A. Diese Schwelle gehört schon vor dem Test in die Freigabeunterlage.

Auch am Preis lässt sich drehen. Die großen Modellanbieter geben deutliche Rabatte, wenn Ergebnisse warten dürfen oder wenn sich wiederholende Teile der Eingabe zwischengespeichert werden. Naheliegend sind nächtliche Auswertungen und lange, gleichbleibende Grundanweisungen an das Modell. Beides gehört mit dem echten Preis in die Kostenrechnung des Tests.

Jeder Test braucht klare Kostengrenzen:

Kosten pro Anfrage;
Kosten pro gelöster Aufgabe;
Anteil der KI-Kosten am Umsatz;
ein eigenes Budget für Lastspitzen.

Vor dem Rollout setzen Sie das System gezielt unter Stress. Lastspitzen und große Aufträge von Firmenkunden zeigen, ob die Kosten gleichmäßig wachsen oder ab einem Punkt explodieren. Auch Missbrauch gehört in die Simulation. Sehr lange Eingaben und gezielte Angriffe über den Prompt treiben die Kosten hoch, ohne dass jemand etwas davon hat.

Regeln: DSGVO, KI-Verordnung und die Freigabeunterlage

Bei KI-Experimenten zählt nicht nur das Ergebnis, sondern auch der Weg dorthin. Vor dem Start prüfen Sie, ob die Inhalte sicher sind. Außerdem legen Sie fest, wie viel Verzerrung zulasten einzelner Gruppen höchstens erlaubt ist. Beides ist schriftlich festgehalten, bevor der erste Nutzer die Variante sieht. Klären Sie auch, woher die Daten für Training und Wissensdatenbank stammen und wo das Modell seine Antworten erklären können muss.

In Deutschland kommt der Datenschutz hinzu. Protokolle von Eingaben und Antworten enthalten oft personenbezogene Daten. Wie lange sie gespeichert und ob sie ausgewertet werden dürfen, regelt die DSGVO. Die Datenschutzbeauftragte sollte die Testprotokolle kennen, bevor sie entstehen. Welche Pflichten aus der EU-KI-Verordnung gelten, hängt von der Risikoklasse des Systems ab. Diese Einstufung sollte vor dem Test feststehen. Bei einem Assistenten, der Sachbearbeitern Vorschläge macht, lohnt eine zusätzliche Messgröße: Wie oft prüfen Menschen seine Vorschläge, und wie oft übernehmen sie sie ungesehen?

Prüfen Sie die Fairness für alle wichtigen Nutzergruppen. Sonst verdeckt ein gutes Gesamtergebnis, dass es für einzelne Gruppen schlechter geworden ist. In die Freigabeunterlage gehören Hypothesen, Bewertungskriterien, Risiken, Laborergebnisse, Kostengrenzen, Leitplanken und ein Plan für den Rückweg zur alten Version. Wird ein Ergebnis später angezweifelt, ist sie die Grundlage. Selbst bei guten Kennzahlen heißt es sofort Nein bei Verzerrungen, unsicheren Sonderfällen, Datenschutzrisiken oder schweren erfundenen Antworten.

Ausliefern, nachtrainieren oder verwerfen

Am Ende eines KI-Tests gibt es drei mögliche Ergebnisse. Die Kriterien stehen vor dem Start fest. So hängt die Entscheidung nicht davon ab, was das Team sich erhofft hat.

Ausliefern, wenn die Hauptkennzahlen steigen, das Modell besser ist als das alte, die Kosten pro gelöster Aufgabe stabil bleiben, keine Sicherheitsprobleme auftreten, das Modell stabil bleibt und Labor und Live-Test dasselbe zeigen.

Nachtrainieren, wenn das Modell langsam schlechter wird, mehr Fakten erfindet, die Kosten schwanken, die Relevanz je nach Nutzergruppe stark unterschiedlich ist oder Labor und Live-Test auseinanderlaufen.

Verwerfen, wenn eine Leitplanke reißt, Sicherheitsrisiken steigen, das Vertrauen sinkt, die Marge einbricht oder das Modell unter Last instabil wird.

Zwei Einwände hört man in der Praxis immer wieder. Erstens: Reichen Labortests nicht? Nein. Sie zeigen, was das Modell kann. Nur der Live-Test zeigt, wie Nutzer reagieren und was es wirklich kostet. Zweitens: Was, wenn eine Variante mehr Nutzung und mehr erfundene Antworten bringt? Dann reißt eine Leitplanke, und die Variante wird nicht ausgerollt, egal wie gut die Hauptkennzahl aussieht.

Bleibt der Aufwand. Für ein Team aus fünf Leuten wirken drei Stufen von Kennzahlen, ein Schattentest und eine Freigabeunterlage schwer. Der Einwand ist berechtigt. Für eine kleine Änderung am Prompt beim selben Modell reicht wirklich ein schlanker A/B-Test mit zwei Leitplanken: Kosten pro gelöster Aufgabe und Anteil erfundener Antworten. Bei jedem Wechsel des Modells gilt dagegen das volle Verfahren.

Am häufigsten geht die Reihenfolge an einer unscheinbaren Stelle schief. Die Obergrenze für die Kosten pro gelöster Aufgabe wird erst festgelegt, wenn die erste Variante schon gebaut ist. Dann richtet sie sich fast zwangsläufig danach, was diese Variante ohnehin kostet. Aus der harten Grenze wird eine nachträgliche Begründung. Wer die Zahl vor dem ersten Prompt aufschreibt, hat die wichtigste Leitplanke schon gesetzt.