LLM-Anwendungen im Produktivbetrieb evaluieren

Eine LLM-Funktion einmal vor dem Launch zu evaluieren, reicht nicht. Eingaben verändern sich, Nutzer formulieren Dinge auf neue Weise, und Modelle werden aktualisiert. Evaluierung muss deshalb zu einer kontinuierlichen Praxis mit zwei Hälften werden: Offline-Evaluierung, bevor eine Änderung ausgeliefert wird, und Online-Evaluierung, während sie läuft.

Beim erwarteten Verhalten beginnen

Bevor man Metriken auswählt, sollte man aufschreiben, was „gut“ für diese Funktion bedeutet. Für eine Zusammenfassungsfunktion könnte das heißen: inhaltlich treu zur Quelle, deckt die Kernpunkte ab, bleibt innerhalb einer Längengrenze und erfindet niemals Namen oder Zahlen. Jede dieser Aussagen wird zu etwas, das sich prüfen lässt.

Offline-Evaluierung: eine Regressionssuite für Verhalten

Eine Offline-Suite ist ein fester Datensatz aus Eingaben mit Erwartungen, der gegen eine Kandidatenkonfiguration (Modell, Prompt, Retrieval-Einstellungen) ausgeführt wird.

Art der Prüfung	Beispiel	Stärke
Deterministisch	Ausgabe entspricht einem Schema; Länge unter einer Grenze	Günstig, exakt, reproduzierbar
Referenzbasiert	Überschneidung oder Ähnlichkeit mit einer Referenzantwort	Nützlich, wenn es eine gute Referenz gibt
Modellgestützt	Ein Bewertungsmodell beurteilt Quellentreue anhand eines Bewertungsschemas	Skaliert auf offene Ausgaben
Menschliche Prüfung	Expertenbewertungen für eine Stichprobe	Referenz, um die anderen zu kalibrieren

Einige Praktiken machen die Suite vertrauenswürdig:

• Den Datensatz repräsentativ halten – mit Grenzfällen und bekannten früheren Fehlern, nicht nur dem Normalfall.
• Alles festschreiben, was das Ergebnis beeinflusst: Modellversion, Prompt-Version, Temperatur, Retrieval-Index.
• Modellgestützte Prüfungen kalibrieren, und zwar an einem Satz menschlicher Bewertungen – und diese Übereinstimmung erneut prüfen, wenn sich das Bewertungsmodell ändert.
• Gegen eine Baseline vergleichen, nicht nur gegen einen absoluten Schwellenwert. Die Frage lautet meist: Ist das besser oder schlechter als das, was heute ausgeliefert ist?

Online-Evaluierung: Signale aus echter Nutzung

Produktiver Traffic zeigt, was ein Offline-Set nicht abbilden kann. Nützliche Signale sind:

• Validierungsfehler und Fallbacks, die die Anwendung auslöst.
• Explizites Feedback (Bewertungen, Korrekturen) und implizites Feedback (erneutes Generieren, Abbrüche).
• Stichproben von Ausgaben, die asynchron mit denselben modellgestützten Prüfungen bewertet werden wie offline.
• Latenz und Kosten pro Anfrage – aus Nutzersicht ebenfalls Teil der Qualität.

Vorsicht beim Datenschutz: Vorab festlegen, welche Daten protokolliert werden dürfen, wie lange und wer sie einsehen kann.

Den Kreis schließen

Der wertvollste Schritt ist, Beobachtungen aus der Produktion in Offline-Testfälle zu überführen. Wird ein Fehler gefunden, kommt ein minimales, anonymisiertes Beispiel mit dem erwarteten Verhalten in den Datensatz. Mit der Zeit wird die Offline-Suite zu einem Protokoll all dessen, was das System gelernt hat, nicht zu tun.

Ein minimaler Ablauf

1. Erwartetes Verhalten als prüfbare Aussagen formulieren.
2. Einen kleinen, repräsentativen Datensatz aufbauen – einige Dutzend gut gewählte Beispiele schlagen Tausende zufällige.
3. Die Suite bei jeder Änderung an Prompt, Modell oder Retrieval in der CI ausführen und mit der Baseline vergleichen.
4. Signale aus der Produktion beobachten und Ausgaben stichprobenartig bewerten.
5. Fehler zurück in den Datensatz übernehmen.

Evaluierung macht ein LLM nicht deterministisch. Sie macht Änderungen an einem LLM-System beobachtbar und vergleichbar – und genau das brauchen technische Entscheidungen.