KIVerlässlichkeit
Warum Sprachmodelle halluzinieren
Erfundene Fakten sind kein Defekt, sondern eine Folge davon, wie diese Modelle arbeiten. Was dagegen hilft und was nicht.
Lesen →
Methode
Evals: Testen statt Bauchgefühl
Wie du in einer Stunde eine kleine Testmenge baust und damit Modelle, Prompts und Änderungen fair vergleichst.
Kurz gesagtEin Eval ist eine feste Sammlung von Beispielaufgaben mit erwarteter Antwort oder klarem Bewertungsmaßstab. Wer Änderungen an Prompt, Modell oder Aufbau gegen dieselbe Sammlung prüft, sieht Fortschritt und Rückschritt, statt nach Gefühl zu urteilen.
Das Problem mit dem Eindruck
Du änderst den Prompt, probierst drei Fragen aus, die Antworten wirken besser. Aber vielleicht hat sich bei zwanzig anderen Fragen etwas verschlechtert. Sprachmodelle antworten nicht deterministisch, und einzelne Beispiele täuschen leicht. Ohne feste Testmenge steuerst du im Nebel.
Eine kleine Testmenge bauen
Fang klein an. Sammle zwanzig bis fünfzig echte Fälle aus deinem Alltag: Fragen, die Nutzer wirklich stellen, Dokumente, die du wirklich verarbeitest. Halte zu jedem fest, was eine gute Antwort ausmacht. Bei Faktenfragen ist das eine Lösung, bei offenen Aufgaben eine Liste von Kriterien.
Nimm bewusst schwierige Fälle dazu: Fragen ohne Antwort in den Quellen, mehrdeutige Formulierungen, Randfälle. Dort zeigen sich Unterschiede am deutlichsten.
Bewerten
Bei klaren Antworten reicht ein automatischer Vergleich. Bei freien Texten kannst du ein zweites Modell als Prüfer einsetzen, das nach festen Kriterien bewertet. Das spart Zeit, hat aber eigene Schwächen. Ziehe daher regelmäßig Stichproben und lies selbst nach, ob Prüfer und Mensch übereinstimmen.
Als Gewohnheit
Lass die Testmenge bei jeder Änderung laufen und halte Ergebnisse fest. Ergänze neue Fehler aus dem Betrieb als Testfälle. So wächst mit der Zeit eine Sammlung, die dein Produkt wirklich abbildet, und Modellwechsel verlieren ihren Schrecken.
Häufige Fragen
Wie viele Testfälle brauche ich?
Für den Anfang genügen zwanzig bis fünfzig gut gewählte. Wichtiger als die Menge ist, dass sie echte und schwierige Fälle abdecken.
Kann ein Modell ein anderes bewerten?
Ja, mit klaren Kriterien. Prüfe die Bewertung aber stichprobenartig selbst, da auch Prüfermodelle Fehler machen und bestimmte Stile bevorzugen können.
Brauche ich dafür ein Framework?
Nicht zwingend. Eine Tabelle und ein kleines Skript genügen für den Einstieg. Frameworks lohnen sich bei wachsendem Umfang.
Weiterlesen
Lesen →
Grundlagen
Was ein KI-Agent wirklich ist
Ein Sprachmodell in einer Schleife, mit Werkzeugen und einem Ziel. Warum das mehr ist als ein Chatbot, und weniger als Magie.
Lesen →