Warum Sprachmodelle halluzinieren

Plausibel ist nicht wahr

Ein Sprachmodell hat gelernt, welche Wörter in welchem Zusammenhang wahrscheinlich folgen. Daraus entsteht erstaunlich viel Wissen, aber es bleibt eine Wahrscheinlichkeitsrechnung. Ein Satz kann sich völlig richtig anhören und trotzdem falsch sein, weil er statistisch passt.

Besonders anfällig sind seltene Fakten: genaue Zahlen, Zitate, Aktenzeichen, Literaturangaben, Namen kleiner Organisationen. Je dünner die Datenlage im Training, desto eher füllt das Modell die Lücke mit etwas, das richtig klingt.

Typische Auslöser

Halluzinationen häufen sich, wenn die Frage eine falsche Annahme enthält, wenn Wissen nach dem Trainingsende gefragt ist oder wenn das Modell nicht 'weiß' sagen darf, weil der Prompt eine Antwort erzwingt. Auch lange Ketten aus mehreren Schritten verstärken das Problem, weil ein früher Fehler die späteren färbt.

Was wirklich hilft

Quellen binden: Gib dem Modell die Texte, aus denen es antworten soll, und verlange Belege mit Fundstelle. Das ist der Kern von RAG.

Raten verbieten: Eine klare Anweisung wie 'Wenn die Antwort nicht in den Quellen steht, sag das' senkt die Quote spürbar, ohne sie auf null zu bringen.

Gegenprüfen: Zahlen, Links und Zitate lassen sich maschinell prüfen. Ein Werkzeug, das eine URL aufruft oder eine Berechnung ausführt, ist verlässlicher als jede Formulierung im Prompt.

Wichtiges selbst lesen: Wo ein Fehler teuer wäre, gehört ein Mensch in die Schleife.

Was nicht hilft

Das Modell zu fragen 'Bist du sicher?' bringt wenig. Die Selbsteinschätzung ist selbst nur ein generierter Text, und manche Modelle ändern daraufhin richtige Antworten. Auch ein höherer Ton im Prompt ('Antworte nur mit Fakten!') ersetzt keine Quelle.