Ausgabe 01 · Oktober 2026
Architektur

RAG oder langer Kontext: Was wann trägt

Beide Ansätze bringen Wissen ins Modell. Sie lösen aber verschiedene Probleme, und die Wahl entscheidet über Kosten, Tempo und Genauigkeit.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 6 Min. Lesezeit

Kurz gesagtRAG holt vor jeder Antwort passende Textstücke aus einem Index und gibt nur diese ins Modell. Langer Kontext legt große Textmengen direkt in den Prompt. RAG skaliert besser und ist billiger pro Frage, langer Kontext ist einfacher und besser bei Fragen, die das ganze Dokument verbinden.

Zwei Wege zum selben Ziel

Ein Sprachmodell weiß nur, was in seinem Training steckte und was im aktuellen Prompt steht. Firmenwissen, aktuelle Dokumente oder dein Notizarchiv gehören nicht dazu. Du musst es hineinbringen.

Bei RAG (Retrieval-Augmented Generation) durchsucht ein Index vor jeder Frage deine Dokumente und liefert die passendsten Abschnitte. Nur diese landen im Prompt. Beim langen Kontext gibst du das ganze Material gleich mit, soweit es in das Kontextfenster passt.

Wo RAG stark ist

RAG spielt seine Stärken aus, wenn die Wissensbasis groß ist, sich oft ändert oder Quellen belegt werden müssen. Du bezahlst pro Frage nur für wenige Textstücke, kannst Treffer mit Quellenangabe anzeigen und den Index jederzeit aktualisieren, ohne etwas neu zu trainieren.

Die Schwäche sitzt im Suchschritt. Findet der Index die richtige Stelle nicht, hat das Modell nichts, womit es antworten kann, und rät oder weicht aus. Gute Aufteilung der Texte, brauchbare Metadaten und eine Kombination aus Stichwort- und Bedeutungssuche entscheiden hier mehr als das Modell.

Wo langer Kontext stark ist

Passt das Material in das Fenster, ist der lange Kontext der einfachere Weg. Es gibt keinen Index zu pflegen und keinen Suchschritt, der etwas übersieht. Besonders gut klappt das bei Fragen, die über ein ganzes Dokument gehen, etwa 'Wo widerspricht sich dieser Vertrag?' oder 'Fasse die Argumentation zusammen'.

Der Preis: Du zahlst bei jeder Anfrage für den gesamten Text, und die Antwort kommt langsamer. Dazu kommt, dass Modelle Informationen mitten in sehr langen Texten teils schlechter nutzen als am Anfang oder Ende. Wer sich darauf verlässt, sollte es mit eigenen Daten testen.

Eine Faustregel

Ein Dokument oder wenige, einmalige Fragen: langer Kontext. Viele Dokumente, häufige Fragen, laufende Änderungen oder Pflicht zur Quellenangabe: RAG. In der Praxis mischen viele Teams beides, etwa RAG zum Eingrenzen und dann einen großzügigen Kontext für die gefundenen Dokumente.

Entscheiden solltest du nicht nach Gefühl, sondern mit einer kleinen Testmenge echter Fragen. Mehr dazu im Beitrag über Evals.

Artikel teilen

Häufige Fragen

Ersetzt ein großes Kontextfenster RAG?

Nicht vollständig. Für kleine bis mittlere Materialmengen reicht es oft. Bei großen, wechselnden Beständen bleiben RAG wegen Kosten, Tempo und Quellenbelegen die bessere Wahl.

Was kostet RAG im Betrieb?

Es fallen Kosten für Indexierung, Speicher und die Modellaufrufe an. Pro Frage ist es meist günstiger als ein voller Kontext, weil nur wenige Textstücke übergeben werden.

Kann RAG Halluzinationen verhindern?

Es senkt sie, weil das Modell Belege vor sich hat. Ganz verhindern kann es sie nicht. Das Modell kann Quellen falsch lesen oder bei fehlenden Treffern trotzdem antworten.

Weiterlesen