Praxis

Fine-Tuning: wann es sich lohnt, wann Prompting reicht

Prompting, RAG oder Fine-Tuning? Was jeder Weg kann, was Fine-Tuning nicht kann (aktuelles Wissen) und wie die Kostenrechnung die Entscheidung trägt.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 3 Min. Lesezeit

Entscheidungsfluss als drei Kästen von links nach rechts: Prompting, RAG, Fine-Tuning; darunter steigende Balken für Aufwand und Kosten je Stufe.
Die drei Wege zu besseren Antworten: links schnell und billig, rechts dauerhaft und teuer. Fine-Tuning ist die letzte Stufe, nicht die erste. Eigene Darstellung. · Eigene Grafik (Redaktion)
Kurz gesagt
  • Die Reihenfolge ist fast immer: Erst besser prompten, dann Wissen per RAG beigeben, erst dann über Fine-Tuning nachdenken.
  • Fine-Tuning formt Verhalten: Stil, Format, Ton, feste Ausgabeschemata, Domänensprache. Aktuelles oder nachschlagbares Wissen gehört nicht ins Training, sondern in den Kontext.
  • Parameter-effiziente Verfahren (PEFT) senken die Einstiegshürde massiv: LoRA trainiert am Beispiel GPT-3 175B etwa 10.000-mal weniger Parameter bei einem Drittel des GPU-Speichers [4].
  • Ohne eigene Prüfmenge vorher und nachher ist Fine-Tuning ein Blindflug; OpenAI und Google empfehlen ausdrücklich, Prompt-Engineering und Retrieval zuerst auszuschöpfen [1][5].

„Sollen wir ein Modell auf unsere Daten trainieren?“ ist eine der teuersten Fragen, die Teams vorschnell mit Ja beantworten. Dieser Text ordnet die drei Wege ein, ein Sprachmodell an die eigene Aufgabe zu bringen: Prompt-Engineering, RAG und Fine-Tuning. Am Ende steht eine Entscheidungsregel, mit der Sie den eigenen Fall einordnen können.

Drei Wege, drei Aufgaben

Prompting kostet kein Training: Kontext, Beispiele und Regeln wandern direkt in die Anfrage. Es ist der schnellste Hebel und der richtige Startpunkt; OpenAIs Leitfaden zum Fine-Tuning empfiehlt ausdrücklich, Prompt-Engineering, das Aufbrechen komplexer Aufgaben und das Mitgeben von Werkzeugen zuerst auszuschöpfen, weil viele Probleme damit bereits gelöst sind [1]. RAG bringt aktuelles, nachschlagbares Wissen bei: Eine Suche findet passende Textstücke, das Modell antwortet mit ihnen. Das Wissen bleibt aktualisierbar und zitierfähig, ohne je die Gewichte anzufassen. Fine-Tuning schließlich verändert die Gewichte selbst und damit das dauerhafte Verhalten des Modells [1][5].

Die drei Wege im Vergleich (Einordnung der Redaktion nach [1][5])
KriteriumPromptingRAGFine-Tuning
Was es ändertAnweisung pro AnfrageKontext pro AnfrageGewichte des Modells
Gut fürStil, Struktur, einfache Regelnaktuelles, großes, zitierfähiges Wissenfestes Format, Ton, Domänensprache
AktualisierungsofortDokument austauschenneues Training nötig
Kostennur laufende TokenSuche plus längere Promptseinmalig Training, dann Betrieb
RisikoPrompt wird lang und widersprüchlichfalsche Treffer vergiften die AntwortOverfitting, Catastrophic Forgetting

Was Fine-Tuning kann und was nicht

Die belastbare Faustregel: Fine-Tuning formt das Wie, nicht das Was. Es eignet sich, um ein festes Ausgabeformat durchzusetzen (etwa immer valides JSON in einem bestimmten Schema), einen bestimmten Ton oder Stil, das Befolgen fester Regeln oder die Sprache einer Domäne [1]. Googles Dokumentation zum Abstimmen von Modellen beschreibt denselben Zweck: Das Modell an wiederkehrende Aufgaben und gewünschte Ausgabemuster anpassen [5]. Was Fine-Tuning nicht zuverlässig leistet: dem Modell neues, veränderliches Faktenwissen beizubringen. Wissen, das sich ändert oder belegt werden muss, gehört in den Kontext, also in RAG; im Training würde es eingefroren, und das Modell kann Quellen dafür nicht nennen.

Die Kostenfrage: voll oder parameter-effizient

Volles Fine-Tuning aller Gewichte ist bei großen Modellen kaum noch praktikabel. Parameter-effiziente Verfahren (PEFT) trainieren nur einen kleinen Zusatz: LoRA friert die Originalgewichte ein und lernt kleine niedrigrangige Matrizen dazu; am Beispiel von GPT-3 mit 175 Milliarden Parametern berichtet das Paper etwa 10.000-mal weniger trainierbare Parameter und rund ein Drittel des GPU-Speichers gegenüber vollem Training, bei gleichwertiger oder besserer Qualität auf den untersuchten Aufgaben [4]. QLoRA senkt den Speicher weiter, indem das Basismodell in 4 Bit eingefroren wird. Der PEFT-Überblick mit über 50 untersuchten Verfahren zeigt zugleich: Unter realen Bedingungen, also knappe Rechenzeit und wenige Optimierungsdurchläufe, ist ein sauber eingestelltes LoRA schwer zu schlagen [3]. Die PEFT-Bibliothek von Hugging Face fasst die Verfahren in einer einheitlichen Programmierschnittstelle zusammen [2].

Die Entscheidungsregel für die Praxis

  1. Problem schriftlich festnageln: Welche Antworten sind heute schlecht, und woran genau scheitern sie? Ohne diese Liste keine Entscheidung.
  2. Prompting ausschöpfen: Bessere Anweisung, wenige gute Beispiele (Few-Shot-Prompting), Aufgabe zerlegen. Scheitert es an fehlendem Wissen, weiter zu 3; scheitert es an Verhalten und Format, weiter zu 4.
  3. RAG prüfen: Ist das Wissen vorhanden, groß oder veränderlich? Dann Retrieval bauen und mit einer eigenen Prüfmenge messen.
  4. Erst jetzt Fine-Tuning erwägen: Bleibt ein Verhaltensproblem übrig (Format, Stil, Domänenton), lohnt ein kleiner LoRA-Lauf. Die Schritt-für-Schritt-Anleitung folgt auf der Seite LoRA-Fine-Tuning.
  5. Vorher und nachher messen: Dieselbe Prüfmenge gegen Basismodell und trainiertes Modell; ohne diesen Vergleich keine Freigabe, wie die Seite zu Evals beschreibt.

Häufige Fehler

  • Wissen trainieren statt beigeben: Preise, Öffnungszeiten oder Gesetzestexte ins Fine-Tuning zu legen friert sie ein; nach der nächsten Änderung lügt das Modell mit guten Manieren.
  • Zu wenige oder schlechte Beispiele: Die Datenqualität begrenzt das Ergebnis; der PEFT-Vergleich zeigt, dass ein kleiner sauberer Datensatz einen großen schlampigen schlägt [3].
  • Zu lange trainieren: Klassisches Overfitting, das Modell verliert Allgemeinwissen und bricht in Trainingsfloskeln aus.
  • Kein Baseline-Vergleich: Ohne Messung gegen das unveränderte Modell ist „fühlt sich besser an“ die einzige Evidenz, und die trügt.

Methode

Gelesen wurden am 20. Oktober 2026 der Fine-Tuning-Leitfaden von OpenAI, die Tuning-Dokumentation von Google Cloud, die PEFT-Dokumentation von Hugging Face sowie die Abstracts und Kernabschnitte des LoRA-Papers und des PEFT-Überblicks. Die LoRA-Kennzahlen (Faktor 10.000 bei den trainierbaren Parametern, ein Drittel des GPU-Speichers) stammen aus dem Abstract des LoRA-Papers [4].

Grenzen

Die Vergleichstabelle ist eine redaktionelle Einordnung, keine Messung; die Grenzen zwischen den drei Wegen verschwimmen in konkreten Projekten. Die genannten LoRA-Kennzahlen beziehen sich auf die im Paper untersuchten Modelle und Aufgaben und sind keine Garantie für eigene Fälle. Preise für Training und Betrieb ändern sich laufend und wurden bewusst nicht genannt.

Quellen

  1. Model optimization: Fine-tuning, OpenAI API-Dokumentation (abgerufen 2026-10-20) ↩1 ↩2 ↩3 ↩4 ↩5
  2. PEFT: Parameter-Efficient Fine-Tuning, Hugging Face Dokumentation (abgerufen 2026-10-20) ↩
  3. Lialin u. a.: Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning, arXiv:2303.15647 (2023/24) (abgerufen 2026-10-20) ↩1 ↩2
  4. Hu u. a.: LoRA: Low-Rank Adaptation of Large Language Models, arXiv:2106.09685 (ICLR 2022) (abgerufen 2026-10-20) ↩1 ↩2 ↩3
  5. Introduction to tuning, Google Cloud, Vertex AI (abgerufen 2026-10-20) ↩1 ↩2 ↩3 ↩4

Häufige Fragen

Wann lohnt sich Fine-Tuning überhaupt?

Wenn das Problem im Verhalten liegt, nicht im Wissen: ein festes Ausgabeformat, ein bestimmter Stil, Domänensprache oder das zuverlässige Befolgen fester Regeln. Und erst, nachdem Prompt-Engineering und, bei Wissensproblemen, RAG ausgeschöpft sind.

Kann Fine-Tuning meinem Modell aktuelles Wissen beibringen?

Nicht zuverlässig. Im Training wird Wissen eingefroren, das Modell kann keine Quelle nennen, und jede Änderung erfordert ein neues Training. Veränderliches oder belegpflichtiges Wissen gehört in den Kontext, also in RAG.

Was kostet Fine-Tuning?

Drei Posten: das Sammeln und Putzen der Beispieldaten (meist der größte Aufwand), das Training selbst (mit LoRA auf einer einzigen GPU machbar) und der danach höhere oder niedrigere Betrieb je nach Modellwahl. Eine Entscheidung ohne eigene Kostenrechnung und Prüfmenge ist nicht belastbar.

Was ist der Unterschied zwischen vollem Fine-Tuning und LoRA?

Volles Fine-Tuning verändert alle Gewichte und braucht entsprechend viel Speicher und Rechenzeit. LoRA friert das Modell ein und trainiert kleine Zusatzmatrizen: am Beispiel GPT-3 175B etwa 10.000-mal weniger trainierbare Parameter bei einem Drittel des GPU-Speichers, laut Paper bei gleichwertiger Qualität auf den untersuchten Aufgaben.

Wie viele Beispiele brauche ich?

Es gibt keine allgemeine Zahl. Die Anbieter-Dokumentationen zeigen Wirksamkeit ab wenigen Dutzend sehr guten Beispielen für Formatfragen; Domänenverhalten braucht mehr. Entscheidend ist die Qualität und Einheitlichkeit der Beispiele, nicht die reine Anzahl.

Weiterlesen