Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Was ein Token ist

Ein Token ist ein Textstück, oft ein halbes bis ganzes Wort. Deutsche Wörter zerfallen wegen ihrer Länge häufiger in mehrere Tokens als englische. Als grobe Orientierung gilt: Ein Token entspricht im Englischen etwa vier Zeichen, im Deutschen meist etwas weniger.

Abgerechnet wird getrennt nach Tokens in der Eingabe (Prompt samt mitgegebenem Material) und in der Ausgabe (die Antwort). Die Ausgabe ist pro Token in der Regel teurer.

Die vier Stellschrauben

Erstens: Prompt kürzen. Alles, was bei jeder Anfrage mitläuft, kostet jedes Mal. Lange Anweisungen und unnötiges Material summieren sich schnell.

Zweitens: Das passende Modell wählen. Einfaches Sortieren, Extrahieren oder Umformulieren schafft oft ein kleines Modell. Das große Modell brauchst du für das Schwierige.

Drittens: Wiederkehrendes zwischenspeichern. Viele Anbieter bieten Prompt-Caching, das den gleichen Anfang mehrerer Anfragen günstiger abrechnet. Details und Preise unterscheiden sich je Anbieter, schau in die aktuelle Preisliste.

Viertens: Agenten begrenzen. Jede Runde einer Agentenschleife schickt den bisherigen Verlauf erneut mit. Lange Läufe wachsen deshalb stärker als linear. Ein Schrittlimit und ein Budget pro Aufgabe schützen vor bösen Überraschungen.

Kontextfenster ist kein Freibrief

Dass ein Modell sehr viel Text aufnehmen kann, heißt nicht, dass du ihn jedes Mal senden solltest. Du zahlst für jedes Token, und die Antwortzeit steigt. Ein gut gewählter Ausschnitt schlägt oft das ganze Archiv.

Messen statt schätzen

Logge Tokenzahlen und Kosten pro Anfrage von Anfang an. Erst dann siehst du, welche Funktion den Großteil der Rechnung erzeugt, und kannst gezielt sparen. Viele Teams optimieren zuerst die falsche Stelle.