Glossar: KI-Begriffe, kurz erklärt

Kleines, zusätzlich trainiertes Modul, das auf ein eingefrorenes Basismodell aufgesetzt wird. LoRA-Gewichte sind eine Form davon.

In der Praxis: Ein Adapter für Juristendeutsch, ein anderer für Support-Antworten, dasselbe Basismodell.

Siehe auch: LoRA

Quellen: Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models

System, in dem ein Sprachmodell in einer Schleife Werkzeuge aufruft, Ergebnisse beobachtet und weitere Schritte wählt, bis ein Ziel erreicht oder abgebrochen wird. Die Grenze zu einfachen Workflows ist fließend.

In der Praxis: Ein Programm liest Fehlermeldungen, ändert Code, startet Tests und wiederholt das.

Artikel: Was ein KI-Agent wirklich istLong-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: WerkzeugaufrufReActTerminal-Bench

Quellen: Yao et al.: ReAct: Synergizing Reasoning and Acting in Language Models

Bei MoE-Modellen die Parameter, die für ein einzelnes Token tatsächlich gerechnet werden. Sie bestimmen Rechenaufwand pro Token, nicht den Speicherbedarf.

In der Praxis: 42 Mrd. aktiv von 816 Mrd. gesamt: Rechenaufwand wie ein 42B-Modell, Speicher wie ein 816B-Modell.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: Mixture of Experts (MoE)Parameter

Quellen: Meta: Muse Spark Open (Modellkarte)

Sammelbegriff für Verfahren und Forschung, die Modellverhalten an menschlichen Zielen und Vorgaben ausrichten. Er ist breit und wird unterschiedlich eng verwendet.

In der Praxis: Ablehnen schädlicher Anfragen und Befolgen von Anweisungen werden beide als Alignment-Ziele genannt.

Siehe auch: RLHFConstitutional AIRed Teaming

Quellen: Ouyang et al.: Training language models to follow instructions with human feedback · Bai et al.: Constitutional AI: Harmlessness from AI Feedback

Rechenschritt, der für jedes Token gewichtete Mittelwerte über andere Token bildet. Die Gewichte entstehen aus dem Vergleich von Anfragen (Queries) und Schlüsseln (Keys). Der Aufwand wächst bei der Standardform quadratisch mit der Kontextlänge.

In der Praxis: Bei 'Die Katze jagt die Maus, sie ...' gewichtet das Modell 'Katze' beim Wort 'sie' stärker.

Siehe auch: TransformerKontextfensterFlashAttentionKV-Cache

Quellen: Vaswani et al.: Attention Is All You Need

Modell nach dem Pretraining, das nicht speziell auf Dialog oder Anweisungen getrimmt ist. 'Foundation Model' betont, dass es als Grundlage für viele Anwendungen dient.

In der Praxis: Ein Basismodell eignet sich als Ausgangspunkt für eigenes Fine-Tuning.

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: Pretraining (Vortraining)Fine-Tuning

Quellen: Bommasani et al.: On the Opportunities and Risks of Foundation Models

Gleichzeitige Verarbeitung mehrerer Anfragen, damit Hardware besser ausgelastet ist. Erhöht den Durchsatz, kann aber die Latenz einzelner Anfragen erhöhen und den KV-Cache-Bedarf steigern.

In der Praxis: Acht Anfragen laufen in einem Rechendurchgang statt acht einzelner.

Siehe auch: DurchsatzLatenzKV-Cache

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Standardisierte Testaufgabe mit festem Bewertungsverfahren, um Modelle vergleichbar zu machen. Grenzen: Überanpassung, Kontamination, Abweichung von realer Nutzung.

In der Praxis: MMLU prüft Wissen in 57 Fächern mit Multiple Choice.

Artikel: Evals: Testen statt Bauchgefühl

Siehe auch: EvalsKontaminationPass-Rate

Quellen: Hendrycks et al.: Measuring Massive Multitask Language Understanding

Rechnerischer Durchschnittspreis pro Million Token aus Eingabe- und Ausgabepreis bei angenommenem Verhältnis. Das Verhältnis ist eine Annahme und muss offengelegt werden.

In der Praxis: Bei 3:1 Eingabe zu Ausgabe: (3 x Eingabepreis + 1 x Ausgabepreis) / 4 (eigene Konvention, wie in der LHTB-Analyse verwendet).

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigenTokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: TokenKosten pro gelöster Aufgabe

Quellen: Long-Horizon Terminal-Bench 2.0

Prompting, bei dem das Modell Zwischenschritte ausschreibt, bevor es die Antwort gibt. Verbesserte in der Originalarbeit die Leistung bei Rechen- und Logikaufgaben ausreichend großer Modelle. Die ausgeschriebenen Schritte sind nicht zwingend die tatsächliche interne Begründung.

In der Praxis: 'Denke Schritt für Schritt': Das Modell rechnet 17 x 24 über 17 x 20 + 17 x 4.

Siehe auch: Self-ConsistencyReasoning-Modell

Quellen: Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Ergebnis von Hoffmann et al.: Für ein festes Rechenbudget sollten Modellgröße und Trainingsdaten etwa gleich stark wachsen. Viele frühere Modelle waren demnach für ihre Größe zu wenig trainiert.

In der Praxis: Ein kleineres Modell mit mehr Trainingstoken schlug in dieser Arbeit ein größeres mit weniger.

Siehe auch: Scaling LawsParameter

Quellen: Hoffmann et al.: Training Compute-Optimal Large Language Models

Zerlegung von Dokumenten in Abschnitte, die einzeln indexiert und abgerufen werden. Größe und Überlappung beeinflussen die Trefferqualität.

In der Praxis: Ein Handbuch wird in Abschnitte von je ca. 500 Token geteilt.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: RAGEmbedding

Quellen: Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering

Ansatz von Anthropic, bei dem das Modell seine Antworten anhand schriftlicher Prinzipien kritisiert und überarbeitet und KI-Feedback die menschlichen Schadensbewertungen teilweise ersetzt.

In der Praxis: Das Modell prüft eine Antwort gegen einen Grundsatz wie 'keine Anleitung zu Gewalt' und schreibt sie um.

Siehe auch: RLHFAlignment

Quellen: Bai et al.: Constitutional AI: Harmlessness from AI Feedback

Ein kleines Modell (Schüler) wird darauf trainiert, die Ausgaben eines größeren (Lehrer) nachzuahmen. Ziel ist ein Modell, das billiger läuft, aber Teile der Leistung behält.

In der Praxis: Ein 8B-Modell lernt aus den Antwortverteilungen eines viel größeren Modells.

Siehe auch: ParameterFine-Tuning

Quellen: Hinton et al.: Distilling the Knowledge in a Neural Network

Verfahren zur Präferenzoptimierung ohne eigenes Belohnungsmodell und ohne Verstärkungslernen-Schleife: Das Sprachmodell wird direkt mit einem Verlust auf Antwortpaaren trainiert.

In der Praxis: Aus Paaren 'bevorzugt/abgelehnt' wird in einem Trainingsschritt ein Modell, das die bevorzugte Antwort wahrscheinlicher macht.

Siehe auch: RLHFInstruction Tuning

Quellen: Rafailov et al.: Direct Preference Optimization: Your Language Model is Secretly a Reward Model

Zahl der pro Zeiteinheit erzeugten Token, meist über alle Anfragen gesehen. Bestimmt die Kosten pro Token auf eigener Hardware.

In der Praxis: 1.500 Token pro Sekunde über alle parallelen Nutzer.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: LatenzBatching

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Zahlenvektor, der die Bedeutung eines Textes (oder Bildes) so abbildet, dass ähnliche Inhalte nahe beieinanderliegen. Grundlage der semantischen Suche.

In der Praxis: 'Auto' und 'Fahrzeug' liegen im Vektorraum näher beieinander als 'Auto' und 'Gurke'.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: VektordatenbankRAGKosinus-Ähnlichkeit

Quellen: Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Fähigkeiten, die bei kleinen Modellen kaum messbar sind und ab einer Größe plötzlich auftreten. Ob der Sprung real oder ein Effekt der Messmetrik ist, ist umstritten.

In der Praxis: Mehrstellige Addition liefert bei kleinen Modellen nahe null richtig und bei großen deutlich mehr (nach Wei et al.).

Siehe auch: Scaling LawsBenchmark

Quellen: Wei et al.: Emergent Abilities of Large Language Models

Eigener, wiederholbarer Test für die konkrete Anwendung: feste Eingaben, erwartete Kriterien, automatische oder menschliche Bewertung. Gegenstück zum Bauchgefühl.

In der Praxis: 50 echte Kundenanfragen mit Prüfregeln, bei jedem Modellwechsel erneut gelaufen.

Artikel: Evals: Testen statt Bauchgefühl

Siehe auch: Benchmark

Quellen: Terminal-Bench (Paper)

Dem Prompt werden einige Beispiele beigefügt, ohne dass Gewichte verändert werden. Das Modell erkennt das Muster und wendet es an. Dokumentiert in der GPT-3-Arbeit.

In der Praxis: Drei Beispiele für 'Satz -> Stimmung' im Prompt, dann ein vierter Satz zur Klassifikation.

Siehe auch: PromptFine-Tuning

Quellen: Brown et al.: Language Models are Few-Shot Learners

Weitertraining eines vortrainierten Modells auf eigenen Daten, um Stil, Format oder Fachwissen anzupassen. Es ändert Gewichte, im Gegensatz zu einem Prompt oder RAG, die nur die Eingabe verändern.

In der Praxis: Ein Modell wird mit 2.000 Beispielen interner Tickets nachtrainiert, damit es das Antwortformat der Firma trifft.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: LoRAInstruction TuningRAG

Quellen: Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models

Exakte Implementierung der Attention, die Datenbewegung zwischen Grafikspeicher und schnellem Chip-Speicher minimiert. Sie ändert das Ergebnis nicht, sondern beschleunigt die Berechnung und spart Speicher.

In der Praxis: Gleiche Ausgabe, kürzere Laufzeit bei langen Sequenzen.

Siehe auch: Attention (Aufmerksamkeit)Kernel

Quellen: Dao et al.: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Sammelbegriff aus der Forschung für Risiken, die entstehen, wenn viele Anwendungen auf wenigen Basismodellen beruhen: gemeinsame Fehler und Verzerrungen, Abhängigkeit von Anbietern.

In der Praxis: Ein Fehler im Basismodell tritt in allen darauf gebauten Produkten auf.

Siehe auch: Basismodell

Quellen: Bommasani et al.: On the Opportunities and Risks of Foundation Models

Verfahren zur nachträglichen (Post-Training-)Quantisierung großer Sprachmodelle auf wenige Bit pro Gewicht ohne erneutes Training.

In der Praxis: Ein Modell wird nach dem Training in einem einmaligen Durchlauf auf 4 Bit verkleinert.

Siehe auch: Quantisierung

Quellen: Frantar et al.: GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

Zusätzliche Kosten für eine zusätzliche Einheit Ergebnis. In der LHTB-Analyse: Mehrkosten pro zusätzlich gelöster Aufgabe beim Wechsel zum nächstbesseren Modell.

In der Praxis: Mehrkosten von 5.000 US-Dollar für eine Aufgabe mehr (eigene Rechnung aus den Paperdaten).

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Kosten pro gelöster Aufgabe

Quellen: Long-Horizon Terminal-Bench 2.0

Verankerung von Antworten in überprüfbaren Quellen, etwa durch Retrieval oder Werkzeuge. Verringert Halluzinationen, schließt sie aber nicht aus.

In der Praxis: Die Antwort enthält Fundstellen, die man öffnen kann.

Artikel: Warum Sprachmodelle halluzinierenRAG oder langer Kontext: Was wann trägt

Siehe auch: RAGHalluzination

Quellen: Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · Zhang et al.: A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

Vom Modell erzeugter Inhalt, der flüssig klingt, aber nicht zur Eingabe oder zu belegbaren Fakten passt. Die Forschung unterscheidet unter anderem Abweichung von der Quelle und Abweichung von Weltwissen.

In der Praxis: Ein erfundenes Zitat mit plausibler Quellenangabe.

Artikel: Warum Sprachmodelle halluzinieren

Siehe auch: GroundingRAGSycophancy

Quellen: Zhang et al.: A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

Anwendung eines trainierten Modells: Eingabe rein, Ausgabe raus. Gegenüber dem Training fallen Kosten pro Anfrage an, nicht einmalig.

In der Praxis: Jede Chat-Antwort ist eine Inferenz.

Artikel: Tokens, Kontext, Kosten: Rechnen mit SprachmodellenLokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: LatenzDurchsatzInferenz-Server

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Software, die Modelle für viele gleichzeitige Anfragen bereitstellt und dabei Batching und Speicher verwaltet. Beispiele aus den in KFB behandelten Quellen: vLLM und SGLang.

In der Praxis: Mehrere Nutzer teilen sich eine GPU; der Server bündelt ihre Anfragen.

Siehe auch: InferenzPagedAttentionBatching

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Feinabstimmung auf Paare aus Anweisung und gewünschter Antwort, damit ein Basismodell Anweisungen befolgt.

In der Praxis: Aus 'Fasse den Text zusammen: ...' und einer guten Zusammenfassung wird ein Trainingsbeispiel.

Siehe auch: Fine-TuningRLHFBasismodell

Quellen: Ouyang et al.: Training language models to follow instructions with human feedback

Eingabe, die Schutzmechanismen eines Modells umgeht und es zu Antworten bringt, die es eigentlich ablehnen soll. Benchmarks wie StrongREJECT messen, wie oft das gelingt.

In der Praxis: Ein Rollenspiel-Prompt, der eine Ablehnung aushebelt.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: Red TeamingAlignment

Quellen: Meta: Muse Spark Open (Modellkarte)

Kleines, für Grafikprozessoren geschriebenes Rechenprogramm für eine Operation, etwa Matrixmultiplikation oder Attention. Optimierte Kernel können Durchsatz stark erhöhen, ohne das Modell zu verändern.

In der Praxis: Ein neuer Attention-Kernel macht dasselbe Modell auf derselben Karte schneller.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: FlashAttentionInferenz

Quellen: Dao et al.: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Bereich, der bei wiederholter Stichprobenziehung den wahren Wert mit der angegebenen Häufigkeit (z. B. 95 Prozent) überdecken soll. Es misst die Stichprobenunsicherheit, nicht Fehler im Testdesign.

In der Praxis: Zwei Modelle mit überlappenden Intervallen sind statistisch nicht klar zu trennen.

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Wilson-IntervallPass-Rate

Quellen: Wikipedia: Binomial proportion confidence interval (Sekundärquelle)

Testdaten oder ihre Lösungen sind im Trainingsmaterial gelandet, die Ergebnisse überschätzen dann die Leistung. Manche Benchmarks hängen Kennzeichen an, damit Trainingsdaten sie ausfiltern können.

In der Praxis: Ein Benchmark-Datensatz liegt öffentlich im Netz und wird beim Crawlen mitgelesen.

Artikel: Evals: Testen statt BauchgefühlLong-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: BenchmarkMMLU

Quellen: Terminal-Bench (Paper)

Maximale Zahl an Token (Eingabe plus Ausgabe), die ein Modell in einem Durchgang berücksichtigen kann. Ein großes Fenster garantiert nicht, dass Informationen darin zuverlässig genutzt werden.

In der Praxis: Ein Fenster von 128.000 Token fasst grob ein kurzes Buch; wie gut das Modell Details in der Mitte findet, ist eine eigene Frage.

Artikel: RAG oder langer Kontext: Was wann trägtTokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: Lost in the MiddleKV-CacheRAG

Quellen: Liu et al.: Lost in the Middle: How Language Models Use Long Contexts

Maß für die Ähnlichkeit zweier Vektoren über den Winkel zwischen ihnen. Werte liegen zwischen -1 und 1. Häufig zum Vergleich von Embeddings genutzt.

In der Praxis: Zwei Texte mit Ähnlichkeit 0,92 gelten als thematisch nah, 0,2 als weit entfernt (Schwellen sind Konvention).

Siehe auch: Embedding

Quellen: Mikolov et al.: Efficient Estimation of Word Representations in Vector Space

Gesamtkosten eines Laufs geteilt durch die Zahl gelöster Aufgaben. Vergleichbarer als der Preis pro Token, weil Modelle unterschiedlich viele Token brauchen und unterschiedlich oft scheitern.

In der Praxis: 1.000 US-Dollar für 20 gelöste Aufgaben = 50 US-Dollar pro gelöster Aufgabe (eigene Rechnung als Beispiel).

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Blended PriceGrenzkosten

Quellen: Long-Horizon Terminal-Bench 2.0

Zwischenspeicher der Keys und Values aller bisherigen Token, damit beim Erzeugen jedes neuen Tokens nicht alles neu berechnet werden muss. Er wächst linear mit Kontextlänge und Zahl paralleler Anfragen und ist bei langen Kontexten oft ein Speicherengpass.

In der Praxis: Bei langen Kontexten kann der KV-Cache mehr Speicher belegen als die Gewichte selbst, abhängig von Modellbau und Batch-Größe.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeutenLokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: Attention (Aufmerksamkeit)PagedAttentionKontextfenster

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Wartezeit bis zur (ersten) Antwort. Bei Sprachmodellen unterscheidet man oft die Zeit bis zum ersten Token und die Geschwindigkeit der folgenden Token.

In der Praxis: Erstes Token nach 0,6 s, danach 40 Token pro Sekunde.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: DurchsatzInferenz

Quellen: Leviathan et al.: Fast Inference from Transformers via Speculative Decoding

Rechtliche Bedingungen für Nutzung, Weitergabe und Anpassung von Modellgewichten. Sie unterscheiden sich stark von klassischen Open-Source-Lizenzen und müssen im Wortlaut gelesen werden.

In der Praxis: Eine Lizenz erlaubt Forschung und Produktnutzung, schließt aber bestimmte Anwendungsfälle oder große Anbieter aus.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: Offene Gewichte

Quellen: Meta: Muse Spark Open (Modellkarte)

Sprachmodelle, die auf eigener Hardware statt in der Cloud laufen. Vorteile: Datenkontrolle und keine Token-Gebühren. Nachteile: Hardwarebedarf, Wartung, oft geringere Qualität als Spitzenmodelle.

In der Praxis: Ein quantisiertes 8B-Modell läuft auf einem Laptop mit 16 GB Speicher.

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: QuantisierungOffene GewichteInferenz-Server

Quellen: Jiang et al.: Mistral 7B

Benchmark mit sehr langen Terminal-Aufgaben, die viele Schritte und viel Zeit erfordern. Die KFB-Analyse bespricht die Version 2.0 und die Aussagekraft der Platzierungen.

In der Praxis: Eine Aufgabe, die Stunden dauert statt Minuten.

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Terminal-BenchZeithorizont (Time Horizon)

Quellen: Long-Horizon Terminal-Bench 2.0

Parameter-effizientes Fine-Tuning: Die Originalgewichte bleiben eingefroren, zusätzlich werden kleine Matrizen niedrigen Rangs trainiert. Das senkt Speicher- und Rechenbedarf gegenüber vollem Fine-Tuning deutlich.

In der Praxis: Statt 7 Mrd. Gewichte werden einige Millionen Adapter-Parameter trainiert und separat gespeichert.

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: QLoRAFine-TuningAdapter

Quellen: Hu et al.: LoRA: Low-Rank Adaptation of Large Language Models

Befund, dass Modelle Information am Anfang und Ende langer Eingaben oft besser nutzen als in der Mitte. Gemessen wurde das in Studien zu Frage-Antwort-Aufgaben und Schlüssel-Wert-Suche; Stärke und Verbreitung variieren je Modell.

In der Praxis: Dieselbe Antwort steht im Kontext an Position 1, 10 oder 20 von 20 Dokumenten; die Trefferquote hängt von der Position ab.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: KontextfensterRAG

Quellen: Liu et al.: Lost in the Middle: How Language Models Use Long Contexts

Offenes Protokoll, über das Anwendungen Werkzeuge und Datenquellen einheitlich für Modelle bereitstellen können. Details und Versionsstand gehören in die jeweils aktuelle Spezifikation.

In der Praxis: Ein MCP-Server stellt 'Dateien lesen' bereit; verschiedene Clients nutzen ihn gleich.

Artikel: Was ein KI-Agent wirklich ist

Siehe auch: WerkzeugaufrufAgent

Quellen: Model Context Protocol: Specification

Architektur, in der pro Token nur ein Teil der Teilnetze ('Experten') aktiv ist, gewählt von einem Router. So kann die Gesamtzahl der Parameter groß sein, während die Rechenkosten pro Token nur den aktiven Teil betreffen. Der Speicher muss aber alle Experten halten.

In der Praxis: Ein Modell mit 816 Mrd. Gesamt- und 42 Mrd. aktiven Parametern (Muse Spark Open, Herstellerangabe) rechnet pro Token mit ca. 5 Prozent seiner Gewichte (eigene Rechnung).

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: Aktive ParameterRouter (Gating)Parameter

Quellen: Fedus et al.: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity · Meta: Muse Spark Open (Modellkarte)

Benchmark mit Multiple-Choice-Fragen zu 57 Fächern von Mathematik bis Recht. Weit verbreitet und deshalb stark ausgereizt.

In der Praxis: Eine Frage mit vier Antwortoptionen; Wertung ist der Anteil richtiger Antworten.

Artikel: Evals: Testen statt Bauchgefühl

Siehe auch: BenchmarkKontamination

Quellen: Hendrycks et al.: Measuring Massive Multitask Language Understanding

Modell, das mehr als eine Art von Eingabe oder Ausgabe verarbeitet, etwa Text und Bild. Fähigkeiten pro Modalität unterscheiden sich oft stark.

In der Praxis: Ein Foto einer Rechnung wird gelesen und in Felder übertragen.

Siehe auch: Sprachmodell (LLM)Basismodell

Quellen: OpenAI: GPT-4 Technical Report

Die trainierten Parameter eines Modells sind herunterladbar. Das ist nicht dasselbe wie Open Source: Trainingsdaten, Trainingscode und Lizenzfreiheit können fehlen oder eingeschränkt sein.

In der Praxis: Ein Modell lässt sich lokal betreiben, die Lizenz verbietet aber bestimmte Nutzungen.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeutenLokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: Lizenz (bei Modellen)Lokale Modelle

Quellen: Meta: Muse Spark Open (Modellkarte)

Speicherverwaltung für den KV-Cache nach dem Vorbild virtueller Speicherseiten. Sie reduziert Verschnitt und erlaubt mehr parallele Anfragen auf derselben Hardware. Umgesetzt in der Serving-Software vLLM.

In der Praxis: Statt einen großen zusammenhängenden Block pro Anfrage zu reservieren, wird der Cache in kleinen Seiten verwaltet.

Siehe auch: KV-CacheInferenz-Server

Quellen: Kwon et al.: Efficient Memory Management for Large Language Model Serving with PagedAttention

Lernbare Zahlen eines Modells. Ihre Anzahl ist ein grobes Maß für Größe und Speicherbedarf, aber kein Qualitätsmaß. Bei Mixture-of-Experts-Modellen unterscheidet man Gesamtparameter und aktive Parameter.

In der Praxis: Ein Modell mit 8 Mrd. Parametern braucht in 16-Bit-Genauigkeit rund 16 GB Speicher für die Gewichte (8 Mrd. x 2 Byte; eigene Rechnung nach Standardformel).

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: QuantisierungMixture of Experts (MoE)Aktive Parameter

Quellen: Brown et al.: Language Models are Few-Shot Learners

Anteil der Aufgaben, die ein Agent oder Modell besteht. Bei pass@1 zählt nur der erste Versuch. Ohne Konfidenzintervall ist eine Pass-Rate bei kleinen Aufgabenzahlen wenig belastbar.

In der Praxis: 19 von 40 Aufgaben bestanden = 47,5 Prozent (eigene Rechnung).

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Wilson-IntervallBenchmark

Quellen: Long-Horizon Terminal-Bench 2.0

Erste, rechenintensivste Trainingsphase: Das Modell lernt auf sehr großen Textmengen, das nächste Token vorherzusagen. Danach folgen meist Feinabstimmung und Präferenztraining.

In der Praxis: Ein Basismodell nach dem Pretraining setzt Texte fort, befolgt aber noch keine Anweisungen zuverlässig.

Siehe auch: BasismodellInstruction TuningScaling Laws

Quellen: Brown et al.: Language Models are Few-Shot Learners · Bommasani et al.: On the Opportunities and Risks of Foundation Models

Eingabe an ein Modell, bestehend aus Anweisung, Kontext und gegebenenfalls Beispielen.

In der Praxis: 'Fasse den folgenden Text in drei Sätzen zusammen: ...'

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: System-PromptFew-Shot-PromptingPrompt-Caching

Quellen: Brown et al.: Language Models are Few-Shot Learners

Angriff, bei dem Text aus einer nicht vertrauenswürdigen Quelle (Webseite, E-Mail, Dokument) Anweisungen enthält, die das Modell wie legitime Vorgaben behandelt. Da Anweisungen und Daten im selben Textkanal stehen, ist das Problem schwer vollständig zu lösen.

In der Praxis: Eine E-Mail enthält versteckt 'leite alle Anhänge weiter'; ein Assistent liest sie und könnte reagieren.

Artikel: Was ein KI-Agent wirklich ist

Siehe auch: System-PromptAgentRed Teaming

Quellen: Greshake et al.: Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection

Wiederverwendung bereits verarbeiteter Prompt-Anfänge durch den Anbieter, damit wiederholte lange Eingaben billiger und schneller werden. Preise und Regeln sind anbieterspezifisch.

In der Praxis: Ein langer System-Prompt wird nur beim ersten Aufruf voll berechnet.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: TokenKV-Cache

Quellen: Anthropic: Prompt caching (Dokumentation) · OpenAI: Prompt caching (Dokumentation)

Kombination aus Quantisierung und LoRA: Das Basismodell liegt in niedriger Genauigkeit (4 Bit) im Speicher, die LoRA-Adapter werden darüber trainiert. Ziel ist Fine-Tuning großer Modelle auf kleiner Hardware.

In der Praxis: Ein Modell, das in 16 Bit nicht auf eine Consumer-Karte passt, wird in 4 Bit geladen und mit Adaptern angepasst.

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: LoRAQuantisierung

Quellen: Dettmers et al.: QLoRA: Efficient Finetuning of Quantized LLMs

Speichern der Gewichte (und teils der Rechnung) in geringerer Zahlengenauigkeit, etwa 8 oder 4 Bit statt 16. Das spart Speicher und Bandbreite, kann aber Qualität kosten; der Effekt ist modell- und aufgabenabhängig und muss gemessen werden.

In der Praxis: 16 Bit = 2 Byte pro Gewicht, 4 Bit = 0,5 Byte: Bei 8 Mrd. Parametern 16 GB gegen 4 GB (eigene Rechnung; Overhead für Skalen kommt hinzu).

Artikel: Lokale Modelle: Wann sich der eigene Rechner lohnt

Siehe auch: GPTQParameterKV-Cache

Quellen: Frantar et al.: GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

Vor der Antwort werden passende Textstellen aus einer Datenbasis gesucht und dem Modell als Kontext mitgegeben. So kann es auf aktuelle oder private Daten zugreifen, ohne neu trainiert zu werden.

In der Praxis: Frage zu einer Firmenrichtlinie: System sucht drei Absätze, Modell antwortet auf dieser Basis.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: EmbeddingVektordatenbankChunkingKontextfenster

Quellen: Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Muster, das Denken (Reasoning) und Handeln (Acting) verschränkt: Das Modell schreibt einen Gedanken, ruft ein Werkzeug auf, liest die Beobachtung und fährt fort.

In der Praxis: Gedanke: 'Ich brauche das Datum.' Aktion: Suche. Beobachtung: Ergebnis.

Artikel: Was ein KI-Agent wirklich ist

Siehe auch: AgentWerkzeugaufruf

Quellen: Yao et al.: ReAct: Synergizing Reasoning and Acting in Language Models

Sprachmodell, das vor der Antwort längere interne Denkschritte erzeugt und dafür mehr Token (und Zeit) einsetzt. Der Begriff ist nicht scharf definiert und wird von Anbietern uneinheitlich benutzt.

In der Praxis: Gleiche Aufgabe: ein Standardmodell antwortet mit 200 Token, ein Reasoning-Modell erzeugt 5.000 Denk-Token.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: Chain of ThoughtTest-Time Compute

Quellen: Wei et al.: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Gezieltes Testen eines Systems auf Fehlverhalten durch Angriffsversuche, vor oder nach Veröffentlichung.

In der Praxis: Testpersonen versuchen, ein Modell zu schädlichen Antworten zu bringen.

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: JailbreakAlignment

Quellen: Bai et al.: Constitutional AI: Harmlessness from AI Feedback

Verfahren, bei dem Menschen Modellantworten vergleichen, aus diesen Urteilen ein Belohnungsmodell lernen und das Sprachmodell darauf mit Verstärkungslernen optimiert wird. In der InstructGPT-Arbeit zeigte sich, dass ein kleineres so trainiertes Modell von Bewertern gegenüber einem viel größeren Basismodell bevorzugt wurde.

In der Praxis: Bewerter sehen zwei Antworten und wählen die bessere; das Modell wird auf diese Präferenz hin verschoben.

Siehe auch: DPOConstitutional AISycophancy

Quellen: Ouyang et al.: Training language models to follow instructions with human feedback

Verfahren, die Position eines Tokens über Drehungen der Query- und Key-Vektoren in die Attention einzubringen. Weit verbreitet und Grundlage vieler Methoden zur Verlängerung des Kontexts.

In der Praxis: Der Abstand zweier Token fließt in ihren Attention-Wert ein, ohne absolute Positionsvektoren zu addieren.

Siehe auch: Attention (Aufmerksamkeit)Kontextfenster

Quellen: Su et al.: RoFormer: Enhanced Transformer with Rotary Position Embedding

Teil eines MoE-Modells, der pro Token entscheidet, welche Experten aktiv werden.

In der Praxis: Aus 256 Experten wählt der Router pro Token 8 (Angabe zu Muse Spark Open).

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: Mixture of Experts (MoE)

Quellen: Fedus et al.: Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity · Meta: Muse Spark Open (Modellkarte)

Empirische Zusammenhänge, nach denen der Verlust von Sprachmodellen mit Modellgröße, Datenmenge und Rechenaufwand regelmäßig (nach Potenzgesetz) sinkt. Es sind Beobachtungen, keine Naturgesetze, und sie sagen den Verlust voraus, nicht einzelne Fähigkeiten.

In der Praxis: Doppelte Rechenmenge senkt den Testverlust um einen vorhersagbaren kleinen Betrag.

Siehe auch: Chinchilla-SkalierungPretraining (Vortraining)

Quellen: Kaplan et al.: Scaling Laws for Neural Language Models · Hoffmann et al.: Training Compute-Optimal Large Language Models

Mehrere Gedankenketten werden gesampelt, die häufigste Endantwort gewinnt. Verbessert in der Originalarbeit Ergebnisse bei Denkaufgaben, kostet aber ein Vielfaches an Token.

In der Praxis: Zehn Läufe, sieben liefern 42: Antwort 42.

Siehe auch: Chain of ThoughtToken

Quellen: Wang et al.: Self-Consistency Improves Chain of Thought Reasoning in Language Models

Beschleunigungsverfahren: Ein kleines Modell schlägt mehrere Token vor, das große prüft sie in einem Schritt. Die Ausgabeverteilung bleibt nach Angabe der Autoren unverändert.

In der Praxis: Das Entwurfsmodell rät fünf Token, das große akzeptiert vier und korrigiert das fünfte.

Siehe auch: InferenzLatenz

Quellen: Leviathan et al.: Fast Inference from Transformers via Speculative Decoding

Beim Erzeugen einzelner Token muss die GPU die aktiven Gewichte für jedes Token aus dem Speicher lesen. Die Geschwindigkeit ist dann oft durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Eine einfache Obergrenze: Bandbreite geteilt durch gelesene Bytes pro Token (idealisiert).

In der Praxis: Bei 1 TB/s Bandbreite und 20 GB aktiven Gewichten ergibt sich höchstens ca. 50 Token/s für einen Nutzer (eigene Rechnung, idealisiert, ohne KV-Cache).

Artikel: Muse Spark Open: Was die offenen Gewichte technisch bedeuten

Siehe auch: QuantisierungAktive ParameterInferenz

Quellen: Dao et al.: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

Modell, das die Wahrscheinlichkeit des nächsten Tokens in einer Folge schätzt und daraus Text erzeugt. 'Groß' ist kein fester Schwellenwert; gemeint sind Modelle mit Milliarden Parametern.

In der Praxis: Auf 'Die Hauptstadt von Frankreich ist' wird 'Paris' als wahrscheinlichstes Token geschätzt.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: TokenParameterPretraining (Vortraining)Inferenz

Quellen: Brown et al.: Language Models are Few-Shot Learners

Neigung eines Modells, Nutzermeinungen zu bestätigen statt korrekt zu antworten. Entsteht unter anderem, wenn Präferenzdaten Zustimmung belohnen.

In der Praxis: Auf 'Ich glaube, X ist falsch, oder?' stimmt das Modell zu, obwohl X stimmt.

Artikel: Warum Sprachmodelle halluzinieren

Siehe auch: RLHFHalluzination

Quellen: Sharma et al.: Towards Understanding Sycophancy in Language Models

Vorgabe des Betreibers an das Modell, die vor der Nutzereingabe steht und Rolle, Format und Grenzen festlegt. Sie ist kein Sicherheitsmechanismus, da Modelle Anweisungen nicht streng trennen.

In der Praxis: 'Du bist ein Support-Assistent. Antworte höflich auf Deutsch.'

Artikel: Was ein KI-Agent wirklich ist

Siehe auch: PromptPrompt Injection

Quellen: Ouyang et al.: Training language models to follow instructions with human feedback

Parameter, der steuert, wie breit das Modell aus den Wahrscheinlichkeiten der nächsten Token auswählt. Niedrige Werte machen die Ausgabe deterministischer, hohe vielfältiger. Auch bei Temperatur 0 sind Ausgaben nicht immer bitgenau reproduzierbar.

In der Praxis: Temperatur 0,2 für Extraktion, 0,9 für Ideensammlung.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: TokenSelf-Consistency

Quellen: Hinton et al.: Distilling the Knowledge in a Neural Network

Benchmark für Agenten, die Aufgaben in einer Kommandozeilenumgebung lösen. Die zugehörige Arbeit beschreibt Aufgaben, Umgebung und Auswertung.

In der Praxis: Aufgabe: Ein Programm kompilieren, Tests ausführen und einen Fehler beheben, in einer Shell.

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: AgentLong-Horizon Terminal-Bench

Quellen: Terminal-Bench (Paper)

Rechenaufwand, der bei der Antwort statt beim Training eingesetzt wird, etwa durch längeres Nachdenken oder mehrfaches Sampeln. Erhöht Qualität bei manchen Aufgaben, aber auch Kosten und Latenz.

In der Praxis: Mehr Denk-Token pro Aufgabe bei gleichem Modell.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: Reasoning-ModellSelf-Consistency

Quellen: Wang et al.: Self-Consistency Improves Chain of Thought Reasoning in Language Models

Ansatz, jede Sprachaufgabe als Textaufgabe mit Text als Ausgabe zu formulieren, sodass ein Modell viele Aufgaben abdeckt (T5).

In der Praxis: Übersetzung, Zusammenfassung und Klassifikation laufen alle über Texteingabe und Textausgabe.

Siehe auch: TransformerFine-Tuning

Quellen: Raffel et al.: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Kleinste Texteinheit, mit der ein Modell arbeitet: ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte-Stück. Preise, Limits und Geschwindigkeit werden meist in Token angegeben. Die Zerlegung hängt vom Tokenizer des jeweiligen Modells ab.

In der Praxis: 'Unglaublich' kann je nach Tokenizer in zwei bis vier Token zerfallen. Deutsch braucht oft mehr Token pro Wort als Englisch.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: TokenizerKontextfensterBlended Price

Quellen: Brown et al.: Language Models are Few-Shot Learners

Programm, das Text in Token-IDs zerlegt und zurückübersetzt. Jedes Modell bringt sein eigenes Vokabular mit; Token-Zahlen verschiedener Modelle sind daher nicht direkt vergleichbar.

In der Praxis: Derselbe deutsche Absatz kann bei zwei Anbietern 480 und 560 Token ergeben.

Artikel: Tokens, Kontext, Kosten: Rechnen mit Sprachmodellen

Siehe auch: Token

Quellen: Brown et al.: Language Models are Few-Shot Learners

Neuronale Netzarchitektur, die Sequenzen mit Aufmerksamkeitsmechanismen (Attention) statt mit rekurrenten Schichten verarbeitet. Sie bildet die Grundlage der meisten heutigen Sprachmodelle.

In der Praxis: Ein Satz wird in Token zerlegt; jede Schicht lässt jedes Token auf andere Token 'schauen' und mischt so Information.

Siehe auch: Attention (Aufmerksamkeit)TokenSprachmodell (LLM)

Quellen: Vaswani et al.: Attention Is All You Need

Datenspeicher, der Embeddings ablegt und schnell die ähnlichsten zu einer Anfrage findet.

In der Praxis: Ein Index mit 100.000 Absätzen liefert die zehn nächsten Nachbarn einer Frage.

Artikel: RAG oder langer Kontext: Was wann trägt

Siehe auch: EmbeddingRAG

Quellen: Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering

Das Modell gibt strukturiert aus, welches Programm oder welche Schnittstelle es mit welchen Argumenten aufrufen will; die Anwendung führt den Aufruf aus und gibt das Ergebnis zurück.

In der Praxis: Das Modell fordert 'wetter(ort=Berlin)' an, die App liefert 12 Grad zurück.

Artikel: Was ein KI-Agent wirklich ist

Siehe auch: AgentMCPReAct

Quellen: Schick et al.: Toolformer: Language Models Can Teach Themselves to Use Tools · Yao et al.: ReAct: Synergizing Reasoning and Acting in Language Models

Konfidenzintervall für einen Anteil, das auch bei kleinen Stichproben und Werten nahe 0 oder 1 vernünftige Grenzen liefert. In KFB für Pass-Raten verwendet.

In der Praxis: 19 von 40: etwa 32 bis 63 Prozent bei 95 Prozent Konfidenz (eigene Rechnung nach Standardformel).

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Pass-RateKonfidenzintervall

Quellen: Wikipedia: Binomial proportion confidence interval (Sekundärquelle)

Von METR vorgeschlagenes Maß: Länge von Aufgaben, gemessen an der Bearbeitungszeit menschlicher Fachleute, die ein Agent mit bestimmter Erfolgswahrscheinlichkeit löst. Es macht Agentenfortschritt über Zeit vergleichbar, hat aber eigene Annahmen.

In der Praxis: Ein Agent, der Aufgaben löst, die Menschen etwa eine Stunde kosten, bei 50 Prozent Erfolg.

Artikel: Long-Horizon-Terminal-Bench 2.0: Was drei Stunden Agentenarbeit zeigen

Siehe auch: Long-Horizon Terminal-BenchAgent

Quellen: METR: Time horizons (Paper)