Modelle

Mistral Large 4: Die offenen Gewichte sind da

Mistral veröffentlicht Large 4: rund eine Billion Parameter, Million-Token-Kontext und eine eigene Lizenz. Was die offenen Gewichte ändern.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Schematische Darstellung eines Mixture-of-Experts-Modells: Ein Router wählt aus 128 Expert-Kästchen vier aktive plus einen geteilten Experten aus
128 Experten, 4 aktiv + 1 geteilt: Mistral Large 4 kombiniert MoE-Sparsity mit sparsem Attention-Indexing. · Eigene Grafik (Redaktion)
Kurz gesagt
  • Mistral hat Large 4 ('Le Chonk') am 29. Oktober als offene Gewichte veröffentlicht: rund 1 Billion Parameter gesamt, 49 Milliarden aktiv pro Token, 1 Million Tokens Kontext, multimodal (Text + Bild) [1][2].
  • Die Architektur kombiniert 128 geroutete Experten (4 aktiv plus ein geteilter) mit Multi-head Latent Attention und einem DeepSeek-Sparse-Attention-Indexer, der pro Query bis zu 2.048 Schlüsselpositionen auswählt [1][2].
  • Lizenz: Mistral Ecosystem Open-Weight License - ein MIT-Derivat, kommerzielle Nutzung erlaubt, aber Model-as-a-Service-Angebote brauchen eine separate Lizenz [2].

Mistral hat am 29. Oktober 2026 die Gewichte von Mistral Large 4 veröffentlicht - auch genannt 'Le Chonk'. Nach der Public Preview Anfang des Monats ist das Modell jetzt auf Hugging Face verfügbar, in zwei offiziellen Varianten (FP8 sowie NVFP4, Letzteres für Blackwell-GPUs) sowie als GGUF-Quantisierungen von Unsloth und dem llama.cpp-Team [1][3]. Was wir in unserer Analyse der Ankündigung noch als Zusage notiert hatten, ist damit eingelöst.

Die Eckdaten

Mistral Large 4 im Überblick (Herstellerangaben) [1][2]
EigenschaftWert
Parameter gesamt / aktiv pro Token~1 Billion / 49 Mrd. (52 Mrd. inkl. Einbettungen und Ausgabeschicht)
Expertenarchitektur128 geroutete Experten, 4 aktiv pro Token + 1 geteilter Experte
Kontextfenster1 Million Tokens
Modalitäten / SprachenText + Bild rein, Text raus; 160+ Sprachen, darunter alle Amtssprachen der EU
TrainingVon Grund auf trainiert auf 3.800 NVIDIA Grace Blackwell GPUs in Mistrals eigenen EU-Rechenzentren
LizenzMistral Ecosystem Open-Weight License (MIT-Derivat; MaaS-Betrieb nur mit separater Lizenz)
VariantenFP8 und NVFP4 offiziell; GGUF-Quants von Unsloth/llama.cpp; eingebetteter DSpark-Speculative-Decoding-Kopf

Architektur: zweifache Sparsity

Der Text-Decoder hat 72 Schichten, eine Hidden-Dimension von 6.144 und 64 Attention-Köpfe. Zwei Sparsity-Ideen greifen ineinander: Der MoE-Router wählt pro Token vier von 128 Experten (plus einen immer laufenden geteilten), und die Attention wählt Kontextpositionen aus - Multi-head Latent Attention hält eine komprimierte KV-Repräsentation, während ein DeepSeek-Sparse-Attention-Indexer (DSA) pro Query bis zu 2.048 Schlüsselpositionen bestimmt [1]. Dazu ein 3:1-Muster aus RoPE- und NoPE-Schichten, über Schichten geteilter KV-Zustand und 'LeRope', ein YaRN-skaliertes RoPE mit einem gelernten Multiplikator pro Frequenz [1]. Die erste Schicht nutzt ein dichtes Feed-Forward-Netz [1]. Der Pixtral-Vision-Encoder (1,6 Mrd. Parameter, 30 Schichten, 14x14-Patches) verarbeitet variable Bildgrößen [1][2].

Benchmarks und der Cyber-Fokus

Mistral positioniert Large 4 für Cybersicherheit, Coding-Agenten und Multimodalität [1]. Die gemeldeten Werte stammen aus dem Hugging-Face-Blog zum Release (Anbieter- und Release-Begleitwerte ohne unabhängige Nachmessung): DeepSWE v1.1 61,7 Prozent, SWE-Atlas-QnA 59,4, Terminal-Bench 4 28,3, AutomationBench 59,9; Cybench löst das Modell 93 Prozent von 40 Wettbewerbs-Challenges, und auf Lakeras B3-Benchmark wehrt es 93,3 Prozent der Prompt-Injection-Angriffe ab [1]. Mistrals eigene Release-Seite nennt für Terminal-Bench 4.0 41 Prozent; ob beide Angaben unter vergleichbaren Bedingungen (Modellversion, Test-Harness, Setup) erhoben wurden, ist den Quellen nicht zu entnehmen - die Vergleichbarkeit der beiden Zahlen ist damit nicht gesichert [4].

Mistral Large 4: ausgewählte Benchmark-Ergebnisse (je Test eigener Score)
Daten als Tabelle
Mistral Large 4
DeepSWE61,7
SWE-Atl.59,4
Autom.B.59,9
TB 428,3
Cybench93

Ergebnisse aus dem Hugging-Face-Launch-Beitrag - Herstellerangaben, nicht unabhängig verifiziert [1]. Jeder Balken ist der Score des jeweiligen Tests; die Werte sind testübergreifend nicht vergleichbar und bilden keine allgemeine Leistungsrangfolge.

Bei Sicherheitsaufgaben argumentiert Mistral mit dem Defensiv-Profil: Schwachstellen reproduzieren und patchen, Malware-Analyse, Erstellung von Detection Rules - Aufgaben, bei denen geschlossene Modelle mit API-Filtern blockieren können. Gleichzeitig soll Large 4 schädliche Cyber-Anfragen häufiger ablehnen als jedes andere offene Modell (Mistral-Angabe zu JailbreakBench, StrongREJECT und AgentHarm) [1]. Die Veröffentlichung macht unabhängige Nachmessungen dieser Behauptungen möglich. Offene Gewichte sind dabei kein Nachweis für sichere Anwendung: Ein Betreiber muss sein konkretes System selbst prüfen.

Betrieb und Feinabstimmung

Day-0-Support gibt es für transformers, vLLM (empfohlen, fertiges Docker-Image), SGLang und llama.cpp; Fine-Tuning über Axolotl, Unsloth oder TRL [1][2]. Bemerkenswert: Das Reasoning lässt sich nicht abschalten [1] - die Stufen low, medium und high (Standard: high) steuern den Aufwand; empfohlen werden Temperatur 1,0 und top_p 0,95 [1][2]. Der NVFP4-Checkpoint zielt auf Blackwell-Hardware und verspricht gleiche Qualität bei kleinerem Speicherfußabdruck [2]. Wer nicht selbst hosten will: Das Modell läuft auch als 'mistral-large-4' in Mistrals API [2].

Methode

Analyse auf Basis des Hugging-Face-Launch-Beitrags, der offiziellen Modellkarte und der Verge-Meldung; alle drei Quellen wurden vollständig gelesen. Sämtliche Benchmark-Angaben sind Herstellerangaben; das Modell wurde von der Redaktion nicht selbst ausgeführt.

Grenzen

Keine eigenen Modelltests oder unabhängige Verifikation der Benchmarks. Der Ablehnungs-Vergleich bei Cyber-Anfragen ist eine Herstellerangabe. Die Verge-Meldung ist knapp und enthält keine eigenen Messungen. Hardwarebedarf, Durchsatz und Kosten eines konkreten Deployments wurden nicht gemessen.

Quellen

  1. Welcome Le Chonk: Mistral Large 4 on Hugging Face, Hugging Face Blog (abgerufen 2026-10-30) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  2. mistralai/Mistral-Large-4-1T-A52B - Modellkarte, Hugging Face / Mistral AI (abgerufen 2026-10-30) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  3. Mistral AI has officially released its Large 4 (Le Chonk) model, The Verge (abgerufen 2026-10-30) ↩
  4. Mistral AI: Announcing Mistral Large 4, Mistral AI (abgerufen 2026-10-30) ↩

Häufige Fragen

Wo bekomme ich Mistral Large 4?

Auf Hugging Face als FP8- und NVFP4-Checkpoint, dazu GGUF-Quantisierungen von Unsloth und llama.cpp. Alternativ über die Mistral API als 'mistral-large-4' [1][2].

Unter welcher Lizenz steht das Modell?

Mistral Ecosystem Open-Weight License - ein abgeleitetes MIT, das kommerzielle Nutzung erlaubt. Wer das Modell selbst als Model-as-a-Service anbieten will, braucht eine separate kommerzielle Lizenz von Mistral [2].

Wie groß ist Mistral Large 4 wirklich?

Rund 1 Billion Parameter gesamt; pro Token sind 49 Milliarden aktiv (52 Milliarden, wenn man Einbettungen und Ausgabeschicht mitzählt) [2].

Welche Hardware setzt NVFP4 voraus?

Mistrals NVFP4-Checkpoint zielt ausdrücklich auf NVIDIA-Blackwell-GPUs. Daneben gibt es FP8 und GGUF-Quantisierungen. Welche Konfiguration für einen konkreten Einsatz reicht, haben wir nicht selbst getestet [1][2].

Was ist neu gegenüber der Ankündigung?

Die Gewichte sind tatsächlich verfügbar, inklusive NVFP4-Variante, GGUFs und Framework-Support ab Tag eins. Neu sind auch Details zur Architektur (72 Schichten, DSA-Indexer, LeRope) und konkrete Benchmark-Zahlen [1][2].

Weiterlesen