Modelle

Nemotron 3.5 Transcribe: 40 Sprachen, eine Stunde Audio

NVIDIAs offenes Sprachmodell transkribiert auf Zuruf: verbatim oder geglättet, mit Sprecher-Zuordnung und Wort-Zeitstempeln - kommerziell nutzbar.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · 2 Min. Lesezeit

Schematische Darstellung: Wellenform links, Pfeil in der Mitte, Transkript-Zeilen mit Sprecher-Markierungen und Zeitstempeln rechts
Rein Audio, raus Transkript: Nemotron 3.5 Transcribe liefert auf Wunsch Sprecher-Markierungen und Wort-Zeitstempel - der Stil folgt der Anweisung im Prompt. · Eigene Grafik (Redaktion)
Kurz gesagt
  • Nemotron 3.5 Transcribe ist ein offenes Speech-Augmented Language Model: Ein Sprach-Encoder und ein Sprecher-Encoder speisen das Nemotron-3.5-Lightning-Sprachmodell (30B-A3B, Mamba-Transformer-Hybrid); das Gesamtmodell kommt auf rund 4,3 Mrd. aktive Parameter [1][2].
  • Ein Modell, viele Aufgaben: verbatim oder geglättete Transkripte, kontextuelle Transkription mit Begriffsliste, Sprecher-Zuordnung, Übersetzung, Sprachenerkennung und Audio-Fragen - gesteuert per natürlichsprachlicher Anweisung, ohne Umrüstung [1][2].
  • Nach Herstellerangaben (Messstand 12.10.2026) liegt das Modell auf den Open ASR Leaderboards vorn unter den offenen Modellen: 4,71 % mittlere Wortfehlerrate auf neun englischen und 4,62 % auf sieben mehrsprachigen Testsets [1][2].
  • Lizenz OpenMDW-1.1, kommerzielle Nutzung ausdrücklich erlaubt; Checkpoints in BF16, FP8, NVFP4 und GGUF. Die schnellste Serving-Variante (NIM, bis zu 2.238 Audiosekunden pro Sekunde) ist noch nicht Teil des Open-Source-Release [1][2].

Es gibt nicht das eine richtige Transkript: Für Untertitel sollen Füllwörter verschwinden, für die forensische Auswertung sollen sie bleiben, für Fachaufnahmen zählt die richtige Schreibweise von Eigennamen. Herkömmliche Spracherkennung legt sich beim Training auf eine Konvention fest. NVIDIA geht mit Nemotron 3.5 Transcribe, veröffentlicht am 28. Oktober, den anderen Weg: Der Transkriptionsstil wird pro Anfrage als natürlichsprachliche Anweisung mitgegeben - ohne Nachtraining [1][2].

Die Eckdaten

Nemotron 3.5 Transcribe im Überblick (Herstellerangaben) [1][2]
EigenschaftWert
ArchitekturSpeech-Augmented Language Model: Transformer-ASR-Encoder (ca. 600 Mio. Parameter) + eingefrorener Nemotron-3-Diarization-Sprecher-Encoder (ca. 99 Mio.) + Nemotron-3.5-Lightning-30B-A3B-Sprachmodell (Mamba-2-Transformer-Hybrid-MoE)
Parameter34 Mrd. gesamt, ca. 4,3 Mrd. aktiv (3,5 Mrd. Sprachmodell + ca. 800 Mio. Audio-Encoder)
Audio / KontextAufnahmen bis 1 Stunde; 65.536 Tokens Kontext
Sprachen40 (Support-Matrix); Audio-Fragen und Reasoning nur auf Englisch evaluiert
CheckpointsBF16, FP8, NVFP4 (Blackwell), GGUF für NeMo-Speech.cpp; optionaler DFlash2-Draft für spekulatives Decoding
Lizenz / BetriebOpenMDW-1.1, kommerziell nutzbar; 1x H100 80 GB

Transkribieren auf Zuruf

Die Modellkarte dokumentiert die Prompts konkret: 'Wording: verbatim, including fillers and repetitions' für wörtliche Transkripte, 'omit fillers and accidental repetitions' für lesbare Texte, Sprecher-Tags und Zahlen in Schreibform auf Anweisung. Bei der kontextuellen Transkription übergibt man eine Liste erwarteter Begriffe; laut NVIDIA sinken die Eigennamen-Fehler auf ContextASR-Bench damit auf ein Sechstel. Die Trainingsmischung enthält zudem kleine Anteile Text-Instruktionen sowie PII-Markierung und -Schwärzung [1][2].

Für die Sprecher-Zuordnung nutzt das Modell einen Parallel Expert Encoder: Die Sprecheraktivität aus dem eingefrorenen Diarization-Modell wird in die Repräsentationen des ASR-Encoders eingespeist - ohne Architekturänderung am Sprachmodell. Nach Herstellerangabe ist es das erste SALM, das bei sprecher-attribuierter Transkription spezialisierte kaskadierte Systeme übertrifft. Wort-Zeitstempel entstehen über einen leichtgewichtigen CTC-Adapter, der das fertige Transkript nachträglich aufs Audio ausrichtet [2].

Nemotron 3.5 Transcribe: gemeldete Fehlerraten (je Test eigene Metrik)
Daten als Tabelle
Fehlerrate in %
Englisch (WER)4,71
Mehrsprachig (WER)4,62
Langform (WER)10,98
Mehrsprecher (cpWER)15,8

Herstellerangaben aus der Modellkarte, Messstand 12.10.2026, nicht unabhängig verifiziert [1]. Niedriger ist besser; die Metriken unterscheiden sich (WER vs. cpWER), die Werte sind daher nicht testübergreifend vergleichbar.

Wie trainiert wurde

Drei Trainingsentscheidungen hebt NVIDIA hervor: Erstens eine supervisions-balancierte Datenmischung - Trainingsdaten werden nach ihrer Antwort-Token-Masse gesampelt, und jedes ASR-Beispiel kann mit einer von vielen Aufgaben-Anweisungen auftauchen, sodass neue Fähigkeiten mit Sampling-Raten unter einem Prozent hinzukommen. Zweitens folgt auf das Supervised Fine-Tuning eine kurze Reinforcement-Learning-Phase, die die Transkriptionsgenauigkeit optimiert. Drittens wird das Modell direkt mit dem Multi-Token-Prediction-Ziel trainiert, sodass die eigene MTP-Schicht als Draft für spekulatives Decoding dient [2].

Tempo und Serving - mit Einschränkung

Für das Decoding ist das Modell direkt mit Multi-Token-Prediction trainiert (zwei trainierte Tiefen, bis zu acht spekulative Tokens); alternativ gibt es ein separates DFlash2-Draft-Modell. Die spektakuläre Serving-Zahl - bis zu 2.238 Audiosekunden pro Sekunde auf einer RTX PRO 6000 Blackwell im NVFP4-Checkpoint mit DFlash2, eine 30-Sekunden-Aufnahme in 0,13 Sekunden - gilt allerdings nur über das Nemotron Transcribe NIM. NVIDIA weist selbst darauf hin, dass diese Optimierungen noch nicht Teil des Open-Source-Release sind; die mitgelieferte vLLM-Integration sei vorerst rund zwei Mal langsamer [1][2].

Einordnung

Das Paket ist ungewöhnlich rund: offene Gewichte unter einer Lizenz, die kommerzielle Nutzung ausdrücklich erlaubt, vier Checkpoint-Formate, ein Fine-Tuning-Toolkit in NeMo Speech - laut NVIDIA lassen sich neue Sprachen, Domänen und Aufgaben auf einer einzigen GPU anpassen, typischerweise in 0,5 bis 2,3 GPU-Stunden pro Aufgabe [2]. Zwei Grenzen sollte man kennen: Es ist ein Offline-Modell, kein Echtzeit-Streaming-Dienst, und Audio-Verstehen sowie Reasoning wurden nur auf Englisch evaluiert. Und natürlich sind alle Fehlerraten Herstellerangaben; wer ernsthaft auswählt, transkribiert einen Tag eigener Aufnahmen mit zwei Kandidaten und vergleicht.

Methode

Analyse auf Basis der Hugging-Face-Modellkarte, der NVIDIA-Research-Seite und des unabhängigen Release-Trackers; alle Quellen wurden gelesen. Sämtliche Benchmark- und Serving-Werte sind Herstellerangaben; das Modell wurde von der Redaktion nicht selbst ausgeführt.

Grenzen

Keine eigenen Transkriptions-Tests und keine unabhängige Verifikation der Fehlerraten oder Durchsatzwerte. Die Open-ASR-Leaderboards waren zum Redaktionsschluss technisch nicht direkt abrufbar; die Platzierung stützt sich auf die Herstellerdarstellung. Der NIM-Speedup ist noch nicht Teil des Open-Source-Release.

Quellen

  1. nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B - Modellkarte, Hugging Face / NVIDIA (abgerufen 2026-11-01) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  2. NVIDIA Nemotron 3.5 Transcribe: Intelligent Transcription with a Speech LLM, NVIDIA Research (abgerufen 2026-11-01) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  3. AI Model Releases - October 2026 (Live Tracker), AIFOD (abgerufen 2026-11-01)

Häufige Fragen

Was kann Nemotron 3.5 Transcribe?

Transkription in 40 Sprachen (verbatim oder geglättet), kontextuelle Transkription mit Begriffsliste, Sprecher-Zuordnung, Wort-Zeitstempel, Übersetzung, Sprachenerkennung und Audio-Fragen - gesteuert per Anweisung im Prompt [1][2].

Wie gut ist die Erkennung?

Nach Herstellerangaben (Messstand 12.10.2026) beste Werte unter offenen Modellen auf den Open ASR Leaderboards: 4,71 % WER englisch, 4,62 % mehrsprachig. Unabhängig verifiziert ist das nicht [1][2].

Ist das Modell kommerziell nutzbar?

Ja, ausdrücklich: Die OpenMDW-1.1-Lizenz erlaubt kommerzielle und nicht-kommerzielle Nutzung [1][2].

Welche Hardware brauche ich?

NVIDIA nennt eine H100 mit 80 GB als Deployment-Referenz. Checkpoints gibt es in BF16, FP8, NVFP4 und GGUF; Fine-Tuning ist laut Anbieter auf einer einzelnen GPU möglich [1][2].

Ist das Modell ein Echtzeit-Dienst?

Nein. Es ist ein Offline-Modell für Aufnahmen bis zu einer Stunde; die interne Chunking-Verarbeitung macht es nicht zu einem Streaming-ASR-Dienst [1].

Weiterlesen