Modelle

SOV-Transcribe-1: Salesforce öffnet steuerbares ASR-Modell

SOV-Transcribe-1 verbindet Whisper-Encoder und Gemma 4 zu einem offenen Transkriptionsmodell für sieben Sprachen - per Anweisung steuerbar, Apache 2.0.

Schematische Grafik: Audiowelle links, Kasten SOV-Transcribe-1 in der Mitte mit den Bausteinen Whisper-Encoder und Gemma-4-MoE, rechts ein Textdokument
Whisper-Encoder trifft Gemma-4-MoE: SOV-Transcribe-1 transkribiert 30 Minuten Audio am Stück und folgt Stilanweisungen [1]. · Eigene Grafik (Redaktion)
Kurz gesagt
  • Salesforce hat SOV-Transcribe-1 veröffentlicht: ein offenes Transkriptionsmodell aus Whisper-large-v3-Encoder und Gemma-4-26B-MoE, 26,6 Mrd. Parameter gesamt, 4,6 Mrd. aktiv [1].
  • Das Modell transkribiert bis zu 30 Minuten Audio in sieben Sprachen (Deutsch dabei) und folgt Anweisungen zu Stil, Zeichensetzung und Fachvokabular [1].
  • SOV-Transcribe-1, DFlash und die verlinkten Basis-Modellkarten nennen Apache 2.0. Die Plattform-API meldet die Repositories als nicht zugangsbeschränkt; Lizenz- und Hinweisbedingungen gelten weiterhin [1][2][3][4][5].
  • Der DFlash-Entwurfsdecoder beschleunigt die Dekodierung laut Hersteller um den Faktor 2 bis 3; gemessen auf einer RTX PRO 6000 Blackwell [1][2].
  • Qualitätsrangplätze (Platz 1 der offenen Modelle bei Artificial Analysis, Platz 2 bei VoiceCodeBench) sind Herstellerangaben vom 12.11.2026; wir haben die Ranglisten nicht selbst geöffnet [1].

Salesforce hat mit SOV-Transcribe-1 ein offenes Sprachmodell für automatische Spracherkennung veröffentlicht, das mehr kann als Worte mitschreiben: Es folgt Anweisungen zu Transkriptionsstil, Zeichensetzung und Zahlenformat und lässt sich mit Stichworten oder Themenskizzen auf Fachvokabular eichen [1]. Die Gewichte stehen unter Apache 2.0 und sind ohne Zugangsbeschränkung abrufbar (Plattform-API, Stand 14.11.2026 gegen 6 Uhr UTC / 7 Uhr MEZ); die Repositories wurden am 10. November angelegt [1].

Architektur: Whisper-Encoder trifft Gemma-4-MoE

SOV-Transcribe-1 kombiniert den Audio-Encoder von Whisper large-v3 mit dem MoE-Sprachmodell Gemma 4 26B A4B: Der Encoder verarbeitet 16-kHz-Audio in 30-Sekunden-Fenstern, ein Projektor (Vierfach-Stapelung, dann Linear-GELU-Linear) überführt die Merkmale in den Eingaberaum des Sprachmodells [1]. Insgesamt kommt das System auf 26,6 Mrd. Parameter, davon 4,6 Mrd. aktiv pro Token; gespeichert ist es in BF16, der MoE-Router läuft wie im Training in FP32 [1]. Das Basismodell Gemma 4 steht selbst unter Apache 2.0 (Plattform-API), auch die Whisper-Modellkarte nennt Apache 2.0. Das belegt die genannten Lizenzangaben, ersetzt aber keine Prüfung sämtlicher Rechte oder einer konkreten Weiterverteilung. Apache 2.0 verlangt unter anderem Lizenzkopie, Änderungsvermerke und Erhalt einschlägiger Hinweise [3][4][5].

Eckdaten

26,6 Mrd. Parameter gesamt, 4,6 Mrd. aktiv · Whisper-large-v3-Encoder plus Gemma-4-26B-A4B-MoE · BF16 (Router FP32) · bis zu 30 Minuten Audio pro Anfrage (getestet), 16 kHz · Sprachen: Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Niederländisch · Inferenz über vLLM (Plugin) oder Transformers · Lizenz Apache 2.0 [1].

Steuerung per Anweisung statt Nachbearbeitung

Die Modellkarte dokumentiert eine Prompt-Anleitung: Wörtliche Mitschrift mit Füllwörtern, geglättete Schriftform, automatische Spracherkennung, Sprachhinweis oder Kontext-Biasing mit einer Liste von Eigennamen und Fachbegriffen - alles über die Nutzernachricht gesteuert, ohne separates Nachbearbeitungsskript [1]. Die Karte stellt diese Steuerbarkeit als Eigenschaft des Modells dar: Es ist ein Sprachmodell mit Audioeingang und übernimmt Entitäten wie Namen, Telefonnummern und E-Mail-Adressen laut Hersteller präzise [1].

Tempo: DFlash-Entwurfsdecoder

Ein separates Entwurfsmodell (SOV-Transcribe-1-DFlash) schlägt jeweils 15 Token vor, die das Hauptmodell verifiziert; für einzelne Anfragen soll das die Dekodierung um den Faktor 2 bis 3 beschleunigen, bei Clips unter 10 Sekunden weniger, mit einer Genauigkeit im Rahmen der üblichen Lauf-zu-Lauf-Schwankung [1][2]. Der Hersteller veröffentlicht eigene Messwerte auf einer RTX PRO 6000 Blackwell mit 96 GB [1]:

Mittlere Zeit pro Anfrage (Sekunden): ohne und mit DFlash
  • ohne Entwurf
  • mit DFlash-Entwurf
Daten als Tabelle
ohne Entwurfmit DFlash-Entwurf
bis 10 s Audio0,160,09
10-30 s Audio0,440,15
30-60 s Audio0,880,31
1-5 min Audio2,781,26

Hersteller-Messung auf einer RTX PRO 6000 Blackwell (96 GB), vLLM 0.32.0, BF16, Greedy-Decoding, Clips aus Earnings-22; gemessen mit einer früheren vLLM-Integration, von uns nicht nachgeprüft [1]. Die Werte gelten für jeweils eine Anfrage, nicht für einen Lasttest.

Für den Serverbetrieb nennt der Hersteller bis zu 1.039 Sekunden Audio pro Sekunde auf einer einzigen RTX PRO 6000 (BF16 mit Entwurf) und 0,22 Sekunden für das Transkript einer 30-Sekunden-Aufnahme; gemessen wurde mit einem vLLM-Entwicklungsstand vom November 2026 [1]. Ein OpenAI-kompatibler Transkriptions-Endpunkt (/v1/audio/transcriptions) ist Teil des Plugins; native Unterstützung in vLLM und Transformers wird laut Karte vorbereitet [1].

Qualitätsaussagen: Was belegt ist und was nicht

Die Karte meldet Platz 1 unter den offenen Modellen für nicht-streamende Spracherkennung bei Artificial Analysis (Platz 7 gesamt) sowie Platz 2 von 23 Systemen auf VoiceCodeBench für Entitätsgenauigkeit und Aufgabenerfolg, jeweils mit Stand 12. November 2026 [1]. Beides sind Herstellerangaben über Dritt-Ranglisten; wir haben die Ranglisten nicht selbst geöffnet und können die Platzierungen daher nicht bestätigen. Die eigentliche Benchmark-Tabelle liegt auf der Karte nur als Bild vor, Zahlen daraus übernehmen wir nicht. Das Auswertungsprotokoll ist dokumentiert: Greedy-Decoding, deaktivierter Entwurf, feste Prompts pro Datensatz, darunter AMI, Earnings22, GigaSpeech und VoxPopuli aus dem Open-ASR-Benchmark [1].

Einordnung

SOV-Transcribe-1 adressiert zwei praktische Lücken: die Kontrolle über das Transkript (Stil, Format, Vokabular) und den Betrieb auf eigener Infrastruktur, bei dem sich die Verarbeitung lokal organisieren lässt. Ob Audio die eigene Umgebung verlässt, hängt vom konkreten Betrieb und den verwendeten Diensten ab [1]. Die Kombination aus Apache-2.0-Gewichten, dokumentiertem Auswertungsprotokoll und vLLM-Serverpfad macht den Einstieg niedrig; die verbliebenen Fragen sind die üblichen: Wie gut das Modell jenseits der Hersteller-Benchmarks ist, insbesondere auf Deutsch, und ob die Rangplätze unabhängiger Prüfung standhalten. Wer mag, kann das dank offener Gewichte selbst prüfen.

Methode

Quellenabgleich am 14. November 2026 gegen 07:15 MEZ: SOV- und DFlash-Modellkarte, Gemma-4- und Whisper-Basiskarten sowie jeweilige Plattform-API geöffnet; den von Gemma 4 verlinkten Apache-2.0-Lizenztext gelesen. Hersteller-Tabelle für Anfragezeiten gelesen, Qualitäts-Benchmarktabelle nicht numerisch übernommen. Ranglisten nicht unabhängig geöffnet. Keine eigenen Transkriptions- oder Hardwaretests.

Grenzen

Rangplätze und Qualitätsaussagen sind Herstellerangaben über Dritt-Ranglisten, die wir nicht selbst geöffnet haben. Tempo- und Durchsatzwerte stammen aus Hersteller-Messungen auf einer einzelnen GPU mit einer früheren vLLM-Integration. Zur Qualität auf Deutsch liegen in den von uns eingesehenen Quellen keine separaten Werte vor. Ob es unabhängige Messungen gibt, können wir nicht ausschließen.

Quellen

  1. salesforce-sovereign-intelligence/SOV-Transcribe-1 (Modellkarte und Plattform-API), Hugging Face (abgerufen 2026-11-14) ↩1 ↩2 ↩3 ↩4 ↩5 ↩6
  2. salesforce-sovereign-intelligence/SOV-Transcribe-1-DFlash (Entwurfsmodell, Plattform-API), Hugging Face (abgerufen 2026-11-14) ↩1 ↩2 ↩3
  3. google/gemma-4-26B-A4B-it (Basismodell, Lizenzprüfung per Plattform-API), Hugging Face (abgerufen 2026-11-14) ↩1 ↩2
  4. openai/whisper-large-v3 (Basis-Modellkarte und Plattform-API), Hugging Face / OpenAI (abgerufen 2026-11-14) ↩1 ↩2
  5. Apache License 2.0 (von Gemma-4-Modellkarte verlinkter Lizenztext), Google AI for Developers (abgerufen 2026-11-14) ↩1 ↩2

Häufige Fragen

Was ist SOV-Transcribe-1?

Ein offenes Sprachmodell von Salesforce zur Spracherkennung: Whisper-large-v3-Encoder plus Gemma-4-26B-MoE, 26,6 Mrd. Parameter, bis zu 30 Minuten Audio pro Anfrage, sieben Sprachen, Apache 2.0 [1].

Welche Sprachen werden unterstützt?

Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch und Niederländisch laut Modellkarte [1].

Kann ich Stil und Format des Transkripts steuern?

Ja, über die Nutzernachricht: wörtlich oder geglättet, Zeichensetzung und Zahlenformat, dazu Kontext-Biasing mit Stichworten oder Themenskizze; die Karte enthält eine Prompt-Anleitung [1].

Welche Hardware brauche ich?

Die Karte empfiehlt vLLM mit dem mitgelieferten Plugin und dokumentiert Messungen auf einer RTX PRO 6000 Blackwell mit 96 GB; Transformers läuft über eigenen Modellcode. Eigene Hardwaretests haben wir nicht durchgeführt [1].

Wie gut ist das Modell im Vergleich?

Der Hersteller meldet Platz 1 der offenen Modelle bei Artificial Analysis und Platz 2 auf VoiceCodeBench (Stand 12.11.2026); wir haben die Ranglisten nicht selbst geöffnet und die Angaben nicht geprüft [1].

Weiterlesen