Architektur

Multimodale Modelle verstehen: Tokenizer für Bild, Audio, Video

Ein Modell, viele Sinne: Wie Text, Bild, Audio und Video als Tokens im selben Modell landen, welche Architekturen das tragen und was das für die Wahl heißt.

, Redaktion KI Fachblatt · mit KI-Unterstützung erstellt, redaktionell verantwortet (so arbeiten wir) · · aktualisiert · 3 Min. Lesezeit

Diagramm: Drei Eingangsspalten - Textzeilen, ein gerastertes Bild und eine Audiowelle - laufen durch jeweils einen Tokenizer-Kasten und münden in einen gemeinsamen Strom von Token, der in einen Transformer-Kasten führt.
Multimodalität schematisch: Alle Medien werden tokenisiert und landen in einem gemeinsamen Modell. Eigene Grafik. · Eigene Grafik (Redaktion)
Kurz gesagt
  • Multimodal heißt: Ein Modell verarbeitet mehrere Medientypen - Text, Bild, Audio, Video - in einem gemeinsamen Rechenwerk.
  • Der verbindende Trick ist die Tokenisierung: Bilder, Töne und Filme werden wie Wörter in diskrete oder vektorielle Symbole zerlegt, die ein Transformer verarbeiten kann.
  • Zwei Architektur-Familien prägen das Feld: kontrastive Modelle wie CLIP (verstehen, erzeugen nicht) und generative Modelle, die Bild und Text in einem Fluss lesen und schreiben.
  • Die Datenlage entscheidet: Beschriftete Bild-Text-Paare sind im Netz reichlich, sauber beschriebene Audio- und Video-Daten deutlich seltener - daran hängen die Fähigkeiten.
  • Für die Modellwahl zählt die Aufgabe: Lesen und Verstehen (VLM), Erzeugen (Text-to-Image/-Video) oder Beides (Any-to-Any) sind unterschiedliche Klassen.

Sprachmodelle verarbeiten Text. Multimodale Modelle verarbeiten zusätzlich Bilder, Audio oder Video - als Eingabe (ein Foto beschreiben), als Ausgabe (ein Bild erzeugen) oder in beide Richtungen. Diese Seite erklärt den gemeinsamen Mechanismus, der das möglich macht, die beiden Architektur-Familien dahinter und was das für die Auswahl eines Modells bedeutet. Vertiefungen: Wie Bildmodelle lernen, Audio- und Sprach-KI, Video-KI.

Der verbindende Trick: Alles wird Token

Textmodelle zerlegen Sätze mit einem Tokenizer in Tokens - Zahlen aus einem festen Vokabular. Multimodale Modelle wenden dieselbe Idee auf andere Medien an:

  • Bild: Ein Bild-Tokenizer (etwa ein VQ-VAE [4]) zerlegt ein Bild in Kacheln und ersetzt jede durch den passenden Eintrag aus einem gelernten Codebuch - das Bild wird zur Symbolsequenz. Alternativ schneiden Vision-Transformer das Bild in Patches und betten jede Patch als Vektor ein, ohne diskrete Symbole.
  • Audio: Die Wellenform wird in Spektrogramme übersetzt (Frequenz über Zeit) und patchweise eingebettet; manche Modelle lernen zusätzlich diskrete Audio-Tokens, um Sprache auch erzeugen zu können (Audio-Language-Modell).
  • Video: Ein Film ist eine Sequenz von Bildern plus Zeit; Video-Tokenizer zerlegen Blöcke aus Raum und Zeit in Tokens.

Danach läuft alles durch denselben Apparat: ein Transformer, der Aufmerksamkeit über die Token-Sequenz rechnet - egal, ob ein Token für ein Wort, eine Bildkachel oder ein Audio-Stück steht. Das ist die eigentliche Multimodalität: nicht viele Modelle nebeneinander, sondern ein gemeinsamer Raum.

Familie 1: Kontrastive Modelle wie CLIP

Der erste Durchbruch beim Verbinden von Bild und Text war CLIP (OpenAI, 2021): Zwei Encoder - einer für Bilder, einer für Text - wurden auf rund 400 Millionen Bild-Text-Paaren so trainiert, dass zusammengehörende Paare im Embedding-Raum nahe beieinander liegen und unpassende weit weg (kontrastives Lernen) [1]. CLIP erzeugt nichts, aber es "versteht" Ähnlichkeit zwischen Text und Bild - und wurde damit zum Baustein für Suche, Klassifikation ohne Training (Zero-Shot) und zur Steuerung von Bildgeneratoren (siehe Wie Bildmodelle lernen).

Familie 2: Generative multimodale Modelle

Die zweite Familie kann nicht nur zuordnen, sondern antworten: Diese Modelle lesen Bild und Text in einem gemeinsamen Fluss und erzeugen Text (oder Medien) als Ausgabe. Zwei Entwicklungslinien sind prägend:

  • Angeschlossenes Sehen: Modelle wie LLaVA koppeln einen vortrainierten Bild-Encoder über eine Übersetzungsschicht an ein Sprachmodell und trainieren dann mit Bild-Instruktionsdaten nach (Visual Instruction Tuning) [4].
  • Nativ multimodal: Modelle wie Googles Gemini werden von Beginn an gemeinsam auf Text, Bild, Audio und Video trainiert; der Technical Report beschreibt eine einzige Architektur für alle Modalitäten [2]. GPT-4V(ision) war OpenAIs erster breiter Schritt in Richtung Bildverstehen im Chat; die System Card dokumentiert Stärken und Risiken [3].

Der Unterschied ist praktisch relevant: Angebaute Sehfähigkeit erbt Stärken und Schwächen des Sprachmodells und des Bild-Encoders getrennt; natives Training verspricht tiefere Wechselwirkungen - etwa ein Diagramm nicht nur zu beschreiben, sondern mit dem Text darüber zu schlussfolgern.

Warum die Datenlage die Fähigkeiten bestimmt

Multimodale Fähigkeiten hängen an beschrifteten Paaren. Bild-Text-Paare existieren im Netz in Milliardenhöhe (Foto plus Beschreibung) - deshalb sind Bildmodelle so weit. Sauber transkribierte Audio- und Video-Daten sind seltener und teurer; entsprechend holen Audio- und Videofähigkeiten erst auf. Auch synthetische Daten spielen eine wachsende Rolle: Modelle beschriften Medien für das Training anderer Modelle [2].

Was heute geht - und wo die Grenzen liegen

Die System Card zu GPT-4V ist ein ehrlicher Lagebericht der Kategorie: Stark sind die Modelle beim Beschreiben und Einordnen von Bildinhalten, beim Lesen von Text in Bildern und beim Beantworten alltagstauglicher Fragen zu Fotos und Screenshots. Zu den dokumentierten Schwächen gehören räumliches Schlussfolgern, präzises Zählen, medizinische oder sonstige risikoreiche Deutungen und die Verwechslung ähnlicher Objekte [3]. Diese Muster gelten bis heute für die ganze Modellklasse - Details zur praktischen Nutzung in Bildverständnis in der Praxis.

Modellklassen richtig wählen

Für die Auswahl zählt die Richtung der Aufgabe:

Modellklassen nach Ein- und Ausgabe (redaktionelle Einordnung).
AufgabeKlasseBeispiel
Bilder lesen, beschreiben, befragenVision-Language-Modell (VLM)Diagramm erklären lassen
Bilder aus Text erzeugenText-to-Image-ModellHero-Grafik aus Prompt
Clips aus Text oder Bild erzeugenText-to-Video-ModellWerbe-Shot
Sprache hören und sprechenAudio-Language-ModellSprachassistent mit Stimme
Alles in beide RichtungenAny-to-AnyFoto zeigen, Kommentar hören

Konkrete Modelle und ihre Porträts sammelt der Hub KI-Modelle; für Aufgaben am Computer-Bildschirm (Klicks, Formulare) ist die eigene Klasse Computer Use relevant, gemessen etwa in OSWorld.

Einordnung

Multimodalität ist kein Extra-Feature, sondern die Richtung der gesamten Modellentwicklung: ein Transformer, viele Token-Arten. Wer verstanden hat, dass Bild, Ton und Film nur weitere Alphabete für denselben Apparat sind, kann Modellankündigungen souverän einordnen - und wählt für die eigene Aufgabe die richtige Klasse statt des lautesten Namens.

Methode

Grundlage sind die Originalarbeiten zu CLIP und LLaVA, der Gemini Technical Report und die GPT-4V(ision) System Card, alle abgerufen am 20. Oktober 2026. Architektur-Beschreibungen sind vereinfachte Zusammenfassungen dieser Quellen; die Klassen-Tabelle ist eine redaktionelle Einordnung.

Grenzen

  • Hersteller veröffentlichen zu aktuellen Modellen nur noch begrenzt Architektur-Details; wo keine Primärquelle existiert, sagen wir das nicht zu.
  • Die Beschreibung von Video- und Audio-Tokenizern ist stark vereinfacht; Verfahren unterscheiden sich je nach Modell.
  • Keine eigenen Messungen; Fähigkeitsaussagen folgen den zitierten Dokumenten.

Quellen

  1. Learning Transferable Visual Models From Natural Language Supervision / CLIP (Radford et al., 2021), arXiv (abgerufen 2026-10-20) ↩
  2. Gemini: A Family of Highly Capable Multimodal Models (Technical Report), arXiv (abgerufen 2026-10-20) ↩1 ↩2
  3. GPT-4V(ision) system card, OpenAI (abgerufen 2026-10-20) ↩1 ↩2
  4. Visual Instruction Tuning / LLaVA (Liu et al., 2023), arXiv (abgerufen 2026-10-20) ↩1 ↩2

Häufige Fragen

Was bedeutet multimodal genau?

Ein Modell verarbeitet mehr als einen Medientyp - etwa Text und Bild - in einem gemeinsamen Rechenwerk. Eingabe, Ausgabe oder beides können nicht-textuell sein.

Sehen diese Modelle wirklich?

Sie verarbeiten Bildmerkmale zu Antworten, aber ohne menschliche Wahrnehmung: kein räumliches Vorstellungsvermögen, keine Aufmerksamkeit wie ein Betrachter. Die System Cards dokumentieren typische Fehler wie falsches Zählen und verwechselte Objekte [3].

Was ist der Unterschied zwischen CLIP und einem VLM?

CLIP ordnet Bild und Text einander zu (verstehen ohne Erzeugen) [1]. Ein Vision-Language-Modell wie LLaVA oder GPT-4V beantwortet Fragen zu Bildern in freiem Text (verstehen und antworten) [3][4].

Warum hinken Audio und Video hinter Bild hinterher?

Weil beschriftete Trainingspaare der Engpass sind: Bild-Text-Paare gibt es milliardenfach frei im Netz, gut beschriebene Audio- und Video-Daten sind rarer und teurer [2].

Weiterlesen