Multimodal
Wie ein Sprachmodell Bilder, Screenshots und Sprache verarbeitet – und warum ein Foto für das Modell am Ende auch nur eine Reihe von Tokens ist.
Multimodal heißt: Ein Modell versteht oder erzeugt mehr als eine Art von Daten – Text, Bilder, Audio, Video. Man kann einem multimodalen Sprachmodell also ein Foto, einen Screenshot oder eine Sprachnachricht geben und dazu Fragen stellen.
Der Trick: Ein Bild wird in kleine Kacheln zerlegt, jede Kachel wird zu einem Vektor – genau wie ein Wort-Token zu einem Embedding wird. Danach sind Bildstücke und Wortstücke für den Transformer einfach Einträge in derselben Folge.
Vom Bild zu Tokens
Ein Bild hat Millionen Pixel – viel zu viele, um jedes einzeln zu verarbeiten. Deshalb wird es in ein Raster aus gleich großen Kacheln (Patches) zerlegt. Ein eigener Bildteil des Modells, der Vision-Encoder, macht aus jeder Kachel einen Vektor. Fahr mit der Maus über das Bild:
Entscheidend ist der letzte Schritt: Die Bild-Vektoren werden in denselben Raum übersetzt, in dem auch die Wort-Embeddings liegen. Für das Sprachmodell steht dann im Kontext etwa: „[Kachel 1] [Kachel 2] … [Kachel 196] Was steht auf dem Schild?“ – und die Aufmerksamkeit kann zwischen den Fragewörtern und den passenden Bildkacheln Verbindungen ziehen.
Sprache und Audio
Bei Audio funktioniert es ähnlich. Ein Tonsignal wird meist zuerst in ein Spektrogramm verwandelt – ein Bild, das zeigt, welche Tonhöhen wann wie laut sind. Das wird dann in kurze Zeitabschnitte zerlegt und zu Tokens. Dabei gibt es zwei grundsätzliche Bauweisen:
Hintereinander geschaltet
Drei getrennte Modelle:Einfach zu bauen, aber Tonfall, Lachen oder Zögern gehen beim Umwandeln in Text verloren.
Nativ multimodal
Ein einziges Modell:Hört Betonung und Gefühlslage mit und kann selbst mit Ausdruck sprechen. Schneller, weil keine Zwischenschritte nötig sind.
Und in die andere Richtung?
Multimodal kann auch die Ausgabe sein. Für Bilder gibt es zwei Ansätze: Diffusionsmodelle, die ein Bild schrittweise aus Rauschen herausarbeiten, und Modelle, die Bild-Tokens genauso nacheinander erzeugen wie Text-Tokens. Viele Anwendungen kombinieren ein Sprachmodell, das versteht, was gewünscht ist, mit einem Bildmodell, das es zeichnet.
Was gut geht – und was nicht
Gut
- Screenshots von Fehlermeldungen und Stacktraces lesen
- Diagramme, Tabellen und Folien erklären
- Aus einer UI-Skizze HTML oder Code machen
- Handschrift und Fotos von Dokumenten lesen
- Beschreiben, was auf einem Foto passiert
Schwieriger
- Viele gleichartige Dinge genau zählen
- Sehr kleine Schrift oder Details in großen Bildern
- Exakte räumliche Beziehungen und Maße
- Analoge Uhren und Messgeräte ablesen
- Gesichter wiedererkennen – oft auch bewusst nicht erlaubt
Viele Schwächen folgen direkt aus den Kacheln: Was kleiner ist als eine Kachel oder über Kachelgrenzen verteilt liegt, ist schwerer zu erfassen. Hilfreich ist, wichtige Bildausschnitte zu vergrößern oder das Bild zuzuschneiden.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Patch / Kachel | ein Ausschnitt des Pixel-Arrays, etwa int[16][16][3] |
| Vision-Encoder | ein Adapter: wandelt Bildausschnitte in dasselbe Format wie Wort-Embeddings |
| Multimodaler Kontext | eine List<Token>, in der Text- und Bild-Tokens gemischt vorkommen |
| Bild in der API | meist Base64-kodiert oder als URL im Request – und es kostet Tokens wie Text |