Mixture of Experts
Wie man ein Modell riesig macht, ohne dass jede Antwort entsprechend teuer wird: Statt aller Parameter rechnet für jedes Token nur ein kleiner Teil – die passenden „Experten“.
Bei Mixture of Experts (MoE, „Mischung aus Experten“) wird der Feedforward-Teil jedes Transformer-Blocks durch viele parallele Teilnetze ersetzt, die Experten. Ein kleiner Router entscheidet für jedes Token, welche wenigen Experten es bearbeiten – die übrigen bleiben untätig.
So hat ein Modell sehr viele Parameter (viel Platz für Wissen), rechnet pro Token aber nur mit einem Bruchteil davon (schnell und günstig). Der Haken: Gespeichert werden müssen trotzdem alle.
Der Router entscheidet
Klick auf ein Token und sieh, welche Experten der Router auswählt. Mit den Reglern kannst du den Aufbau verändern:
Warum das funktioniert
Ein normales („dichtes“) Modell schickt jedes Token durch alle Parameter. Das ist verschwenderisch: Für das Wort „und“ braucht es kaum das gesammelte Wissen über Quantenphysik. MoE nutzt das aus. Weil die Rechenzeit vor allem von den aktiven Parametern abhängt, lässt sich das Modell vergrößern, ohne dass jede Antwort teurer wird.
| Modell | Gesamt | Aktiv pro Token |
|---|---|---|
| Mixtral 8×7B (Mistral, 2023) | ca. 47 Mrd. | ca. 13 Mrd. |
| DeepSeek-V3 (2024) | 671 Mrd. | 37 Mrd. |
| gpt-oss-120b (OpenAI, 2025) | ca. 117 Mrd. | ca. 5 Mrd. |
Alle drei sind Modelle mit offenen Gewichten, bei denen die Zahlen veröffentlicht sind. Viele geschlossene Modelle nutzen nach allgemeiner Einschätzung ebenfalls MoE; die Anbieter legen ihre Bauweise aber meist nicht offen.
Was ist ein „Experte“?
Der Name weckt falsche Vorstellungen. Experten sind keine Fachleute für „Medizin“, „Recht“ oder „Java“, die man gezielt ansprechen könnte. Sie spezialisieren sich beim Training von selbst – und meist auf Dinge, die für Menschen wenig anschaulich sind: Satzzeichen, bestimmte Wortformen, Zahlen, Code-Syntax. Dasselbe Wort kann in verschiedenen Schichten an ganz verschiedene Experten gehen.
Die Haken
Speicher
Auch wenn nur 2 von 8 Experten rechnen – alle 8 müssen im Speicher liegen, denn das nächste Token braucht vielleicht andere. Ein MoE-Modell ist schnell, aber nicht klein.
Lastverteilung
Ohne Gegenmaßnahmen schickt der Router fast alles an wenige Lieblingsexperten. Beim Training muss man ausgleichen, damit alle etwas lernen.
Aufwendiger Betrieb
Experten liegen oft auf verschiedenen Grafikkarten. Die Tokens müssen dorthin verschickt werden – das braucht schnelle Verbindungen.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Experte | eine von vielen Implementierungen desselben Interface |
| Router | eine gelernte Strategy-Auswahl bzw. ein Dispatcher |
| Top-k | pro Aufruf werden nur k Implementierungen ausgeführt und ihre Ergebnisse gewichtet addiert |
| Gesamt vs. aktiv | alle Beans sind geladen, aber pro Request werden nur wenige aufgerufen |
float[] moeBlock(float[] x) {
double[] punkte = router.bewerte(x); // eine Zahl pro Experte
int[] auswahl = topK(punkte, 2); // nur die besten zwei
double[] gewichte = softmax(punkte, auswahl);
float[] y = new float[x.length];
for (int i = 0; i < auswahl.length; i++)
addiere(y, experten[auswahl[i]].rechne(x), gewichte[i]); // die anderen schlafen
return y;
}