Destillation
Wie ein großes Modell ein kleines unterrichtet – und warum der Schüler dabei mehr lernt, als wenn er nur die richtigen Antworten gezeigt bekäme.
Bei der Destillation (englisch knowledge distillation) lernt ein kleines Modell, der Schüler, von einem großen, dem Lehrer. Statt nur aus Texten mit „richtigen“ Antworten lernt der Schüler aus dem, was der Lehrer vorhersagt – im besten Fall aus seiner ganzen Wahrscheinlichkeitsverteilung.
Das funktioniert erstaunlich gut: Der Schüler wird deutlich besser, als er mit derselben Größe auf normalem Weg geworden wäre. So entstehen viele kleine, schnelle und günstige Modelle. Auch Denkfähigkeiten großer Reasoning-Modelle lassen sich auf diese Weise auf kleinere übertragen.
Mehr als „richtig“ und „falsch“
Beim normalen Training lernt ein Modell an einem Beispielsatz nur: An dieser Stelle stand dieses Wort. Der Lehrer kann viel mehr verraten – nämlich wie plausibel jedes andere Wort gewesen wäre. Vergleiche:
Geoffrey Hinton, der das Verfahren 2015 bekannt machte, nannte diese Zusatzinformation „dunkles Wissen“: Dass „Maus“ und „Ente“ als Fortsetzung nicht ganz falsch, „Steuer“ aber völlig abwegig wäre, steht nirgends im Trainingstext – nur im Kopf des Lehrers. Mit jedem Beispiel bekommt der Schüler so viel mehr Rückmeldung.
Zwei Wege
Mit Wahrscheinlichkeiten
Der Schüler lernt die komplette Verteilung des Lehrers für jedes Token nachzubilden. Am wirksamsten – braucht aber Zugriff auf das Innere des Lehrers, also meist ein eigenes Modell oder eines mit offenen Gewichten.
Mit Beispieltexten
Der Lehrer schreibt Antworten auf viele Fragen, und der Schüler wird darauf feinabgestimmt. Geht auch, wenn man den Lehrer nur über eine API erreicht. So wurden etwa Anfang 2025 die Denkfähigkeiten von DeepSeek-R1 auf deutlich kleinere Modelle übertragen.
Wozu das Ganze
Große Modelle sind teuer im Betrieb (siehe Inferenz). Für viele Aufgaben reicht ein kleineres – wenn es gut genug ist. Destillation schließt diese Lücke:
Schnell und günstig
Viele Anbieter haben neben großen auch kleine, schnelle Modelle im Angebot. Wie genau sie entstehen, legen sie selten offen; Destillation gilt als ein üblicher Baustein.
Auf dem Gerät
Modelle, die auf Smartphone oder Laptop laufen sollen, müssen klein sein. Destillation holt aus wenigen Parametern mehr heraus.
Spezialisiert
Ein kleines Modell kann gezielt von einem großen für genau eine Aufgabe lernen – etwa Tickets einordnen – und dort fast so gut werden.
Ein frühes, viel zitiertes Beispiel ist DistilBERT (2019): rund 40 % kleiner und 60 % schneller als das Original, bei etwa 97 % von dessen Sprachverständnis-Leistung.
Streitfragen
Destillation lässt sich auch mit fremden Modellen versuchen: einfach massenhaft Antworten eines Konkurrenten abrufen und darauf trainieren. Viele Anbieter verbieten das in ihren Nutzungsbedingungen ausdrücklich, und es gab öffentliche Vorwürfe zwischen Firmen, dass genau das passiert sei. Wie solche Fälle rechtlich zu bewerten sind, ist bislang weitgehend ungeklärt.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Lehrer / Schüler | Senior und Junior – nur dass der Senior nicht bloß „falsch“ sagt, sondern „fast richtig, dieser Ansatz wäre auch gegangen“ |
| Harte Lösung | ein boolesches Testergebnis |
| Weiche Verteilung | eine ausführliche Code-Review mit Abstufungen |
| Destilliertes Modell | eine schlanke, optimierte Version eines großen Systems – wie ein zugeschnittener Microservice statt des Monolithen |
// Ein Lernschritt der Destillation, stark vereinfacht
double[] lehrer = softmax(grossesModell.logits(kontext), T); // weiche Ziele
double[] schueler = softmax(kleinesModell.logits(kontext), T);
double verlust = 0;
for (int i = 0; i < lehrer.length; i++)
if (lehrer[i] > 0) verlust += lehrer[i] * Math.log(lehrer[i] / schueler[i]); // KL-Divergenz
kleinesModell.korrigiere(verlust); // nur der Schüler lernt, der Lehrer bleibt unverändert