Parameter
Die Milliarden Zahlen, in denen alles steckt, was ein Sprachmodell gelernt hat – und warum „mehr“ nicht automatisch „klüger“ heißt.
Parameter – auch Gewichte genannt – sind die Zahlen im Inneren eines Modells. Das Training stellt sie ein, danach sind sie fest. Alles, was das Modell „kann“, steckt in diesen Zahlen, nirgendwo sonst.
„70B“ heißt 70 Milliarden (englisch billion) Parameter. Mehr Parameter erlauben mehr gelerntes Wissen, aber wie gut ein Modell ist, hängt genauso von Daten und Training ab.
Ein Parameter im Kleinen
Am einfachsten versteht man Parameter an einem einzelnen künstlichen Neuron. Es nimmt ein paar Eingaben, multipliziert jede mit einem Gewicht, zählt alles zusammen, addiert einen Bias und drückt das Ergebnis in einen Bereich zwischen 0 und 1.
Hier ein Spielzeug-Spamfilter mit genau vier Parametern. Ändere die Eingaben – und dann die Gewichte:
Was man hier sieht, gilt im Großen genauso: Die Eingaben wechseln mit jeder Anfrage, die Parameter bleiben gleich. Ein negatives Gewicht wie bei „Absender bekannt“ heißt: Diese Eingabe spricht gegen Spam. Diese Bedeutung hat niemand eingetippt – sie ergäbe sich beim Training aus vielen Beispielen.
Vom Neuron zum Sprachmodell
Ein Sprachmodell ist im Kern dasselbe Prinzip, nur hochskaliert: Statt einem Neuron rechnen Tausende gleichzeitig, und statt einzelner Gewichte gibt es ganze Gewichtsmatrizen. Eine Schicht nimmt einen Vektor aus Tausenden Zahlen, multipliziert ihn mit einer Matrix und gibt einen neuen Vektor weiter – an die nächste Schicht. Davon gibt es Dutzende hintereinander.
Wo die Milliarden sitzen
In einem Transformer-Sprachmodell stecken die Parameter an drei Stellen:
- Embedding-Tabelle: eine Zeile Zahlen für jedes Token im Vokabular.
- Aufmerksamkeit: pro Schicht vier Matrizen, mit denen Tokens aufeinander schauen.
- Feedforward-Netz: pro Schicht zwei große Matrizen – hier steckt der Löwenanteil.
Mit einer Faustformel kann man die Größe eines Modells aus drei Bauplan-Zahlen recht genau schätzen. Probier die Voreinstellungen – bei GPT-2 und GPT-3 sind die Baupläne veröffentlicht, und die Formel landet sehr nah an den offiziellen Größen von 124 Mio., 1,5 Mrd. und 175 Mrd.:
Auffällig: Die Breite geht quadratisch ein. Doppelt so breit heißt viermal so viele Parameter pro Schicht. Und bei großen Modellen fällt die Embedding-Tabelle kaum noch ins Gewicht.
Wie viel Speicher das ist
Jeder Parameter ist eine Gleitkommazahl. Wie viel Speicher ein Modell braucht, ist also schlicht Anzahl × Bytes pro Zahl – und alles muss beim Rechnen in den (Grafikkarten-)Speicher passen.
| Modellgröße | 16 Bit | 8 Bit | 4 Bit |
|---|---|---|---|
| 7 Mrd. | 14 GB | 7 GB | 3,5 GB |
| 70 Mrd. | 140 GB | 70 GB | 35 GB |
| 400 Mrd. | 800 GB | 400 GB | 200 GB |
Das Verkleinern der Zahlen heißt Quantisierung. Es ist, als würde man ein double[] in ein float[] oder gar byte[] umwandeln: Das Modell wird deutlich kleiner und schneller, verliert aber etwas Genauigkeit. Bei 8 Bit ist das meist kaum spürbar, bei 4 Bit oft noch erstaunlich gut. So laufen kleinere Modelle auch auf einem normalen Rechner.
Wie sie eingestellt werden
Am Anfang des Trainings sind alle Parameter Zufallszahlen – das Modell produziert Buchstabensalat. Dann läuft immer derselbe Zyklus: Das Modell rät das nächste Token, man misst den Fehler und berechnet für jeden einzelnen Parameter, in welche Richtung er sich bewegen müsste, damit der Fehler kleiner wird. Dann wird jeder ein winziges Stück in diese Richtung geschoben. Das Verfahren heißt Gradientenabstieg.
Das wird Billionen Mal wiederholt, auf Tausenden Spezialchips über Wochen bis Monate. Am Ende speichert man die Zahlen in einer Datei – das ist das Modell. Beim späteren Benutzen, der Inferenz, werden sie nur noch gelesen.
Mehr = besser?
Lange galt: Größere Modelle sind besser. Das stimmt im Grundsatz noch – mehr Parameter bieten mehr Platz für Wissen und Fähigkeiten. Aber drei Dinge relativieren es:
Daten zählen genauso
Ein Modell braucht genug Training für seine Größe. Eine viel zitierte Studie von 2022 („Chinchilla“) kam auf etwa 20 Trainings-Tokens pro Parameter als sinnvolles Verhältnis. Viele ältere Riesenmodelle waren untertrainiert.
Kleine holen auf
Mit besseren Daten und Methoden schlagen heutige kleine Modelle oft deutlich größere von vor ein paar Jahren.
Nicht alle rechnen mit
Bei „Mixture of Experts“ wird pro Token nur ein Teil der Parameter benutzt. Mixtral 8×7B hat rund 47 Mrd. Parameter, nutzt pro Token aber nur etwa 13 Mrd.
Die Parameterzahl ist also eher wie der Hubraum beim Auto: Sie sagt etwas über das Potenzial, aber nicht alles über die Leistung.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Parameter | Milliarden final-Konstanten, aus einer Datei geladen |
| Gewichtsmatrix | ein float[][]; eine Schicht ist im Kern y = W · x + b |
| Gewichtsdatei | serialisierte Arrays, oft mehrere hundert GB (z. B. im Format .safetensors) |
| Training | der einzige Schreibzugriff auf diese Arrays |
| Inferenz | reiner Lesezugriff – das Modell ist danach immutable |
| Quantisierung | double → float → byte: kleiner, schneller, etwas ungenauer |
| Hyperparameter | die Konfiguration, die Menschen festlegen: Schichtzahl, Breite, Lernrate – wie Einträge in einer application.properties |
// Eine Schicht, stark vereinfacht
float[] schicht(float[] x, float[][] W, float[] b) { // W und b: Parameter
float[] y = new float[W.length];
for (int i = 0; i < W.length; i++) {
float s = b[i];
for (int j = 0; j < x.length; j++) s += W[i][j] * x[j];
y[i] = aktivierung(s);
}
return y;
}
// Ein Sprachmodell: ~80 solcher Schichten hintereinander,
// W jeweils z. B. 8192 × 28672 groß – auf Grafikkarten statt in Schleifen.