Training
Wie aus Milliarden Zufallszahlen ein Sprachmodell wird, das antwortet, erklärt und programmiert – in drei Phasen, die jeweils etwas ganz anderes beibringen.
Training heißt: Die Parameter eines neuronalen Netzes werden so lange angepasst, bis das Netz tut, was es soll. Bei Sprachmodellen geschieht das in drei großen Phasen:
1. Vortraining – riesige Textmengen lesen und das nächste Token vorhersagen. Hier entsteht das Wissen. 2. Feinabstimmung – an Beispielgesprächen lernen, wie ein hilfreicher Assistent antwortet. 3. Präferenztraining (etwa RLHF) – aus Bewertungen lernen, welche von zwei Antworten besser ist. Hier entstehen Ton, Sorgfalt und Grenzen.
Der Weg im Überblick
| Phase | Lernt aus | Bringt bei |
|---|---|---|
| Vortraining | Billionen Tokens aus Web, Büchern, Code | Sprache, Wissen, Muster, Programmieren |
| Feinabstimmung | ausgewählte Beispielgespräche | die Rolle als Assistent, Antwortformat, Anweisungen befolgen |
| Präferenztraining | Vergleiche: Antwort A oder B besser? | Qualität, Ehrlichkeit, Ton, was abgelehnt wird |
Die Daten
Am Anfang steht eine riesige Textsammlung: öffentlich zugängliche Webseiten, Bücher, wissenschaftliche Artikel, Programmcode, oft in vielen Sprachen. Roh ist das unbrauchbar. Ein großer Teil der Arbeit steckt im Aufbereiten:
- Doppeltes entfernen – sonst lernt das Modell häufige Seiten auswendig.
- Qualität filtern – Spam, Werbemüll, kaputte Seiten aussortieren.
- Problematisches entfernen – etwa persönliche Daten oder schädliche Inhalte.
- Mischen – wie viel Code, wie viel Deutsch, wie viel Mathematik? Die Mischung prägt, was das Modell gut kann.
Phase 1: Vortraining
Das Modell startet mit Zufallszahlen und übt eine einzige Aufgabe: das nächste Token vorhersagen. Text für Text, Billionen Mal. Bei jedem Fehler werden alle Parameter ein winziges Stück korrigiert (Gradientenabstieg, siehe Neuronales Netz).
Das klingt banal, ist aber eine sehr anspruchsvolle Aufgabe. Um gut vorherzusagen, wie ein Satz über Chemie weitergeht, muss das Modell Chemie in gewissem Sinn verstanden haben. Um Java-Code fortzusetzen, muss es Java können. So entsteht nebenbei ein enormes Wissen.
Dauer
Wochen bis Monate, ohne Unterbrechung.
Hardware
Tausende bis Zehntausende Spezialchips (GPUs oder TPUs), eng vernetzt.
Kosten
Bei großen Modellen nach öffentlichen Schätzungen zig bis Hunderte Millionen Dollar – allein für Rechenzeit.
Das Ergebnis ist ein Basismodell. Es weiß viel, aber es ist kein Gesprächspartner: Es setzt einfach jeden Text so fort, wie er im Internet wahrscheinlich weitergehen würde.
Ein Modell, drei Stufen
Wie sich dieselbe Frage nach jeder Phase beantworten würde. Wähl eine Frage und schalte durch die Stufen:
Phase 2: Feinabstimmung
In der Feinabstimmung (englisch supervised fine-tuning, kurz SFT) bekommt das Basismodell Beispiele, wie ein gutes Gespräch aussieht: eine Nutzerfrage und eine vorbildliche Antwort, geschrieben oder geprüft von Menschen. Es lernt mit derselben Methode wie zuvor – nächstes Token vorhersagen –, nur jetzt auf diesen Gesprächen.
Die Datenmenge ist winzig im Vergleich zum Vortraining, aber die Wirkung groß: Das Modell lernt, dass nach einer Frage eine Antwort kommt, dass es eine Rolle als Assistent hat, wie man Listen und Code formatiert, wie man Anweisungen befolgt. Das Wissen kommt fast vollständig aus dem Vortraining; die Feinabstimmung bringt ihm bei, es anzuwenden.
Phase 3: Präferenztraining
Gute Antworten vollständig vorzuschreiben ist teuer und begrenzt. Viel leichter ist es, zwei Antworten zu vergleichen. Darauf beruht das Präferenztraining. Die bekannteste Form heißt RLHF – Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlicher Rückmeldung:
- Das Modell schreibt zu einer Frage zwei oder mehr Antworten.
- Menschen wählen, welche besser ist.
- Aus sehr vielen solcher Entscheidungen wird ein Belohnungsmodell trainiert, das vorhersagt, welche Antwort Menschen bevorzugen würden.
- Das Sprachmodell wird dann so weitertrainiert, dass es Antworten schreibt, die das Belohnungsmodell hoch bewertet.
Probier es selbst – du bist der Bewerter:
Daran sieht man auch eine Schwäche: Das Modell lernt, was Bewerter mögen – nicht automatisch, was richtig ist. Menschen bevorzugen manchmal Antworten, die ihnen zustimmen oder schmeicheln. Ein Modell, das darauf optimiert wird, neigt dann zu Sykophantie: Es gibt einem eher recht, als zu widersprechen. Anbieter arbeiten gezielt dagegen an.
Varianten
KI-Rückmeldung
Statt Menschen bewertet ein Modell die Antworten anhand schriftlicher Grundsätze. Anthropic hat dafür 2022 „Constitutional AI“ vorgestellt – das Modell lernt aus einer Art Verfassung.
Überprüfbare Aufgaben
Bei Mathematik oder Code lässt sich automatisch prüfen, ob das Ergebnis stimmt. Das Modell wird für richtige Lösungen belohnt – so entstehen die Denkfähigkeiten moderner Reasoning-Modelle.
Direkt aus Vergleichen
Verfahren wie DPO sparen sich das separate Belohnungsmodell und lernen direkt aus den Paaren. Einfacher, aber mit ähnlichem Ziel.
Was danach kommt
Vor der Veröffentlichung wird das Modell ausgiebig getestet: mit standardisierten Aufgaben (Benchmarks), mit gezielten Angriffsversuchen („Red Teaming“) und auf gefährliche Fähigkeiten. Dann werden die Parameter eingefroren.
Ab diesem Moment lernt das Modell nichts mehr dazu. Was nach dem Ende der Trainingsdaten passiert ist, kennt es nicht – das ist sein Wissensstichtag. Neues Wissen bekommt es nur noch über das Kontextfenster, etwa durch Websuche oder RAG.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Vortraining | jemand liest jahrelang sämtlichen Quellcode auf GitHub – und kennt danach alle Muster, aber keine Teamregeln |
| Feinabstimmung | Einarbeitung mit Musterlösungen: „So beantworten wir hier Tickets.“ |
| Belohnungsmodell | ein gelernter Comparator<Antwort> – trainiert auf vielen „A ist besser als B“ |
| Präferenztraining | wie A/B-Tests mit Nutzerfeedback, nur dass sich das Produkt automatisch in Richtung der Gewinner verändert |
| Eigene Feinabstimmung | mit Verfahren wie LoRA: kleine Zusatzgewichte statt Änderung am ganzen Modell – ähnlich einem Decorator oder Patch |
// Präferenztraining, auf den Kern reduziert
for (Frage f : fragen) {
Antwort a = modell.antworte(f), b = modell.antworte(f);
Antwort besser = mensch.waehle(a, b); // oder ein Bewertungsmodell
vergleiche.add(new Vergleich(f, besser, besser == a ? b : a));
}
Comparator<Antwort> belohnung = trainiere(vergleiche); // lernt Vorlieben
for (int schritt = 0; schritt < N; schritt++) {
Antwort x = modell.antworte(zufaelligeFrage());
modell.verstaerke(x, belohnung.punkte(x)); // Gutes wahrscheinlicher machen
}