Was ist ein Sprachmodell?

Kurz gesagt

Ein Sprachmodell ist ein Programm, das zu einem Text vorhersagt, wie er wahrscheinlich weitergeht. Mehr nicht. Es bekommt einen Text und liefert für jedes mögliche nächste Wortstück eine Wahrscheinlichkeit. Eines davon wird ausgewählt, angehängt – und das Ganze beginnt von vorn, bis die Antwort fertig ist.

Dass dabei Erklärungen, Programmcode oder Gedichte herauskommen, liegt nicht an einem eingebauten Verständnis von Gedichten. Es liegt daran, dass man sehr gut vorhersagen können muss, um gute Texte fortzusetzen – und dass dafür offenbar eine Menge Wissen über die Welt nötig ist. Wer den nächsten Satz einer Physik-Erklärung zuverlässig vorhersagen will, muss Physik in gewissem Sinn „können“.

Selbst ausprobieren

Hier ein Spielzeug-Modell mit nur einer Handvoll Möglichkeiten pro Schritt. Ziehe Token für Token und dreh an der Temperatur: Sie bestimmt, wie mutig gezogen wird.

Bei niedriger Temperatur gewinnt fast immer der Favorit – die Antwort wird vorhersehbar und bei gleicher Eingabe fast immer gleich. Bei hoher Temperatur kommen auch Außenseiter zum Zug: abwechslungsreicher, aber auch fehleranfälliger. Probier mal Temperatur 2 und warte auf „lila“.

Wortstücke statt Wörter: Tokens

Das Modell arbeitet nicht mit Buchstaben und nicht ganz mit Wörtern, sondern mit Tokens: häufigen Wortstücken. Häufiges bleibt ganz, Seltenes wird zerlegt. Ein deutsches Wort entspricht im Schnitt grob ein bis zwei Tokens.

Wie es entsteht: Training

1. Vortraining

Das Modell liest riesige Mengen Text und übt immer dieselbe Aufgabe. Ein einziger Übungsschritt sieht so aus:

Danach kann das Modell Texte fortsetzen, ist aber noch kein Gesprächspartner. Es hat ja nur gelernt, wie Texte üblicherweise weitergehen:

2. Feinabstimmung

Danach wird das Modell mit Beispielen guter Antworten und mit Bewertungen durch Menschen nachtrainiert. Hier lernt es, hilfreich zu antworten, Anweisungen zu folgen und bestimmte Dinge abzulehnen. Was du im Chat erlebst – Ton, Aufbau, Höflichkeit –, ist vor allem das Ergebnis dieses Schritts.

Was im Modell steckt: Parameter

Das fertige Modell besteht aus Parametern, auch Gewichte genannt: Milliarden Zahlen, bei großen Modellen Hunderte Milliarden, die beim Training eingestellt wurden. Es gibt darin keine Datenbank mit Fakten und keinen Quelltext, in dem steht, wie man einen Brief schreibt. Alles Gelernte ist über diese Zahlen verteilt.

Blick hinein: Aufmerksamkeit

Wie entscheidet das Modell, welche früheren Wörter für das nächste wichtig sind? Heutige Sprachmodelle sind fast alle Transformer, und ihr Kernstück heißt Aufmerksamkeit (englisch attention): Jedes Token kann auf alle Tokens davor schauen und gewichtet, wie relevant sie gerade sind. Wähle ein Wort:

So kann „ist“ über sieben Wörter hinweg erkennen, dass es zum „Kaffee“ gehört – und das Modell weiß, dass als Nächstes eher „kalt“ als „müde“ passt.

Das Arbeitsgedächtnis: Kontextfenster

Alles, was das Modell während eines Gesprächs „weiß“, muss in seinem Kontextfenster stehen: deine Fragen, seine bisherigen Antworten, angehängte Dateien. Das Fenster ist groß, heute oft Hunderttausende Tokens, aber endlich. Was nicht drinsteht, existiert für das Modell nicht.

Deshalb erinnert sich ein Modell ohne Zusatzfunktionen auch nicht an das Gespräch von gestern: Es hat kein Gedächtnis, es bekommt nur jedes Mal den Text vorgelegt. Funktionen wie „Erinnerungen“ in Chat-Apps schreiben einfach passende Notizen mit ins Kontextfenster.

Für Entwickler übersetzt

Als Code sieht die ganze Antwort-Erzeugung im Kern so aus:

List<Token> kontext = tokenizer.zerlege("Wie koche ich Spaghetti?");

while (kontext.size() < MAX_KONTEXT) {
    Verteilung p = modell.naechstesToken(kontext);   // reine Funktion, kein Zustand
    Token t = p.ziehe(temperatur);                   // hier kommt der Zufall ins Spiel
    if (t.istEnde()) break;
    kontext.add(t);                                  // anhängen, nächste Runde
}

System.out.println(tokenizer.zusammensetzen(kontext));

Die Funktion selbst hat keinen Zustand. Das „Gedächtnis“ im Chat entsteht nur dadurch, dass bei jedem Schritt der gesamte bisherige Verlauf erneut übergeben wird.

Warum es sich irrt

Ein Sprachmodell erzeugt das Plausible, nicht zwingend das Wahre. Meistens fällt beides zusammen, denn wahre Aussagen sind in den Trainingstexten häufiger als falsche.

Fehlt Wissen – ein seltener Fakt, eine exakte Zahl, ein Ereignis nach dem Trainingsende –, dann liefert das Modell trotzdem etwas, das plausibel klingt. Das nennt man Halluzination. Es ist kein Lügen und kein Defekt im üblichen Sinn, sondern die direkte Folge des Prinzips. Daraus folgen drei praktische Regeln:

Was ein Sprachmodell nicht ist

Begriffe aus diesem Beitrag

Neuronales Netz

Viele einfache Recheneinheiten in Schichten, die aus Beispielen lernen.

Parameter

Die beim Training eingestellten Zahlen, in denen alles Gelernte steckt.

Token

Wortstück, die Grundeinheit, mit der das Modell rechnet.

Embedding

Zahlenvektor, der Bedeutung darstellt – Ähnliches liegt nah beieinander.

Aufmerksamkeit

Mechanismus, mit dem jedes Token die relevanten früheren Tokens gewichtet.

Transformer

Die Bauweise heutiger Sprachmodelle aus vielen gleichen Blöcken.

Training

Vortraining, Feinabstimmung und Präferenztraining.

Kontextfenster

Wie viel Text das Modell auf einmal sehen kann.

Temperatur

Regler für Zufall beim Auswählen des nächsten Tokens.

Halluzination

Plausibel klingende, aber falsche Ausgabe.

Prompt

Alles, was das Modell als Eingabe bekommt – inklusive Systemprompt.

Reasoning

Zwischenschritte aufschreiben, bevor geantwortet wird.

RAG

Passende Dokumente nachschlagen und dem Modell mitgeben.

Agenten

Modell plus Werkzeuge plus Schleife – es handelt, statt nur zu antworten.

Alle Begriffe in empfohlener Reihenfolge: Lesereihenfolge →