Halluzination

Wenn ein Sprachmodell etwas Plausibles, aber Falsches erzeugt – kein Programmfehler, sondern eine direkte Folge seines Prinzips.

Lesestand

Eine Halluzination ist eine Ausgabe, die überzeugend klingt, aber nicht stimmt: ein erfundenes Zitat, eine falsche Zahl, eine Java-Methode, die es nicht gibt.

Sie entsteht, weil ein Sprachmodell darauf trainiert ist, plausiblen Text zu erzeugen – nicht wahren. Fehlt ihm das Wissen, liefert es trotzdem die plausibelste Fortsetzung. Das Modell lügt dabei nicht; es hat schlicht keinen eingebauten Unterschied zwischen „wissen“ und „raten“.

Wie sie entsteht

Ein Sprachmodell sagt bei jedem Schritt eine Wahrscheinlichkeitsverteilung für das nächste Token voraus. Bei einer Frage, deren Antwort es tausendfach im Training gesehen hat, ist diese Verteilung spitz: Ein Kandidat dominiert, und der ist richtig. Bei einer Frage, zu der es wenig oder nichts weiß, ist sie flach: viele Kandidaten, keiner überzeugend.

Der entscheidende Punkt: In beiden Fällen wird am Ende ein Token gezogen und als Text ausgegeben. Die flache Verteilung, also die Unsicherheit, ist im fertigen Satz nicht mehr zu sehen. Er klingt genauso selbstsicher.

Die Unsicherheit steckt in der Verteilung, nicht im Satz. Am ausgegebenen Text sieht man keinen Unterschied.

Selbst ausprobieren

Stell dem Spielzeug-Modell eine Frage und lass es antworten. Grün markiert ist die richtige Antwort, die Leiste darunter zeigt, wie unsicher das Modell innerlich ist:

Typische Formen

Halluzinationen treten dort auf, wo das Modell wenig verlässliche Muster gelernt hat, aber die Form der Antwort sehr gut kennt:

Erfundene Quellen

Literaturangaben, URLs, Gerichtsurteile. Das Modell kennt das Format perfekt – Autor, Jahr, Titel, Seitenzahl – und füllt es plausibel aus.

Müller, K. (2019): „Neuronale Netze im Mittelstand“, Springer, S. 112.

Nicht existierende APIs

Für Entwickler der Klassiker: Methoden, die es geben könnte, weil sie zum Namensschema passen.

list.stream().filterNotNull().toList();
gibt es in Kotlin, nicht in Java

Falsche Details

Exakte Zahlen, Daten, Versionsnummern, Namen von Nebenfiguren. Die Größenordnung stimmt oft, das Detail nicht.

„Spring Boot 3.0 erschien im März 2022.“ (tatsächlich: November 2022)

Zusammengewürfelte Personen

Bei wenig bekannten Menschen verschmelzen Fakten mehrerer Personen gleichen Namens zu einer.

„Dr. Anna Weber, Physikerin und Autorin von drei Kinderbüchern …“

Je bekannter und häufiger ein Fakt im Trainingstext vorkommt, desto zuverlässiger. Je seltener, spezieller und genauer, desto riskanter. Ereignisse nach dem Wissensstichtag des Trainings kennt das Modell gar nicht.

Der Lawineneffekt

Ein Sprachmodell schreibt Token für Token und kann nicht zurück. Ist einmal ein falsches Token gewählt, wird alles Folgende dazu passend fortgesetzt – denn das ist ja seine Aufgabe. Ein kleiner Fehler am Anfang erzeugt so eine ganze, in sich stimmige Fehlgeschichte.

1991 ist nicht absurd – da begann die Entwicklung. Gezogen mit 38 % Wahrscheinlichkeit, und schon baut das Modell eine passende, aber falsche Geschichte darum.

Modelle, die vor der Antwort „nachdenken“ dürfen, können solche Fehler teilweise selbst bemerken und korrigieren – weil sie ihre Zwischenergebnisse noch einmal lesen, bevor die eigentliche Antwort kommt.

Falsche Voraussetzungen

Eine besonders tückische Quelle ist die Frage selbst. Enthält sie eine falsche Annahme, ist die plausibelste Fortsetzung oft, darauf einzugehen – denn in Trainingstexten werden Fragen meist beantwortet, nicht korrigiert.

Anfällig

Warum wurde Optional in Java 6 eingeführt?

Optional wurde in Java 6 eingeführt, um NullPointerExceptions zu vermeiden …

Besser

Warum wurde Optional in Java 6 eingeführt?

Kleine Korrektur: Optional kam erst mit Java 8 (2014). Eingeführt wurde es, um …

Moderne Modelle sind darauf trainiert, falsche Voraussetzungen zu widersprechen. Ganz zuverlässig klappt das nicht – vor allem bei Details, die das Modell selbst nicht sicher weiß.

Was hilft

Ganz abschalten lässt sich das Halluzinieren nicht, es gehört zum Prinzip. Aber man kann es stark eindämmen:

Material mitgeben. Steht die Antwort im Kontext – Dokument, Code, Handbuch –, muss das Modell nicht aus dem Gedächtnis schöpfen.

Websuche oder RAG nutzen. Dann wird nachgeschlagen statt erinnert, und Quellen lassen sich prüfen.

Unsicherheit erlauben. „Wenn du es nicht sicher weißt, sag das“ wirkt tatsächlich – das Modell braucht die Erlaubnis.

Nach Belegen fragen. „Zitiere die Stelle im Dokument, auf die du dich stützt“ – erfundene Zitate fallen beim Prüfen auf.

Code ausführen und testen. Der Compiler findet die erfundene Methode in Sekunden. Gerade bei Code ist das der stärkste Schutz.

Kritische Fakten gegenprüfen. Zahlen, Daten, Namen, Rechtsfragen: immer an einer verlässlichen Quelle.

Die Anbieter arbeiten ebenfalls daran: Modelle werden gezielt darauf trainiert, Wissenslücken zuzugeben, statt zu raten. Neuere Modelle halluzinieren deutlich seltener als frühere – aber nie gar nicht.

Für Entwickler übersetzt

Begriff	Entspricht ungefähr
Halluzination	ein `get()`, das nie `null` liefert und nie eine Exception wirft, sondern bei fehlendem Schlüssel einen plausiblen Wert erfindet
Wissen im Modell	ein verlustbehaft komprimierter Cache – Häufiges ist gut erhalten, Seltenes verwaschen
Material im Kontext	die Daten als Parameter übergeben statt aus dem Cache zu lesen
Lawineneffekt	ein früher falscher Zustand, mit dem alle folgenden Methoden konsistent weiterrechnen

// So verhält sich ein Datenspeicher, den man erwartet:
String einwohner = lexikon.get("Kleinkleckersdorf");   // null → klar: unbekannt

// So verhält sich ein Sprachmodell ohne Hilfsmittel:
String einwohner = modell.ergaenze("Kleinkleckersdorf hat ");
// → "1 247 Einwohner"  – immer ein Wert, nie null, kein Hinweis aufs Raten

Häufige Irrtümer

„Das Modell lügt.“ – Lügen setzt voraus, die Wahrheit zu kennen und absichtlich etwas anderes zu sagen. Bei einer Halluzination fehlt das Wissen schlicht; das Modell erzeugt die plausibelste Fortsetzung.

„Wenn es sehr sicher klingt, stimmt es.“ – Der Ton sagt nichts über die Richtigkeit. Ein Modell formuliert geratene und gewusste Antworten oft gleich überzeugt.

„Temperatur 0 verhindert Halluzinationen.“ – Sie verhindert zufällige Ausreißer. Hält das Modell etwas Falsches für am wahrscheinlichsten, sagt es das bei Temperatur 0 umso beständiger.

„Das wird bald komplett behoben sein.“ – Es wird seltener. Aber solange ein Modell plausiblen Text aus gelernten Mustern erzeugt, bleibt ein Restrisiko – genau wie bei Menschen, die sich falsch erinnern.