Interpretierbarkeit

Der Versuch, in ein Sprachmodell hineinzuschauen: Was bedeuten die Milliarden Zahlen? Forscher finden darin inzwischen erkennbare Begriffe, Pläne und Rechenwege.

Lesestand

Interpretierbarkeit (englisch interpretability) ist das Forschungsgebiet, das verstehen will, was in einem neuronalen Netz tatsächlich vorgeht – nicht nur, was es ausgibt, sondern wie und warum.

Das ist schwer, weil das Gelernte über Milliarden Parameter verteilt ist und einzelne Neuronen meist für viele, nicht zusammenhängende Dinge zuständig sind. In den letzten Jahren gab es aber echte Fortschritte: Forscher können in großen Modellen Millionen erkennbarer „Merkmale“ finden – Begriffe wie „Golden Gate Bridge“ oder „Fehler im Code“ – und Rechenwege nachverfolgen.

Warum man hineinschauen will

🔒

Sicherheit

Wenn ein Modell täuscht oder gefährliches Wissen nutzt, möchte man das erkennen können – nicht nur an der Ausgabe, sondern an der Ursache.

🐞

Fehlersuche

Warum halluziniert es gerade hier? Wo kommt eine Voreingenommenheit her?

🔬

Wissenschaft

Wie lösen diese Systeme Aufgaben, die niemand ihnen erklärt hat? Was haben sie gelernt, das wir nicht wissen?

Das Problem: Neuronen sind unordentlich

Die naheliegende Idee wäre: einzelne Neuronen anschauen und herausfinden, wofür jedes zuständig ist. In kleinen Bildnetzen klappt das manchmal. In Sprachmodellen reagieren einzelne Neuronen aber meist auf eine wilde Mischung – ein Neuron feuert etwa bei Katzen, bei Autos und bei Gedichten auf Französisch. Man nennt das polysemantisch.

Der Grund heißt Superposition: Das Modell will viel mehr Begriffe darstellen, als es Neuronen hat. Also legt es Begriffe als Richtungen im Raum ab, die quer über viele Neuronen verteilt sind – ähnlich wie bei Embeddings. Jeder Begriff nutzt viele Neuronen, jedes Neuron dient vielen Begriffen.

Merkmale finden

Ein Durchbruch der letzten Jahre: Mit einem zweiten, speziell trainierten Netz („Sparse Autoencoder“ oder Wörterbuch-Lernen) lassen sich die durcheinandergemischten Neuronen-Aktivierungen in viele einzelne, gut deutbare Merkmale zerlegen. 2024 veröffentlichte Anthropic – die Firma, die auch das Modell hinter dieser Seite entwickelt –, dass sich so in einem großen Produktionsmodell Millionen Merkmale finden ließen – für konkrete Dinge wie Städte oder Personen, aber auch für abstrakte wie „Sicherheitslücke im Code“, „Schmeichelei“ oder „innerer Konflikt“. Viele davon reagieren sprachübergreifend und sogar auf Bilder desselben Begriffs.

Das Golden-Gate-Experiment

Merkmale lassen sich nicht nur beobachten, sondern auch verstärken. In einer öffentlichen Demonstration drehten Forscher das Merkmal für die Golden Gate Bridge künstlich hoch – und das Modell brachte die Brücke in jede Antwort ein, bis es sich zeitweise sogar selbst für die Brücke hielt. Probier es nachgestellt aus:

Gedankengänge nachverfolgen

Der nächste Schritt: nicht nur einzelne Merkmale, sondern ganze Schaltkreise – wie Merkmale über die Schichten zusammenwirken. 2025 veröffentlichte Anthropic Untersuchungen, in denen sich solche Wege im Modell nachzeichnen ließen. Zwei Befunde:

„Die Hauptstadt des Bundesstaats, in dem Dallas liegt, ist …“→ Merkmal: Texas→ Merkmal: Hauptstadt→ Austin

Das Modell springt nicht direkt zur Antwort, sondern bildet intern einen Zwischenschritt („Texas“), der nirgends im Text steht – ein mehrstufiger Gedankengang innerhalb eines einzigen Durchgangs.

Ein zweiter Befund betraf Reime: Beim Schreiben eines gereimten Zweizeilers wählte das Modell das Reimwort der zweiten Zeile offenbar schon vorher und schrieb die Zeile dann darauf hin – es plante also voraus, obwohl es Token für Token schreibt. Solche Ergebnisse zeigen auch, dass der sichtbare Denktext bei Reasoning nicht immer der tatsächlichen Rechnung entspricht.

Wie weit ist man?

Ehrlich gesagt: am Anfang. Die Methoden erklären bisher nur einen Teil dessen, was in einem Modell passiert, sind aufwendig und funktionieren bei manchen Fragen besser als bei anderen. Viele Merkmale bleiben schwer deutbar. Aber das Feld wächst schnell, und es gilt als einer der vielversprechendsten Wege, um künftig prüfen zu können, ob ein Modell wirklich tut, was es soll – siehe Alignment.

Für Entwickler übersetzt

Begriff	Entspricht ungefähr
Interpretierbarkeit	Reverse Engineering einer Binärdatei, für die es nie Quellcode gab
Polysemantisches Neuron	eine Variable, die je nach Kontext für ganz verschiedene Dinge benutzt wird
Superposition	Bit-Packing: mehr Werte als Felder, platzsparend überlagert
Merkmal	ein dekompilierter, sprechender Variablenname
Merkmal verstärken	im Debugger einen Wert zur Laufzeit ändern und schauen, was passiert
Schaltkreis	ein rekonstruierter Aufrufgraph

Häufige Irrtümer

„Niemand kann wissen, was in einem Modell vorgeht.“ – Vollständig nicht, aber erste Teile lassen sich inzwischen sichtbar machen, gezielt verändern und überprüfen.

„Jedes Neuron steht für einen Begriff.“ – In Sprachmodellen meist nicht. Begriffe sind über viele Neuronen verteilt; erst Zerlegungsverfahren machen sie sichtbar.

„Das Modell kann einfach sagen, wie es zu seiner Antwort kam.“ – Seine eigene Erklärung ist erzeugter Text und muss nicht mit dem inneren Rechenweg übereinstimmen. Genau das prüft die Interpretierbarkeitsforschung von außen.

„Ein gefundenes Merkmal beweist Verständnis.“ – Es zeigt, dass das Modell einen Begriff intern darstellt und nutzt. Ob das „Verstehen“ im menschlichen Sinn ist, ist eine philosophische Frage.