Benchmarks

Wie man misst, ob ein Modell „besser“ ist – welche Tests es gibt, was sie aussagen, und warum man Ranglisten nie ganz glauben sollte.

Lesestand

Ein Benchmark ist ein standardisierter Test: eine feste Sammlung von Aufgaben mit bekannten Lösungen, auf der man verschiedene Modelle vergleicht. Es gibt Benchmarks für Wissen, Programmieren, Mathematik, Schlussfolgern, Agenten-Aufgaben und mehr.

Sie sind nützlich, aber mit Vorsicht zu lesen: Jeder misst nur einen Ausschnitt, viele sind nach kurzer Zeit „ausgereizt“, Testaufgaben geraten manchmal in die Trainingsdaten, und Anbieter optimieren gezielt auf bekannte Tests. Für eigene Anwendungen zählt am Ende, wie ein Modell bei den eigenen Aufgaben abschneidet.

Wer ist der Beste?

Vier erfundene Modelle, fünf Arten von Tests. Schalte zwischen den Benchmarks um:

Was gemessen wird

Ein paar der bekanntesten Benchmarks, damit man die Namen in Ankündigungen einordnen kann:

Name	Misst	Art der Aufgaben
MMLU	Allgemeinwissen	Multiple-Choice-Fragen aus 57 Fächern, von Jura bis Medizin. Inzwischen weitgehend ausgereizt.
GPQA	Expertenwissen	Sehr schwere Fragen aus Biologie, Chemie, Physik, die sich nicht einfach ergoogeln lassen.
AIME	Mathematik	Aufgaben aus einem US-Mathematikwettbewerb für Schüler – mit exakt prüfbaren Lösungen.
HumanEval	Programmieren	Kurze Funktionen nach Beschreibung schreiben, geprüft mit Tests. Ebenfalls weitgehend ausgereizt.
SWE-bench	Software-Entwicklung	Echte Fehlerberichte aus Open-Source-Projekten beheben – der Agent muss das Repository verstehen und Tests bestehen lassen.
Humanity’s Last Exam	Grenzen des Wissens	Fragen von Fachleuten weltweit, bewusst so schwer, dass Modelle sie anfangs kaum lösten.
LMArena	Beliebtheit	Menschen vergleichen zwei anonyme Antworten und wählen die bessere. Daraus entsteht eine Rangliste wie beim Schach.

Warum Benchmarks veralten

Ein neuer Benchmark wird meist entworfen, weil die alten nichts mehr unterscheiden. Dann holen die Modelle auf – oft schneller als erwartet –, bis auch der neue nahe 100 % liegt. Man spricht von Sättigung.

Schematisch. Jede Kurve: ein Benchmark, gemessen am jeweils besten Modell. Der Zeitraum, bis ein neuer Test ausgereizt ist, ist in den letzten Jahren kürzer geworden.

Die Fallen

Kontamination

Benchmark-Aufgaben stehen im Internet. Geraten sie in die Trainingsdaten, hat das Modell die Lösungen womöglich gesehen – dann misst der Test Gedächtnis statt Können.

Auf den Test optimiert

„Wird ein Maß zum Ziel, hört es auf, ein gutes Maß zu sein“ (Goodharts Gesetz). Wer gezielt auf bekannte Tests hin trainiert, verbessert die Zahl mehr als die Fähigkeit.

Unterschiedliche Bedingungen

Mit wie viel Nachdenkzeit, wie vielen Versuchen, welchen Werkzeugen? Kleine Unterschiede im Testaufbau verändern Ergebnisse deutlich – Zahlen verschiedener Anbieter sind oft nicht direkt vergleichbar.

Arena-Ranglisten haben eigene Schwächen: Menschen bevorzugen gern längere, selbstbewusstere und schön formatierte Antworten – unabhängig davon, ob sie richtig sind.

Eigene Tests: Evals

Für den Einsatz in eigener Software ist die zuverlässigste Methode ein eigener kleiner Benchmark – im Fachjargon Evals. Man sammelt 50 bis 200 typische Aufgaben aus dem echten Anwendungsfall, legt fest, was eine gute Antwort ist, und lässt verschiedene Modelle oder Prompt-Varianten dagegen laufen. Für Entwickler ist das vertrautes Terrain:

// Evals sind im Kern Unit-Tests mit Toleranz
record Fall(String eingabe, Predicate<String> istGut) {}

List<Fall> faelle = List.of(
    new Fall("Ticket: 'Login wirft 500er'",   a -> a.strip().equals("BUG")),
    new Fall("Ticket: 'Dark Mode bitte'",     a -> a.strip().equals("FEATURE"))
    // … 100 weitere echte Beispiele
);

for (Modell m : kandidaten) {
    long ok = faelle.stream().filter(f -> f.istGut().test(m.frage(prompt + f.eingabe()))).count();
    System.out.printf("%s: %d/%d%n", m.name(), ok, faelle.size());
}

Für offene Aufgaben wie Zusammenfassungen, bei denen es keine exakte Lösung gibt, lässt man oft ein zweites Modell nach festen Kriterien bewerten („LLM als Richter“) – und prüft stichprobenartig selbst nach.

Für Entwickler übersetzt

Begriff	Entspricht ungefähr
Benchmark	eine öffentliche Test-Suite mit Punktzahl
Eval	die eigene Test-Suite für den eigenen Anwendungsfall
Kontamination	Tests, deren erwartete Ergebnisse im Code fest verdrahtet sind – grün, aber wertlos
Sättigung	eine Test-Suite, die alle bestehen – sie unterscheidet nichts mehr
Arena	A/B-Test mit echten Nutzern

Häufige Irrtümer

„Das Modell mit der höchsten Punktzahl ist das beste.“ – Für diesen Test, unter diesen Bedingungen. Für die eigene Aufgabe kann ein anderes besser sein – oder ein günstigeres genauso gut.

„90 % im Benchmark heißt 90 % richtige Antworten bei mir.“ – Benchmarks sind sauber formulierte Aufgaben. Echte Anfragen sind unordentlicher, und der Kontext ist ein anderer.

„Benchmarks messen Intelligenz.“ – Sie messen, wie gut ein Modell bestimmte Aufgabentypen löst. Was das über allgemeine Fähigkeiten aussagt, ist umstritten.

„Wenn ein Modell einen Test besteht, kann es das sicher.“ – Leicht umformulierte Aufgaben zeigen manchmal, dass Muster gelernt wurden statt des Prinzips.