Open Weights
Modelle, deren Parameter man herunterladen und selbst betreiben kann – was „offen“ bei KI wirklich heißt und wie ein Modell auf den eigenen Rechner kommt.
Bei geschlossenen Modellen bekommt man nur Zugang über eine App oder API – die Parameter bleiben beim Anbieter. Bei Open Weights (offene Gewichte) kann man die Parameter herunterladen und das Modell auf eigener Hardware betreiben, ohne Internet und ohne dass Daten das Haus verlassen.
„Offen“ heißt dabei meist nur: Die fertigen Gewichte sind verfügbar. Trainingsdaten und Trainingscode sind es oft nicht, und die Lizenz kann die Nutzung einschränken. Echte Open Source im strengen Sinn – alles offen – ist bei großen Modellen selten.
Wie offen ist offen?
| Was ist verfügbar? | Geschlossen | Open Weights | Voll offen |
|---|---|---|---|
| Modell benutzen | ✓ | ✓ | ✓ |
| Selbst betreiben, offline | – | ✓ | ✓ |
| Selbst weitertrainieren | meist nur eingeschränkt | ✓ | ✓ |
| Trainingscode einsehen | – | selten | ✓ |
| Trainingsdaten einsehen | – | fast nie | ✓ |
.jar-Datei ohne Quellcode, die man frei einbinden darf. Voll offen ist das ganze Repository samt Build-Skripten. Und geschlossen ist ein externer Webservice.Läuft das bei mir?
Die wichtigste Frage beim lokalen Betrieb: Passen die Gewichte in den Speicher? Wähl deine Hardware und die Genauigkeit (siehe Quantisierung bei Parameter):
Faustregel: Modelle mit wenigen Milliarden Parametern laufen auf jedem modernen Laptop und sind für einfache Aufgaben erstaunlich brauchbar. Modelle in der Größenordnung von 30 bis 70 Milliarden brauchen eine starke Grafikkarte oder einen Rechner mit viel gemeinsamem Speicher. Die größten offenen Modelle mit Hunderten Milliarden Parametern sind eher etwas für Server.
Werkzeuge
Man muss dafür kein KI-Spezialist sein. Verbreitete Werkzeuge erledigen Download, Quantisierung und Betrieb:
Ollama
Kommandozeile und lokaler Server. ollama run <modell> lädt ein Modell und startet einen Chat; nebenbei läuft eine HTTP-API.
llama.cpp
Die schlanke Laufzeitumgebung, auf der viele andere Werkzeuge aufbauen. Modelle liegen meist im Format GGUF.
LM Studio
Grafische Oberfläche zum Suchen, Laden und Ausprobieren von Modellen, ebenfalls mit lokaler API.
// Ein lokales Modell über die Ollama-API aus Java ansprechen
HttpClient http = HttpClient.newHttpClient();
String body = """
{"model": "%s", "prompt": "%s", "stream": false}
""".formatted(modellName, frage); // in echt: sauber als JSON escapen
HttpRequest req = HttpRequest.newBuilder(URI.create("http://localhost:11434/api/generate"))
.POST(HttpRequest.BodyPublishers.ofString(body))
.header("Content-Type", "application/json")
.build();
String json = http.send(req, HttpResponse.BodyHandlers.ofString()).body();
// Feld "response" enthält die Antwort. Bequemer: LangChain4j oder Spring AI,
// die lokale und Cloud-Modelle über dieselbe Schnittstelle ansprechen.Wann lohnt sich das?
Für lokale Modelle spricht
- Daten verlassen nie das eigene Haus – wichtig bei Kundendaten, Gesundheit, Geheimnissen
- Keine Kosten pro Anfrage, keine Abhängigkeit von einem Anbieter
- Läuft offline
- Volle Kontrolle: Version bleibt stabil, eigenes Weitertrainieren möglich
Dagegen spricht
- Die stärksten Modelle sind meist geschlossen; lokal läuft in der Regel etwas Kleineres
- Hardware kostet Geld und Strom
- Betrieb, Updates und Absicherung liegen bei einem selbst
- Lizenzbedingungen müssen geprüft werden
Die Debatte um Offenheit
Ob große Modelle offen veröffentlicht werden sollten, ist umstritten. Befürworter verweisen auf Forschung, Transparenz, Wettbewerb und darauf, dass Wissen nicht bei wenigen Firmen konzentriert sein sollte. Kritiker geben zu bedenken, dass sich ein veröffentlichtes Modell nicht zurückrufen lässt und eingebaute Sicherheitsvorkehrungen durch Weitertrainieren entfernt werden können – bei sehr leistungsfähigen Modellen ein ernstes Risiko. Viele Anbieter entscheiden deshalb je nach Modell und Fähigkeiten unterschiedlich.
Für Entwickler übersetzt
| Begriff | Entspricht ungefähr |
|---|---|
| Geschlossenes Modell | ein externer SaaS-Dienst mit API-Schlüssel |
| Open Weights | ein Binär-Artefakt zum Selbsthosten – wie eine .jar ohne Quellen |
| Gewichtsdatei (GGUF, safetensors) | serialisierte Arrays, oft mehrere Dutzend GB |
| Ollama, llama.cpp | die Laufzeitumgebung – vergleichbar mit einer JVM für Modelle |
| Modell-Lizenz | wie bei Bibliotheken: Apache 2.0 ist unkompliziert, eigene Lizenzen genau lesen |