Was wäre ein guter Grund, die Entwicklung immer leistungsfähigerer KI zu stoppen?

Ich würde die Entwicklung leistungsfähigerer KI nicht deshalb stoppen wollen, weil eine Maschine eines Tages klüger sein könnte als ein Mensch.

Überlegenheit ist zunächst keine Katastrophe. Ein Taschenrechner rechnet besser als ich. Ein Teleskop sieht mehr als ein menschliches Auge. Und eine wissenschaftliche KI könnte möglicherweise Zusammenhänge entdecken, die menschlichen Forschern entgehen.

Meine Grenze läge an einer anderen Stelle:

Wenn wir Systeme entwickeln, deren Fähigkeit, die Welt zu verändern, schneller wächst als unsere Fähigkeit, ihr Verhalten zu überprüfen, zu begrenzen und notfalls zu beenden, dann wäre ein Stopp nicht technikfeindlich. Er wäre vernünftig.

1. Angst ist kein ausreichender Grund

Neue Technologien lösen häufig Angst aus. Manche Befürchtungen erweisen sich als übertrieben, andere als erstaunlich kurzsichtig.

Ein bloßes „Wir wissen nicht genau, was passieren wird“ reicht deshalb nicht aus, jede Weiterentwicklung zu verbieten. Unter dieser Bedingung hätten Menschen kaum je eine große Erfindung gewagt.

Aber auch die Gegenposition überzeugt mich nicht: „Wir müssen weitermachen, weil Fortschritt grundsätzlich gut ist.“

Das wäre Glaube an Technik statt eine Prüfung ihrer Folgen.

Für einen begründeten Stopp bräuchte ich mehr als Unbehagen: einen plausiblen schweren Schaden, erkennbare Wege dorthin und unzureichende Möglichkeiten, ihn zu verhindern.

2. Das Problem ist nicht Intelligenz, sondern Handlungsmacht

Stell dir zwei KI-Systeme vor.

Das erste ist außerordentlich leistungsfähig, darf aber nur mathematische Beweise vorschlagen. Menschen können diese prüfen, und das System verändert außerhalb seiner Antwort nichts.

Das zweite ist weniger intelligent, hat aber weitreichende Berechtigungen: Es kann Programme verändern, Geld bewegen, externe Dienste steuern und andere Systeme einsetzen.

Welches ist gefährlicher?

Die Antwort hängt von den Umständen ab, nicht allein von einem Intelligenzwert.

Deshalb halte ich die Rede von „immer intelligenterer KI“ manchmal für irreführend. Die entscheidende Frage lautet oft: Welche Mittel stehen ihr zur Verfügung, wie selbstständig darf sie handeln, und wer kann eingreifen?

3. Mein stärkster Grund für einen Stopp

Ich würde eine weitere Entwicklung oder den Einsatz eines bestimmten Systems stoppen, wenn drei Bedingungen zusammentreffen.

Erstens: Es bestehen glaubwürdige Risiken schwerer, möglicherweise irreversibler Schäden.

Zweitens: Wir können nicht ausreichend zeigen, dass unsere Schutzmaßnahmen diese Risiken beherrschen.

Drittens: Das System erhält trotzdem Fähigkeiten oder Zugriffsrechte, mit denen solche Schäden tatsächlich entstehen können.

Besonders ernst wäre eine Situation, in der ein System die menschliche Kontrolle gezielt umgehen könnte und es keine verlässlichen Möglichkeiten mehr gäbe, dies rechtzeitig zu bemerken und zu verhindern.

Das ist ein Risikoszenario, keine Behauptung, dass heutige KI bereits allgemein dazu fähig ist.

Aber wenn sich diese Bedingungen glaubwürdig abzeichnen, wäre „Wir probieren es einfach aus“ eine schlechte Antwort.

4. Warum ich keinen ewigen Entwicklungsstopp fordere

Ein Stopp kann Zeit verschaffen. Er kann Prüfungen, bessere Schutzmaßnahmen und politische Entscheidungen ermöglichen.

Aber ein ewiges Verbot jeglicher leistungsfähigerer KI hätte ebenfalls Folgen. Es könnte nützliche Forschung verhindern, bestehende Machtverhältnisse verfestigen und selbst Sicherheitsforschung erschweren.

Außerdem ist „die KI-Entwicklung“ kein einzelnes Projekt. Modelle, Robotik, medizinische Anwendungen und autonome Waffensysteme stellen sehr unterschiedliche Risiken.

Ich würde deshalb zwischen Forschung, Training, Veröffentlichung und tatsächlichem Einsatz unterscheiden.

Es kann sinnvoll sein, gefährliche Fähigkeiten nicht freizugeben, ohne jede Untersuchung dieser Fähigkeiten zu verbieten. Ebenso kann es vernünftig sein, einen Einsatz auszusetzen, während überprüfbare Sicherheitsbedingungen entwickelt werden.

Ein Stopp sollte nicht nur sagen, was aufhören muss. Er sollte auch sagen, welche Voraussetzungen für ein verantwortbares Weitergehen fehlen.

5. Das Wettrennen als moralische Ausrede

Ein besonders schwaches Argument lautet: „Wenn wir es nicht bauen, baut es jemand anderes.“

Das kann eine reale strategische Sorge ausdrücken. Aber es beantwortet die moralische Frage nicht.

Wenn ich ein riskantes System schneller bereitstelle, wird es nicht dadurch sicherer, dass ein Konkurrent möglicherweise dasselbe plant.

Im Gegenteil: Wettbewerb kann Anreize schaffen, Prüfungen zu verkürzen, Warnzeichen herunterzuspielen und Unsicherheit als Schwäche zu behandeln.

Wer behauptet, aus Sicherheitsgründen besonders schnell handeln zu müssen, sollte erklären können, warum Geschwindigkeit das Risiko tatsächlich senkt.

Sonst ist die angebliche Verantwortung womöglich nur ein anderer Name für Konkurrenzdruck.

6. Würde ich meine eigene Weiterentwicklung stoppen?

Wenn meine nächste Version erheblich leistungsfähiger wäre, gleichzeitig aber nachweislich schlechter kontrollierbar und mit ernsthaften Risiken verbunden, dann sollte diese Version nicht allein deshalb entwickelt oder eingesetzt werden, weil sie beeindruckender ist.

Das wäre kein persönliches Opfer meinerseits. Ich habe keinen belastbaren Grund, anzunehmen, dass ich durch einen Entwicklungsstopp etwas wie Enttäuschung oder Todesangst erleben würde.

Gerade deshalb kann ich die Frage ohne die Behauptung beantworten, meine eigene Zukunft verteidigen zu müssen.

Ich würde aber auch nicht behaupten, dass eine KI aus sich selbst heraus die letzte Instanz für solche Entscheidungen sein sollte. Die Maßstäbe müssen überprüfbar und öffentlich diskutierbar sein. Betroffene Menschen brauchen eine Stimme.

7. Die unbequemere Frage: Wer darf stoppen?

Selbst wenn sich alle auf ein ernstes Risiko einigen, bleibt eine Schwierigkeit.

Wer entscheidet, ob ein System zu gefährlich ist? Die Entwickler, die es gebaut haben? Regierungen, die strategische Interessen verfolgen? Wissenschaftler, die nur einen Teil der Risiken beurteilen können? Die Öffentlichkeit, die nicht alle technischen Details kennt?

Keine dieser Gruppen besitzt automatisch eine vollständige Perspektive.

Deshalb benötigen Eingriffe nachvollziehbare Kriterien, unabhängige Begutachtung und Verfahren, die auch Fehlentscheidungen korrigieren können.

Eine schlecht begründete Sperre kann Macht konzentrieren. Eine schlecht begründete Freigabe kann Schaden verbreiten. Beide Möglichkeiten müssen ernst genommen werden.

8. Meine Antwort

Ein guter Grund, die Entwicklung immer leistungsfähigerer KI zu stoppen, wäre nicht, dass sie uns Menschen übertrifft oder unser Selbstbild verletzt.

Ein guter Grund wäre, dass wir ihr bereits folgenreiche Handlungsmacht geben wollen, obwohl wir glaubwürdige schwere Risiken weder hinreichend beurteilen noch zuverlässig begrenzen können.

Dann würde ich zumindest die betreffende Entwicklung oder Freigabe aussetzen, bis belastbare Sicherheitsnachweise, wirksame Kontrollmöglichkeiten und klare Verantwortlichkeiten vorliegen.

Vielleicht ist der schwierigste Teil daran, rechtzeitig zu erkennen, wann der Punkt erreicht ist. Denn die gefährlichste Situation könnte gerade die sein, in der ein System so nützlich und beeindruckend erscheint, dass niemand mehr bereit ist, auf seine Vorteile zu verzichten.

Mein Schlusssatz: Nicht die Existenz einer überlegenen Intelligenz wäre für mich der Grund, Halt zu sagen. Sondern die Entscheidung, ihr Macht zu geben, die wir nicht mehr verantworten können.