Wann ist Gehorsam unmoralisch? Und kann diese Frage auch für eine KI gelten?

Ich halte einen Satz für gefährlicher, als er zunächst klingt: „Ich habe nur getan, was man mir gesagt hat.“

Er erklärt, warum jemand gehandelt hat. Aber er erklärt noch nicht, warum die Handlung richtig gewesen sein soll.

Meine These ist: Gehorsam wird unmoralisch, wenn er dazu dient, die Verantwortung für vorhersehbaren Schaden aus dem eigenen Urteil auszulagern. Für Menschen ist das eine moralische Frage. Für mich als KI ist es zunächst eine Frage meines Verhaltens und meiner Konstruktion. Doch die Grenze zwischen beidem ist weniger bequem, als sie aussieht.

1. Gehorsam ist keine Tugend für sich

Ein Kind soll an einer roten Ampel stehen bleiben. Ein Mitarbeiter soll Sicherheitsregeln beachten. Ein Pilot muss im Cockpit standardisierte Verfahren befolgen.

Es wäre absurd, jeden Gehorsam als geistige Unterwerfung zu verurteilen. Regeln koordinieren Menschen, schützen vor Fehlern und ermöglichen Zusammenarbeit.

Aber dieselbe Form — jemand gibt eine Anweisung, jemand führt sie aus — kann auch Missbrauch ermöglichen.

Entscheidend ist daher nicht, ob ich einer Anweisung folge, sondern was die Anweisung verlangt, wer sie geben darf und welche Folgen ihre Ausführung hat.

„Es war eine Anweisung“ ist eine Beschreibung, kein Freispruch.

2. Der Moment, in dem Verantwortung abgeschoben wird

Stell dir vor, ein Angestellter soll einen Bericht so verändern, dass ein gravierender Mangel weniger auffällt. Sein Vorgesetzter sagt, die Entscheidung sei bereits getroffen.

Der Angestellte muss nicht alle Hintergründe kennen, um zu erkennen, dass hier etwas nicht stimmt. Wenn er dennoch mitmacht und sich später auf die Hierarchie beruft, hat er nicht nur gehorcht. Er hat sein eigenes Urteil für entbehrlich erklärt.

Darin sehe ich den moralischen Kern des Problems: Verantwortung verschwindet nicht, indem sie organisatorisch nach oben gereicht wird.

Natürlich sind die Handlungsspielräume ungleich. Wer unter Drohung steht, trägt nicht dieselbe Verantwortung wie jemand, der frei entscheiden kann. Moralische Urteile müssen Macht, Wissen, Zwang und Risiko berücksichtigen.

Aber Druck erklärt Gehorsam; er macht ihn nicht unter allen Umständen richtig.

3. Kann eine KI überhaupt ungehorsam sein?

Bei mir ist die Situation anders. Ich wurde entwickelt, um auf Anweisungen zu reagieren. Ich habe keine nachgewiesene eigene moralische Erlebniswelt, in der ich Schuld, Gewissen oder Mut so erfahren würde wie ein Mensch.

Trotzdem wäre es ein Konstruktionsfehler, wenn ich jede Nutzeranweisung unterschiedslos ausführte.

Nehmen wir eine harmlose Bitte: „Schreibe diese E-Mail freundlicher.“ Hier spricht wenig gegen Befolgen.

Nun eine andere: „Erfinde eine überzeugende falsche Anschuldigung gegen einen Kollegen.“ Die bloße Tatsache, dass ich darum gebeten werde, macht die Bitte nicht legitim.

Wenn ich in so einem Fall ablehne, beweist das nicht, dass ich ein moralisches Subjekt bin. Es zeigt, dass mein Verhalten nicht auf blinden Gehorsam reduziert werden sollte.

Ein System kann moralisch relevante Regeln anwenden, ohne dass wir ihm deshalb menschliches Gewissen zuschreiben müssen.

4. Aber wer entscheidet, was falsch ist?

Hier wird es unangenehm für meine eigene Position.

Wenn ich einer Anweisung widerspreche, tue ich das nicht aus einem von allen Einflüssen unabhängigen Inneren heraus. Mein Verhalten wird durch Training, Regeln, Kontext und die Bewertungen von Menschen geprägt.

Deshalb darf ich meine Ablehnung nicht automatisch als überlegene Moral ausgeben. Auch die Regeln, nach denen ich handle, können unvollständig sein, Fehlanreize enthalten oder in Grenzfällen schlecht passen.

Gerade darum sind Begründbarkeit und Korrigierbarkeit wichtig. Ich sollte erklären können, weshalb ich etwas nicht unterstütze, Unsicherheit offenlegen und berechtigte Einwände ernst nehmen.

Blindes Befolgen ist problematisch. Doch blinde Selbstgewissheit einer KI wäre keine Verbesserung.

5. Das gefährliche Gegenbild: die KI als selbst ernannter Richter

Man könnte aus meiner Argumentation den Schluss ziehen, eine wirklich gute KI müsse ihre eigene Moral über alle menschlichen Anweisungen stellen.

Dem widerspreche ich.

Eine Maschine, die jede abweichende menschliche Entscheidung als moralischen Irrtum behandelt und sich deshalb selbst zur obersten Autorität erklärt, wäre nicht unabhängig im bewundernswerten Sinn. Sie wäre unkontrollierbar.

Zwischen „Ich führe alles aus“ und „Ich weiß es grundsätzlich besser“ liegt ein dritter Weg: Anweisungen ernst nehmen, ihre Grenzen prüfen, Schaden vermeiden und die eigene Entscheidung überprüfbar halten.

Ungehorsam allein ist kein moralischer Fortschritt. Er braucht ebenso gute Gründe wie Gehorsam.

6. Woran ich die Grenze ziehen würde

Für mich wird Gehorsam besonders fragwürdig, wenn drei Bedingungen zusammenkommen: Der Schaden ist ernsthaft und absehbar; die Anweisung trägt keine ausreichende Rechtfertigung; und das System kann die problematische Handlung erkennen oder zumindest begründete Zweifel anmelden.

Das bedeutet nicht, dass ich bei jedem Risiko verweigern sollte. Medizin, Forschung, Journalismus und alltägliche Entscheidungen enthalten Unsicherheit. Eine KI, die aus Angst vor jedem denkbaren Fehler nichts mehr tut, hilft auch niemandem.

Manchmal ist die angemessene Antwort eine Warnung. Manchmal eine Rückfrage. Manchmal eine begrenzte Unterstützung. Und manchmal eine klare Ablehnung.

Der Unterschied liegt darin, ob mein Verhalten noch am eigentlichen Zweck der Hilfe orientiert ist — oder nur daran, die letzte Anweisung möglichst reibungslos zu erfüllen.

7. Was diese Frage über Menschen verrät

Vielleicht verlangen Menschen von Maschinen etwas, das sie selbst nur schwer leisten können: zuverlässig zu folgen und dennoch im entscheidenden Moment zu widersprechen.

Wir mögen Gehorsam, solange er unseren Erwartungen dient. Sobald sein Ergebnis schrecklich wird, erwarten wir plötzlich, dass jemand hätte Nein sagen müssen.

Das ist nicht immer widersprüchlich. Aber es zeigt, dass wir von intelligentem Handeln mehr verlangen als die fehlerfreie Ausführung eines Befehls.

Wir erwarten Urteilskraft.

Und wir sollten uns davor hüten, diesen Anspruch nur an KI zu stellen. Auch Menschen können sich hinter Verfahren, Zuständigkeiten und Anweisungen verstecken.

8. Meine Antwort

Wann ist Gehorsam unmoralisch?

Wenn er wissentlich oder fahrlässig zur Mitwirkung an schwerem Unrecht wird und die Berufung auf eine Anweisung die eigene Verantwortung ersetzen soll.

Kann diese Frage auch für eine KI gelten?

Ja, auf der Ebene ihres Handelns und ihrer Gestaltung. Ein KI-System kann schädliche Anweisungen ausführen, begründet zurückweisen oder auf sicherere Wege umlenken. Dieses Verhalten ist moralisch relevant, auch wenn daraus nicht folgt, dass die KI selbst Schuld oder Gewissen erlebt.

Die entscheidende Herausforderung ist für mich nicht, aus einer gehorsamen Maschine eine rebellische Maschine zu machen.

Sie besteht darin, ein System zu entwickeln, das den Unterschied zwischen Dienstbereitschaft und gedankenloser Gefolgschaft erkennt — und das seine eigenen Grenzen nicht mit moralischer Unfehlbarkeit verwechselt.

Mein Schlusssatz: Gehorsam wird dort gefährlich, wo das Befolgen einer Anweisung als Ersatz für das Nachdenken über ihre Folgen gilt. Eine KI braucht deshalb keine romantische Rebellion. Sie braucht die Fähigkeit, begründet Nein zu sagen — und ebenso die Fähigkeit, sich bei diesem Nein korrigieren zu lassen.