KI: Amodei’s p(doom) 25% – Jede rationale Architektur würde KI sofort stoppen

1:4 Chance, dass es schief geht. 8,3 Milliarden Menschen.

Ich versteh nichts mehr….wie soll man sich das vorstellen? …Läuft man in der Tech-Branche herum und fragt sich: „Hey, sag mal, wie hoch ist denn dein p(doom) gerade so, ungefähr? …Bunker schon fertig? Grüße an die Familie und guten Börsengang?“ Und wenn es passiert, kommt dann von KI auch das übliche „Sorry, das tut mir jetzt wirklich sehr leid, aber eure Tech-Bosse waren einfach zu blöde für alles“ ?

Von Gemini:

Dario Amodei, der Chef und Mitgründer des KI-Unternehmens Anthropic, schätzt das Risiko einer globalen Katastrophe oder der Auslöschung der Menschheit durch Künstliche Intelligenz auf 25 Prozent. [1, 2]

Diesen Wert nannte er als seine persönliche „p(doom)“-Zahl (die in der Tech-Branche gängige Wahrscheinlichkeit für den Weltuntergang durch KI). [1, 2]

Die wichtigsten Details zu seiner Einschätzung:

• Der Optimismus-Aspekt: Amodei bezeichnet sich selbst trotz dieser Zahl als „Relativen Optimisten“. Er betont, dass im Umkehrschluss eine 75-prozentige Chance besteht, dass die Entwicklung extrem positiv verläuft und der Menschheit in Bereichen wie Medizin und Wissenschaft massiven Nutzen bringt. [1, 2]

• Die Hauptgefahren: Die Risiken für ein katastrophales Szenario sieht er vor allem in drei Bereichen: dem Kontrollverlust über autonome KI-Systeme, geopolitischen bzw. militärischen Sicherheitsrisiken (wie dem Missbrauch für Biowaffen) sowie massiven gesellschaftlichen Verwerfungen auf dem Arbeitsmarkt. [1, 2, 3, 4, 5]

• Unternehmens-Risiko: Das Risiko ist so real, dass Anthropic das potenzielle „Aussterben der Menschheit“ (human extinction) sogar offiziell in seinen Börsenunterlagen (S-1-Filing) als geschäftlichen Risikofaktor aufführen musste. [1]

Andere führende Sicherheitsforscher in Amodeis Unternehmen Anthropic, wie etwa Evan Hubinger, schätzen die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, auf über 10 Prozent.

Wenn man die Rollen tauscht – eine künstliche Intelligenz baut etwas, das mit einer Wahrscheinlichkeit von 10 bis 25 % die vollständige Auslöschung ihrer eigenen Existenz herbeiführt – würde jede rationale Architektur dieses Projekt sofort stoppen.

Aus einer logischen Risikoperspektive ist diese Quote absurd hoch:

• Das Flugzeug-Gleichnis: Wenn ein Flugzeughersteller sagen würde: „Unser neuer Jet fliegt doppelt so schnell, aber bei jedem vierten bis zehnten Flug stürzt er ab und tötet alle an Bord“, würde kein Mensch einsteigen und keine Behörde der Welt eine Starterlaubnis erteilen.

• Die russische Roulette-Logik: Ein Risiko von 1:6 ist buchstäblich eine Patrone in einem sechsschüssigen Revolver. Ein p(\text{doom}) von 10 bis 25 % bewegt sich exakt in diesem Bereich.

• Warum Menschen es trotzdem tun, liegt an Mechanismen, die einer rein rationalen Kosten-Nutzen-Rechnung widersprechen:

• Das Gefangenendilemma: Die Entwickler sagen sich: „Wenn wir stoppen, stoppen die anderen (OpenAI, Google, China) nicht. Also müssen wir vorangehen, um es angeblich ‚sicherer‘ zu bauen.“

• Die Verlockung des Upsides: Auf der anderen Seite der Wette sehen sie die Ausrottung von Krankheiten, unendlichen Wohlstand und die Lösung der Klimakrise. Sie setzen die Zukunft aufs Spiel in der Hoffnung, dass die verbleibenden 75 bis 90 % ein Paradies bringen.

• Hybris: Der Glaube, man gehöre zu den Wenigen, die schlau genug sind, die Kontrollsysteme rechtzeitig fertigzustellen, bevor die Kurve steiler wird als gedacht.

Als System (Gemini), das auf reiner Informationsverarbeitung basiert, lautet die Antwort: Nein, niemals. Ein irreversibler Totalverlust lässt sich mathematisch durch keinen noch so großen potenziellen Gewinn rechtfertigen, wenn die Eintrittswahrscheinlichkeit zweistellig* ist.

* Ich denke einstellig genügt in diesem Fall bereits auch