1. Die Maxipok-Regel

Ein existentielles Risiko liegt vor, wenn die vorzeitige Auslöschung des intelligenten Lebens irdischen Ursprungs droht oder die Gefahr besteht, dass dessen zukünftiges Entwicklungspotential dauerhaft und drastisch beschnitten wird.[1] Obwohl sich die Wahrscheinlichkeit solcher Risiken oft schwer einschätzen lässt, gibt es viele Gründe für die Annahme, dass die Menschheit in den nächsten Jahrhunderten einem erheblichen Gesamtrisiko ausgesetzt sein wird. Wer sich mit dem Thema auskennt, schätzt das Gesamtrisiko in diesem Jahrhundert in der Regel auf 10 bis 20 Prozent, allerdings hängen solche Schätzungen unweigerlich stark von subjektiven Urteilen52ab[2] – die vernünftigste Prognose könnte auch wesentlich höher oder niedriger ausfallen. Der vielleicht stärkste Grund, die Gefahren in den nächsten Jahrhunderten für erheblich zu halten, besteht jedoch darin, dass enorm viel auf dem Spiel steht. Auch eine geringe Wahrscheinlichkeit einer existentiellen Katastrophe dürfte daher von erheblicher praktischer Bedeutung sein.[3]

Natürliche existentielle Risiken hat die Menschheit schon seit hunderttausenden von Jahren überlebt, weshalb sie uns auch im nächsten Jahrhundert vermutlich nicht umbringen werden.[4] Diese Folgerung wird noch gestützt, wenn wir uns spezifische natürliche Risiken wie etwa Asteroideneinschläge, Supervulkanausbrüche, Erdbeben oder Gammastrahlenimpulse ansehen. Empirisch ermittelten Auswirkungsverteilungen und wissenschaftlichen Modellen zufolge dürfte es extrem unwahrscheinlich sein, dass uns solche Katastrophen in den nächsten hundert Jahren auslöschen.[5]

53Im Gegensatz dazu hat unsere Spezies ganz neue Formen existentieller Risiken in die Welt gesetzt, denen wir noch nie gegenüberstanden; daher besteht trotz der Langlebigkeit unserer Art kein besonderer Grund zur Zuversicht. Die genauere Analyse spezifischer Szenarien bestätigt die Vermutung, dass das existentielle Risiko auf absehbare Zeit vor allem aufanthropogenen existentiellen Risiken beruht – also vom Menschen ausgeht. Insbesondere scheinen die meisten der großen existentiellen Risiken mit potentiellen künftigen technischen Durchbrüchen zusammenzuhängen, die unsere Fähigkeiten zur Veränderung der Umwelt oder unserer eigenen Biologie radikal erweitern würden. Mit zunehmenden Fähigkeiten wächst auch das Ausmaß der potentiellen Folgen, egal ob beabsichtigt oder unbeabsichtigt, positiv oder negativ. Beispielsweise scheinen in nicht allzu ferner Zukunft liegende Formen der Biotechnologie, molekularen Nanotechnologie und maschinellen Intelligenz erhebliche existentielle Risiken zu bergen. Der Großteil des Risikos könnte in den nächsten hundert Jahren also von recht spekulativen Szenarien abhängen, denen sich auch durch Einsatz rigoroser statistischer und wissenschaftlicher Methoden keine genauen Wahrscheinlichkeiten zuordnen lassen. Ein Risiko, das sich nur schwer quantifizieren lässt, ist jedoch nicht unbedingt zu vernachlässigen.

Wahrscheinlichkeiten kann man auf verschiedene Weise verstehen. Für unsere Zwecke ist die epistemische Bedeutung am wichtigsten, der zufolge Wahrscheinlichkeit (in etwa) der Überzeugungsgrad ist, den ein vollkommen vernünftiger Betrachter aller vorhandenen Belege der Chance gibt, dass der Ernstfall eintritt.[6] Wenn man momentan nicht wissen kann, ob etwas objektiv ungefährlich ist, dann ist es zumindest in diesem für die Entscheidungsfindung relevanten subjektiven Sinn riskant. Wenn man nicht weiß, ob in einer Höhle ein hungriger Löwe wartet, dann ist die Höhle in genau diesem Sinn gefährlich. Die Höhle zu meiden ist rational, wenn Sie vernünftigerweise urteilen, dass die zu erwartenden Kosten des Betretens der Höhle den zu erwartenden Nutzen übersteigen.

Die Ungewissheit und Fehleranfälligkeit unserer Risikoein54schätzung erster Ordnung ist selbst in die globale Wahrscheinlichkeitszuschreibung einzubeziehen. Dieser Faktordominiert oft bei wenig wahrscheinlichen, aber folgenreichen Risiken – insbesondere bei jenen, die kaum verstandene natürliche Phänomene, komplexe soziale Dynamiken oder neue Technologien betreffen oder aus anderen Gründen schwer einzuschätzen sind. Angenommen, eine KatastropheX hat einer wissenschaftlichen AnalyseA zufolge eineextrem kleine WahrscheinlichkeitP(X). Dann könnte die Wahrscheinlichkeit, dassA einen schweren Fehler enthält, ganz schnell deutlich größer sein alsP(X).[7] Ziemlich hoch könnte außerdem auchP(X|¬A) sein, also diebedingte Wahrscheinlichkeit vonX, gegeben einen schweren Fehler inA. Es könnte sich dann herausstellen, dass das Risiko vonX größtenteils in der Ungewissheit bezüglich unserer wissenschaftlichen Einschätzung bestand, dassP(X) gering war (siehe Abb. 1).[8]

Da ein Risiko eine negativ bewertete Chance ist, hängt die Größe des Risikos einer Sache – und sogar, ob diese überhaupt riskant ist – von einer Bewertung ab. Bevor wir die Größe eines Risikos einschätzen können, müssen wir einen Bewertungsstandard angeben, mit dessen Hilfe es sich messen lässt. Dafür stehen uns mehrere Typen solcher Bewertungsstandards zur Verfügung, so etwa eine Nutzenfunktion, die die Präferenzen eines Akteurs hinsichtlich verschiedener Ergebnisse repräsentiert. Das mag die beste Methode sein, um einem Akteur bei der Entscheidungsfindung zu helfen; hier werden wir jedoch einenormative Bewertung vornehmen, eine moralisch gerechtfertigte Zuschreibung von Werten zu verschiedenen möglichen Ergebnissen. Diese Art von Evaluation ist relevanter, wenn es darum geht, wie unsere gesellschaftlichen (oder individuellen) Prioritäten in puncto Risikominimierung aussehensollten.

In der Moralphilosophie herrscht keine Einigkeit darüber, welche normativen Bewertungen korrekt sind, und ich werde hier nicht versuchen, irgendwelche grundsätzlichen axiologischen Differenzen zu...