Könnte es sich bei diesem Jahrhundert um einen geschichtlichen Dreh- und Angelpunkt handelt?
Für diese Hypothese argumentiert Holden Karnofksy in seiner Beitragsreihe Das wichtigste Jahrhundert.
__________________________
Die Beitragsreihe kurz zusammengefasst
Ich habe die meiste Zeit meiner Karriere damit verbracht, nach Wegen zu suchen, wie man pro Geld- oder Zeiteinheit so viel Gutes wie möglich tun kann. Ich habe als Mitgründer der Organisation GiveWell daran gearbeitet, faktengestützte Wohltätigkeitsorganisationen zu finden, die sich mit globaler Gesundheit und Entwicklung befassen. Später wechselte ich als Mitgründer von Open Philanthropy selbst in eine philanthropische Organisation — und zwar eine, die in ihrer Fördertätigkeit mehr Risiken eingeht.
In den letzten Jahren bin ich — Dank eines steten Dialogs mit Mitgliedern der Effektiver Altruismus-Bewegung und umfassenden Recherchen des Teams zur Untersuchung von Weltanschauungen bei Open Philanthropy — zu der Überzeugung gelangt, dass die gesamte Menschheit in diesem Jahrhundert vor enormen Risiken und Chancen steht. Inzwischen konzentriere ich mich darauf, diese Risiken und Chancen besser zu verstehen und daran mitzuwirken, dass wir als Menschheit besser auf sie vorbereitet sind.
Diese Sammlung fasst eine Reihe von Beiträgen zusammen, in denen ich darlege, warum ich glaube, dass wir uns vielleicht im für die Menschheit wichtigsten Jahrhundert aller Zeiten befinden. Enthalten sind eine kurze Zusammenfassung, eine Übersicht über die wichtigsten Beiträge und eine Handvoll eingängiger Grafiken zu den folgenden fünf Kernaussagen:
- Die ferne Zukunft ist vollkommen fremdartig. Genügend technologische Fortschritte könnten zu einer lang anhaltenden, galaktischen Zivilisation führen, die eine radikale Utopie, eine radikale Dystopie oder irgendetwas dazwischen sein könnte.
- Die vermeintlich ferne Zukunft könnte aufgrund einer möglichen durch Künstliche Intelligenz (KI) getriebenen Produktivitätsexplosion viel schneller kommen, als wir denken.
- Es sieht so aus, als würde die maßgebliche Art von KI noch in diesem Jahrhundert entwickelt werden, sodass dieses Jahrhundert den Anfang einer künftigen galaktischen Zivilisation markieren wird und daher die Möglichkeit hat, sie zu gestalten.
- Diese Behauptungen scheinen zu „verrückt“ zu sein, um sie ernst zu nehmen. Viele Gründe sprechen jedoch dafür, dass wir in einer verrückten Zeit leben und auf alles gefasst sein sollten.
- Wir, die Menschen, die in diesem Jahrhundert leben, haben die Chance, einen gewaltigen positiven Einfluss auf eine riesige Anzahl kommender Menschen auszuüben — sofern wir die Lage richtig einschätzen und hilfreiche Handlungsoptionen finden können. Derzeit sind wir jedoch alles andere als bereit.
Diese These hat einen abgedrehten Science-Fiction-Charakter. Tatsächlich entspricht mein derzeitiger Fokus nicht mal annähernd der Erwartung, mit der ich mich einst aufmachte, so viel Gutes wie möglich zu tun.
Aber ein Teil der Denkweise, die ich durch GiveWell und Open Philanthropy entwickelt habe, besteht darin, offen für ungewöhnliche Möglichkeiten zu sein und sie gleichzeitig kritisch und mit größter Sorgfalt zu prüfen. Und nachdem ich viel Zeit in die Prüfung der obigen These investiert habe, denke ich, dass die Welt diesem Thema dringend mehr Aufmerksamkeit schenken sollte.
Durch mein Schreiben zu diesen Ideen erhoffe ich mir, mehr Menschen für das Thema zu sensibilisieren. Jedoch ist es für mich ebenso eine wertvolle Gelegenheit, Kritik zu sammeln und meine Meinung gegebenenfalls zu ändern.
Wir leben in einer verrückten Zeit und sollten auf alles gefasst sein
Viele Menschen finden die Behauptung vom „wichtigsten Jahrhundert“ zu „verrückt“: Eine radikal anmutende Zukunft mit fortgeschrittener KI und einer sich in unserer Galaxie ausbreitenden Zivilisation mag irgendwann eintreten, aber eher in 500 Jahren oder in 1.000 oder 10.000 Jahren — aber nicht in diesem Jahrhundert.
Diese längeren Zeiträume würden uns in eine weniger verrückte Lage versetzen, als wenn wir uns im „wichtigsten Jahrhundert“ befänden. Aber selbst wenn die galaktische Ausbreitung erst in 100.000 Jahren beginnen sollte, ändert das nichts daran, dass wir in einer außergewöhnlichen Ära leben — nämlich der winzigen Zeitspanne, in der die Galaxie sich von nahezu leblos zu weitgehend bevölkert wandeln wird. Das bedeutet, dass wir von der Gesamtheit aller jemals lebenden Personen — einer unvorstellbar großen Zahl — zu den Ersten gehören. Und dass unter Hunderten von Milliarden von Sternen in unserer Galaxie unser Stern die Wiege der Lebewesen ist, die einst die Galaxie bevölkern werden.
Weitere Informationen dazu finden sich im Beitrag Sämtliche möglichen Ansichten über die Zukunft der Menschheit sind verrückt.
Wenn wir genauer hinsehen, leben wir in einem besonderen Jahrhundert, nicht nur in einer besonderen Ära. Um dies zu verdeutlichen, hilft es, sich die Geschwindigkeit unseres Wirtschaftswachstums anzuschauen. Es fühlt sich nicht so an, als würde etwas Besonderes passieren, weil die Weltwirtschaft so lange wir zurückdenken können, jedes Jahr um einige Prozent gewachsen ist:
Wenn wir die geschichtliche Entwicklung jedoch in einem größeren Zusammenhang betrachten, sehen wir das Bild einer unbeständigen Vergangenheit und einer ungewissen Zukunft:
Weitere Informationen dazu finden sich im Beitrag So kann’s nicht weitergehen.
Wir erleben derzeit das stärkste Wachstum in der Geschichte der Menschheit. Dieses Wachstum ist ein sehr junges Phänomen und kann sich nicht unbegrenzt fortsetzen. (Die Zahl der Atome in unserer gesamten Galaxie reicht nicht aus, um die derzeitige Wachstumsrate auch nur für weitere 10.000 Jahre aufrechtzuerhalten). Und wenn sich diese Wachstumsrate — im Einklang mit der historischen Beschleunigung — noch weiter erhöht, könnten wir die Grenzen des Machbaren noch schneller erreichen, nämlich noch in diesem Jahrhundert.
Fassen wir zusammen:
- Die letzten paar Millionen Jahre — seit dem Beginn unserer Spezies — waren ereignisreicher als die Milliarden Jahre davor.
- Die letzten paar hundert Jahre waren ereignisreicher als die Millionen Jahre davor.
- Wenn wir einen weiteren Schub erleben (der aus meiner Sicht von KI ausgehen könnte), könnten die nächsten Jahrzehnte die ereignisreichsten von allen sein.
Ein wichtiges Jahrtausend für Energie, Transport und mehr …
[animierte Zeitlinie]
Weitere Informationen zu diesen Zeitlinien finden sich in den Beiträgen Sämtliche möglichen Ansichten über die Zukunft der Menschheit sind verrückt, So kann’s nicht weitergehen und Prognose transformativer KI: die „Bio-Anker“-Methode.
Unsere Zeit birgt das Potenzial für rasche und radikale Veränderungen, doch sollten wir angesichts dieser beängstigenden Umstände nicht die Augen verschließen. Idealerweise sollten wir diesen lauernden Veränderungen ein wenig übervorsichtig begegnen, ähnlich wie wir beim Autofahren die Sicherheit an erste Stelle stellen. Tatsächlich erhalten solche Szenarien heute jedoch kaum Aufmerksamkeit.
Zentrale Texte:
Die ferne Zukunft ist völlig fremdartig
Technologie gibt Menschen in der Regel größere Kontrolle über ihre Umwelt. Als konkretes, anschauliches Beispiel dafür, wie die Welt aussehen könnte, wenn Technologie weit genug voranschreitet, könnten wir uns die Technologie „digitaler Personen“ ausmalen: sich ihrer selbst vollkommen bewusste „aus Software geschaffene“ Personen, die virtuelle Umgebungen bewohnen. Sie könnten alles Mögliche erleben und kopiert werden, mit unterschiedlichen Geschwindigkeiten laufen und sogar zu einem früheren Zustand ihrer selbst „zurückgesetzt“ werden.
Eine Welt mit digitalen Menschen könnte radikal dystopisch sein (virtuelle Umgebungen, die dazu benutzt werden, die absolute Macht einiger Menschen über andere zu festigen) oder utopisch (keine Krankheiten, keine materielle Armut, keine nicht einvernehmliche Gewalt und weitaus mehr Weisheit und Selbsterkenntnis, als heute möglich ist). So oder so könnten digitale Personen es einer Zivilisation ermöglichen, sich in der gesamten Galaxie auszubreiten und für lange Zeit fortzubestehen.
Viele glauben, dass die Zukunft einer solchen großen und stabilen Zivilisation gehören könnte (Kraft digitaler Personen oder durch andere Technologien, die mehr Kontrolle über die Umwelt ermöglichen), aber machen sich nicht die Mühe, darüber zu diskutieren, weil all das so weit entfernt scheint.
Zentraler Text: Digitale Personen wären eine noch größere Angelegenheit
Die ferne Zukunft könnte viel schneller kommen, als wir denken
Gängige ökonomische Wachstumsmodelle gehen davon aus, dass jede Technologie, die Innovationen vollständig automatisieren könnte, eine „wirtschaftliche Singularität“ auslösen würde: die Produktivität würde in diesem Jahrhundert ins Unendliche steigen. Der Grund dafür ist, dass dadurch eine starke Rückkopplungsschleife geschaffen würde: mehr Ressourcen → mehr Ideen und Innovationen → mehr Ressourcen → mehr Ideen und Innovationen ...
Eine solche Schleife wäre nicht beispiellos. In gewisser Weise kann sie für den größten Teil der Wirtschaftsgeschichte (nämlich bis vor ein paar hundert Jahren) als der „übliche“ Mechanismus wirtschaftlichen Fortschritts bezeichnet werden.
Wirtschaftsgeschichte: mehr Ressourcen → mehr Menschen → mehr Ideen → mehr Ressourcen ...
Doch mit dem „demografischen Übergang“ vor einigen hundert Jahren kam der Schritt „mehr Ressourcen → mehr Menschen“ zum Erliegen. Das Bevölkerungswachstum flachte ab, und mehr Ressourcen führten zu reicheren Menschen statt zu mehr Menschen:
Die heutige Wirtschaft: mehr Ressourcen → mehr reichere Menschen → gleiches Ideenwachstum → …
Sollten wir jedoch eine Technologie finden, die die Dynamik „mehr Ressourcen → mehr Ideen“ sichern kann, so wäre die Rückkopplungsschleife wiederhergestellt. Eine solche Technologie könnte die richtige Art von KI bieten: das, was ich PASTA nenne, oder „Process for Automating Scientific and Technological Advancement”, zu Deutsch: Prozess für die Automatisierung des wissenschaftlichen und technologischen Fortschritts.
Mögliche Zukunft: mehr Ressourcen → mehr KI → mehr Ideen → mehr Ressourcen ...
Haben wir PASTA erst einmal entwickelt (das heißt, falls es jemals dazu komme sollte) könnte unsere radikale ferne Zukunft schon sehr bald Realität werden.
Das bedeutet allerdings auch, dass die Welt — gegeben dem Fall, dass die PASTA-Systeme falsch ausgerichtet sind und ihre eigenen, mit Menschen unvereinbaren Ziele verfolgen — sehr schnell aus den Fugen geraten könnte.
Zentrale Texte:
Es sieht so aus, als würde PASTA noch in diesem Jahrhundert entwickelt werden
Es ist unumstritten, dass ein in hohem Maße universales KI-System wie PASTA von großer Bedeutung wäre. Die Frage ist, wann (wenn überhaupt) wird es so etwas geben?
Im Laufe der letzten Jahre ist ein Team von Open Philanthropy dieser Frage aus mehreren Blickwinkeln nachgegangen.
Eine der so gewonnenen Vorhersagen stellt fest:
- Kein KI-Modell war bisher auch nur 1 % so „groß“ (in Bezug auf die durchgeführten Berechnungen) wie ein menschliches Gehirn, und bis vor kurzem wäre dies auch nicht bezahlbar gewesen — doch das wird sich relativ bald ändern.
- Und bis zum Ende dieses Jahrhunderts wird es erschwinglich sein, viele enorm große KI-Modelle zu trainieren, Modelle von der Größe eines menschlichen Gehirns für die Erledigung enorm schwieriger, teurer Aufgaben zu trainieren und vielleicht sogar ein Volumen von Berechnungen durchzuführen, das dem „der Evolution“ (d. h. aller in der Geschichte irdischen Lebens durch Gehirne geleisteter Rechenoperationen) entspricht.
Die Prognosen dieser Methode stimmen mit der jüngsten Umfrage unter KI-Forschenden überein: Etwas wie PASTA ist in diesem Jahrhundert eher wahrscheinlich als unwahrscheinlich.
Es wurden auch eine Reihe anderer Gesichtspunkte untersucht.
Eine Herausforderung für diese Prognosen ist: Es gibt kein „Fachgebiet für KI-Prognosen“ und keinen Expert:innenkonsens, der mit dem zum Klimawandel vergleichbar wäre.
Es ist schwer, zuversichtlich zu sein, wenn die Diskussionen über diese Themen in Anzahl und Tiefe begrenzt sind. Ich denke jedoch, wir sollten die Hypothese des „wichtigsten Jahrhunderts“ auf der Grundlage unseres heutigen Wissens ernst nehmen, bis sich ein „Fachgebiet für KI-Prognosen“ entwickelt.
Zentrale Texte:
- KI-Timelines: Wo die Argumente und die „Experten“ stehen (fasst die anderen Beiträge zusammen und erörtert, wie wir über solche Themen vernünftig diskutieren sollten, wenn unklar ist, wer die „Experten“ sind)
Darauf sind wir nicht gefasst
Wenn ich davon spreche, dass wir uns im „wichtigsten Jahrhundert“ befinden, meine ich damit nicht nur, dass bedeutende Ereignisse stattfinden werden. Ich meine damit, dass wir — die Menschen, die in diesem Jahrhundert leben — die Chance haben, einen gewaltigen positiven Einfluss auf die Leben unzähliger zukünftiger Personen auszuüben — wenn wir die Lage gut genug einschätzen können, um hilfreiche Handlungsoptionen zu finden.
Allerdings handelt es sich hierbei um ein großes „Wenn“. Viele Dinge, die wir tun können, könnten die Lage entweder verbessern oder verschlechtern (und für viele Optionen ist es äußerst schwierig, selbst diese grobe Richtung vorherzusehen).
Wenn ich mich mit der Hypothese des „wichtigsten Jahrhunderts“ auseinandersetze, entspricht meine Einstellung nicht den bekannten Mustern von „Aufregung und Bewegung“ oder „Angst und Vermeidung“. Stattdessen spüre ich eine seltsame Mischung aus Intensität, Dringlichkeit, Verwirrung und Zögern. Nie hätte ich mir träumen lassen, eines Tages vor einem Problem solch gigantischen Ausmaßes zu stehen. Ich fühle mich unterqualifiziert und weiß nicht, was ich als Nächstes tun soll.
|
Lage |
Angemessene Reaktion (meiner Ansicht nach) |
|
„Dies könnte ein milliardenschweres Unternehmen sein!“ |
„Fantastisch, lass es uns angehen!“ |
|
„Dies könnte das wichtigste Jahrhundert sein!“ |
„... Oh ... wow ... ich weiß nicht, was ich sagen soll und irgendwie ist mir, als müsste ich mich übergeben ... ich muss mich hinsetzen und darüber nachdenken.“ |
In diesem Sinne gebe ich keinen „Aufruf zum Handeln“ heraus, sondern einen Aufruf zur Wachsamkeit:
- Jene, die von den Argumenten in dieser Beitragsreihe überzeugt sind, sollten nicht überstürzt irgendwelche Maßnahmen ergreifen, nur um dann weiterzumachen wie bisher.
- Stattdessen ist es besser, zuverlässig gute Maßnahmen heute schon zu ergreifen und sich ansonsten in eine bessere Lage zu versetzen, um wichtige Maßnahmen zu ergreifen, wenn die Zeit gekommen ist.
- Diejenigen, die schnell etwas tun möchten, das künftige Maßnahmen wahrscheinlicher macht, sollten sich diesen Abschnitt des Aufrufs zur Wachsamkeit anschauen.
Zentrale Texte:
Das Bild, das meine Gedanken zu diesen Themen am besten einfängt, ist das unserer Welt als einer Gruppe von Menschen, die in einem Flugzeug über die Startbahn rasen:
Und jedes Mal, wenn ich Kommentare zum Weltgeschehen lese, diskutieren Leute darüber, wie man sich möglichst bequem anschnallt, weil das Anschnallen zum Leben gehört, oder darüber, dass die schönsten Momente im Leben darin bestehen, mit der Familie zusammenzusitzen und die weißen Linien vorbeiziehen zu sehen, oder darüber zu streiten, wer Schuld daran ist, dass man sich über das Dröhnen im Hintergrund kaum gegenseitig versteht.
Ich habe keine Ahnung, wohin wir fliegen oder was wir dagegen tun können. Aber ich kann mit gutem Gewissen sagen, dass wir als Zivilisation noch nicht bereit sind für das, was auf uns zukommt, und dass wir allem voran damit anfangen sollten, den Ernst der Lage zu erkennen.
Danksagung
Ich habe wenige bis keine Ansprüche auf Originalität. Die große Mehrheit der Aussagen, Beobachtungen und Einsichten dieser Reihe kommt aus einer Kombination von:
- Jahren der Diskussion mit anderen, insbesondere mit der Effektiver Altruismus-Bewegung und der Rationalitäts-Bewegung. In diesem Kontext ist es schwierig spezifische Ideen zu spezifischen Personen zurückzuverfolgen, aber ich weiß, dass ein großer Teil meines Denkens zumindest annäherungsweise auf Carl Shulman, Dario Amodei und Paul Christiano zurückgeht und dass Nick Bostroms und Eliezer Yudkowskys Arbeiten generell sehr einflussreich waren. (Ich weiß auch, dass frühere Futuristen und Transhumanisten diese Leute und Bewegungen beeinflusst haben, habe mich aber wenig direkt mit deren Werken auseinandergesetzt.)
- Detaillierten Analysen des Open Philanthropy Longtermism Teams zur Untersuchung von Weltanschauungen, bestehend aus: Ajeya Cotra und (insbesondere) Tom Davidson sowie Nick Beckstead, Joe Carlsmith und David Roodman. Ich habe mich auch stark bei den Gutachten von Katja Grace und Luke Muehlhauser bedient.
Außerdem schulde ich diesen Leuten Dank:
- Ajeya Cotra, María Gutiérrez Rojas und Ludwig Schubert für Hilfe mit den Visualisierungen.
- Einigen Leuten für Feedback auf frühere Entwürfe:
- Meiner Schwester Daliya Karnofsky, meiner Frau Daniela Amodei und Elie Hassenfeld: Ein besonderes Dankeschön für das Lesen der frühesten (und am wenigsten lesbaren) Entwürfe und für das häufige Feedback zu mehreren Iterationen der Texte.
- Leute, die als „Beta-Leser“ fungierten und signifikante Mengen an Rückmeldung gaben, insbesondere dazu, was für sie Sinn ergab und was nicht: Alexander Berger, Damon Binder, Lukas Gloor, Derek Hopf, Mike Levine, Eli Nathan, Sella Nevo, Julian Sancton, Simon Shifrin, Tracy Williams. (Plus einige der bereits erwähnten Personen.)