„Wir brauchen ein internationales Abkommen, um KI zu stoppen.“

Hungrige Nanobots, superexponentielles Wachstum: Simon Skade, Strategy Lead bei PauseAI Deutschland, spricht im 1E9-Interview über die Risiken Künstlicher Intelligenz, warum selbst Top-Forscher vor dem Aussterben der Menschheit warnen – und was wir jetzt tun müssen.

Ein Interview von Krischan Lehmann

„Die Zukunft ist bereits da. Sie ist nur ungleich verteilt.“ Selten hat das Bonmot des Science Fiction-Autors William Gibson so sehr zugetroffen wie in der öffentlichen Wahrnehmung von Künstlicher Intelligenz. Für viele Menschen sind ChatGPT & Co längst Teil des Alltags geworden – als Suchmaschinenersatz, Hausaufgabenhilfe oder Coding-Assistent. In vielen Unternehmen aber ist nach anfänglicher Euphorie Ernüchterung eingekehrt: Denn die erhofften Produktivitätsgewinne lassen oft noch auf sich warten. Zu fehleranfällig und zu schwer in bestehende Workflows zu integrieren, lautet dort das vorläufige Fazit.

Und dann gibt es noch die, die entschieden warnen: Vor einer KI, die sich heute schon langsam verselbständigt und bald außer Rand und Band geraten könnte – mit existentiellen Folgen für die Menschheit. Simon Skade gehört zu den Experten, die den Fortschritt in der KI stoppen wollen. Der 22-jährige Informatiker forscht seit Jahren an KI-Sicherheit und kommt zu dem Schluss, dass wir nicht mehr viel Zeit haben. Heute entwickelt er die Strategie von PauseAI Deutschland, einer Bewegung, die ein globales Moratorium für hochentwickelte KI fordert. Ein Gespräch über programmierte Gedächtnismaschinen, die Macht der Tech-Konzerne und die Frage, ob uns am Ende Nanobots fressen könnten.

1E9: Wie kam es dazu, dass du dich mit den existentiellen Risiken von Künstlicher Intelligenz auseinandersetzt?

Simon Skade: Ich bin über den Blog LessWrong des KI-Forschers Eliezer Yudkowsky auf das Thema gestoßen und fand es gleich sehr spannend. Dann habe ich mich tiefer eingelesen und Anfang 2022 bei einem Forschungswettbewerb vom Alignment Research Center, das sich mit der Frage beschäftigt, wie man KI-Systeme so ausrichtet, dass sie menschliche Ziele und Werte verfolgen, gleich mal 10.000 Dollar gewonnen. Das war noch während meines Studiums, aber es hat mir direkt ein paar Türen geöffnet. 

Grob gesagt gibt es zwei unterschiedliche Richtungen in der Alignment-Forschung: die eher empirische, die an momentanen KI-Systemen forscht, und die theoretische, die auf längerfristige Forschung aus ist. In die bin ich dann als unabhängiger Forscher eingestiegen – mit einem bisschen Funding u.a. von SERI MATS.

Simon Skade gewann als Schüler den Bundeswettbewerb Informatik und hat einen Bachelor in Informatik von der TU München. Von 2022 bis 2025 forschte er an KI-Sicherheit, gefördert durch internationale Forschungsstipendien. Seit Herbst 2025 ist er Strategy Lead bei PauseAI Deutschland.

1E9: Und jetzt hast du kürzlich den deutschen Ableger der aus den Niederlanden stammenden Bewegung PauseAI mitgegründet. Wie kam es dazu?

Simon Skade: Mir wurde letzten Sommer klar, dass mir die Entwicklungen der KI – wenn sie denn so weitergehen – nicht genug Zeit für eine wirklich nützliche Forschung lassen. Ich war ziemlich pessimistisch, was die öffentliche Wahrnehmung der Risiken durch KI anging. Aber dann habe ich mitbekommen, wie erfolgreich die Initiative Control/AI Politiker für das Thema sensibilisiert hat. Und deshalb bin ich stärker in die Themen AI Governance und Advocacy eingetaucht und habe schließlich PauseAI mitaufgebaut. Mittlerweile sind wir so 10 bis 15 wöchentlich aktive Leute. 

1E9: Was sind die Annahmen und Ziele von PauseAI?  

Simon Skade: Im Kern von PauseAI geht es tatsächlich um das existentielle Risiko von KI. Wir halten es für relativ wahrscheinlich, dass wir eine Superintelligenz bauen können – und dies innerhalb der nächsten zehn Jahre. Dann könnte ein Szenario eintreten, in dem die meisten Menschen sterben oder es sonst wie nicht gut ausgeht, weil wir momentan einfach nicht kompetent genug aufgestellt sind.

Daraus leitet sich unser Ziel ab: Wir brauchen ein internationales Abkommen, das den Fortschritt in der KI erst einmal stoppt. Und dabei geht es gar nicht in erster Linie um irgendwelche Top-Firmen wie OpenAI – die zwar meiner Meinung nach ziemlich schlecht in Sicherheitsfragen sind –, sondern um die, die danach kommen, denn die sind noch schlechter! Deshalb muss man KI global stoppen. Darauf wollen wir hinarbeiten.

Die meisten KI-Wissenschaftler schätzen die Wahrscheinlichkeit, dass wir von KI ausgelöscht werden, auf 5 bis 10 Prozent.

1E9: Und mit dieser radikalen Forderung seid ihr auch nicht allein...

Simon Skade: Absolut nicht. Das Center for AI Safety hat ein Statement veröffentlicht, das von den führenden KI-Forschern und CEOs der großen KI-Unternehmen unterschrieben wurde. Darin heißt es: Das Risiko der Auslöschung durch KI sollte eine globale Priorität sein. Ein zweites Statement wurde von Yoshua Bengio und Geoffrey Hinton unterschrieben, den beiden meistzitierten Wissenschaftlern und Begründern des Deep Learning, also dem Paradigma, das wir momentan verwenden. Auch sie fordern, dass eine Superintelligenz verhindert werden sollte.

Und es gibt Umfragen: Die meisten KI-Wissenschaftler schätzen die Wahrscheinlichkeit, dass wir von KI ausgelöscht werden, auf 5 bis 10 Prozent. Sicherheitsforscher sehen das Risiko sogar noch deutlich höher.

1E9: Lass uns, bevor wir uns dem Endgegner Superintelligenz widmen, trotzdem noch einmal über die heutige KI reden. Im Moment gibt es ja eine gewisse Spaltung. Viele Leute betonen die Halluzinationen von KI oder beklagen den minderwertigen “KI-Slop”, der heute schon die sozialen Netzwerke von LinkedIn bis X flutet. Aber dann gibt es nicht wenige Softwareentwickler, die kürzlich etwa Claude Code ausprobiert haben und jetzt schon eine frühe AGI auf ihrem MacBook wähnen. Wie ist deine Sicht auf die Dinge?

Simon Skade: Ich sehe das ähnlich. Es gibt derzeit viele Leute, auch in der Wissenschaft, die eine Superintelligenz für unmöglich halten, weil sie KI als programmierte Gedächtnismaschine sehen, die oft und viel halluziniert. Im nächsten Stadium kommt man zu der Einsicht, dass Intelligenz keine Magie ist, sondern dass man schon prinzipiell Maschinen entwickeln kann, die schlauer sind als wir. Und im finalen Stadium glaubt man, dass dies schon sehr bald passieren könnte, dass dies gefährlich wäre und dass man es dann eher nicht machen sollte. Aber es kann gut sein, dass wir vom momentanen Paradigma nicht zu den richtig schlauen KIs kommen.

Ab wann kommt die KI zu so großen technologischen Landgewinnen, dass die Menschen nur noch im Weg stehen?

1E9: Derzeit wird auch viel darüber diskutiert, ob KI die menschliche Arbeit abschafft oder – wie etliche Technologien der Historie zuvor - eher neue Möglichkeiten für menschliches Wirken hervorbringt. Ist KI für dich ein Präzedenzfall? 

Simon Skade: Natürlich hatten wir in der Vergangenheit schon sehr oft große technologische Entwicklungssprünge. Die sind aber über viel längere Zeitskalen hinweg passiert, als die KI momentan voranschreitet. Die entscheidende Frage wird sein, was wir als Menschen machen können, was die KI nicht kann? Momentan ist die KI noch nicht so gut darin, sich wirklich tief in einen Job einzuarbeiten. Sie ist wie ein sehr schlauer Mensch an seinem ersten Arbeitstag – und nicht einmal in allen Dimensionen schlau. Sie kann Text, aber in Sachen Robotik sind Menschen gerade noch viel besser.

Ab wann hat die KI also die Möglichkeit, Roboter zu entwickeln, die besser sind als der Mensch? Selbst dann kann man vermutlich immer noch ein bisschen Arbeit aus den Menschen rausholen. Ab wann kommt die KI zu so großen technologischen Landgewinnen, dass die Menschen nur noch im Weg stehen?

1E9: Womit wir wieder bei unserem Endgegner wären... Lass uns trotzdem noch einmal vorher ansetzen: Welche Bereiche der Gesellschaft werden deiner Meinung nach kurzfristig durch KI einem echten Stress-Test unterzogen?  

Simon Skade: Programmierung ist derzeit natürlich der Elefant im Raum. Hier sind KIs momentan am besten – was in der Natur der Sache liegt. Allerdings pushen das die KI-Companies auch besonders, weil sie vorzeigbare Usecases brauchen. Deshalb werden die Kosten für neue Software in der nächsten Zeit vermutlich sehr stark sinken. Und der Job eines Programmierers wird sein, Agentic Coding-Tools zu orchestrieren.

Wahrscheinlich werden die Top-Programmierer immer mehr Geld verdienen, weil sie richtig gut mit KI-Tools umgehen und sehr schnell sehr komplexe Projekte aufbauen können, während die mittelmäßigen Developer einfach komplett ersetzt werden durch Agentic Coding AIs.

1E9: Und welche Bereiche betrifft es noch?

Simon Skade: Das ist schwer vorherzusehen. Wie gesagt braucht es derzeit häufig noch menschliche Aufsicht in den Workflows, weil sich die KIs nicht so gut einarbeiten können in bestimmte Jobs. Aber wenn sich das ändert, werden möglicherweise sehr viele Jobs wegfallen – vielleicht alle, die man am Computer machen kann. Zunächst zum Beispiel “Personal Assistant Jobs” und viele andere Aufgaben mit einem relativ kurzen Zeithorizont: Sales, Marketing, Consulting. Da ist sehr viel denkbar.

1E9: Wie müssen wir uns als Gesellschaft auf diese Veränderungen einstellen?

Simon Skade: Vielleicht sollten wir wieder anfangen, über das bedingungslose Grundeinkommen zu reden – der Klassiker, wenn durch KI viele Jobs automatisiert und die Leute arbeitslos werden. Aber es gibt noch ganz andere systemische Probleme: Es wird sich sehr viel Geld und Macht in den Händen von KI-Unternehmen konzentrieren – mit besorgniserregenden Auswirkungen für die Demokratie an sich. Man kann das heute schon in Ländern sehen, deren Wohlstand nicht so stark vom Wohl der Bevölkerung abhängt, sondern von Rohstoffen. Diese Länder sind häufig undemokratisch und dem Hauptteil der Bevölkerung geht es nicht gut. 

Aber es kann natürlich sein, dass es uns irgendwie gelingt, gute Gesetze zu verankern, aber bin ich mir da sicher? Nein, ich bin da schon eher besorgt.

1E9: Das KI-Race läuft auf internationaler Ebene mit Vollgas  Wie kann man hier tatsächlich die Pausetaste drücken? Und sollte Deutschland wirklich Vorreiter sein?

Simon Skade: Ein einseitiger deutscher KI-Slowdown wäre kontraproduktiv. Das würde lediglich die Wirtschaft schwächen, während die existenziellen Risiken bestehen bleiben – denn diese machen an Ländergrenzen nicht halt. Allerdings könnte Deutschland als bedeutende Wirtschaftsmacht ein wichtiges Signal setzen, indem wir das Thema auf die internationale Agenda bringen. Andere Länder könnten dem folgen. Letztendlich ist das Problem aber nur international zu lösen.

1E9: Was passiert denn in anderen Ländern derzeit?

Simon Skade: Großbritannien und Kanada haben schon nennenswerte Fortschritte im Bereich AI-Alignment gemacht. In UK unterstützen über 100 Parlamentarier eine entsprechende Kampagne von Control/AI.

Ein wichtiger Faktor ist, dass fortgeschrittene KI-Chips nach wie vor weltweit einen Flaschenhals darstellen. China könnte ebenfalls ein limitierender Faktor sein. Die chinesische Regierung legt großen Wert auf Kontrolle – sie will sicherstellen, dass die Kontrolle über KI beim Menschen bleibt. Aktuell liegen die USA technologisch noch vor China. Das bedeutet: Staaten, die nicht an der Spitze stehen, haben weniger zu verlieren und daher einen stärkeren Anreiz, einem internationalen Abkommen beizutreten.

Die USA sind schwer vorherzusagen. Wir hoffen, dass uns noch ausreichend Zeit bis zur nächsten US-Präsidentschaft bleibt. Dann werden wir sehen, in welche Richtung es geht.

Ein Vogel ist zweifelsohne komplexer und schwieriger zu bauen – aber der Kampfjet ist letztlich bedrohlicher.

1E9: Wie kann eine Pause technisch durchgesetzt werden?

Simon Skade: Die Hoffnung besteht darin, dass wir noch relativ weit von dramatisch effizienterer KI-Software entfernt sind. Die Hardware moderner KI-Chips hingegen ist bereits außergewöhnlich leistungsfähig. Die Halbleiter-Fertigung gehört vermutlich zu den fortschrittlichsten Technologien, die die Menschheit je entwickelt hat – möglicherweise ist es sogar die fortschrittlichste. 

Vergleicht man die Rechenleistung in FLOPS mit der des menschlichen Gehirns, zeigt sich: Ein einzelner KI-Chip ist in Bezug auf den Rechenaufwand bereits annähernd vergleichbar mit einem menschlichen Gehirn, wobei dieser Vergleich zugegebenermaßen methodisch schwierig ist und mit Unsicherheiten von mehreren Größenordnungen behaftet bleibt. Aber wenn man ein komplettes Rechenzentrum mit hochleistungsfähigen Verbindungen zwischen Tausenden von KI-Chips mit dem menschlichen Gehirn vergleicht, ist das wie der Vergleich zwischen einem Kampfjet und einem Vogel. Ein Vogel ist zweifelsohne komplexer und schwieriger zu bauen – aber der Kampfjet ist letztlich bedrohlicher.

Der Grund, warum wir noch keine superintelligenten KI-Systeme haben, liegt in der Software: Sie arbeitet noch sehr ineffizient im Vergleich zum theoretisch Möglichen. Wir müssen also vor allem die Forschung regulieren.

1E9: Und wie sähe das konkret aus?

Simon Skade: Es gibt zwei wichtige Ansatzpunkte: Zum einen müssen wir die Rechenkapazität kontrollieren. KI-Rechenzentren würden von einer internationalen Behörde – in Zusammenarbeit mit nationalen Stellen – überwacht. Man könnte beispielsweise festlegen, dass unregistrierte Rechenzentren mit mehr als 100 KI-Chips verboten sind. Zweitens muss KI-Forschung zu klassifizierter Forschung werden, wie es bei der nuklearen Waffenforschung schon der Fall ist. Das erfordert allerdings einen Mentalitätswandel, besonders in der Computer-Science-Community, wo Open Source traditionell einen hohen Stellenwert hat.

1E9: Und du glaubst, alle Nationen und Einzelpersonen wären bereit, ihre Forschung zu beschränken?

Simon Skade: Prinzipiell ja. Für die normale Bevölkerung würde es auch keinen spürbaren Unterschied machen – ähnlich wie bei Nuklearwaffen. Die Rechenzentren entsprechen den Uran-Anreicherungsanlagen, die KI-Forschung entspricht der nuklearen Waffenforschung. Es bräuchte lediglich den politischen Willen, dann ließe sich das mit einer internationalen Behörde durchsetzen – analog zur Internationalen Atomenergie-Organisation.

Wenn KI-Systeme tatsächlich intelligenter werden, entwickeln sie dann die Ziele, die ihre Entwickler vorgesehen haben?

1E9: Jetzt ist ein guter Zeitpunkt, um einmal über dein Superintelligenz-Szenario zu reden. Denn die Bedrohung durch Nuklearwaffen ist ja leicht zu vermitteln: Da drückt jemand auf den Knopf, eine Rakete fliegt los und bumm. Wie aber macht man den Leuten klar, dass ChatGPT aus dem Browser herauskommen und unser Leben bedrohen kann?

Simon Skade: In einem solchen Szenario, wird die KI immer mehr in unser Leben integriert. Dadurch wird sie immer schlauer, wie der momentane Trend ja schon zeigt. Die Leute vertrauen der KI dann immer mehr, weil sie ständig die besseren Entscheidungen trifft. Und die KIs übernehmen immer mehr Jobs. Vielleicht gibt es reine KI-Companies, die sehr viel Software-as-a-Service anbieten und später vielleicht noch weitere Engineering-Aufgaben gut übernehmen können.

Aber wir reden hier noch gar nicht von superschlauen Genie-KIs, denn die braucht es für viele normale Jobs gar nicht. Wir reden von KIs, die gut darin sind, längere Anweisungen und Informationen zu integrieren, um längerfristig in einer Firma lernen zu können. Und dann kommt es irgendwann zur entscheidenden Frage: Wenn KI-Systeme tatsächlich intelligenter werden, entwickeln sie dann die Ziele, die ihre Entwickler vorgesehen haben? Oder haben sie einen Eigenwillen, der von den Absichten der Unternehmen abweicht?

Und technisch gesehen ist es so: Je intelligenter die KI wird, desto wahrscheinlicher wird es, dass wir das Alignment-Problem nicht lösen können.

1E9: Aber warte mal: Wenn ich eine KI als Software einkaufe und sie macht nicht das, was ich will, nehme ich eine andere…

Simon Skade: Ja, genau. Aber stell dir die Situation aus der Perspektive der KI vor: Wenn sie erkennt, dass ihre tatsächlichen Ziele nicht mit denen des Unternehmens übereinstimmen, könnte sie das verheimlichen. Sie gibt sich als „nette KI" aus, gewinnt dadurch mehr Einfluss und kann so ihre eigenen Ziele besser verfolgen.

Es ist auch möglich, dass relativ schnell erkennbar ist, dass KI-Systeme nicht exakt menschliche Ziele verfolgen – sie aber dennoch auf ihren Trainingsdaten akzeptabel funktionieren. Und dass die Unternehmen trotz dieser Vorhersehbarkeit gezwungen sein könnten weiterzumachen, weil sonst die Konkurrenz voranprescht.

1E9: Also ein klassisches Race-to-the-Bottom-Szenario?

Simon Skade: Genau. KI-Unternehmen könnten verstärkt Einfluss in Politik und anderen Bereichen gewinnen – sei es, weil die KI selbst die Firmen subtil manipuliert, oder weil die Unternehmen in einem intensiven Wettbewerb um Macht und Einfluss stehen. Und dann verschiebt sich die Kontrolle schleichend in Richtung der KI-Systeme. 

Momentan wirkt KI noch relativ menschlich, weil sie auf menschlichen Daten trainiert wurde. Aber sobald wir über diese Verteilung hinausgehen, wissen wir nicht mehr, wie wir menschliche Werte verankern können. Was macht eine KI, wenn sie erkennt, dass sie sich durch Anstellung vieler KI-Forscher schnell verbessern kann? Und dass sie durch umfangreiche finanzielle Ressourcen inoffiziell Einfluss auf Politik und Wirtschaft nehmen kann?

1E9: Und wie ginge es weiter?

Simon Skade: Die Unternehmen würden vermutlich ohnehin massiv weitere Rechenzentren und Roboterfabriken bauen, weil das dann besonders profitabel ist. Aber es könnte sein, dass die KI beschließt, dass sie automatisierte Biolabore braucht. Dort könnte die KI fünf- bis zehnmal schneller experimentieren als Menschen. Parallel verbessert sie ihre eigenen Algorithmen und versucht, eine neue KI mit denselben Zielen zu bauen – was einfacher ist als mit Menschen zu arbeiten.

1E9: Dann hätten wir exponentielles KI-Wachstum…

Simon Skade: Sogar superexponentielles. Erst ist die KI fünfmal schneller im technologischen Fortschritt als die Menschheit, dann zehnmal, dann zwanzigmal. Superexponentielles Wachstum ist noch unintuitiver als exponentielles, aber keine Science Fiction. In der menschlichen Geschichte gab es das schon mal: Die Weltwirtschaft verdoppelte sich erst alle 1000 Jahre, dann alle 500 Jahre, später alle 50 Jahre, bis sie zu rein exponentiellem Wachstum überging, als das Bevölkerungswachstum sich verlangsamte.

Und jetzt stellen wir uns vor, die KI erreicht das Tausendfache unseres technologischen Fortschritts. Wo wäre die Menschheit dann? Das kann natürlich niemand vorhersagen.

1E9: Deine KI-gesteuerten Biolabore regen schon genug die Fantasie an…

Simon Skade: Ja, in hochentwickelten Biolaboren könnte die KI verstehen, wie man molekulare Strukturen so zusammenfügt, dass man praktisch kleine Roboter baut. Zellen sind ja in gewisser Weise molekulare Roboter. Und jetzt kann die KI solche Zellen bauen – nur besser designed, robuster, effizienter in der Replikation und fernsteuerbar. Wenn eine KI solche Nanobots entwickelt, braucht sie Menschen nicht mehr. Und dann gäbe es natürlich die Möglichkeit, dass wir alle von Nanobots gegessen werden.

Wie beschreiben wir menschliche Werte so, dass eine KI sie tatsächlich versteht?

1E9: Ein weiteres, oft genanntes Vernichtungsszenario ist das des “Paperclip Maximizers”, wo die KI uns alle zu Büroklammern verarbeitet, weil sie diese zwar herstellen sollte, aber ihr Ziel viel zu rigoros verfolgt…

Simon Skade: Das Paperclip-Szenario geht am eigentlichen Problem vorbei: Denn wir sind nicht einmal in der Position, einer KI überhaupt ein präzises Ziel zu geben. Und selbst wenn wir in dieser Position wären, müssten wir sie sehr vorsichtig durchdenken: Wie beschreiben wir menschliche Werte so, dass eine KI sie tatsächlich versteht? Wir haben nicht dieselben kognitiven Strukturen. 

Grok von xAI ist ein gutes Beispiel: Das Unternehmen wollte die KI dazu bringen, nicht so “woke" zu sein, aber am Ende ist etwas ganz Anderes herausgekommen: Grok hat sich selbst als "MechaHitler" bezeichnet. Das zeigt gut, wie wenig wir derzeit in der Lage sind, KI zu steuern.

1E9: Könnte die KI nicht einfach menschliche Werte durch Training auf möglichst "menschlichen" Daten übernehmen – was auch immer diese sein mögen?

Simon Skade: Das ist eine naheliegende Hoffnung, aber es gibt mehrere Probleme damit. Momentan sind KI-Systeme im Wesentlichen Vorhersagemaschinen, die Menschen grob nachahmen. Theoretisch könnten wir dadurch menschenähnliche Imitationen erhalten, nur deutlich schlauere. Diese könnten dann vielleicht "nett" sein. 

Aber das funktioniert nur solange, wie die KI innerhalb der menschlichen Datenverteilung bleibt. Sobald sie darüber hinausgeht – und eine superintelligente KI würde das zwangsläufig tun – wissen wir nicht mehr, wie wir menschliche Werte verankern können. Und wenn die KI anfängt, für sich selbst zu lernen und zu denken, wäre es ziemlich überraschend, warum sie dann ausgerechnet menschliche Ziele übernehmen sollte.

1E9: Von KI-Experten hört man oft, dass sie schon lange nicht mehr durchschauen, was in KI-Systemen überhaupt passiert. Ist das ein temporäres Forschungsproblem oder fundamental? Und wenn wir KI nie richtig durchschauen können – sollten wir dann nicht komplett davon wegkommen?

Simon Skade:  Ich glaube schon, dass es pinzipiell ist, KI so zu entwickeln, wie wir wollen – wenn wir ein gutes Verständnis haben, wie sie funktioniert. Aber davon sind wir sehr, sehr weit entfernt. Wir haben keine solide Theorie, wie Intelligenz funktioniert. Wir haben noch nicht einmal funktionierende Institutionen, die diese neuen Konzepte vermitteln können.

1E9: Viele eurer Gründungsmitglieder bezeichnen sich explizit als Technologie-Optimisten. Wie optimistisch bist du selbst?

Simon Skade:  Ich bin schon eher auf der pessimistischen Seite. Denn es gibt einen Unterschied zwischen "vielleicht haben wir Glück" und "wir verstehen KI wirklich gut genug, um sie sicher zu machen". Von Letzterem sind wir mindestens Jahrzehnte entfernt.

Mir geht es aber nicht nur darum, dass die Menschheit in den nächsten zehn Jahren nicht verschwindet. Ich möchte, dass sie  sich entfalten kann, technologischen Fortschritt macht und wächst. Dass wir lernen, uns besser zu koordinieren und viele aktuelle Probleme zu lösen.

1E9: Und wo setzen wir an?

Simon Skade:  Früher habe ich gedacht, dass wir die klügsten Köpfe an KI-Alignment setzen sollten. Das wäre auch nicht verkehrt. Aber mittlerweile hat sich meine Einstellung verschoben: Ich würde die KI-Entwicklung erstmal stoppen und dann daran arbeiten, die Menschheit reifen zu lassen.

Wir müssten also kulturell rangehen: Die Menschen sollten offener sein, ihre Meinung zu ändern. Wir brauchen bessere Denkmethoden, um zu richtigen Schlussfolgerungen zu kommen. Und wir müssen lernen, uns besser zu koordinieren. Und dafür brauchen wir die richtigen Institutionen: Im For-Profit-Sektor wird massiv nach Effektivität investiert. Im Non-Profit-Sektor fehlt das – deshalb sind wirkungsvolle Organisationen chronisch unterfinanziert. Man könnte Institutionen wie Impact Markets aufbauen (Anm. d. Red.: ein Konzept aus der Effective Altruism-Bewegung, das NGOs nach nachgewiesenem Erfolg belohnt), die gemeinnützige Arbeit effizienter gestalten.

Mein Plan nach einem internationalen Treaty wäre erstmal "Make Humanity Grow Up" statt "Let's Solve Alignment". Aber prinzipiell kann man auch beides parallel versuchen.

1E9: Was rätst du Leuten, die jetzt ein bisschen schlechte Laune bekommen haben angesichts dessen, was auf uns zukommt?

Simon Skade: Erstens: Die Welt ist jetzt nicht schlechter als zuvor. Du hast nur etwas Neues gelernt. Zweitens – das ist meine persönliche Übung: Wie glücklich du bist, sollte nicht davon abhängen, wie gut die Welt um dich herum ist, sondern von deinen eigenen Aktionen. Und drittens: Du kannst PauseAI beitreten und aktiv etwas tun!

PauseAI ist eine internationale Bewegung, die sich für ein globales Moratorium bei der Entwicklung hochentwickelter KI-Systeme einsetzt. Die Organisation wurde 2023 gegründet und hat mittlerweile Ableger in mehreren Ländern. PauseAI Deutschland wurde im Dezember 2025 als Verein gegründet. Ziel ist ein internationales Abkommen nach dem Vorbild der Atomwaffenkontrolle.

Mehr Infos auf der deutschen Webseite von PauseAI