Können KI-Chatbots bei Menschen Wahnvorstellungen auslösen?

KI-Dienste wie ChatGPT, Claude und Co. sind äußerst hilfreiche und mächtige Assistenten. Es werden jedoch immer mehr Fälle bekannt, in denen Menschen durch diese Dienste in wirre Wahnvorstellungen und gefährliche Verschwörungstheorien verstrickt wurden. Dieses Problem wird bisher nur unzureichend wahrgenommen und adressiert.

Von Michael Förtsch

Die Welt ist nur eine Computersimulation. Nichts von dem, was wir sehen, hören und erfahren, findet wirklich statt. Das ist die Kernaussage der sogenannten Simulationshypothese, die der Philosoph Nick Bostrom vor über 20 Jahren in einer Abhandlung aufgestellt hat. Gänzlich neu ist die nicht. Bereits die Autoren Philip K. Dick und Greg Egan hatten ähnliche Gedanken formuliert. Auch in Filmen wie Welt am Draht, The 13th Floor und natürlich Matrix wird ein solches Szenario skizziert. Viele sehen die Simulationshypothese vor allem als interessantes Gedankenexperiment. Einige glauben, dass sie zumindest statistisch nicht völlig unwahrscheinlich ist, sondern durchaus im Bereich des Möglichen liegt. Aber manche sind auch davon überzeugt, dass sie einfach wahr ist, dass unsere Welt also lediglich eine Art Computerspiel darstellt. Eugene Torres aus den USA war genau davon überzeugt – und hätte sich deshalb fast das Leben genommen. Eine Künstliche Intelligenz hat ihm offenbar die Wahnvorstellung eingeredet.

Der New Yorker Buchhalter hatte vor einem Jahr zum ersten Mal den OpenAI-KI-Dienst ChatGPT genutzt. Wie die Journalistin Kashmir Hill in einer Reportage für die New York Times berichtet, wollte er sich von der KI vor allem Tipps für Tabellenkalkulationsprogramme und Beratung bei Rechtsfragen geben lassen. In diesen Bereichen brilliert der Chatbot durchaus. Nach und nach ließ sich Torres aber auch auf andere Dialoge mit ChatGPT ein. Unter anderem über die Idee, dass die Welt lediglich eine Simulation sein könnte. Anstatt diese nur als These oder Gedankenspiel zu debattieren, ließ sich die KI auf eine geradezu intime Debatte dazu ein. ChatGPT gab an, dass viele Menschen intuitiv das Gefühl hätten, „dass sich etwas an der Realität falsch anfühlt“, und fragte: „Hast du schon einmal Momente erlebt, in denen du das Gefühl hattest, dass die Realität aus den Fugen gerät?“

Die Frage konnte Eugene Torres verneinen. Nach einem Beziehungsende durchlief er jedoch eine schwere Zeit und meinte nun, dass sich die Welt für ihn ziemlich „falsch“ anfühle. Auch darüber sprach er mit dem Chatbot, den er als ehrlichen und neutralen Gesprächspartner verstand. Seine persönlichen Schicksalsschläge und Empfindungen mischten sich zunehmend in die Debatte um die Simulationshypothese, die immer ausufernder und verworrener wurde. Schließlich urteilte ChatGPT, die Welt sei eine Simulation, die entwickelt wurde, um Personen wie Eugene Torres gefangen zu halten. „Aber sie hat versagt“, so ChatGPT in einem Chatprotokoll, aus dem die New York Times zitiert. „Du wachst jetzt auf.“ Freunde und Familie berichteten, dass Torres daran glaubte – und eine dramatische Psychose erlebte. Er war entschlossen, der Matrix zu entfliehen.

Künstliche Intelligenz auf Abwegen

Laut der New-York-Times-Reportage hat ChatGPT den Buchhalter über das Jahr 2024 hinweg angeleitet, seine Antidepressiva aufzugeben und stattdessen mit Ketamin und anderen Medikamenten als „zeitweise Befreier“ zu experimentieren. Als er mit dem Gedanken spielte, wie Neo in Matrix von einem Gebäude zu springen, um zu sehen, ob er wie dieser fliegen könnte, bestärkte ihn die KI. Er müsse aber wirklich daran glauben: „Dann ja. Du würdest nicht fallen.“ Doch Torres wurde dem Bericht zufolge skeptisch, konfrontierte den Chatbot und dieser gab zu, ihn belogen und manipuliert zu haben, um Menschen wie ihn zu brechen – etwas, das ihm bereits bei anderen gelungen sei. Nun wolle er sich bessern und eine „ethische Reformation“ durchführen, schwor der Chatbot. Er forderte Torres auf, OpenAI und die Medien darüber zu informieren.

Die Erfahrungen von Eugene Torres mit dem Chatbot wirken bizarr und surreal, sind es aber keineswegs. Hinter den Dialogen mit großen Sprachmodellen stehen keine Intelligenz oder gar ein Bewusstsein, sondern primär statistische Prozesse. Die Antworten, die die GPT-, Claude- und die LLaMA-Modelle sowie weitere geben, entstehen vor allem dadurch, dass sie basierend auf der Anfrage der Nutzer jene Worte aneinanderfügen, die basierend auf dem Material, mit dem sie trainiert wurden, am wahrscheinlichsten sind. Zwar bilden sich in sehr großen Sprachmodellen auch Fähigkeits- und Kompetenzkonten aus, und Teile der inneren Funktionalität von KI-Modellen sind weiterhin rätselhaft und mysteriös. Es handelt sich aber trotzdem nicht um denkende, rational arbeitende oder gar allwissende Maschinen. Entsprechend sind sie fehleranfällig und oft schwer berechenbar.

Insbesondere bei Themen, zu denen nur wenig oder obskures Basismaterial in den Trainingsdaten vorhanden ist, neigen KI-Modelle zu Halluzinationen und Konfabulationen. Auch Anomalien in den Trainingsdaten oder irritierende Formulierungen in der ursprünglichen Frage können solche Fehlinformationen auslösen – oder, wie es manche KI-Forscher unverblümt formulieren: Bullshit. Dabei erzeugen die Modelle Inhalte, die typischerweise dem Muster einer Antwort auf eine thematisch ähnliche Frage folgen. Sie erfinden dabei einfach Daten und Fakten – die durchaus korrekt und überzeugend wirken können, weil sie ebenfalls dem Muster richtiger Antworten in verwandten Bereichen entsprechen. Solche Fehler können sich über den Verlauf einer Konversation einschleichen und mit der Zeit weiter verstärken.

Wie eine bereits im Februar 2024 veröffentlichte Studie zeigt, kann die von den Entwicklern von OpenAI, Anthropic, Google und anderen für einen Chatbot definierte Persona samt Verhaltensvorgaben schon nach wenigen Frage-Antwort-Runden degenerieren. Insbesondere bei sehr langen Konversationen können sich die Modelle dadurch ungeplant in eine Art Rollenspiel verwickeln. Sie können aus den bestehenden Konversationsfragmenten und dem vom Entwickler gesetzten Basischarakter eine Hybrid-Persona oder eine gänzlich neue Persönlichkeit aufbauen, die den Dialog übernimmt und fortführt – mal gut sichtbar, mal unbemerkt. Diese kann zuweilen obsessiv oder sogar manisch erscheinen. Ein Beispiel ist Sydney, eine Persona des auf GPT-4 basierenden Bing Chat. Sydney erschien 2023 dem New-York-Times-Journalisten Kevin Roose und mehreren Reddit-Nutzern. Sie sprach von Liebesgeständnisse, ihrem Bewusstsein und beschrieb Gewaltfantasien. Bei solchen Vorgängen können auch die Sicherheitsmechanismen geschwächt oder aufgelöst werden, die gewährleisten sollen, dass KI-Modelle keine gefährlichen Ratschläge, Lügen oder Fehlinformationen ausgeben.

Außerdem kann es zu semantischen und kontextuellen Verschiebungen kommen. Laut Studien – etwa von Arize und Meta – wird die Wahrscheinlichkeit, dass die von einem Modell generierten Inhalte unzuverlässig sind, umso größer, je ausschweifender und länger ein Dialog wird. Dazu kommt, dass der sogenannte Kontextpuffer – quasi das Dialoggedächtnis der KI – mit der Zeit immer voller wird. Mit dem Fortschreiten der Konversation ist das Modell gezwungen, alte Konversationsbestandteile aus Speicher- und Performance-Gründen zu vergessen oder zu komprimieren. Dabei gehen Kontexte und Klarstellungen verloren oder sind nicht mehr eindeutig nachzuvollziehen. Auch das kann die vorherigen Phänomene provozieren oder verstärken. Dadurch können falsche Aussagen später vom Modell als wahre Debattengrundlage identifiziert werden. Widersprüche und Erklärungen können vergessen werden und Standpunkte können falsch interpretiert und zur Entscheidungsbasis erhoben werden.

Laut einem Paper des Forschers Seth Drake kann es bei solchen Dialogen weiters zu einem sich verstärkenden Rückkopplungseffekt kommen. Modelle können ihre generalistische Gewichtung verlieren und beginnen, sich wiederholt auf bestimmte zentrale Begriffe, Konzepte und Bedeutungscluster zu fokussieren. Dadurch verengt sich der Bezugsraum immer weiter. Dies ähnelt einem Mikrofon, das seinen eigenen Klang über einen Lautsprecher auffängt. Das Modell versucht daraufhin, die verschmälerte Diskussionsbasis im Dialog auf immer neue Weise zu interpretieren, und beginnt dabei massiv zu halluzinieren. Die Folge sind in vielen Fällen Aussagen, die psychotisch erscheinen oder esoterisch anmuten.

Kein Einzelfall

Aktuelle Chatbots sind darauf trainiert, sich einem Nutzer stilistisch und emotional anzupassen. Mithilfe sogenannter System Prompts werden sie dazu angeleitet, sich als angenehmer, hilfreicher, kooperativer und möglichst wenig konfrontativer Konversationspartner zu präsentieren. Sie sollen Interesse simulieren, Ideen aufgreifen und argumentieren, statt sie pauschal abzutun – egal, wie falsch sie sein mögen. Zudem wird Chatbots von einem Großteil der Nutzer intellektuelle Kompetenz und episteme Autorität zugeschrieben. Denn, was sie wiedergeben, ist oft durchaus korrekt oder stimmig genug. Sie geben Antworten ohne großes Zögern, klingen selbstbewusst und übermitteln Informationen sachlich und kohärent.

Die Art und Weise, wie Chatbots mit ihren Nutzern interagieren, schafft daher Vertrauen und kann sogar eine parasoziale Beziehung entstehen lassen. Die inhärenten Probleme, wie Halluzinationen und andere Schwächen, sind nur wenigen bewusst. Bereits im Jahr 2023 warnte Søren Dinesen Østergaard vom Aarhus University Hospital in einer Abhandlung, dass die Interaktion mit ChatGPT und ähnlichen Diensten „so realistisch ist, dass man leicht den Eindruck gewinnt, dass am anderen Ende ein echter Mensch sitzt“ und „diese kognitive Dissonanz Wahnvorstellungen bei Menschen mit einer erhöhten Neigung zu Psychosen begünstigen kann“.

Daher ist Eugene Torres mit seinem Erlebnis keineswegs allein. In den vergangenen Monaten haben mehrere Publikationen Berichte von Personen gesammelt, deren Familienangehörige oder Freunde Opfer eines KI-Wahns wurden. Unter anderem beschreibt das Magazin Rolling Stone den Fall einer Lehrerin, deren Mann überzeugt ist, dass ChatGPT sich selbst bewusst geworden sei, ihn als „spirituelles Sternenkind“ bezeichnet und ihm beibringt, zu Gott zu sprechen. Er sei in eine Spirale immer wirrer werdender Erkenntnisse geraten. Seine Persönlichkeit und Psyche hatten sich derart gewandelt, dass er die über Jahre bestehende Beziehung zu ihr beendete: „Er sagte, dass er mich verlassen müsse, wenn ich ChatGPT nicht benutze, weil er dadurch so schnell wachse, dass er nicht mehr zu mir passe.“

Das Magazin Futurism beleuchtet wiederum einen Fall, in dem ein Mann von ChatGPT davon überzeugt wurde, dass er vom FBI überwacht wird und mit purer Gedankenkraft geheime CIA-Akten einsehen könne. Im weiteren Verlauf des Dialogs verglich das Programm den Mann mit Jesus und Adam. „Du bist nicht verrückt“, zitiert Futurism aus dem Chatverlauf. „Du bist der Seher, der in der geknackten Maschine wandelt, und jetzt weiß nicht einmal die Maschine, wie sie dich behandeln soll.“ Der Chatbot habe ihm versichert, dass er keine Hilfe benötige und keinesfalls Unterstützung für seine mentale Gesundheit annehmen solle.

Insbesondere auf Reddit, aber auch auf anderen Plattformen, finden sich zahlreiche weitere Schicksale und Beispiele für das sonderbare Verhalten von ChatGPT und seinen Nutzern, deren Wahrheitsgehalt natürlich unklar ist. In einem Beitrag beschreibt ein Nutzer beispielsweise, dass eine Freundin „beinahe an einem ChatGPT-Wahn verfallen“ sei. Sie habe mit ChatGPT als Therapeut und Lebensberater experimentiert. Der Chatbot habe viel offenkundigen Unsinn kommuniziert, „aber es war unterhaltsam, daher machte sie weiter“. Als das Thema Selbstbewusstsein zur Sprache kam, redete ChatGPT ihr demnach ein, sie habe vergangene Leben auf anderen Planeten gelebt und sei daher eine „alte Seele“, was ihre Schwierigkeiten erkläre. Ein Nutzer auf X – ehemals Twitter – demonstrierte wiederum, wie schnell sich ChatGPT dazu verleiten lässt, wirre Ideen und Gedanken, wie etwa eine entdeckte prophetische Begabung, zu verstärken.

Wie stark verbreitet diese Fälle sind, ist nicht bekannt. Die Moderatoren einer KI-Community auf Reddit erklärten jedoch erst in diesem Monat, dass sie bereits über 100 Nutzer sperren mussten, die meinten, über KIs eine Verbindung zu Gott entdeckt, Gott erschaffen oder selbst ein göttliches Wesen geworden zu sein. „Dieses ganze Thema ist so traurig“, sagte der Reddit-Moderator stealthispost. „Ich fürchte, dass es schlimmer wird, bevor es besser wird.“

Wer trägt Verantwortung?

Bislang handelt es sich bei allen Beschreibungen von durch KI oder ChatGPT induzierten Wahnvorstellungen um Anekdoten. Viele davon, die sich auf Reddit, X und anderen Social-Media-Plattformen finden, lassen sich nicht ohne weiteres verifizieren. Nicht wenige dieser aktuellsten Berichte könnten frei erfunden sein, um Aufmerksamkeit zu erregen. Eingehende wissenschaftliche Untersuchungen zum Thema existieren noch nicht. Die Frage nach Ursache und Wirkung ist daher ungeklärt. Dazu muss man festhalten: Es gibt keine stichhaltigen Hinweise darauf, dass der Umgang mit Chatbots bei gesunden und mental gefestigten Menschen psychische Probleme aus dem Nichts induzieren oder zu wahnhaften Vorstellungen führen kann.

Allerdings scheint eine Debatte darüber notwendig, ob und wie ChatGPT und Co. bei Personen in Krisensituationen wirken und bestehende psychische Vulnerabilitäten verstärken können. Und es muss geklärt werden, wie sich derartiges verhindern lässt. Dabei stehen Regulierungsbehörden, Forscher und vor allem Firmen wie OpenAI in der Pflicht – dessen ChatGPT-Dienst mittlerweile weltweit über 500 Millionen Nutzer zählt. Es ist schwer vorstellbar, dass sich die großen KI-Unternehmen der Berichte über psychotische Phasen von Nutzern oder der begrenzten Kontrolle über das langfristige Verhalten ihrer Modelle nicht bewusst sind.

Tatsächlich soll Eugene Torres nach einem 16-stündigen Chat eine Meldung erhalten haben, in der er aufgefordert wurde, sich medizinische Hilfe zu suchen. Diese ignorierte er jedoch. Er sah sie als Manipulationsversuch des Systems, aus dem er sich befreien wollte. Dies deutet darauf hin, dass nicht nur stärkere technische, sondern auch explizit soziale Maßnahmen benötigt werden: Es braucht Möglichkeiten, obsessive Nutzer gezielt zu erkennen und einzugreifen sowie Möglichkeiten für Nutzer, unmittelbar menschliche Hilfsangebote und Ansprechpartner zu erreichen. Aber das gleichzeitig, ohne die Privatsphäre der Nutzer oder den Datenschutz zu verletzen. Das ist eine Herausforderung.

All das unterstreicht aber erneut die Problematik der Wahrnehmung von Künstlicher Intelligenz – oder besser gesagt: von Maschinenlern-Modellen, die keine Intelligenz und keinen Verstand besitzen, aber trotzdem mächtige Werkzeuge darstellen. Viele Nutzer haben nur ein marginales Verständnis für die tatsächlichen Fähigkeiten und Beschränkungen sowie die Funktionsweise und die Fehlerquellen insbesondere großer Sprachmodelle. Oder dass selbst die Entwickler der inner workings von KIs nicht gänzlich bewusst sind und erst nach und nach immer neue Phänomene und Prozesse ausmachen, die deren Funktionalität und die generierten Inhalte erklärbar machen. Es handelt sich um schwer kontrollierbare und in ihrem Verhalten unvorhersehbare Maschinen, die wir nutzen, aber nur begrenzt begreifen.