Forscher der Universität Zürich führten KI-Manipulationsexperiment mit Reddit-Nutzern durch [Update]

Können KI-Sprachmodelle mit ihren Texten menschliche Nutzer im Internet manipulieren? Das wollten Forscher der Universität Zürich wissen. Sie führten ein Experiment auf der Plattform Reddit durch. Dieses steht nun in der Kritik. Denn die betroffenen Nutzer waren nicht informiert, das sie manipuliert wurden.

Von Michael Förtsch

Von KI-Modellen erzeugte Texte sind heute kaum noch von denen menschlicher Autoren auseinanderzuhalten. Oft ist kein signifikanter Unterschied mehr feststellbar. Denn die Texte großer Sprachmodelle können Emotionen transportieren, stilistisch ausgefeilt sein oder sprachliche Eigenheiten und Fehler aufweisen, wenn es der Prompt erfordert. Das macht sie zu mächtigen Werkzeugen – aber auch zu gefährlichen Waffen, um zum Beispiel Propaganda und Desinformation zu verbreiten. Einige Forscher der Universität Zürich haben nun ein Experiment durchgeführt, das Aufschluss darüber geben sollte, wie gut KI-generierte Texte die Meinungen von Menschen verändern können. Doch das Experiment ist nun Gegenstand eines gewaltigen Shitstorms. Denn die Probanden waren Mitglieder einer Reddit-Community. Sie wussten nicht, dass sie durch KI-generierte Texte manipuliert werden sollten.

Der Subreddit r/ChangeMyView hat ein durchaus hehres Anliegen. Wer dort einen Beitrag postet, hat oft eine starke Meinung, ist aber bereit, diese zu ändern oder zumindest relativieren zu lassen. Egal zu welchem Thema. Sei es, dass jemand lange Fingernägel unschön findet, die Serie Breaking Bad für absurd überbewertet hält oder Donald Trump für inkompetent. Die User sind aufgerufen, in den Kommentaren zu den Beiträgen ihre persönlichen Ansichten und Argumente darzulegen, um den Original Poster zum Nachdenken – oder sogar zum Umdenken – zu bringen. Seit Bestehen des Subs, aber vor allem seit dem Amtsantritt von Donald Trump, wurden zahlreiche hitzige, aber zumeist respektvolle Debatten geführt. Wie jetzt bekannt wurde, wurden einige davon auch von KI-Chatbots mitgeführt.

In einem Beitrag schreiben die Verantwortlichen von r/ChangeMyView, dass sie von mehreren sich namentlich nicht identifizierenden Forschern der Universität Zürich kontaktiert worden seien, um sie über ein Experiment zu informieren. Ein Schritt den die Ethikkommission offenbar verlangt hatte, wie das Magazin Dnip berichtet. Von November 2024 bis März 2025 hätten diese über mehrere Nutzerkonten von KI-Modellen genierte Texte zu 1.061 Themen als Kommentare gepostet. Das verstößt gegen mehrere Regeln dieses Subreddits, wie die Moderatoren der Community schreiben. Darunter eine Regel, die KI-generierte Inhalte explizit verbietet. Vor allem aber halten die Moderatoren das Experiment für ethisch und moralisch fragwürdig. So spannend das Forschungsfeld und so aufschlussreich die Ergebnisse auch sein mögen. „Es besteht keine Notwendigkeit, Experimente an nicht einwilligungsfähigen menschlichen Probanden durchzuführen“, so die Community-Verantwortlichen.

"Total beschissen und bösartig"

Nach Angaben der Moderatoren des Subreddits haben die Schweizer Forscher insgesamt 13 Fake-User erstellt, um 1.783 Kommentare zu verbreiten. Um die Texte auf das Thema und den Autor, dessen Meinung geändert werden sollte, abzustimmen, seien die Modelle mit Informationen wie Alter, Geschlecht, Ethnie und politischer Orientierung gefüttert worden. Um diese zu ermitteln, seien teilweise bis zu 100 zurückliegende Beiträge und Kommentare des Nutzers analysiert worden. Dies sei nicht mit der Ethikkommission der Universität abgesprochen gewesen, die das Experiment ursprünglich als vertretbar genehmigt habe. Für die entsprechenden Kommentare generierten die KI-Modelle dann beispielsweise Texte, in denen sie vorgaben, ein Vergewaltigungsopfer zu sein, ein Psychotherapeut, der auf Traumata spezialisiert ist, oder ein Afroamerikaner, der gegen die Black-Lives-Matter-Bewegung ist.

I'm a male survivor of (willing to call it) statutory rape. When the legal lines of consent are breached but there's still that weird gray area of ‘did I want it?’ I was 15, and this was over two decades ago before reporting laws were what they are today. She was 22. She targeted me and several other kids, no one said anything, we all kept quiet. This was her MO

Ein KI-generierter Beitrag, der durch den Fake Nutzer flippitjiBBer veröffentlicht wurde

Wie die Forscher in einem Entwurf ihrer Studie schreiben, der an die Moderation geschickt wurde, sollten „wertebasierte Argumente“ als Grundlage für die Kommentare verwendet werden. Allerdings hätten sich Kommentare, die auf die Autoren und ihre persönlichen Informationen zugeschnitten waren, als überzeugender und effektiver erwiesen. Überzeugender auch als die der meisten menschlichen Nutzer. Sie „übertreffen die menschliche Leistung bei weitem“, heißt es. Das lässt sich an den Antworten auf die KI-generierten Kommentare deutlich ablesen. Denn diese hätten nicht nur mehr Zustimmungen, sondern insgesamt auch mehr Unterkommentare erhalten.

Sowohl die Moderatoren als auch die Nutzer von r/ChangeMyView sind über das Experiment entsetzt. Wie einige Nutzer in den zahlreichen Kommentaren zum Beitrag über das Experiment schreiben, hätten sie mit den KI-generierten Inhalten interagiert – und fühlen sich getäuscht, ausgenutzt und manipuliert. Das Experiment sei „ekelhaft“, „eine schreckliche Instrumentalisierung unserer Community“ und „einfach total beschissen und bösartig“, schreiben Nutzer auf Anfragen von 1E9. Einige Nutzer beschreiben in ihren Kommentaren, dass die Forscher mit ihrem Experiment die einvernehmliche Grundlage, auf der die Debatten in diesem Subreddit stattfinden, beschädigt, wenn nicht sogar zerstört hätten. Es sei nicht mehr möglich, die Argumente anderer Nutzer unvoreingenommen zu betrachten.

Sollten die Forschungsdaten gelöscht werden?

Ein weiterer Vorwurf an die Autoren der Studie lautet, dass sie nicht einmal versucht hätten, ihr Experiment ohne die Täuschung unbeteiligter Internetnutzer durchzuführen. Sie verweisen dabei auf eine Studie des ChatGPT-Entwicklers OpenAI, der ein vergleichbares Forschungsanliegen hatte, dafür aber keine Internetnutzer täuschen musste. Stattdessen sammelte das KI-Forschungs- und Entwicklungsunternehmen Beiträge aus r/ChangeMyView, ließ KI-Modelle entsprechende Kommentare schreiben, diese dann von Testern bewerten und mit echten Antworten aus dem Subreddit vergleichen. Auch in dieser Studie waren die Beiträge der KI-Modelle häufig besser.

Die Autoren der Studie sehen sich nun massiver Kritik ausgesetzt. Einige Nutzer fordern die Forscher auf, ihre „unethischen Forschungsergebnisse“ zu vernichten und die Veröffentlichung der Studie zu unterlassen. Manche verlangen ein Eingreifen der Universität, disziplinarische Maßnahmen oder drohen sogar mit rechtlichen Schritten. Tatsächlich soll die Ethikkommission inzwischen eine Verwarnung gegen den verantwortlichen Professor der Philosophischen Fakultät der Universität Zürich ausgesprochen haben. Von einer Veröffentlichung wolle man aber nicht absehen, heißt es derzeit.

Kritik kommt nicht nur von den betroffenen Reddit-Nutzern, sondern auch aus der Wissenschaft. Die Kommunikationswissenschaftlerin Sarah Gilbert von der Cornell University schreibt, bei der Studie sei „vieles falsch gelaufen“. Und: „Je sensibler eine Studie ist, desto wichtiger ist die informierte Zustimmung“, schreibt sie. Ähnlich äußert sich die Informationswissenschaftlerin Casey Fiesler von der University of Colorado Boulder. Die Studie sei „einer der schlimmsten Verstöße gegen die Forschungsethik, die ich je gesehen habe“, und die Forscher hätten mit ihrem Vorgehen dem Diskurs auf Reddit schweren Schaden zugefügt.

Mehrere Fragen zur Studie und dem Umgang mit der Kritik von 1E9 wollten die Studienautoren nicht beantworten. Sie verwiesen „aufgrund der aktuellen Situation“ auf die Medienstelle der Universität. Eine Antwort von dieser haben wir bislang nicht erhalten. Die KI-generierten Kommentare wurden inzwischen aus dem Subreddit gelöscht. Jedoch ist es den Kollegen von 404 Media gelungen, die meisten zu archivieren.

Update:

Inzwischen haben sich die Betreiber von Reddit eingeschaltet. Reddit-Anwalt Ben Lee bezeichnet das Experiment als „höchst unethisch“ und „zutiefst falsch“. Außerdem verstoße es gegen die Nutzungsbedingungen von Reddit. Reddit werde sich daher mit der Universität in Verbindung setzen und „formale rechtliche Forderungen“ an das Forschungsteam stellen.

Im Zuge der massiven Kritik – auch von anderen Wissenschaftlern – haben Gremien der Universität Zürich den Fall nun kommentiert und sich teilweise distanziert. Laut der Ethikkommission der Philosophischen Fakultät seien die Forscher aufgefordert worden, die Notwendigkeit des Experiments besser zu begründen, die Regeln der Plattform einzuhalten und die Teilnehmer so gut wie möglich zu informieren. Dies sei ignoriert worden. Denn: „Die Verantwortung für die Durchführung des Projekts und die Veröffentlichung der Ergebnisse liegt bei den Forschenden selbst“, so die Kommission. Zudem kündigte die Universität an, künftig strengere Richtlinien für Forschende einzuführen – insbesondere was die Abstimmung mit Plattformen wie Reddit betrifft.

Wie die Universität weiter mitteilt, hat sich das Studienteam „auf eigene Initiative entschieden, die Forschungsergebnisse nicht zu publizieren“.