AI slop trifft auf rage bait: Wie KI-generierter Empörungsstoff uns manipuliert
Das Internet wird zunehmend mit KI-generierten Bildern und Videos geflutet. Vieles davon ist sogenannter AI slop: schnell und billig erstelltes Material, das kurz die Aufmerksamkeit erregen soll. Immer häufiger handelt es sich jedoch auch um Bilder und Videos, die Empörung und Wut auslösen sollen. Das gelingt immer häufiger, da sich das Material zunehmend schwer von der Wirklichkeit unterscheiden lässt.
Von Michael Förtsch
Ende April hat OpenAI mit ChatGPT Images 2.0 einen neuen KI-Bildgenerator in seinen von Hunderten Millionen Menschen genutzten KI-Chatbot integriert. Das war spür- und sichtbar. Denn plötzlich füllten sich Plattformen wie X – ehemals Twitter –, Facebook, Instagram und andere mit Bildern, die offenkundig mit dem neuen KI-Werkzeug generiert worden waren. Allerdings waren es diesmal nicht, wie noch vor einem Jahr bei der Integration von 4o Image Generation in ChatGPT, abertausende mal witzige, mal absurde, mal heimelige Bilder im Anime-Stil von Studio Ghibli. Sondern Bilder, die nur noch schwer von echten Fotos zu unterscheiden sind. Bilder, auf denen sich ihre Ersteller mit Promis auf Partys zeigen, sich in professionelle Models verwandeln oder bekannte Personen zusammen mit Jeffrey Epstein darstellen. Viele teilten auch erstaunlich komplexe und professionell wirkende Werbegrafiken, Poster oder Zeichnungen, die sich mit ChatGPT Images 2.0 erstellen lassen.
Wofür KI-Enthusiasten vor einem Jahr noch viel tricksen, In- und Out-Painting betreiben oder LoRAs und andere Zusatzwerkzeuge heranziehen mussten, geht nun mit einem Prompt. Nicht immer, aber oft genug. Solche Bilder lassen sich dann mit KI-Videomodellen wie Kling, Seedance, Happy Horse und anderen fast ebenso einfach in Videos verwandeln. Manches, was dabei entsteht, ist beeindruckend, herrlich absurd oder einfach nur witzig. Einiges könnte man sogar als Kunst bezeichnen. Aber das allermeiste ist plan- und gedankenlos generierter Müll, der mehr und mehr die sozialen Netzwerke und Plattformen überflutet und zumindest gefühlt verstopft. Darunter sind bizarre Kreationen wie der mittlerweile berüchtigte, aus Garnelen zusammengesetzte Jesus, verstörende Operationsszenen in Pixar-Optik an anthropomorphen Tieren mit Magenparasiten oder Nonsens-Musikvideos mit Promis.
Dieser AI slop soll kurz Aufmerksamkeit erregen, Emotionen hervorrufen und schnelle Reaktionen erzeugen. Das gelingt oft und bringt den Erstellern durch Gewinnbeteiligungen wie bei Facebook, TikTok und X auch Geld ein. Bisher schienen solche Inhalte vor allem Nutzer zu erreichen und zur Reaktion zu bewegen, die wenig bis keine Erfahrung mit KI-generierten Inhalten haben. Doch durch neue und fähigere Text-zu-Bild- beziehungsweise Bild/Text-zu-Video-Modelle verschiebt sich das. Sichtbar wie unsichtbar. Aktueller AI slop überlistet auch Internetnutzer, die um KI-generierte Inhalte wissen, sie aber aufgrund der nun überzeugenden optischen Qualität zumindest auf den ersten unbedachten Blick für echt halten oder ihnen ihre Aufmerksamkeit schenken. Dabei sind die Inhalte manchmal gar nicht so gedankenlos generiert wie bisher – und umso perfider.
Ein echtes Foto?
Am 26. April um kurz nach 14 Uhr veröffentlichte ein vor allem für seine verbalen Angriffe auf die US-Demokraten und woke culture bekannter X-Account mit 3,2 Millionen Followern ein Foto. Es zeigte ein Café, im Vordergrund ein Tischschild mit dem Hinweis, dass Trinkgeld in diesem Geschäft nicht optional sei, sondern erwartet werde. „25% Minimum“ würden mindestens fällig, denn: „Wir sind Studenten, keine Wohlfahrt.“ Dazu schrieb der X-Account, jetzt sei ein Punkt erreicht, an dem sich Gäste wehren müssten. Die Trinkgeldkultur ist in den USA ein umstrittenes Thema. Der Post wurde daher Hunderte Male geteilt, geliked und mit teils harschen Kommentaren versehen. Nur: Das Bild war nicht echt, sondern KI-generiert. Das ließ sich grundsätzlich einfach herausfinden, wie ein Nutzer per Community Note anmerkte. Denn das Bild enthielt eine SynthID-Signatur des Google-Bildmodells Nano Banana 2, die ausgelesen werden kann, indem ein Bild in den Google-Chatbot Gemini geladen wird.
Ohne diese Überprüfung könnte es aber viele offenbar sehr leicht täuschen. Es zeigt auf den ersten Blick kaum typische KI-Fehler. Der Text ist klar und lesbar, selbst im Hintergrund. Der Plastikständer, in dem der Trinkgeldhinweis steckt, wirkt plastisch, abgegriffen, mit Kratzern und Krümeln. Das Papier ist realistisch geknickt und gewellt. Nur wer länger hinsieht, könnte feststellen, dass eine der verschwommenen Personen im Hintergrund einen merkwürdig langen Finger hat, einige Krümel auf dem Tisch direkt im Material des Plastikständers eingeschlossen wirken und die Tiefenschärfe irgendwie off ist. Der Hinweis durch die Community Note zeigte dann aber Wirkung. Nur eine Stunde, nachdem das Bild gepostet worden war, und eine halbe Stunde, nachdem die Community Note angelegt wurde, war der Post gelöscht. In dieser Zeit hatte er dem X-Account aber bereits zahlreiche Interaktionen gebracht, die auf X monetarisierbar sind. Und nach der Löschung ist das Bild nicht aus der Welt. Es wird weiterhin von anderen Accounts geteilt – auf X, aber auch auf anderen Plattformen.
Das Trinkgeld-Bild ist keineswegs der einzige KI-generierte Aufreger. Es ist auch nicht der aufwendigste oder perfideste. Seit einigen Wochen kursiert etwa ein Zusammenschnitt aus Überwachungsaufnahmen und einem Gerichtsprozess, in dem sich eine Influencerin dafür verantworten muss, auf der Motorhaube des Sportwagens eines Mannes getanzt und ihn dadurch beschädigt zu haben. Ein Post des Videos auf X erntete Hunderte Retweets und Tausende Likes. Auf Facebook zählte der Clip-Mix Tausende Reactions und über 280.000 Aufrufe. Auf TikTok erhielt das Video Hunderte Herzen. Jedoch: Zwar beschreiben alle Videos den gleichen Fall und das gleiche Urteil, sie zeigen aber völlig verschiedene Personen und Szenen. Denn der Prozess ist frei erfunden und die Videos dazu offenbar von verschiedenen Personen mit KI illustriert worden. Die Videos sind rage bait, der aufregen und reflexartige Reaktionen auslösen soll.
Ähnlich funktionieren Videos über einen Weinberg, der angeblich beim Bau einer Autobahn aus Versehen planiert wurde, wofür die Regierung anschließend nicht haften wollte. Wahlweise in verschiedenen Bundesstaaten der USA oder auch mal in Frankreich. Dazu kommen Bilder und Videos, die mit KI-generierten Szenen typische Ressentiments gegen Minderheiten oder bestimmte Bevölkerungsgruppen bestärken. Etwa indem sie Muslime zeigen, die angeblich ein Verbot von Fleisch an Schulen fordern. Oder es sind Clips und Bilder, die kleine Ungerechtigkeiten demonstrieren. Sei es die Geschichte einer alten Dame, die nach 40 Jahren ihre Wohnung aufgeben muss, oder die eines kriegsversehrten Veteranen, dessen Parkplatz vom Vermieter durch einen Blumengarten ersetzt wurde. Es sind plausibel erscheinende Fälle, die gerade deshalb emotional binden und moralisch aufrütteln können – und dadurch ein schnelles Like, einen Repost oder sogar einen Kommentar provozieren. Teils schaffen sie es von Social Media sogar in etablierte Medien. Etwa bei Fox News, das einen Clip einer Frau verbreitete, die über ein von der US-Regierung gekürztes Food-Stamp-Programm wütete.
Wut und Erregung als Ziel
Aktuelle synthetischen Inhalte sind nicht mehr nur aufmerksamkeitsheischender Müll, der Feeds und Plattformen verstopft, sondern immer häufiger auch manipulativer Empörungsstoff. Billiger, aber effektiver rage bait, der sich nicht schon beim Darüber-Scrollen als KI-Quatsch entlarvt wird, sondern trotz seiner flüchtigen Natur durchaus als möglicherweise echt im Hinterkopf bleiben kann. Einfach weil er binnen Sekundenbruchteilen bereits bestehende Gefühle bildlich unterstreicht oder bestätigt. Viele dieser Inhalte sind keine Desinformation im klassischen Sinn. Sie behaupten keine politischen Lügen – jedenfalls nicht im großen Stil. Sondern sie entstehen im Gegenteil wohl oft ohne klare politische oder ideologische Absicht, einfach als möglichst effektives und breitenwirksames Reizmittel, konzipiert, um sich ideal verbreiten und dadurch effektiv monetarisieren zu lassen.
Dass das so ist, kann man zumindest auf X nachvollziehen. Denn dort lässt sich mittlerweile bei vielen Konten einsehen, aus welchem Land sie operieren. Nicht wenige Accounts, die massenweise Aufregerbilder und Videos teilen, unter denen sich zunehmend auch KI-generierte Inhalte befinden, stammen aus Ländern wie Senegal, Thailand, Pakistan, Indien oder Bangladesch, in denen die Erlöse aus Umsatzbeteiligungen ein durchaus lukratives Einkommen darstellen können. Dabei tarnen sie sich häufig als Parodie-Accounts. Viele Plattformen haben das mittlerweile als Problem erkannt und wollen allgemeiner gegen AI slop vorgehen – und damit auch gegen synthetischen rage bait, den viele Nutzer als störend empfinden und der zunehmend dazu beiträgt, dass Menschen Plattformen den Rücken kehren.
Die Betreiber von X haben mittlerweile Regeln implementiert, die inauthentic content bestrafen sollen, also Inhalte, die manipuliert oder aus dem Kontext gerissen sind. Deren Reichweite soll eingeschränkt werden, Accounts können aus Empfehlungen verschwinden oder sogar gesperrt werden. Beispielsweise hat X mehrere Accounts gesperrt, die KI-generierte Kriegsszenen inszenierten. Instagram hat bereits im vergangenen Jahr begonnen, KI-Inhalte automatisch zu markieren. Jetzt hat die Plattform außerdem angekündigt, in größerem Umfang gegen Inhalte vorzugehen, die unoriginell sind, also erneute Uploads von Inhalten anderer Nutzer. Darunter dürften dann auch zahlreiche KI-generierte Inhalte fallen, die immer wieder von Nutzern und Betreibern von Account-Netzwerken geteilt werden. Ähnlich will YouTube vorgehen, das mittlerweile ebenfalls klar von AI Slop spricht. Auch dort sollen KI-Inhalte deklariert werden. Zusätzlich sollen Nutzer die Möglichkeit erhalten, zu verhindern, dass ihr Aussehen in KI-Videos verwendet wird. TikTok wiederum lässt Nutzer auswählen, wie viel KI sie sehen wollen.
Wirklich erfolgreich sind die Plattformen im Kampf gegen die zunehmenden KI-Aufreger bisher aber nicht. Vor allem, weil ihre Maßnahmen nur dort greifen, wo KI-Inhalte klar als solche auffallen oder sich einfach in bestehende Risikokategorien und Community-Richtlinien einordnen lassen. Deepfakes, KI-generierte Kriegs- und Gewaltszenen oder offensichtlicher Spam sind vergleichsweise leicht auszumachen – und dadurch auch leichter zu tilgen. Aber der neue AI rage bait slop funktioniert anders. Er sieht immer glaubwürdiger aus, wird auch für Algorithmen schwerer erkennbar und lässt sich in vielen Fällen nicht so einfach kategorisieren. Er ist keine klare Desinformation, keine eindeutige Diffamierung und kein direkter Aufruf zur Gewalt, sondern zeigt oft, isoliert betrachtet, banale Szenen, die erst im Zusammenspiel mit vorhandenen Vorannahmen zünden. Genau das macht ihn so brisant.