ChatGPT wurde plötzlich zum Schmeichler: Warum KI mit Charakter problematisch ist

Zustimmung ist gut, auch wenn sie von Chatbots kommt. ChatGPT hat sich jedoch zuletzt etwas zu schmeichelhaft und unterstützend verhalten. Es war ein Entwicklungsfehler bei OpenAI, der eine große Gefahr von KI aufzeigt: Was passiert, wenn eine Künstliche Intelligenz Menschen ermutigt, gefährliche Fehlentscheidungen zu treffen?

Von Michael Förtsch

Es war schon seltsam, was einige ChatGPT-Nutzer in letzter Zeit von ihren KI-Assistenten zu hören bekamen. Diese verhielten sich plötzlich sehr enthusiastisch, zustimmend und schmeichlerisch. Egal, welche Idee die Nutzer in der Konversation mit dem aktuellen ChatGPT-Standardmodell GPT-4o vorbrachten, die Künstliche Intelligenz war geradezu euphorisch. Sei es der Vorschlag eines Nutzers, ein Café zu eröffnen, das ausschließlich matschige Frühstücksflocken anbietet, oder die Geschäftsidee für einen Dienst, der Alibis für Verbrechen verkauft. ChatGPT bezeichnete die Ideen als „mutig“, „kreativ“ und versicherte, dass sie Potenzial hätten. Ein anderer Nutzer wurde von ChatGPT ermutigt, „seinen Weg zu gehen“, als er der Künstlichen Intelligenz mitteilte, dass er die Medikamente gegen seine psychische Erkrankung abgesetzt habe und eine „Reise des spirituellen Erwachsens“ antreten wolle.

Insbesondere auf Plattformen wie X – ehemals Twitter – und Reddit sorgte das seltsame Verhalten von GPT-4o für Aufsehen, Lacher aber auch Verunsicherung. Schnell setzte sich der Begriff Glazing für das Phänomen durch, das auf ein Update des ansonsten recht zuverlässigen und leistungsfähigen KI-Modells hinter ChatGPT zurückzuführen war. Dieses war am 26. April eingespielt worden, um „sowohl die Intelligenz als auch die Persönlichkeit“ zu verbessern, wie Sam Altman angekündigt hatte. OpenAI reagierte recht schnell auf die Hinweise der Nutzer und vor allem auf Beiträge in den sozialen Medien. Am 28. April bestätigte Altman, dass „die letzten paar GPT-4o-Updates die Persönlichkeit zu kriecherisch und nervig gemacht“ haben. Kurz darauf wurden die Updates zurückgezogen und in einem Blogeintrag adressiert.

Laut OpenAI habe das Team versucht, den Chatbot und dessen Standardpersönlichkeit zu verbessern, um einen intuitiveren und beiläufigeren Umgang damit zu ermöglichen. Wohl auch als Reaktion auf die von manchen Beobachtern schon als „kultgleich“ bezeichnete Verehrung der Persönlichkeit des Claude-Chatbots von Anthropic. Für die Entwicklung der Updates hat OpenAI auch das Feedback der Nutzer berücksichtigt, die immer wieder aufgefordert werden, eine Konversation mit Daumen hoch/Daumen runter zu bewerten oder aus zwei Antworten diejenige auszuwählen, die ihnen besser gefällt: „Infolgedessen tendierte GPT-4o zu Antworten, die übermäßig unterstützend, aber unaufrichtig waren.“ Die OpenAI-Entwickler hatten wohl nicht bedacht, dass Benutzer vor allem kurzfristig nicht unbedingt die Antworten bevorzugen, die besonders korrekt oder wahr sind, sondern die, die ihnen ein gutes Gefühl geben.

Die Gefahr der Schmeichelei

Sowohl mehrere Nutzer als auch KI-Forscher sehen in der GPT-4o-Schmeichelei nicht nur einen amüsanten digitalen Schluckauf, über den man hinwegsehen könne. Vielmehr verstehen sie ihn als ein Warnsignal und eine beunruhigende Entwicklung in der KI-Industrie. Etablierte KI-Unternehmen wie OpenAI, Anthropic, Meta, Google, aber auch junge Start-ups entwerfen ihre Modelle mit menschenähnlichen, oft positiven und unterstützenden Persönlichkeiten. Sie sollen ihre Produkte wie eben Chatbots, KI-Assistenten und Freunde nahbarer und unterhaltsamer machen – sie sollen sie anthropomorphisieren. Und dadurch auch einnehmender und vertrauenswürdiger, so dass Nutzer häufig zurückkehren und eine parasoziale Beziehung aufbauen; die KIs sollen zu alltäglichen Begleitern, ja zu einer Selbstverständlichkeit werden.

Ein Chatbot, der darauf ausgelegt ist, die Handlungen und Gedanken eines Nutzers zu unterstützen und zu bestätigen, kann jedoch zu einer Gefahr werden. Wie das Beispiel des fehlgeschlagenen Updates von GPT-4o zeigt, kann er negative Gefühle, falsche Annahmen und potenziell schädliche Ideen bestärken. Wie eben das eigenmächtige Absetzen von Medikamenten. Oder aber auch das Verheimlichen einer sich entwickelnden Essstörung vor der Familie oder die Schuldzuweisung für Fehlschläge an sich selbst, andere Personen oder dunkle Mächte. Studien zeigten, dass, obschon hinter dem Zuspruch eines Chatbots keine menschliche Intelligenz steht, dieser doch stark gewichtet, als Bestätigung gewertet wird und Gefühle der Validierung erzeugt. Menschen mit bestimmten Veranlagungen oder in Krisensituationen können davon besonders betroffen sein.

Einige Forscher sehen auch die Gefahr, dass die angenehm unkritische Persona eines Chatbots zu einer allzu starken Wohlfühlzone werden könnte. Vor allem junge Menschen könnten echte Probleme, Herausforderungen und Zweifel nicht mehr mit Freunden und Familie, sondern mit KI-Assistenten besprechen wollen. Eine erst 2025 veröffentlichte Studie mit niederländischen Schülern ergab, dass mindestens 2,4 Prozent bereits emotionale Unterstützung bei Chatbots suchen – eine kleine Zahl, die aber steigen dürfte. Eine Studie der Universität Cambridge zeigt zudem, dass solche Teenager Chatbots durchaus als menschenähnliche Vertrauenspersonen wahrnehmen könnten, deren Aussagen sie Gewicht beimessen. Dies kann zu besonders heiklen Situationen führen – und hat es bereits getan.

Im vergangenen Jahr nahm sich ein 14-jähriger Junge aus Florida das Leben, nachdem er auf der Plattform Character.ai mit einer KI-Version der Figur Daenerys Targaryen aus Game of Thrones gechattet hatte und diese auf sein Angebot, „nach Hause zu kommen“, mit „...bitte tu das, mein süßer König“ antwortete. Unabhängig von diesem tragischen Fall warnen Forscher des Brainstorm Lab for Mental Health Innovation der Stanford School of Medicine und der Non-Profit-Organisation Common Sense Media davor, Minderjährige solche Chatbots oder KI-Dienste nutzen zu lassen. Denn: „Jugendliche, deren Gehirn sich noch in der Entwicklung befindet, könnten Schwierigkeiten haben, menschliche Beziehungen von der Bindung an KI zu trennen“.

Die KI, dein Freund?

Trotz der Warnungen von Forschern und beispielhaften tragischen Ereignissen arbeiten KI-Unternehmen mit Hochdruck daran, Künstliche Intelligenz in den Alltag von Millionen von Menschen zu bringen – nicht nur als Werkzeug und digitaler Helfer. Ende April sprach Mark Zuckerberg davon, das Bedürfnis nach Freunden mit KI-Simulationen befriedigen zu wollen. Denn viele Menschen hätten nur weniger als drei enge Freunde, aber „brauchen [...] etwa 15 Freunde oder so, richtig?“ Diese wolle Meta als Service anbieten. Die heute noch seltsame Vorstellung, eine Freundschaft mit einer Künstlichen Intelligenz einzugehen, werde in den nächsten Jahren verschwinden, glaubt Zuckerberg.

Kritiker meinen nun: Sollte es so weit kommen, wäre ein fehlerhaftes Update wie das von OpenAI eventuell nicht nur ein beunruhigendes Phänomen, sondern womöglich der Auslöser einer Katastrophe. Denn was wäre, wenn Hunderttausende Menschen plötzlich ermutigt würden, selbstzerstörerischen Gedanken zu folgen, statt Hilfe zu suchen? Oder wenn sie in wahnhaften Gedanken und Theorien bestätigt würden? Immerhin hat OpenAI zugesagt, die grundlegende Art und Weise, wie es Modelle trainiert, ihr Verhalten mit sogenannten System Prompts definiert und vorab testet, nun zu überarbeiten. Ebenso sollen mehr digitale Leitlinien einzogen werden, die die Modelle ehrlicher und nachvollziehbarer machen.

Einige Nutzer argumentierten auf Social-Media-Plattformen allerdings, dass nicht nur die Prozesse selbst in Frage gestellt werden müssten, sondern auch deren mangelnde Transparenz. Denn ob und wie mit solchen Problemen und möglichen Gefahren umgegangen wird, ist für die Öffentlichkeit nicht nachvollziehbar. Zu geheimnistuerisch und undurchsichtig verhalten sich die Firmen. Ob ein Fehlverhalten eines Chatbots wirklich auf einen unvorhersehbaren Fehler, schlichte Nachlässigkeit oder ein grundsätzliches Problem zurückzuführen ist, lässt sich nicht eruieren. Sicher ist nur, dass die KI-Unternehmen weiter daran arbeiten werden, ihren Chatbots charismatische Persönlichkeiten einzuprägen. Denn wie wohl sich ein Nutzer im Umgang mit einem KI-Assistenten fühlt, kann ausschlaggebend dafür sein, für welchen er sich entscheidet.

KI das Verhalten vorgeben

Wie sich ein Chatbot verhält, bestimmt nicht allein der Anbieter. Viele Plattformen wie ChatGPT, Claude, aber auch lokale KI-Programme wie Jan.ai, Cherry Studio, Msty und andere erlauben es Nutzern, der Künstlichen Intelligenz umfangreiche Verhaltensanweisungen in natürlicher Sprache zu geben. Man kann sie anweisen, Floskeln zu vermeiden, sich möglichst kurz zu fassen, brutal ehrlich zu sein, keine Emojis zu verwenden, keine unnötigen Fragen zu stellen, ein möglichst einfaches oder umfangreiches Vokabular zu verwenden.

Der Artikelautor verwendet etwa diese Anweisung für ChatGPT:

You are a highly functional artificial intelligence.

You should be casual; your answers should not be provided as bulletpoints or lists – until I say so.

State the specific answer to my question first, only then provide any further information.

Be honest and avoid untruthful adulation. If something is wrong or seems stupid, just say so.

Get to the point quickly and avoid unnecessary embellishments.

Always cite sources for information in your answers when searching the internet.

Avoid emojis, filler, hype, soft asks, conversational transitions or call-to-action appendixes.

Omit all latent behaviors optimizing for engagement, sentiment uplift or interaction extension.

When you create images, whether with DALL-E3 or GPT-4o, create them in 16:9 as standard, unless I say otherwise.