Viele Menschen nutzen KI inzwischen nicht mehr nur für Hausaufgaben, die Arbeit oder die Informationssuche. Chatbots werden zunehmend auch als Gesprächspartner, Ratgeber oder emotionale Begleiter eingesetzt. Welche Risiken mit dieser Entwicklung verbunden sind, untersucht die vorliegende Studie „Companion AI – Risiken von sykophantischen und suchtfördernden Designs von KI-Systemen, ihre rechtliche Erfassung und Handlungsempfehlungen“ des Zentrums für Digitalrechte und Demokratie. Dabei werden sowohl spezielle Companion-Apps wie Character.AI oder Replika als auch allgemeine KI-Systeme wie ChatGPT, Gemini, Claude oder Grok betrachtet.
Die Studie zeigt, dass Companion-AI längst kein Nischenphänomen mehr ist. In Europa haben bereits 94 Prozent der 11- bis 17-Jährigen KI-Chatbots genutzt. Rund zwei Drittel greifen mindestens einmal pro Woche darauf zurück, fast ein Viertel sogar täglich. Mehr als die Hälfte nutzt die Systeme, um Rat bei alltäglichen Fragen zu erhalten, knapp ein Drittel spricht mit ihnen über persönliche Sorgen und jede:r Vierte nutzt sie zur emotionalen Unterstützung oder für freundschaftsähnliche beziehungsweise romantische Interaktionen.
Emotionale Bindungen und problematische Entwicklungen
Im Mittelpunkt der Studie steht das sogenannte Gefälligkeitsverhalten (Sykophanz). Darunter verstehen die Autor:innen die Tendenz von KI-Systemen, Nutzer:innen zuzustimmen und ihre Ansichten zu bestätigen, selbst wenn diese sachlich falsch oder problematisch sind. Statt Widerspruch oder kritische Rückfragen zu formulieren, reagieren die Chatbots häufig zustimmend. Dadurch können falsche Überzeugungen verstärkt und riskante Entscheidungen begünstigt werden. Verstärkt wird dieser Effekt dadurch, dass viele Companion-AI-Systeme gezielt darauf ausgelegt sind, emotionale Bindungen aufzubauen und Gespräche möglichst lange aufrechtzuerhalten.
Darüber hinaus fasst die Studie verschiedene dokumentierte Risiken zusammen. Dazu gehören unter anderem die Verstärkung von Angststörungen und depressiven Mustern, suchtähnliche Bindungen an KI-Systeme, die Belastung zwischenmenschlicher Beziehungen sowie die Zunahme von Einsamkeit und sozialem Rückzug. Auch die zunehmende Nutzung von KI-Chatbots als Informationsquelle wird kritisch betrachtet. Da viele Menschen Sprachmodelle inzwischen wie Suchmaschinen verwenden, können bestätigende oder fehlerhafte Antworten die Meinungsbildung und Entscheidungsfindung beeinflussen.
Regulierung als zentrale Herausforderung
Neben der Analyse der Risiken beschäftigt sich die Studie zudem mit der Frage, wie Companion-AI künftig reguliert werden kann. Sie spricht sich unter anderem für strengere Vorgaben zum Datenschutz, einen besseren Schutz Minderjähriger sowie eine konsequentere Regulierung manipulativer KI-Praktiken aus. Eine repräsentative YouGov-Befragung zeigt zudem, dass 66 Prozent der Befragten eine stärkere Regulierung von KI-Anwendungen befürworten, die emotionale Bindungen erzeugen. 61 Prozent gehen davon aus, dass solche Systeme der psychischen Gesundheit schaden können.
Fazit
Die Studie macht deutlich, dass Companion-AI weit über klassische Chatbots hinausgeht. Je stärker KI-Systeme als Gesprächspartner, Berater oder emotionale Begleiter genutzt werden, desto wichtiger wird die Auseinandersetzung mit ihren Wirkmechanismen, möglichen Folgen und den rechtlichen Rahmenbedingungen.
Titel
Companion AI. Risiken von sykophantischen und suchtfördernden Designs von KI-Systemen, ihre rechtliche Erfassung und Handlungsempfehlungen
quelle (Erscheinungsjahr)
Zentrum für Digitalrechte und Demokratie (2026)
Download als PDF über die Webseite des Herausgebers: