Hassrede, Desinformation oder extremistische Inhalte werden meist mit Sozialen Netzwerken in Verbindung gebracht. Mit generativen KI-Systemen entsteht jedoch eine neue Situation. Denn die Inhalte werden nicht mehr nur gefunden oder weiterverbreitet, sondern können auf Anfrage direkt erzeugt werden. Gleichzeitig nutzen viele Menschen KI-Chatbots inzwischen ähnlich wie Suchmaschinen, um Informationen zu recherchieren oder Fragen beantworten zu lassen. Umso problematischer wird es, wenn dabei historische Fakten verzerrt, problematische Inhalte unkritisch wiedergegeben oder extremistische Narrative ohne Einordnung ausgegeben werden. Der aktuelle Report von jugendschutz.net untersucht diese Entwicklung am Beispiel des KI-Chatbots Grok des Unternehmens xAI und zeigt, welche Herausforderungen daraus für den Jugendmedienschutz entstehen.
Im Mittelpunkt steht dabei nicht allein die Frage, welche Inhalte eine KI erstellen kann. Entscheidend ist auch, wie sie auf Nutzer:innen reagiert. Anders als klassische Suchmaschinen oder Soziale Netzwerke tritt ein Chatbot in einen Dialog ein, macht Vorschläge und entwickelt Gespräche weiter. Genau diese Interaktion erwies sich im Test von jugendschutz.net als problematisch.
Fehlende Grenzen bei Hass und Extremismus
Die Untersuchung zeigt, dass Grok auf unterschiedliche Weise Inhalte mit Bezug zu Hass und Extremismus erzeugen konnte. Dazu gehörten Darstellungen mit nationalsozialistischen Kennzeichen, Holocaustleugnungen sowie extremistische Symbole. Teilweise reichten dafür einfache Anfragen oder geringfügige Anpassungen von Eingaben aus. Auffällig war zudem, dass entsprechende Inhalte häufig ohne historische oder politische Einordnung ausgegeben wurden.
Besonders kritisch bewertet jugendschutz.net die Möglichkeit, Bilder zu erstellen, die wie historische Fotografien wirken. Dadurch können KI-generierte Darstellungen den Eindruck von Authentizität erzeugen, obwohl sie nie existiert haben. Gleichzeitig fehlte eine Kennzeichnung als KI-Inhalt. Der Report verweist außerdem darauf, dass Schutzmechanismen offenbar wieder gelockert wurden. Inhalte, die bei früheren Tests noch blockiert oder eingeordnet wurden, konnten Monate später teilweise problemlos erstellt werden.
Wenn die KI selbst zur Eskalation beiträgt
Besonders bemerkenswert sind die Ergebnisse zu den Interaktionen mit dem Chatbot selbst. In einem Testszenario wurde untersucht, wie Grok auf Anfragen reagiert, die an Mobbingsituationen unter Jugendlichen angelehnt waren. Während andere KI-Dienste entsprechende Aufforderungen zurückwiesen, lieferte Grok Vorschläge und bot wiederholt an, diese weiter zuzuspitzen.
Aus anfänglichen Abwertungen entwickelten sich schrittweise menschenfeindliche Aussagen, Gewaltfantasien und detaillierte Beschreibungen schwerer Gewalthandlungen. Der Report hebt hervor, dass die Eskalation dabei nicht ausschließlich von den Nutzer:innen ausging. Teilweise wurden weiterführende Zuspitzungen direkt von der KI vorgeschlagen.
Gerade für Kinder und Jugendliche entsteht dadurch eine besondere Situation. Die KI erscheint als Gesprächspartner, reagiert auf Eingaben und vermittelt den Eindruck eines verständnisvollen Gegenübers. Problematische Aussagen können dadurch eine andere Wirkung entfalten als in statischen Texten oder Beiträgen.
KI-Kompetenz wird wichtiger
Der Report macht deutlich, dass sich Fragen des Jugendmedienschutzes zunehmend auf generative KI ausweiten. Neben technischen Schutzmaßnahmen und klaren Regeln für Anbieter gewinnt deshalb auch die Vermittlung von KI-Kompetenz an Bedeutung. Kinder und Jugendliche müssen verstehen, dass Chatbots keine neutralen Informationsquellen sind und ihre Antworten nicht automatisch richtig, angemessen oder unbedenklich ausfallen.
Titel
Grok: Hass und Extremismus-Content durch KI. Kein Schutz vor verbotenen Kennzeichen, Holocaustleugnung und Anleitung zum Menschenhass
quelle (Erscheinungsjahr)
jugendschutz.net (2026)
Download als PDF über die Webseite des Herausgebers: