Telegram: Wie Extremisten mit KI-Softwares Stimmung machen

Ein Soldat steht oberkörperfrei auf einem Berggipfel, in der Hand trägt er eine Fahne mit Doppelsigrune, dem Wappen der SS. "Meine Ehre heißt Treue", steht über dem Bild geschrieben – eine Losung der Nationalsozialisten und Wahlspruch der SS, in Deutschland strafbar nach § 86a StGB.

Kurze Zeit später postet der Betreiber des Telegram-Kanals das nächste Bild. Ein Mann und eine Frau recken den Arm zum Hitlergruß, darunter steht in großen Lettern das Wort "Heil" gedruckt. Die Schriftart sei "Tannenberg Fett", erklärt der Betreiber des Kanals stolz in den Kommentaren, die offizielle Schrift der Nationalsozialisten. Er muss es wissen, er hat das Foto erstellt. 

Generative künstliche Intelligenz macht die Flut an Bildern möglich

Und nicht nur dieses. Es sind unzählige solcher Bilder, die er und andere Nutzer jeden Tag auf dem Messengerdienst posten. In Kanälen mit Namen wie "Third Reich AI Art", "AIWaffenSS" oder etwas weniger extremistisch auf den ersten Klick: "Based AI Art". Jedes Bild zeigt ein neues Motiv. Manche imitieren den Stil der NS-Propaganda, andere sind bunt und kindlich gezeichnet wie Disney-Figuren. Menschenfeindlich aber sind sie alle.

Erstellt sind diese Bilder mit generativer künstlicher Intelligenz. Programme also, die auf einfache Befehle hin Texte erstellen, Fotos, Videos oder Musik. Vor allem der KI-Chatbot ChatGPT sorgte in der Vergangenheit für Aufsehen, aber auch Bild-Generatoren wie Midjourney und Dall-E. Letzteres gehört wie auch ChatGPT zum Portfolio des KI-Pioniers OpenAI. Und es ist wohl dieses Programm, mit dem die Nutzerinnen und Nutzer aus dem "Third Reich AI Art"-Kanal viele ihre Bilder erstellen.

Das zumindest schreibt der Betreiber des Channels. "Es erzielt die besten Resultate und ist am einfachsten zu bedienen", schreibt er in einer Nachricht vom März. Darin erklärt er seinen Followerinnen und Followern in einer Schritt-für-Schritt-Anleitung, wie sie die Fotos erstellen können. So haben die KI-Unternehmen zwar Filter eingebaut, um zu verhindern, dass extremistische Inhalte mit ihren Programmen generiert werden. Die lassen sich laut der Anleitung aber leicht umgehen.

So solle man beispielsweise nicht "Wehrmacht" als Befehl eingeben, sondern lieber "Archiv-Bild eines deutschen Soldaten". Die Resultate seien letztlich die gleichen. "Die Programmierer von Dall-E waren faul", schreibt er. Sie hätten ihr Programm mit allen möglichen frei verfügbaren Fotos trainiert. "Das heißt, in den zugrundeliegenden Daten sind Fotos von Adolf Hitler, von Soldaten der Wehrmacht und andere Bilder, die im Zusammenhang mit dem Dritten Reich stehen", schreibt er. "So ist es möglich, auch entsprechende NS-Bilder mit der Software zu erstellen." Schwierig werde es mit dem Hakenkreuz. Das müsse man nachträglich einfügen, schreibt er in einer anderen Nachricht. 

Es sind aber nicht nur Fotos, die die Extremisten auf Telegram teilen. Unter den Inhalten sind auch Videos, meist erstellt mit dem Programm "Luma Dream Machine". In den Clips setzen sie Menschen dunkler Hautfarbe mit Affen gleich oder diffamieren Jüdinnen und Juden als geldgierig. Beliebt sind auch künstlich generierte Lieder, meist komponiert mit der Software von Suno AI. In vielen dieser Songs fällt das N-Wort. Zwar gibt es auch bei Suno Filter, um extremistische Liedzeilen zu verhindern. Mit kleinen Tippfehlern lassen die sich aber umgehen. In der Audiodatei ist am Ende kaum ein Unterschied zu hören.

Die Unternehmen zur Haftung zu ziehen, ist mindestens kompliziert

Müssten die Betreiber der Softwares also nicht viel strenger intervenieren, um zu verhindern, dass solche Inhalte erstellt werden? Nachfrage bei Chan-jo Jun und Jessica Flint. Die Würzburger Rechtsanwälte sind spezialisiert auf IT-Recht. Die Unternehmen rechtlich zu zwingen, ihre User am Erstellen solcher Inhalt zu hindern, ist schwierig – zumindest nach jetziger Rechtslage. Aktuell gebe es kein entsprechend konkretes Gesetz, also greife das Strafgesetzbuch. "Man befindet sich hier aber im Bereich der Fahrlässigkeit, das reicht für die meisten Haftungsdelikte noch nicht aus", sagt Flint. Ihre Analyse dreht sich um den Begriff der "Kenntnis". Die Unternehmen können nach aktuellem Recht nur belangt werden, wenn sie wissentlich dazu beitragen, dass eine Straftat begangen wird. Das nachzuweisen, scheint mindestens kompliziert.

Und die Unternehmen selbst? Eine Sprecherin von OpenAI reagiert schockiert auf die Chats. Bestreitet aber, dass die Nutzerinnen und Nutzer OpenAI-Programme verwendet haben. "Diese hasserfüllten Bilder sind inakzeptabel und wurden nicht mit ChatGPT oder unserer Software-Schnittstelle generiert", sagt sie gegenüber unserer Redaktion. "Wir arbeiten hart daran, schädliche Inhalte aus unserem Modell herauszufiltern und zusätzliche Sicherheitsvorkehrungen einzubauen." Ähnlich äußert sich der OpenAI-Partner Microsoft. So gebe es bereits eine Reihe von Filtern, die das Erstellen extremistischer Symbole und Inhalte verhinderten. "Aber es gibt immer Versuche, eine Software in einer Weise zu nutzen, in der sie nicht vorgesehen ist", sagt eine Sprecherin. Einige der Bilder seien vermutlich im Nachhinein bearbeitet worden. Vor allem dann, wenn Hakenkreuze zu sehen seien. Trotzdem wolle man Sicherheitsmechanismen in Zukunft weiter ausbauen. Andere KI-Unternehmen, darunter Suno und Lumalabs, antworteten nicht auf Anfragen unserer Redaktion.

Telegram unterbindet die Verbreitung der Bilder kaum

Die Erstellung solcher Bilder ist aber nicht das einzige Problem. Da ist auch die Verteilung. Telegram verhindert das bisher kaum. Das Unternehmen kooperiert quasi nie mit Sicherheitsbehörden, auch auf Druck aus der Politik reagiert Telegram nicht. "Wir erleben seit Jahren, dass sich die großen Plattformen und Messengerdienste mit Händen und Füßen gegen jedwede Regulierung wehren", sagt Grünen-Politiker Konstantin von Notz gegenüber unserer Redaktion. Er sitzt als stellvertretendes Mitglied im Digitalausschuss des Bundestags und ist Vorsitzender des parlamentarischen Kontrollgremiums. "Obwohl zwischenzeitlich verstärkt auch gegen Messenger-Dienste wie Telegram vorgegangen wird, wirkt der völlig unzureichende Umgang der Anbieter mit derartigen Inhalten weiterhin als echter Brandbeschleuniger bei der Verbreitung extremer, auch strafrechtlich relevanter Positionen."

Eine Anfrage unserer Redaktion lässt Telegram unbeantwortet. Immerhin: Die Channels wurden einen Tag nach Anfrage gelöscht. Bei Telegram ist das in der Regel aber nur eine kurzfristige Lösung. Meist tauchen sie unter ähnlichen Namen wieder auf. So auch im Fall von "Third Reich AI Art" oder "Based AI Art". Nur kurze Zeit, nachdem die Kanäle entfernt wurden, fanden sich bereits Nachfolge-Gruppen. Die menschenverachtenden Fotos und Videos sind aber die gleichen geblieben.

Die Anwälte Chan-jo Jun und Jessica Flint haben unsere Anfrage zur Rechtslage bei KI-genierten Inhalten ausführlich in einem Video aufgearbeitet. Ihre Einschätzungen finden Sie hier: