Seit 2022 nutzen alle Landesmedienanstalten bei der Aufsicht KI, um im Internet nach rechtswidrigen Inhalten zu suchen, etwa nach Hassrede, Gewaltdarstellungen oder frei zugänglicher Pornografie. Im Juni 2025 kündigten die Bundesländer an, dafür eine klare Rechtsgrundlage zu schaffen.
Vorgelegt wurde ein Entwurf für eine Novelle des Medienstaatsvertrags. Inzwischen haben die Länder bei dieser geplanten KI-Regelung den Datenschutz stärker berücksichtigt. Grund dafür seien Ergebnisse aus der Anhörung zum Entwurf im Sommer 2025, erklärte die rheinland-pfälzische Medienstaatssekretärin Heike Raab (SPD) auf Nachfrage. Sie verwies auf einen „engen Austausch mit Vertreterinnen und Vertretern der Datenschutzbehörden der Länder“. Rheinland-Pfalz ist das Vorsitzland der Rundfunkkommission der Länder.
Über den Rechtsverstoß entscheidet der Mensch
Im aktuellen Entwurf sei etwa die menschliche Überprüfung potenzieller Rechtsverstöße detaillierter und konkreter ausgestaltet worden, so Raab: Auch die Anforderungen an die eingesetzten technischen Mittel seien präzisiert worden. Darunter fällt letztlich das KIVI-Tool der Medienaufsicht. Entwickelt wurde es von der nordrhein-westfälischen Medienanstalt zusammen mit einer Berliner Firma. Damit lassen sich täglich mehr als 10.000 Seiten im Web, auch öffentliche Social-Media-Profile, automatisiert auf mögliche Verstöße durchsuchen. Erfasst werden Inhalte in deutscher Sprache und seit Juni 2025 zusätzlich in englischer und auf Arabisch. Ob ein Rechtsverstoß vorliegt, entscheidet aber nicht die KI, darüber befinden am Ende die Jurist*innen der Medienaufsicht.
Laut aktuellem Staatsvertragsentwurf soll künftig dies gelten: Wird über ein Tool wie KIVI ein potenzieller Rechtsverstoß festgestellt, dürfen neben dem Inhalt auch personenbezogene Daten verarbeitet werden – aber nur, wenn sie für Aufsichtsmaßnahmen der Landesmedienanstalten nötig sind. Darunter fallen dann auch Name und Anschrift gemäß der Impressumsangaben. Und ein Mensch muss unverzüglich überprüfen, ob tatsächlich ein Verstoß vorliegt. Ist das nicht der Fall, sind die erfassten Daten umgehend zu löschen. Erfolgt keine Überprüfung, sind sie nach maximal 30 Tagen zu löschen.
Liegt ein konkreter Verdacht für einen Verstoß vor, dürfen die Landesmedienanstalten personenbezogene Daten für weitere Aufsichtsmaßnahmen verwenden, etwa die Verhängung eines Bußgeldes. Bei Verdacht auf bestimmte Straftaten wie etwa Hassrede/Volksverhetzung dürfen personenbezogene Daten auch an Polizei oder Staatsanwaltschaft weitergegeben werden.
Außerdem sieht der Staatsvertragsentwurf vor, dass ein Tool wie KIVI regelmäßig validiert werden muss, also beispielsweise mit Blick auf dessen Genauigkeit (Performance). Trainiert werden darf die KI grundsätzlich nur mit anonymisierten Daten. Den Einsatz von Tools wie KIVI haben die Landesmedienanstalten ferner in einer gemeinsamen Satzung zu regeln. Zudem ist vorgesehen, dass wesentliche Ergebnisse dieses KI-Einsatzes jährlich in einem Bericht veröffentlicht werden müssen.
Beginn der Regelung unbekannt
Unklar ist, wann die neuen Bestimmungen in Kraft treten. Im Dezember 2025 haben die Bundesländer die geplanten Regeln für KI-Tools in der Medienaufsicht zunächst der EU-Kommission vorgelegt. Dabei handelt es sich um ein vorgeschriebenes Notifizierungsverfahren. Die Brüsseler Kommission prüft nun, ob die vorgesehenen Vorschriften mit EU-Recht vereinbar sind. Die Frist dafür läuft bis zum 23. März.
Bedenken an den Länderplänen kommen von der Behörde des Landesbeauftragten für den Datenschutz Niedersachsen (LfD). Um eine Rechtsgrundlage für das KIVI-Tool zu schaffen, halte man den Jugendmedienschutz-Staatsvertrag (JMStV) für sachgerecht, nicht den Medienstaatsvertrag, erklärte LfD-Sprecher Achim Barczok auf Nachfrage. Schließlich solle es bei KIVI darum gehen, Verstöße gegen den JMStV aufzudecken. Geplant sei keine spezifische Regelung für das KIVI-Tool, sondern eine für den „Einsatz technischer Mittel“ im Medienstaatsvertrag. Eine derart weit formulierte Regelung sehe man grundsätzlich kritisch: Sie berge das Risiko der erheblichen Ausweitung des Einsatzes des KIVI-Tools und „gegebenenfalls weiterer anlassloser Maßnahmen“.
Die NRW-Medienanstalt betonte auf Nachfrage, der aktuelle Entwurf erweitere die bereits bestehenden medienrechtlichen Aufsichtsbereiche nicht. So sieht es auch Staatssekretärin Raab: Wenn durch den stärkeren KI-Einsatz mehr Verstöße aufgedeckt würden, zeige dies „eine notwendige Effizienzsteigerung“. Der Einsatz technischer Mittel ermögliche es, „bislang händische Prozesse – etwa die Sichtung von Online-Inhalten auf schwerwiegende Rechtsverstöße – an die Realität der digitalen Welt anzupassen“. Außerdem verbessere sich der Mitarbeiterschutz, erklärte Raab: Technische Mittel böten etwa durch Warnmechanismen zusätzlichen Schutz, so dass Beschäftigte der Medienaufsicht nicht ungefiltert große Mengen potenziell belastender Inhalte sichten müssten.
KIVI achtet auf Datenschutz
Die NRW-Medienanstalt verwies außerdem darauf, das KIVI-Tool sei datenschutzkonform ausgestaltet. Zuständig sei die Landesbeauftragte für Datenschutz und Informationsfreiheit Nordrhein-Westfalen. Es habe eine umfassende datenschutzrechtliche Überprüfung von KIVI gegeben, im Rahmen eines sogenannten Selbstaudits, das den geforderten Anforderungen (Datenschutz-Folgenabschätzung) entsprochen habe. Teil dieser Überprüfung sei auch gewesen, dass bei KIVI Dienstleistungen des US-Konzerns Amazon genutzt würden. So werde KIVI über AWS Cloud Services gehostet, Standort der Server sei Dublin. Außerdem werde „Amazon Rekognition“ im Rahmen der Bilderkennung eingesetzt. Die Medienanstalt erklärte, sie prüfe aktuell, „ob ein gänzlich EU-souveräner Betrieb von KIVI realisiert werden kann“.