Dass deutsche Medienwächter Kriminalität, Hass und Hetze im Netz nun auch mithilfe von „Künstlicher Intelligenz“ (KI) bekämpfen wollen, klingt zunächst wie eine gute Nachricht. Bereits seit Mai 2022 fahndet die Landesanstalt für Medien (LfM) in Kooperation mit dem Bundeskriminalamt (BKA) nach strafbaren Online-Inhalten. Diese von der LfM als „Erfolgsmodell“ gefeierte Überwachung wurde inzwischen auf ganz Deutschland ausgeweitet. Kritiker*innen erscheint diese neue Internet-Polizei jedoch einigermaßen unheimlich.
„Ab sofort können alle Medienanstalten in Deutschland Verdachtsfälle von strafrechtlich relevanter Hassrede an die ZMI BKA melden“, informierte die LfM Ende Mai in einer Pressemitteilung. ZMI BKA steht für „Zentrale Meldestelle für strafbare Inhalte im Internet beim Bundeskriminalamt“. Von der Zusammenarbeit mit dem BKA verspricht sich LfM ein „demokratischeres Netz“ und eine „effektive Strafverfolgung“.
Hilfsmittel bei diesem Unterfangen ist eine Software, die automatisch Online-Inhalte per Stichwortsuche und Bilderkennung nach strafbarem Material durchforstet. Das Werkzeug heißt KIVI – ein Kürzel für KI = Künstliche Intelligenz und „vigilare“ (lateinisch für „überwachen“). KIVI sucht nicht nur nach volksverhetzenden Inhalten wie etwa Holocaust-Leugnung, sondern auch nach Pornografie und Inhalten, die Drogen glorifizieren. Details finden sich im internen KIVI-Handbuch, das Sebastian Meineck von netzpolitik.org dokumentiert und kritisch analysiert hat.
Kooperation mit dem BKA
Innerhalb eines Jahres (Mai 2022 – Mai 2023) habe allein die LfM NRW knapp 700 Meldungen mit mutmaßlich strafrelevanten Inhalten an die ZMI BKA weitergeleitet, teilt die Medienanstalt auf ihrer Homepage mit. Im Rahmen dieser Kooperation überprüfe das BKA diese Meldungen auf „mögliche Gefährdungsaspekte“, stelle nach Möglichkeit den mutmaßlichen Verfasser fest und übermittle im Erfolgsfall den Sachverhalt an die örtlich zuständigen Strafverfolgungsbehörden in den Bundesländern, die in der Folge die weiteren Ermittlungen durchführten. Die Medienanstalten wiederum sorgten für die Durchsetzung des Verbreitungsverbots inkriminierte Inhalte in sozialen Netzwerken oder Telemedienangeboten.
„Bundes- und Landesbehörden, Strafverfolgung und Medienaufsicht arbeiten zusammen – ein Erfolgsmodell, das jetzt ausgeweitet wird,“ frohlockt die Düsseldorfer Behörde. Ein Eigenlob, dem sich auch BKA-Präsident Holger Münch gern anschloss. Mithilfe dieser Kooperation könne es gelingen, „einer zunehmenden Verrohung der Kommunikation im Netz wirksam entgegenzuwirken und eine konsequente Strafverfolgung der dort begangenen strafbaren Hassrede zu gewährleisten“ Mit dem Ausbau des ZMI werde zudem eine zentrale Forderung des von Nancy Faesers Innenministerium beschlossenen Aktionsplans gegen Rechtsextremismus umgesetzt.
Wird die LfM zur Polizeiinstanz?
Dass der direkte Draht zwischen Medienaufsicht und BKA durchaus problematische Aspekte aufweist, ist offenbar auch dem Chef der LfM NRW, Tobias Schmidt, bewusst. „Die Rechtsdurchsetzung im Netz ist ein ständiger Balanceakt zwischen dem Grundgedanken einer freien Mediennutzung einerseits und dem effektiven Schutz vor teilweise drastischen Rechtsverletzungen andererseits“, kommentierte er die Ausweitung der Kooperation mit dem Bundeskriminalamt. Da ist was dran. Schließlich ist die LfM keine Polizeiinstanz, sondern eine staatsferne Anstalt des öffentlichen Rechts. Als Aufsichtsbehörden für private Radio- und Fernsehprogramme und Telemedien werden die 14 Landesmedienanstalten überwiegend aus den Mitteln des Rundfunkbeitrages finanziert. Derzeit erhalten die Anstalten einen Anteil von knapp 1,9 Prozent der durch den Rundfunkbeitrag erzielten Einnahmen, also rund 35 Cent von 18,36 Euro.
Über Sinn und Unsinn des Einsatzes von KI(VI) in der Medienaufsicht lieferten sich LfM-Direktor Tobias Schmidt und netzpolitik-Journalist Sebastian Meineck schon vor knapp einem Jahr – moderiert von der Bundeszentrale für Politische Bildung – eine spannende Kontroverse. Medienwächter Schmidt hob dabei den „Quantensprung bei der Effizienz“ gegenüber der bisherigen rechtlichen Kontrolle durch eine viel zu geringe Anzahl von Mitarbeiter*innen hervor. Durch die deutschlandweite Erfassung könne überdies die bislang typische föderal bedingte Doppelarbeit vermieden werden.
Zweifel an Abschreckung
Für Meineck dagegen ist längst nicht ausgemacht, ob der Einsatz von KIVI nicht doch eher symbolisch als wirksam ist. Die großen kommerziellen Plattformen wie TikTok, Facebook, YouTube, Instagram und Co. setzten ihre „zehntausende Klickarbeiter*innen und Content-Moderator*innen“ nicht aus idealistischen Motiven ein, sondern weil es wirklich viel Personal brauche, um in großem Umfang das Netz auf verstörende und strafbare Inhalte zu untersuchen. Demgegenüber erscheine ihm die KIVI-Methode eher wie „Staubsaugen am Strand“.
Schmidt verweist ferner auf den Aspekt der „Generalprävention“. Es sei wichtig, dass die potentiellen Täter*innen wüssten, dass sie erwischt werden könnten. Zwar werde das bei politischen Extremisten kaum helfen. Aber es könne dazu führen, „dass sich die vor sich hinpöbelnde Mitschwimmmasse plötzlich überlegen muss, ob es wirklich so eine coole Idee ist, nach dem Genuss von zwei Bier vor dem Fernseher drei Hasspostings rauszuschicken“.
Durchaus ein überlegenswertes Argument, räumt Meineck ein. Zugleich äußert er Zweifel daran, ob dieser Abschreckungseffekt wirklich in messbarem Umfang eintreten werde. Wichtiger: „Braucht es für Signalwirkung und Abschreckung eine automatisierte Erfassung mit einer Software wie KIVI, die praktisch das Netz durch einen großen Stichwortfilter jagt und schaut, wo es Verdachtspunkte gibt?“ Es gebe, so Meineck, das Phänomen des „Function Creep“: Das liege dann vor, wenn eine zunächst für einen eng begrenzten Zweck entworfene Technologie später auch auf andere Zwecke ausgeweitet werde. In einem funktionierenden Rechtsstaat werde das wohl nicht so schnell passieren. In autoritären Systemen wie etwa China erscheine die Gefahr einer „digitalen Diktatur“ aber nicht ganz so fiktiv.
Gefahr für Menschenrechte
Vor diesem Hintergrund zeigt sich Meineck besorgt über Pläne, KIVI auch in andere Mitgliedsstaaten zu exportieren. In Ungarn gebe es ein Gesetz, das Informationen über Homosexualität und Trans-Identitäten unter Strafe stelle. Er empfände es als fatal, wenn dort Behörden „eine in Deutschland entwickelte Software einsetzen, um systematisch im Netz queerfeindliche Repression anzuwenden“. Meineck verweist zudem auf „blinde Flecken“ und Vorurteile, die jedem KI-Einsatz innewohnten. Unter den noch ungeprüften von KIVI präsentierten Verdachtsmeldungen hätten einige von der Webseite des Zentralrats der Muslime gestammt. Ein Treffer habe auf einer älteren Pressemeldung basiert, in der der Rat terroristische Anschläge verurteilt habe. Die KI habe jedoch Begriffe wie Terror, Gräueltaten und Mord in Kombinationen mit Begriffen wie Islam, Muslime, Christen und Juden entdeckt und sei so zu einem „False Positive“, also einem falschen Verdacht gekommen.
Schmidt hält diesen Fall für „ziemlich unspektakulär“. Das Tool entscheide schließlich nichts, sondern identifiziere nur. Danach setze die juristische Prüfung durch ausgebildete Menschen ein. Bei der LfM NRW führten etwa 50 Prozent der eigeleiteten Verfahren tatsächlich zu strafrechtlichen Ermittlungsverfahren.
Meineck überzeugt das nicht. Das beste Mittel gegen blinde Flecken sei Transparenz. Bei KIVI, so sein Plädoyer, könnten zum Beispiel Forscher*innen oder Vertreter*innen der Zivilgesellschaft die systemimmanenten Bias, also Vorurteile ermitteln und Lösungsvorschläge entwickeln, wie man diese Vorurteile reduzieren könnte. Dazu müsste aber die Stichwortliste, anhand derer KIVI das Netz nach verdächtigen Inhalten durchsucht, offengelegt werden. Einstweilen lehnt die LfM diese Transparenz aber ab. Begründung: Nutzer*innen könnten diese Begriffe ja gezielt meiden, um nicht entdeckt zu werden.
Kann eine Verstärkung der Medienkompetenz helfen? Unbedingt, findet Tobias Schmidt, aber nicht als Alternative zu KIVI, sondern als Ergänzung zur Verteidigung eines demokratischen Diskurses im Netz. Sebastian Meineck setzt auf Prävention, Betroffenenschutz und Opferhilfe, „auch wenn das sicher kein Allheilmittel ist“. Aber am Ende könne man damit viel mehr erreichen „als mit dem Ausrollen einer automatisierten Stichwortsuche im Netz“.