DFKI und Partner stärken Medienkompetenz durch Deepfake-Detektion vor Landtagswahlen in Rheinland-Pfalz
Ein Politiker am Rednerpult, ein harmloser Scherz, der nie gefallen ist,
und ein Wahlkampfvideo, das es so nie gab – mehr braucht es heute nicht,
um Millionen Menschen in die Irre zu führen. Mithilfe von frei verfügbaren
Apps entstehen aus wenigen Klicks täuschend echt wirkende Inhalte, die
sich in den sozialen Medien rasant verbreiten lassen. Genau an diesem
Punkt setzt ein neues DFKI-Projekt in Zusammenarbeit mit dem DFKI-Spin-off
Gretchen AI und der Landeszentrale für politische Bildung Rheinland-Pfalz
(LpB) an: Es will Wählerinnen und Wähler zu Deepfake-Detektiven machen,
bevor am Ende ein Algorithmus statt der Bürgerschaft über Stimmungen im
Land entscheidet.
Das Projekt „Check First. Vote Smart“ dockt direkt dort an, wo sich
politische Meinungsbildung in Rheinland-Pfalz zunehmend abspielt: in den
Social-Media-Feeds auf dem Smartphone. Statt Nutzerinnen und Nutzer auf
externe Plattformen umzuleiten, fügt sich der Deepfake-Check als
niedrigschwellige Zusatzfunktion in ihren Alltag ein.
- Verdächtige Bilder können mit zwei Klicks aus Instagram an einen
speziellen Detektor-Bot weitergeleitet werden.
- Im Hintergrund analysiert der KI-Detektor, ob das Material KI-generiert
oder manipuliert ist – und wenn ja, auf welche Weise.
- Die Nutzerinnen und Nutzer erhalten eine Einordnung: Wie wahrscheinlich
ist ein Fake und welche Spuren deuten darauf hin?
„Unsere Demokratie muss standhalten: KI-gesteuerte Bots simulieren
gesellschaftliche Mehrheiten, Deepfakes verfälschen Aussagen, ausländische
Akteure greifen gezielt in Wahlkämpfe ein. Wir entwickeln KI, die diese
Manipulationen aufdeckt – bevor sie verfangen“, erklärt Dr. Tobias Wirth,
Themenfeldleiter im Forschungsbereich Smarte Daten & Wissensdienste am
DFKI Kaiserslautern
KI-Detektion gegen die Flut der Fakes
Die Idee dahinter stammt aus dem DFKI und seiner Ausgründung Gretchen AI,
die Deepfake-Erkennung mit kontextueller Faktenprüfung verbindet. Anders
als klassische Ansätze, die nur auf Pixelartefakte schauen, kombiniert der
Ansatz forensische Bild- und Audioanalyse mit einer Art „logischem
Gegenlesen“: KI-Agenten recherchieren parallel im Netz, gleichen
Metadaten, Orte, Personen und Ereignisse ab und beziehen geprüfte
Faktenbanken ein – unter anderem über eine enge Kooperation mit dem
Faktencheck-Team der dpa.
Dr. Tim Polzehl, Wissenschaftler im Forschungsbereich Speech and Language
Technology am DFKI Berlin und CEO von Gretchen AI: „KI bedeutet
Veränderung in vielen Bereichen unseres Lebens. Wichtig dabei ist, die KI
nicht nur als eine Bedrohung für unsere Realität und Demokratie zu sehen.
KI ist gleichzeitig unser stärkster Verteidiger! Es ist Zeit, sie mutig
dafür einzusetzen. Gretchen AI ist genau dafür entwickelt worden: Wir
vereinen weltweit führende KI-Expertise und die Erfahrung professioneller
Faktenchecker und setzen neue Standards für die Verlässlichkeit der
Deepfake-Erkennung.“
„Desinformation gehört zu den drängendsten Herausforderungen für unsere
Demokratie“, betont Bernhard Kukatzki, Direktor der LpB in Mainz. „Gerade
in einem Wahljahr, in dem Bürgerinnen und Bürger täglich mit manipulierten
Inhalten konfrontiert werden können, ist Medienkompetenz eine
Schlüsselkompetenz.“
Was die KI-gestützte Software im Hintergrund prüft
Hinter „Check First. Vote Smart“ verbirgt sich ein ganzes Arsenal an
Detektionsverfahren: In der Beta-Phase sollen mehr als 80 verschiedene
Manipulationsarten erkannt werden – von klassischen Deepfake-Videos bis
hin zu scheinbar harmlosen Screenshots.
- Visuelle Eingriffe: Face-Swap, Lip-Sync-Manipulationen oder Image
Splicing, bei dem echte Fotos zu einer irreführenden Szene zusammengesetzt
werden.
- Akustische Fakes: Voice Cloning, das aus wenigen Minuten Audio eine
täuschend echte Stimmkopie erzeugt, und Audio Splicing, bei dem echte
Zitate neu montiert werden.
- Text- und Kontextfälschungen: gefälschte Screenshots mit erfundenen
Zitaten, echte Aussagen, die in einen falschen Kontext gestellt werden,
oder das „Liar’s Dividend“, wenn echte, unangenehme Aussagen im Nachhinein
als angebliche KI-Fakes abgetan werden.
- Hybride Angriffe: Doppelgänger-Websites, die seriöse Medien täuschend
echt kopieren, oder KI-gesteuerte „AstroTurfing“-Kampagnen, bei denen
unzählige leicht variierte Bot-Posts eine künstliche Stimmung simulieren.
Technisch setzt das Team auf moderne Architekturen aus der Deepfake-
Erkennungsforschung. Dazu gehören etwa Mamba-basierte Modelle wie
BiCrossMamba-ST, die spektrale und zeitliche Muster in Daten getrennt
auswerten, um feinste Unregelmäßigkeiten und synthetische Spuren
aufzuspüren. In internationalen Benchmarks wie der Environmental Sound
Deepfake Detection Challenge (ESDD 2026) erreichen DFKI-Modelle
Spitzenplätze, wenn es darum geht, Fakes auch von bislang unbekannten
Generatormodellen zu unterscheiden.
Gleichzeitig bleibt der Einsatz für die Bürgerschaft bewusst
niedrigschwellig: keine zusätzliche App, keine komplizierte Anmeldung,
sondern ein Direktkanal in der bestehenden Instagram-Oberfläche. „Wir
nutzen ausschließlich Funktionen, die Instagram ohnehin bereitstellt –
Direct Message, Teilen, Weiterleiten“, betont das Team, das die Umsetzung
DSGVO-konform gestaltet.
Den KI-Detektor für Bildanalyse hat das Team bereits im Sozialen Netzwerk
Instagram verfügbar gemacht, Videoanalyse und die Analyse nach früheren
Kontexten und Originalmaterial gibt es auf der Dashboard Lösung von
Gretchen AI.
Aus dem Labor in den Wahlkampf
Das Projekt startet als Beta-Phase mit bis zu 10.000 Wählerinnen und
Wählern in Rheinland-Pfalz, die verdächtige Inhalte melden und eine
Einschätzung dazu erhalten – und zugleich Teil eines Forschungsprojekts
werden. Die Forschenden wollen unter anderem verstehen, welche Fälschungen
bei welchen Gruppen besonders überzeugend wirken, wie nützlich KI-
Detektoren sind und ob Wähler*innen ihnen vertrauen – und wie mit
Fehleinschätzungen umgegangen wird. Dazu stellt das Team ein KI-Quiz auf
Instagram bereit.
Ein früher Proof-of-Concept wurde bereits mit der dpa getestet, etwa bei
der Analyse manipulierter Parteitagsvideos, in denen Tonspuren
ausgetauscht und mit skandalisierenden Inhalten unterlegt wurden. In einem
Fall bewertete die KI die Audiospur eines viralen Videos mit einer
Wahrscheinlichkeit von über 60 Prozent als Fake – ein Wert, den DFKI-
Forscher Tobias Wirth als deutlich zu hoch einstuft, um das Material noch
als „gefühlte Realität“ durchgehen zu lassen.
“Die Qualität mancher Deepfakes ist leider oder bewusst so schlecht,
sodass eine Fakeerkennung erschwert wird. KI-gestützte Deepfake-Erkenner
sind Wahrscheinlichkeits-basiert und können keine eindeutigen forensischen
Beweise liefern. Sicherlich sieht man die Wahrscheinlichkeit von über 60
Prozent als zu hoch an, als dass subjektives Empfinden das Video als
'Real' einstufen würde. Desinformation setzt aber genau an dem subjektiven
Umgang mit Informationen mit Unsicherheit an”, so Tobias Wirth gegenüber
den ARD-Faktencheckern.
Die LpB erhofft sich durch den Einsatz der Software mehr digitale
Souveränität für Bürgerinnen und Bürger. So führt LpB-Direktor Bernhard
Kukatzki aus: „Wer weiß, wie Desinformation funktioniert und Inhalte im
Zweifel überprüfen kann, lässt sich weniger verunsichern und trifft
politische Entscheidungen auf informierter Grundlage. Das stärkt nicht nur
die individuelle Medienkompetenz, sondern auch das Vertrauen in
demokratische Institutionen und politische Prozesse.“ Die LpB will die
Erfahrungen aus dem Projekt nutzen, um weitere niedrigschwellige Formate
im Bereich Desinformation und KI zu entwickeln. So plant sie 2027
beispielsweise einen Fachtag speziell zu KI und Wahlen.
Werkzeuge für Medien, Bildung und Behörden
Für das DFKI ist das Projekt mehr als ein Einzelbeitrag zur Landtagswahl,
sondern ein Testfeld für eine neue Generation von Werkzeugen gegen hybride
Bedrohungen aus generativer KI. Schon heute kommen Deepfake-Erkennung und
Kontextanalyse von Gretchen AI in professionellen Umgebungen zum Einsatz –
von Newsrooms über Behörden bis hin zu Unternehmen, die ihre Marke gegen
manipulierte Videos schützen müssen.
Die Ausgründung aus dem DFKI wurde im Rahmen des SPRIND-Programms
„Deepfake Detection and Prevention“ ausgezeichnet und arbeitet eng mit der
dpa zusammen, die Deutschlands größtes Faktencheck-Team betreibt.
Langfristig sehen die Projektpartner mehrere mögliche Ausbaustufen: die
Übertragbarkeit auf andere Wahlen, die Integration weiterer Plattformen
wie TikTok sowie Werkzeuge, mit denen Schulen, Volkshochschulen oder
Initiativen der politischen Bildung eigenständig Deepfake-Workshops
durchführen können. „Wir müssen nicht nur Fakes entlarven, sondern
Medienkompetenz auf dem Stand von 2026 vermitteln“, betont das Team –
inklusive verständlicher Erklärungen, welche Spuren ein System gefunden
hat und wie es zu seiner Einschätzung gelangt.
So funktioniert der 2-Klick-Check
- Verdächtigen Post auf Instagram auswählen.
- Über die Teilen-Funktion an den Checker-Account „gretchen_ai_berlin“
senden, es meldet sich der KI-Detektor.
- Nutzerinnen und Nutzer erhalten eine Einschätzung zur Wahrscheinlichkeit
eines Fakes und eine kurze Einschätzung zu Einflussfaktoren.
- KI und Faktencheck Expert*innen prüfen ausgewählte oder uneindeutige
Bilder, auch Metadaten und Kontext – inklusive Abgleich mit geprüften
Quellen.
- Alle Schritte sind datenschutzkonform, es werden nur die für die Analyse
notwendigen Inhalte verarbeitet.
Wissenschaftliche Ansprechpartner:
Dr. Tobias Wirth
Themenfeldleiter GeT-AI, Forschungsbereich Smarte Daten & Wissensdienste
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)
Kaiserslautern
E-Mail:
