Automatische Spracherkennung und -übersetzung: Schnelleres Arbeiten und Lernen
Automatische Spracherkennungssysteme wie der Lecture Translator des
Karlsruher Instituts für Technologie (KIT) können das Gesprochene in
Vorträgen in Echtzeit in einen Text in mehreren Sprachen umwandeln. Damit
verbessern solche Systeme den Zugang zu Informationen für Studierende mit
Behinderungen und ausländische Studierende. Nun haben Forschende des KIT
den Lecture Translator um neue Funktionen erweitert. Automatische
Erkennung des Gesprochenen in mehreren Sprachen gleichzeitig,
Textsegmentierung und Titelgenerierung in Echtzeit, Zusammenfassungen und
Verlinkungen zu Fachbegriffen und Abfragen des Gehörten vereinfachen nun
das Verstehen und effiziente Aufarbeiten von Vorlesungen.
„Mit der automatischen Simultanübersetzung des Lecture Translators haben
wir gesprochene Vorträge einem internationalen Publikum nähergebracht.
Dieses macht aber in der Regel nur 15 Prozent der Zuhörerschaft aus. Mit
den neuen KI-Werkzeugen wollen wir nicht nur Sprach-, sondern auch
Verständnisbarrieren abbauen“, sagt Alexander Waibel, Professor für
Informatik am KIT. „Oft sind automatisch transkribierte Texte von
gesprochener Sprache schwer zu lesen, da sie zu schnell fortlaufend ohne
Absätze und Zwischenüberschriften als langer Text erscheinen – eben genau
so, wie der Vortrag oder die Vorlesung mündlich vorgetragen wurde“. Auch
die Aufarbeitung der Vorlesung sei mühsam, da man die Vorlesung nach
Verständnislücken durchsuchen müsse, so Waibel.
Bessere Übersicht in Dokumenten
Die Weiterentwicklung des Lecture Translators schafft hier Abhilfe. Die
Forschenden haben mehrere neue automatische Funktionen wie „Smart
Chaptering“, Summarization“, „Q&A“ oder „Auto-Links“ entwickelt. Dabei
verwandelt eine neuartige Künstliche Intelligenz (KI), die automatisch die
Sprache erkennt, den gesprochenen Text in ein Transkript in mehreren
Sprachen und identifiziert automatisch Absätze, Kapitelüberschriften sowie
wichtige Kernpunkte. Darüber hinaus erstellt sie eine akustische
Wiedergabe, bei der Nutzerinnen und Nutzer eine von 18 Sprachen auswählen
können. Außerdem zeigt das Programm automatisch Links als Querverweise zu
relevanten Quellen in Vorlesungsskripten oder Wikipedia an, mit deren
Hilfe die Studierenden die Vorlesung besser aufarbeiten können. „Mit
unseren neuen KI-Modellen können Gespräche und Vorlesungen besser
strukturiert und sogar Videos in leicht navigierbare Kapitel eingeteilt
werden“, so Waibel. Somit sei ein besseres Verständnis nicht nur während,
sondern auch nach der Vorlesung möglich.
Lecture Translator übersetzt in 18 Sprachen
Die Arbeiten hat das Forschungsteam in den Lecture Translator integriert,
mit dem am KIT Vorlesungen in Echtzeit automatisch transkribiert werden.
Kapiteleinteilung, Titelgenerierung, Absatzgestaltung, Zusammenfassungen
mit Verlinkungen – auch jeweils online und offline anwendbar – erweitern
nun den Service des Lecture Translators und vereinfachen die Arbeit mit
dem Material. Die Übersetzung erfolgt in 18 Sprachen. Konkrete
Anwendungsmöglichkeiten findet die Technologie für Content Creator,
Studierende, Lehrende und Podcaster, die ihre Audio- und Videoinhalte
erstmals strukturieren können. „Nutzerinnen und Nutzer können effizienter
durch Videos und Vorträge navigieren, relevante Abschnitte schneller
finden und wichtige Kerninhalte kompakt und effizient erfassen – sie haben
insgesamt eine viel bessere grobe Übersicht sowie schnelleren Zugriff auf
die Details“, sagt Waibel.
Die Forschung fand im Projekt „How is AI Changing Science?“ statt und
wurde für vier Jahre von der Volkswagenstiftung gefördert.
Projektbeteiligte waren neben dem KIT die Universität Bonn sowie die
Universität Wien. (mr/ase)
Als „Die Forschungsuniversität in der Helmholtz-Gemeinschaft“ schafft und
vermittelt das KIT Wissen für Gesellschaft und Umwelt. Ziel ist es, zu den
globalen Herausforderungen maßgebliche Beiträge in den Feldern Energie,
Mobilität und Information zu leisten. Dazu arbeiten rund 10 000
Mitarbeiterinnen und Mitarbeiter auf einer breiten disziplinären Basis in
Natur-, Ingenieur-, Wirtschafts- sowie Geistes- und Sozialwissenschaften
zusammen. Seine 22 800 Studierenden bereitet das KIT durch ein
forschungsorientiertes universitäres Studium auf verantwortungsvolle
Aufgaben in Gesellschaft, Wirtschaft und Wissenschaft vor. Die
Innovationstätigkeit am KIT schlägt die Brücke zwischen Erkenntnis und
Anwendung zum gesellschaftlichen Nutzen, wirtschaftlichen Wohlstand und
Erhalt unserer natürlichen Lebensgrundlagen. Das KIT ist eine der
deutschen Exzellenzuniversitäten.
