Die Vermessung der Körpersprache – den Gefühlen auf der Spur
Kann man an unseren Bewegungen ablesen, wie wir uns fühlen? Und wie lassen
sich Gefühle mit empirischen Methoden erforschen? Um diese Fragen
beantworten zu können, hat ein großes internationales, interdisziplinäres
Forschungsteam unter Leitung des Max-Planck-Instituts für empirische
Ästhetik (MPIEA) in Frankfurt am Main eine integrative wissenschaftliche
Methodik entwickelt. Die Forscher:innen erarbeiteten mit künstlerischen
und digitalen Mitteln, wie der Motion-Capture-Technologie, die Software
EMOKINE zur Vermessung der objektiven kinematischen Merkmale von
Bewegungen, die Emotionen ausdrücken. Die Ergebnisse der Studie wurden
jüngst im Fachjournal Behavior Research Methods veröffentlicht.
Das Team ließ hierfür eine professionelle Tänzerin kurze Tanzchoreografien
vor einem Greenscreen wiederholen. Dabei sollte sie mit ihren Bewegungen
unterschiedliche Emotionen zum Ausdruck bringen: Wut, Zufriedenheit,
Angst, Freude, Neutralität und Traurigkeit. Um die Tanzbewegungen als
Daten erfassen zu können, bedienten sich die Wissenschaftler:innen aus dem
Technik-Fundus des MPIEA: So trug die Tänzerin einen Motion-Capture-
Ganzkörperanzug des Unternehmens XSENS®, der mit insgesamt 17
hochsensiblen Sensoren ausgestattet ist. In Kombination mit einer
Filmkamera wurden die dynamischen Körperbewegungen gemessen und
aufgezeichnet. Daraufhin extrahierten die Forscher:innen die objektiven
kinematischen Merkmale (Bewegungsparameter) und programmierten die
Software EMOKINE, die diese Bewegungsparameter auf Knopfdruck aus
Datensätzen zur Verfügung stellen kann.
Computergestütztes Tracking für Ganzkörperbewegungen
Insgesamt 32 Statistiken aus 12 Bewegungsparametern wurden erarbeitet und
aus einem Pilot-Tanz-Datensatz extrahiert. Die kinematischen Parameter,
die erfasst wurden, waren beispielsweise Geschwindigkeit, Beschleunigung
oder die Kontraktion der Gliedmaßen.
„Wir haben 12 kinematische Merkmale emotionaler Ganzkörperbewegungen, die
in der Literatur früherer Forschungsarbeiten separat diskutiert wurden,
nun alle zusammen aus einem selben Datensatz ermittelt und die Merkmale
dann einheitlich in die EMOKINE Software eingespeist“, berichtet
Erstautorin Julia F. Christensen vom MPIEA.
Bewegungstracking findet in den letzten Jahren in vielen Bereichen
Anwendung, weil das objektive Erfassen von Bewegungsparametern Aufschluss
über Intentionen, Gefühle und Gemütsverfassung von Personen geben kann.
Diese Forschung braucht allerdings theoriebasierte Methodik, um
aussagekräftige Schlussfolgerungen über erfasste Daten machen zu können.
„Diese Arbeit zeigt, wie künstlerische Praxis, Psychologie und
Computerwissenschaften auf ideale Weise zusammenarbeiten können, um
Methoden zur Erforschung der menschlichen Kognition zu erarbeiten“, sagt
Andrés Fernández vom Max-Planck-Institut für Intelligente Systeme in
Tübingen und Co-Erstautor der Arbeit.
Mit dem Rahmenkonzept, das die Software begleitet und das sich explizit
den Tanzbewegungen zur Erforschung von Emotionen bedient, wichen die
Wissenschaftler:innen von bisherigen Forschungsansätzen ab, bei denen
oftmals die klassischen emotionsaktionsbasierten Videoclips, wie zum
Beispiel das Winken mit der Hand oder Gehbewegungen, zum Einsatz kamen.
„Wir freuen uns ganz besonders über die Veröffentlichung dieser Arbeit, an
der so viele Expert:innen, unter anderem von der Goethe-Universität
Frankfurt am Main, der Universität von Glasgow und das Filmteam von
WiseWorld Ai aus Portugal beteiligt waren. Hier kamen Disziplinen aus der
Psychologie, den Neurowissenschaften, der Informatik, der empirischen
Ästhetik, aber auch aus Tanz und Film zusammen“, resümiert Seniorautorin
Gemma Roig, Professorin für Computer Science, Computational Vision and AI
lab an der Goethe-Universität Frankfurt am Main.
Das Softwarepaket als Open Source
EMOKINE ist über die Internetplattformen ZENODOund GitHub frei verfügbar
und kann mit leichten Modifizierungen auch auf andere Motion-Capture-
Systeme angewendet werden. Mit diesen frei verfügbaren digitalen
Werkzeugen kann nicht nur der emotionale Ausdruck von Tänzer:innen und
anderer Künstler:innengruppen untersucht werden, sondern auch ganz
alltägliche Bewegungen.
Die Forscher:innen hoffen nun, dass die von ihnen entwickelte Software
EMOKINE in verschiedenen Bereichen Anwendung findet: in der
experimentellen Psychologie, den affektiven Neurowissenschaften sowie auf
dem Feld der Computer Vision, insbesondere in der KI-gestützten Auswertung
von visuell geprägten Medien – ein Feld innerhalb der KI, das es Computern
und Systemen ermöglicht, aussagefähige Informationen aus digitalen
Bildern, Videos und anderen visuellen Eingaben zu gewinnen. EMOKINE hilft
Wissenschaftler:innen die Frage zu beantworten, wie kinematische Parameter
von Ganzkörperbewegungen Beobachter:innen verschiedene Absichten, Gefühle
und mentale Zustände vermitteln.
