In neue Welten eintauchen

fTeilen

Egal ob immersive Ausstellungen, Shows oder Gaming – Erlebnisse, bei denen
die Sinne ganzheitlich angesprochen werden und die das Publikum in andere
Realitäten entschwinden lassen, liegen im Trend.

Mit DOMEconnect
entwickeln Forschende am Fraunhofer-Institut für Nachrichtentechnik,
Heinrich-Hertz-Institut, HHI eine Plattform, die es ermöglicht,
hochauflösende, immersive Inhalte live zu produzieren und an Planetarien
zu streamen. So werden neue Veranstaltungsformate miteinander verbundener
Spielstätten geschaffen. Über Avatare erhalten Besucherinnen und Besucher
die Möglichkeit zur Interaktion.

Vor einem riesigen Gemälde zu stehen, ist immer etwas Besonderes. Doch
was, wenn es sich plötzlich bewegt und mittels Soundeffekten zum Leben
erweckt wird? Immersive Ausstellungen laden dazu ein, Kunst und Kultur
multimedial zu erleben; interaktive Museen, Konzerte, Games und andere
Veranstaltungen ermöglichen es, sich aktiv mit den gezeigten Inhalten
auseinanderzusetzen. Mit DOMEconnect entwickeln Forschende am Fraunhofer
HHI in Berlin eine Plattform für gänzlich neuartige Veranstaltungsformate.
Das System bietet durch den Einsatz von verschiedenen
Interaktionstechnologien und Echtzeitrendering-Engines die Möglichkeit,
hochauflösende 360°-Video-Live-Streams in Echtzeit an miteinander
verbundene Planetarien zu streamen. Zudem lassen sich mit DOMEconnect
Planetarien als ausgelagerte Stätten zur Remote-Teilnahme an
Veranstaltungen erschließen. So findet beispielsweise an einem Ort ein
Konzert statt, das an ein oder mehrere Planetarien übertragen werden kann
und dort ein beeindruckenderes, direkteres Erleben des Events ermöglicht,
als es ein herkömmlicher Livestream vermitteln könnte. Über neu
entwickelte Schnittstellen und die Implementierung von
Synchronisationsmechanismen erhalten Künstlerinnen und Künstler Räume und
Projektionsflächen für ihre Werke in bislang nicht realisierbaren
Präsentationsformen.

Die Verbindung zwischen verschiedenen Planetarien und
Veranstaltungsstätten soll sich aber nicht auf die Wiedergabe von Audio
und Video beschränken. Vielmehr wird das Publikum künftig durch den
Einsatz von Avataren und die Nutzung von mobilen Endgeräten als
Steuergerät live am Geschehen teilhaben, miteinander interagieren,
Aufgaben lösen und Content in Gemeinschaft erleben können. Um dies zu
erproben, entwickeln die Forscherinnen und Forscher aktuell prototypische
Multi-User-Spiele. »Mit den Interaktionsmöglichkeiten in immersiven Räumen
betreten wir Neuland, bislang gibt es hier noch keine Vorbilder. Wir
eröffnen damit auch Unternehmen und Organisationen neue Testszenarien.
Beispielsweise können wir für Rettungskräfte Trainingssituationen in
virtuellen Umgebungen schaffen«, sagt Christian Weißig, Gruppenleiter
Aufnahme- und Anzeigesysteme am Fraunhofer HHI.

Pool an Werkzeugen: OmniCam-360, RTSE und Cinebox

Um das Projekt, das vom Fraunhofer-Netzwerk »Wissenschaft, Kunst und
Design« gefördert wird, umzusetzen, baut das Fraunhofer HHI auf die am
Institut entwickelten Technologien OmniCam-360, RTSE und Cinebox auf,
erweitert diese und adaptiert sie an die Bedarfe von Planetarien. Omnicam
ist ein skalierbares, spiegelbasiertes Mehrkamerasystem für die Aufnahme
von Videomaterial in einem 360°-Panoramaformat. Die softwarebasierte Real-
Time-Stitching Engine RTSE verarbeitet UHD-Panorama-Videoaufnahmen (Ultra
High Definition) mit einer Auflösung von 10k x 5k parallel und in
Echtzeit. Cinebox dekodiert Videostreams für Multiprojektionssysteme,
bietet eine intuitive Bedienung für die Steuerung von Projektoren, das
Verwalten verschiedener Eingangssignale und das Einbinden diverser
AudioSysteme. Mit diesem Pool an Werkzeugen können die Forschenden
verschiedenste Installationen mit unterschiedlichen Projektionsflächen
sowie verschiedene Audiowiedergabesysteme bespielen. »Mit den für
DOMEconnect erweiterten Hard- und Softwarekomponenten sind wir in der
Lage, direkt aus der Game-Engine heraus hochauflösend auf das Projektions-
und Audiowiedergabesystem auszugeben. Sowohl die Visualisierungen als auch
die Einbindung von Videofeeds oder die zu den Bildern kohärente räumliche
Ausspielung von Klängen generieren und rendern wir in Echtzeit«, so
Weißig. »Planetarien bieten sich insofern als Abspielstätte an, als sie
über die Technik verfügen, die immersive Räume überhaupt erst ermöglicht.«

Die Welt von Immanuel Kant in immersiven Räumen erleben

Derzeit arbeiten Weißig und sein Team daran, Inhalte der Immanuel Kant-
Ausstellung, die vom 24. November 2023 bis 17. März 2024 in der
Bundeskunsthalle in Bonn lief, für immersive Räume zu adaptieren, um die
für übliche Display-Formate konzipierten animierten Inhalte zukünftig z.B.
auch in Planetarien zeigen zu können. Geplant ist, das Königsberg aus der
Zeit von Immanuel Kant in Form von virtuellen Welten in einer
360°-Umgebung erlebbar zu machen und dem Publikum die Gelegenheit zu
geben, durch die ehemalige Hauptstadt Ostpreußens, das heutige
Kaliningrad, zu spazieren und mit dem großen Philosophen in Dialog zu
treten. Erprobt wird die Technik zunächst im TiME Lab (Tomorrow‘s
Immersive Media Experience Laboratory) am Fraunhofer HHI, einer
Forschungs-, Kooperations- und Präsentationsplattform für immersive
Medien, die mit einer hochaufgelösten 180°-Videoprojektion und einem
wellenfeldbasierten 3D-Soundsystem ausgestattet ist.