XR-Expo in Stuttgart

Am 03. und 04. April fand die XR-Expo in Stuttgart statt, bei dieser Messe wurden modernste XR-/MV-Technologien sowie professionelle Anwendungen in den Bereichen Industrie, Architektur, Gesundheit, Handel und Handwerk präsentiert. Das Projektteam NEXT-Reality stellte die Anwendung, die einen Helikopterabsturz, sowie eine Lerneinheit zur Selbstrettung aus einem verunglückten Helikopter vor. Der Fokus der Demonstration lag auf der Immersion der Simulation, sowie Interaktion mit dem virtuellen Trainer. Neben vorwiegend positiven Rückmeldungen und konstruktiven Kritiken wurde das Projekt vom SWR, sowie der ARD-Tagesschau in Form von Videobeiträgen über die XR-Expo öffentlich vorgestellt.

Am 05. April fand der vierte Workshop des Living Lab „XR-Interact“ statt. Der Fokus lag auf der Erprobung und Evaluierung ausgewählter Projekte sowie dem Austausch zu dem Projektständen. Der Messeauftritt war erfolgreich und wurde sowohl von Besuchern, Testpersonen als auch von Projektverantwortlichen positiv bewertet.

Interview mit Andreas Rauschelbach: Einsatzkräfte mit NEXT-Reality virtuell auf Notsituationen vorbereiten

Videos


3. Netzwerktreffen in Fellbach

Am 6.10. und 7.10.2023 fand der dritte Workshop des Living Lab „XR-Interact“ im Virtual Dimension Center in Fellbach statt. Hauptaugenmerkt dieses Netzwerktreffens war die Vorstellung von V/AR-Projekten und deren Prototypen. Darüber hinaus wurden erste Evaluationsergebnisse der Projekte vorgestellt.  Es fand ein ausgiebiger Austausch zu V/AR Lösungsansätzen, MR-Technologien sowie gemeinsamen Fragestellungen statt. Neben den Projekten „VoluProf“, „FederLeicht“ und „Goethe-Live 3D“ stellten die Konsortialpartner das Projekt „Next Reality“ den Netzwerkpartnern vor. Der Demonstration folgend fand eine Evaluation der Demonstratoren statt. Das Projekt „NextReality“ wurde mit dem Fokus auf die VR-Umgebung vorgestellt mit einem Einblick in die virtuellen Absturzszenarien.


Tests mit Echtzeitströmungssimulation

Da sich in unserem Projekt viel um das Thema Wasser dreht, spielt natürlich auch dessen realistische Darstellung eine sehr große Rolle. Unser Ziel ist es, nach dem Absturz des Helikopters ein möglichst realistisches Eindringen von Wasser in den Passagierraum des Helikopters zu schaffen. Dabei soll bei dem Proband das Gefühl erzeugt werden, dass die Wasserlinie über seinen Kopf steigt, was eine zusätzliche Immersionssteigerung darstellt und ebenso soll eine ansprechende Unterwassersituation visualisiert wird. Bei unserer Recherche nach geeigneten Plugins, die in der Unreal Engine einsetzbar sind, sind wir auf das Plugin Fluid Flux gestoßen und haben es ausgiebig getestet.

Das Fluid Flux Plugin für die Unreal Engine kann bei der Simulation eines Helikopterabsturzes auf verschiedene Arten unterstützen, um eine realistische und beeindruckende Darstellung zu erzielen. Hier sind einige Möglichkeiten, wie das Plugin in diesem Szenario helfen kann:

  1. Realistische Wasserdarstellung: Das Fluid Flux Plugin ermöglicht die Simulation von Wasser mit realistischen Strömungen, Wellen und Interaktionen. Es kann dabei helfen, die Oberfläche des Meeres realitätsnah darzustellen, um den Helikopterabsturz und seine Auswirkungen auf das Wasser authentisch zu visualisieren.
  2. Kollisionen und Interaktionen mit dem Wasser: Das Plugin ermöglicht die Interaktion des Helikopters mit dem simulierten Wasser, was eine realistische Darstellung der Kollision und die Ausbreitung von Wellen oder Gischt um den Helikopter herum ermöglicht. Dies trägt zur Immersion und Genauigkeit der Simulation bei.
  3. Effekte von Strömungen und Turbulenzen: Das Fluid Flux Plugin kann Strömungen und Turbulenzen im Wasser simulieren, die durch den Absturz des Helikopters verursacht werden. Dadurch können die Auswirkungen des Absturzes auf die Wasseroberfläche und die umgebende Umwelt authentisch dargestellt werden.
  4. Unterwasserbewegungen und -effekte: Nach dem Aufprall kann das Plugin realistische Bewegungen und Ausbreitungen des Wassers unter der Oberfläche simulieren. Dies schließt die Erzeugung von Strömungen, Blasen und Unterwasserbewegungen ein, um das Szenario des Helikopterabsturzes unter Wasser zu verbessern.
  5. Anpassbare Szenarien und Parameter: Das Fluid Flux Plugin erlaubt es, verschiedene Szenarien anzupassen und zu konfigurieren. Parameter wie Intensität der Wellen, Stärke der Strömungen und Ausbreitung des Wassers können angepasst werden.

Die Kombination dieser Funktionen des Fluid Flux Plugins unterstützt die Schaffung einer realistischen und beeindruckenden Simulation eines Helikopterabsturzes, die für unsere immersive Erfahrung genutzt werden kann.


Remote Steuerung für Wetterbedingungen

Bereits zu Beginn des Projektes waren sich die Partner einig darüber, dass eine Art Fernbedienung für verschiedene Wettersituationen und Einstellungen an den Szenarien benötigt wird. Zum Einen sollte es möglich sein, durch die Einstellungen die Dramatik im Szenario und damit die Immersion zu erhöhen. Zum Anderen wird die Fernbedienung die Möglichkeit bieten, den Trainingsteilnehmer bei zu hohem Stresslevel wieder aus der dramatischen Situation eines Heliktopterabsturzes in ein beruhigendes Szenario zurückzubringen. Für die aktuellen Szenarien wurde die Applikation TouchOSC implementiert, welche auf einem iPad installiert wurde. Auf Unreal Seite werden Parameter für die Einstellungen am Wetter und den Szenarien bereitgestellt. Für die Verbindung zwischen Unreal Engine und TouchOSC wird über die UDP Protokoll kommuniziert und die Eingabebefehle in MIDI Signale übersetzt. TouchOSC erwies sich als sehr flexibel und nutzerfreundlich. Die Erstellung der Benutzeroberfläche erfolgt in einem leicht zu bedienenden Editor. Nach erfolgreicher Konfiguration der Slider und Buttons für die einzustellenden Parameter wird über den Play Button die Remote aktiviert. Wird die NextReality Anwendung dann gestartet, können alle Werte bequem über das Tablet gesteuert werden.

Folgende Parameter wurde bis jetzt eingebaut:

  •  Ausrichtung des VR Headsets zurücksetzen
  • Seatmover Neigung
  • Sitzposition
  • Szenarienauswahl (Boarding, Normalflug, Absturz)
  • Wetter (Tageszeit, Helligkeit, Wind)
  • Ozean Presets
  • Wetter Presets

Aufgrund der Tatsache, dass TouchOSC kein OpenSource ist und Lizenzen für den kommerziellen Einsatz erworben werden müssten, haben sich die Projektpartner dazu entschieden, die Remote Steuerung neu zu programmieren und in die App für die Vitaldatenmessung, die durch das Fraunhofer IGD entwickelt wird, zu integrieren.

TouchOSC User Interface