3. Netzwerktreffen in Fellbach

Am 6.10. und 7.10.2023 fand der dritte Workshop des Living Lab „XR-Interact“ im Virtual Dimension Center in Fellbach statt. Hauptaugenmerkt dieses Netzwerktreffens war die Vorstellung von V/AR-Projekten und deren Prototypen. Darüber hinaus wurden erste Evaluationsergebnisse der Projekte vorgestellt.  Es fand ein ausgiebiger Austausch zu V/AR Lösungsansätzen, MR-Technologien sowie gemeinsamen Fragestellungen statt. Neben den Projekten „VoluProf“, „FederLeicht“ und „Goethe-Live 3D“ stellten die Konsortialpartner das Projekt „Next Reality“ den Netzwerkpartnern vor. Der Demonstration folgend fand eine Evaluation der Demonstratoren statt. Das Projekt „NextReality“ wurde mit dem Fokus auf die VR-Umgebung vorgestellt mit einem Einblick in die virtuellen Absturzszenarien.


Erster Probandentest bei OffTEC Base

Am 31.05.2023 konnte unser Konsortium zum ersten Mal unser Demonstrator mit externen Gästen erproben. Der Fokus lag bei diesen Tests auf der Erprobung des Virtual Reality Systems (VR-Display, Seat-Mover, etc.) sowie auf einer ersten Evaluation der Vitaldatenmessung. Die Aufnahme von u.a. der Herzraten und Hautleitwert als Indikatoren für den Stress der Probanden waren erfolgreich und werden nun ausgewertet. Zudem wurde die subjektiven Stresswahrnehmung und das Immersionsempfinden der Probanden durch Fragebögen erfasst. Die Eignung der Fragebögen zur Beantwortung der Fragestellung wird nun evaluiert. Eine zusätzliche Befragung der Teilnehmenden zum absolvierten Test soll uns ermöglichen, das Gesamtsystem weiter zu verbessern.


Tests mit Echtzeitströmungssimulation

Da sich in unserem Projekt viel um das Thema Wasser dreht, spielt natürlich auch dessen realistische Darstellung eine sehr große Rolle. Unser Ziel ist es, nach dem Absturz des Helikopters ein möglichst realistisches Eindringen von Wasser in den Passagierraum des Helikopters zu schaffen. Dabei soll bei dem Proband das Gefühl erzeugt werden, dass die Wasserlinie über seinen Kopf steigt, was eine zusätzliche Immersionssteigerung darstellt und ebenso soll eine ansprechende Unterwassersituation visualisiert wird. Bei unserer Recherche nach geeigneten Plugins, die in der Unreal Engine einsetzbar sind, sind wir auf das Plugin Fluid Flux gestoßen und haben es ausgiebig getestet.

Das Fluid Flux Plugin für die Unreal Engine kann bei der Simulation eines Helikopterabsturzes auf verschiedene Arten unterstützen, um eine realistische und beeindruckende Darstellung zu erzielen. Hier sind einige Möglichkeiten, wie das Plugin in diesem Szenario helfen kann:

  1. Realistische Wasserdarstellung: Das Fluid Flux Plugin ermöglicht die Simulation von Wasser mit realistischen Strömungen, Wellen und Interaktionen. Es kann dabei helfen, die Oberfläche des Meeres realitätsnah darzustellen, um den Helikopterabsturz und seine Auswirkungen auf das Wasser authentisch zu visualisieren.
  2. Kollisionen und Interaktionen mit dem Wasser: Das Plugin ermöglicht die Interaktion des Helikopters mit dem simulierten Wasser, was eine realistische Darstellung der Kollision und die Ausbreitung von Wellen oder Gischt um den Helikopter herum ermöglicht. Dies trägt zur Immersion und Genauigkeit der Simulation bei.
  3. Effekte von Strömungen und Turbulenzen: Das Fluid Flux Plugin kann Strömungen und Turbulenzen im Wasser simulieren, die durch den Absturz des Helikopters verursacht werden. Dadurch können die Auswirkungen des Absturzes auf die Wasseroberfläche und die umgebende Umwelt authentisch dargestellt werden.
  4. Unterwasserbewegungen und -effekte: Nach dem Aufprall kann das Plugin realistische Bewegungen und Ausbreitungen des Wassers unter der Oberfläche simulieren. Dies schließt die Erzeugung von Strömungen, Blasen und Unterwasserbewegungen ein, um das Szenario des Helikopterabsturzes unter Wasser zu verbessern.
  5. Anpassbare Szenarien und Parameter: Das Fluid Flux Plugin erlaubt es, verschiedene Szenarien anzupassen und zu konfigurieren. Parameter wie Intensität der Wellen, Stärke der Strömungen und Ausbreitung des Wassers können angepasst werden.

Die Kombination dieser Funktionen des Fluid Flux Plugins unterstützt die Schaffung einer realistischen und beeindruckenden Simulation eines Helikopterabsturzes, die für unsere immersive Erfahrung genutzt werden kann.


Workshop Demonstrator-Plattform

Im Rahmen der Entwicklung von geeigneten Demonstratoren zur Messung der Immersionswirkung im Rahmen der „HUET“ Notfallszenarien wurde seitens der Projektpartner festgestellt, dass für eine widerholbare Parametermessung ein mit der VR-Anwendung kompatible AR-Erweiterung notwendig ist. Für die Erweiterungen, die physikalisch auf den Probanden wirken, wurde eine geeignete Demonstrator-Plattform entwickelt.

Die Demonstrator-Plattform verstärkt die Immersion weiter und wirkt der verursachten Motion Sickness entgegen. Gemeinsam einigten sich die Projektpartner für den Einsatz eines Seat Movers. Nach ausgiebigen Recherchen fiel die Entscheidung auf Grund seines großen Bewegungsspielraumes, sowie der Möglichkeit einer 3D-Bewegungserweiterung mit größtmöglichen Winkeln in den drei Achsen auf das Modell YAW2 von YAWVR. Die Tests werden zzt. in 2 Bewegungsdimensionen (Kippen der Achsen, keine Drehungen) durchgeführt, um die Handhabung der haptischen Gegenstände im Szenarienverlauf zu ermöglichen. Bei den haptischen Elementen handelt es sich zum aktuellen Stand um ein Notfall- Atemgerät (CA-EBS), einen 4 Punkt-Sicherheitsgurt und ein Nachbau eines Helikopterfensters. Diese Elemente sollen mit vive-Trackern versehen werden, damit der in der Realität durchgeführten Maßnahme, der der Simulation gleicht (Beispiel: Fenster öffnen, Atemgerät nutzen, Gurt öffnen). Für das Tracking der Handbewegungen sollen Wrist-Tracker von vive genutzt werden. Der Demonstrator-Aufbau wird aktuell mit Hilfe von zwei Trassenringen, sowie einer Holzkonstruktion realisiert. An der Holzkonstruktion befinden sich die Tracker zur räumlichen Erfassung der VR-Brille und der Nachbau eines Notfall-Ausstiegsfensters eines Helikopters.


Remote Steuerung für Wetterbedingungen

Bereits zu Beginn des Projektes waren sich die Partner einig darüber, dass eine Art Fernbedienung für verschiedene Wettersituationen und Einstellungen an den Szenarien benötigt wird. Zum Einen sollte es möglich sein, durch die Einstellungen die Dramatik im Szenario und damit die Immersion zu erhöhen. Zum Anderen wird die Fernbedienung die Möglichkeit bieten, den Trainingsteilnehmer bei zu hohem Stresslevel wieder aus der dramatischen Situation eines Heliktopterabsturzes in ein beruhigendes Szenario zurückzubringen. Für die aktuellen Szenarien wurde die Applikation TouchOSC implementiert, welche auf einem iPad installiert wurde. Auf Unreal Seite werden Parameter für die Einstellungen am Wetter und den Szenarien bereitgestellt. Für die Verbindung zwischen Unreal Engine und TouchOSC wird über die UDP Protokoll kommuniziert und die Eingabebefehle in MIDI Signale übersetzt. TouchOSC erwies sich als sehr flexibel und nutzerfreundlich. Die Erstellung der Benutzeroberfläche erfolgt in einem leicht zu bedienenden Editor. Nach erfolgreicher Konfiguration der Slider und Buttons für die einzustellenden Parameter wird über den Play Button die Remote aktiviert. Wird die NextReality Anwendung dann gestartet, können alle Werte bequem über das Tablet gesteuert werden.

Folgende Parameter wurde bis jetzt eingebaut:

  •  Ausrichtung des VR Headsets zurücksetzen
  • Seatmover Neigung
  • Sitzposition
  • Szenarienauswahl (Boarding, Normalflug, Absturz)
  • Wetter (Tageszeit, Helligkeit, Wind)
  • Ozean Presets
  • Wetter Presets

Aufgrund der Tatsache, dass TouchOSC kein OpenSource ist und Lizenzen für den kommerziellen Einsatz erworben werden müssten, haben sich die Projektpartner dazu entschieden, die Remote Steuerung neu zu programmieren und in die App für die Vitaldatenmessung, die durch das Fraunhofer IGD entwickelt wird, zu integrieren.

TouchOSC User Interface