OffTEC wird sich im Projekt mit der Forschungsfrage auseinandersetzen, welche Qualität der MR-Darstellung in Multi-User Szenarien mit unterschiedlich qualifizierten und erfahrenen Nutzern (Trainer, Auszubildender, Techniker, Rettungskräfte) notwendig ist, um in sehr anspruchsvoller, sich veränderter Umgebung zu der erwünschten Immersion und denen im Training angestrebten Situationsempfindungen zu führen. Um diese Frage zu beantworten, soll beim Üben in der MR mittels Biofeedbacks (HRV-Herzratenvariabilität, Atmung und andere Biomarker) die Belastungsgrenze der Trainingsteilnehmer gemessen und mit Übungen in der realen Umgebung verglichen werden. Hierbei sind verschiedene Stufen der Anwendbarkeit vorgesehen, von reinen VR/AR Anwendungen (Sinnesempfindungen: Temperatur, Feuchtigkeit, Einschränkung des Sehsinnes und der Atemfähigkeit im Über- und Unterwasserbereichen) bis hin zur Kombination mit der Nutzung von Realkomponenten (Mixed Reality), mögliche Anbindung an bestehende Geräte, Sensoren und Systeme. Über Trainingssituationen hinaus soll so auch der Bezug zur realen Nutzung von Ausstattungen, Geräten und Systemen im Arbeitsschutz und der realen Arbeitsumgebung dargestellt werden.

Das Fraunhofer IGD arbeitet als wissenschaftlich technischer Partner in dem Verbundvorhaben an der Erreichung der technologischen Grundziele. Hier stehen die gemeinsame Entwicklung, Integration und Anpassung der technologischen Infrastruktur für das belastungsorientierte adaptive VR-Training im Vordergrund. Dabei übernimmt das Fraunhofer IGD die methodisch, technische Unterstützung bei der Anforderungsanalyse, die konzeptionelle Mitarbeit bei der Erarbeitung einer Trainingsmethodik auf der Basis von Biofeedback-Systemen und die Implementierung, Integration und das Testen der technologischen Komponenten zur belastungsorientierten adaptiven VR-Steuerung.
Als Partner aus der angewandten Forschung versteht sich die Rolle des Fraunhofer IGD im Gesamtvorhaben als Vermittler an der Schnittstelle zwischen Wissenschaft und industrieller Praxis. Die neuesten wissenschaftlichen Erkenntnisse werden im Themengebiet durch das Fraunhofer IGD auf ihre Anwendbarkeit für das Gesamtvorhaben untersucht und bewertet. Technologisch reife Ansätze, die den Anforderungen des Trainings beim Projektpartner OffTEC Base GmbH entsprechen, werden für die anwendungsbezogene Umsetzung ausgewählt und weiterentwickelt. Dabei sind Arbeitsschwerpunkte des Fraunhofer IGD im Gesamtvorhaben die Erfassung und Bewertung von Trainingsbelastungen, die Steuerung der adaptiven VR-Trainingssimulation sowie die Erhöhung der Immersion.

Die Meilenstein Digital GmbH ist im Projekt für die grafische Umsetzung der virtuellen Szenarien sowie die Anbindung einer externen Steuerungslogik an die VR-Anwendung verantwortlich. Besonderes Augenmerk liegt dabei auf einer maximal möglichen, realitätsnahen Darstellung der virtuellen Handlungsabläufe, so wie die natürliche Anmutung der Handlung von Bots. Bots – d.h. Avatare von Besatzungsmitgliedern, sollen neben dem realen VR-Akteur computergesteuert bzw. programmiert in den jeweiligen Situationen determinierte Handlungen vollführen (z.B. öffnen der Helikopter Türe), um in der Anwendung die Notsituation so realistisch wie möglich darzustellen. Externe, immersionssteigernde Module sollen in die Anwendung eingebunden, schaltbar gemacht und umfassend getestet werden.

Hierzu liefert die Meilenstein Digital GmbH aufgrund Ihrer Erfahrung im Bereich der Programmierung von multiplen VR-Szenerien die Expertise, welche Ansätze umsetzbar sind und wenn ja, in welchem Umfang bzw. wie. Gleichzeitig werden die Partner während der gesamten Projektlaufzeit beratend unterstützt, speziell zur Vermeidung von Motion Sickness und Steigerung der Immersion.

Der Lehrstuhl von Prof. Dr. Stöber befasst sich im Rahmen des Projekts mit der Analyse und Umsetzung von ethischen, juristischen und sozialen Fragestellungen, insbesondere mit der Erforschung rechtlicher Fragestellungen, die mit dem Einsatz einer Mixed-Reality-(MR-)Trainingsumgebung verbunden sind. Die Klärung dieser Fragen dient zum einen der Entwicklung einer MR-Trainingsumgebung, die allen rechtlichen Sicherheitsanforderungen genügt, und zum anderen auch dem rechtssicheren Einsatz der MR-Trainingsumgebung unter Vermeidung von Haftungs- und anderen rechtlichen Risiken. Da über die integrierten Messsysteme der MR-Trainingsumgebung eine Messung und Auswertung personenbezogener Daten (insbesondere Sensorik und Aktorik) und eine automatisierte Bildverarbeitung stattfinden, wirft dies datenschutzrechtliche Fragen auf, die nach den komplexen Vorschriften der Datenschutzgrundverordnung der EU zu beantworten sind. Aus den Vorgaben der Datenschutzgrundverordnung ergeben sich auch die Anforderungen an ein Datenschutzkonzept, das für den Einsatz der MR-Trainingsumgebung zu entwickeln ist.
Der ausreichende rechtliche Schutz der zum Teil sensiblen und höchstpersönlichen Daten, die im Rahmen der MR-Trainingsumgebung erhoben werden, ist zugleich Voraussetzung für die rechtsethische Vertretbarkeit dieser Trainingsmethode und für deren soziale Akzeptanz bei den potentiellen Nutzern. Durch die Simulation von physisch und psychisch belastenden Situationen können auch Überreaktionen der Teilnehmenden ausgelöst werden. Aus ethischen Gründen, u. U. aber auch aus rechtlichen Gründen (z. B. gegenüber Arbeitnehmern aufgrund der Fürsorgepflicht des Arbeitgebers) ist es geboten, eine Bloßstellung der betreffenden Teilnehmenden infolge ihrer Reaktion auf Stresssituationen in der MR-Trainingsumgebung vor anderen Teilnehmenden möglichst zu vermeiden. Insoweit bedarf es der Entwicklung ethischer und rechtlicher Leitlinien für eine Ausgestaltung der MR-Trainingsumgebung, die Bloßstellungssituationen vermeiden. Gleichermaßen sind ethische und rechtliche Leitlinien für eine im Vorfeld des Trainings durchzuführende Instruktion der Teilnehmenden über den angemessenen Umgang mit Überreaktionen einzelner Teilnehmender zu erarbeiten. Wiederum ist die Vermeidung von Bloßstellungssituationen der geschilderten Art bedeutsam für die soziale Akzeptanz der Trainingsmethode.

Damit wird mit diesem Vorhaben eine Validierung der VR/AR/MR-Implementierungen hinsichtlich ethischer, rechtlicher, sozialer Fragestellungen und deren physiologischer und psychischer Auswirkungen auf die Arbeitskräfte durchgeführt. Dies umfasst auch die juristische Untersuchung der Vereinbarkeit von Feedback, Messergebnissen und Verhaltensdokumentationen der Teilnehmenden mit ethischen, rechtlichen und sozialen Kriterien.