Sichtunterstützungssysteme in Kampfräumen

Zeit, Kosten und aktuelle technologische Möglichkeiten sind die wichtigsten Rahmenbedingungen für die Entwicklung neuer Lösungen. Dies zeigt sich besonders deutlich im militärischen Bereich: Bis ein neues Fahrzeug im Einsatz ist, können Jahrzehnte vergehen. Zudem sind die Budgets viel größer als auf dem zivilen Markt. Um dies handhabbar zu machen und die Zeit für zukünftige Nachrüstungen in älteren Fahrzeugen zu verkürzen, wurde eine Methode entwickelt, die eine realistische frühzeitige Bewertung neuer Lösungen ermöglicht. Diese Methode nutzt die Tangible XR-Technologie, um den Nutzer in das Zielprodukt eintauchen lassen zu können.

Methodenentwicklung für die Evaluation von Sichtunterstützungssystemen in Kampfräumen (MESiKa)

© Fraunhofer FKIE
Vorgehen der balanced Analysis angewandt auf MESiKa
© Fraunhofer FKIE
Simulator Mock-Up: links Fahrer, rechts Kommandant und Schütze

Mithilfe der in vorhergehenden Projekten erstellten Methode wurde eine komplexe Simulationsplattform für die Bewertung von Sichtsystemen entwickelt. Dieser Simulator verwendet das Konzept der Tangible XR und ermöglicht dem Nutzer ein immersiveres Erlebnis (presence). Der Nutzer kann durch den Simulator die wichtigsten Objekte um ihn herum fühlen und mit ihnen physisch interagieren. Schnittstellen wie Spiegel, Bedienelemente, Pedale und Bildschirme gibt es sowohl in der virtuellen Welt als auch in der Realität. Diese Schnittstellen können in der virtuellen Umgebung leicht gegen verschiedene Versionen ausgetauscht werden und bieten so eine große Flexibilität bei der Gestaltung und Bewertung von Prototypen und Konzepten.

Die Validierung der entwickelten Methodik und der Simulationsplattformen sowie der weitere Ausbau der Methodik waren die Schwerpunkte des Projekts MESiKa.

© Fraunhofer FKIE
Bildhafte Darstellung des Szenarioaufbaus
© Fraunhofer FKIE
Beispiel für die Sichtsysteme des Militärkraftfahrers in der VR. Die Bildschirme und ihre Position können leicht geändert werden.
© Fraunhofer FKIE
Beispiel für die Sichtsysteme des Richtschützen in der VR. Die Bildschirme und ihre Position können leicht geändert werden.

Bei der Methodik der balanced Analysis besteht der erste Schritt darin, Informationen für die Vorbereitung der Simulationsplattform zu sammeln. Dies wurde durch einen Workshop erreicht, bei dem Stakeholder und Nutzer Details zu ihren Operationen, Interaktionen und Dynamiken nicht nur zwischen der Besatzung, sondern auch mit anderen Fahrzeugen liefern konnten. Die gewonnenen Informationen wurden für die Vorbereitung der Simulationsplattform verwendet. Zunächst wurde eine neue virtuelle Umgebung geschaffen. Diese Umgebung enthielt eine Auswahl von Situationen, in denen die Besatzung kooperieren und die verfügbaren Sichtsysteme nutzen musste, um erfolgreich ihre Aufgaben zu erfüllen. 

Parallel dazu wurde auch am physischen Mock-Up gearbeitet, um seine Funktionsweise mit den Erkenntnissen vorausgegangener Experimente zu verbessern. Die Steuerung und das Headset-Tracking waren dabei die beiden wichtigsten Bereiche. Um die Vorbereitung des Simulators abzuschließen, mussten die Sichtsysteme genau implementiert werden. Diese Sichtsysteme umfassen Kamera-Monitor-Systeme in alten und neuen Konfigurationen für den SPz PUMA, die Winkelspiegel sowie die umgebenden Kameras.

Diese implementierten Sichtsysteme wurden dann mithilfe von ausgebildeten Soldaten im Tangible XR-Simulator evaluiert. Die Aufgabe bestand darin, den vorbereiteten Parcours zunächst mit der derzeitigen Konfiguration im SPz PUMA (Winkelspiegel und alte Monitore) und anschließend mit der vorgeschlagenen neuen Anordnung, vergleichbar mit der Very High Readiness Joint Task Force (VJTF)-Version des PUMA (neuere und größere Monitore mit besserer Auflösung), zu durchfahren.

Schließlich wurden durch eine Reihe von Interviews Informationen über Belastung und Beanspruchung (Workload), Nutzererlebnis (User Experience) und andere Aspekte gesammelt. Die Ergebnisse sind wichtig und vielversprechend, denn sie zeigen, dass zumindest unter diesen Testbedingungen Unterschiede zwischen den Sichtsystemen in VR von den Nutzern wahrgenommen und bewertet werden können.

© Fraunhofer FKIE / BAAINBw
Kommandant beim Führen des Fahrzeugs im Tangible XR-Simulator
© Fraunhofer FKIE / BAAINBw
Militärkraftfahrer im Simulator-Mock-Up
© Fraunhofer FKIE / BAAINBw
Veränderung der Winkelspiegel im Simulator

In diesem Projekt wurden zwei Sichtsysteme mit Nutzern im Tangible XR-Simulator miteinander verglichen, wobei Unterschiede bei der Bewertung festgestellt werden konnten.

Der nächste Schritt besteht darin, die untersuchten Sichtsysteme in einem realen Fahrzeug zu testen und die Methodik auf andere Fahrzeugplattformen auszuweiten. Auch wenn die Vorbereitung eines Realexperiments komplexer ist und zusätzliche Parteien involviert sind, soll ebenfalls die Balanced-Analysis-Methode verwendet werden. Das Ziel dieses direkten Vergleichs ist festzustellen, welche Aspekte hinsichtlich Sichtsystemen im Tangible XR-Simulator bewertet werden können und welche Aspekte weiterhin in der Realität getestet werden müssen.

Da sich die Methodik im Hinblick auf den SPz PUMA als nützlich erwiesen hat, sollte ihre Eignung für den Einsatz auch bei anderen Fahrzeugplattformen geprüft werden. Um dies zu erreichen, wurde eine erste Bewertung mit einem KPz Leopard II durchgeführt, was sowohl Änderungen am Hardware-Mockup als auch eine neue Umgebung in VR erfordert. Ähnliche Ergebnisse wie die zuvor erzielten wären ein Hinweis auf die Verallgemeinerbarkeit der Methode.

Bielecki, K., Bloch, M., Schmidt, R., Hernández, D. L., Baltzer, M., & Flemisch, F. (2019, September). Tangible virtual reality in a multi-user environment. In Proceedings of the 11th International Conference on Automotive User Interfaces and Interactive Vehicular Applications: Adjunct Proceedings (pp. 76-80).

López-Hernández, D., Bloch, M., Bielecki, K., Schmidt, R., Baltzer, M. C. A., Flemisch, F.: Tangible VR Multi-user Simulation Methodology for a Balanced Human System Integration. In: Advances in Simulation and Digital Human Modeling. pp. 183–189. Springer International Publishing (2020). https://doi.org/10.1007/978-3-030-51064-0_24