Exploration Sandbox für Augmented Reality (ESAR)

Ziel dieser Studie war und ist es, ein Explorationstool weiterzuentwickeln, mit dem das Potenzial von AR-Systemen für neue Kampfsysteme, wie z. B. das Main Ground Combat System (MGCS), systematisch ausgelotet werden kann. Dazu sollen Anwendungsfälle, Benutzerschnittstellen, Symbologie-Muster, Weiterentwicklung der Explorationsmethodik und Durchführung von Explorationen im Feld betrachtet werden.

Da die Kombinationsmöglichkeiten der Gestaltungsdimensionen wie Form, Farbe, Interaktionsmodalität etc. so vielfältig sind, ist es praktisch unmöglich, alle Kombinationen vollständig durch Experimente zu validieren. Um funktionierende und praktikable Lösungen mittels AR zu erreichen, bietet sich das Vorgehensparadigma der (Mensch-System-)Exploration an. Der Technologieträger JODAA (Joint Operational Demonstrator for Advanced Applications) bot für die (Mensch-System-)Exploration von AR-Symboliken in Kampffahrzeugen die Grundlage.

Das Vorgehen orientiert sich an der bereits bewährten Abfolge von Anforderungsanalyse, Technologierecherche, Anpassung der Testplattform, Exploration der Gestaltungsmöglichkeiten, Auswahl, Beschaffung, Installation und Anpassungen der Technologien sowie der Dokumentation. Dabei wird insbesondere Wert daraufgelegt, von Anfang an einsatzerfahrene Soldaten, also die Nutzer, mit einzubeziehen, Konzepte mit ihnen, den Bedarfsträgern und weiteren Stakeholdern gemeinsam explorativ zu gestalten und die vielversprechendsten Varianten in Software und Hardware zu implementieren. Auf diese Weise werden die umgesetzten Varianten erfahrbar und können zugleich im JODAA getestet und demonstriert werden.

Eine (Mensch-System-)Exploration ist dabei eine systemische und systematische Erkundung von neuen Soldat-Maschine-Systemen, in Analogie zu Erkundungen und Aufklären im Gefecht und den Exploratory Teams der NATO-STO. Dazu wird gemeinsam mit Nutzern die Menge möglicher Lösungen systematisch so weit eingegrenzt, dass genauere Untersuchungen möglich werden, ohne nutzerrelevante Aspekte aus dem Blick zu verlieren. 

Für die explorative Erstellung der AR-Elemente wurde ein User Interface, die Exploration Sandbox, entwickelt. Damit lassen sich Elemente schnell entwerfen, in Echtzeit einsetzen und evaluieren. Verschiedene Verhaltensweisen – visuelle, akustische und haptische – können dem Element zugewiesen werden. Mit diesem User Interface können sowohl Entwickler, Anwender als auch Stakeholder aktiv an dem Entstehungsprozess der Verhaltensmuster mitwirken.

Nachdem die Möglichkeit geschaffen wurde, AR-Symboliken zu explorieren und zu gestalten, wurde untersucht, inwieweit die in anderen Projekten erarbeiteten AR-Technologien und Methoden in landgestützten Plattformen übertragen werden können.

Als Basisfahrzeug wurde hier der FuT (Forschung und Technologie) Demonstrator GTK BOXER JODAA ausgewählt. Dazu wurde in einem Workshop ein relevantes Szenario mit verschiedenen Anwendungsfällen für AR beschrieben. Darauffolgend wurde die Exploration Sandbox weiterentwickelt und die entsprechenden Schnittstellen mit dem Battle Management System (BMS) in Zusammenarbeit mit den Projektpartnern geschaffen. Das BMS sorgt für einen Informationsaustausch zwischen verschiedenen Einheiten.

Zusammen mit Vertretern der WDT 91, des Fraunhofer FKIE und des Zentrums Kraftfahrwesen der Bundeswehr (ZKfWBw) wurde ein Workshop zum Thema »Blue Team Tracking« durchgeführt. Dabei wurden Kleinlagen entwickelt, beispielsweis eine Konvoifahrt mit Kontaktverlust eines Fahrzeuges und anschließender Rettungsmission sowie eine Konvoifahrt zur Zielzone.

Über mehrere Wochen wurden die entwickelten Systeme in das Forschungsfahrzeug JODAA integriert, getestet und die Untersuchung zusammen mit den Projektpartnern vorbereitet. Anschließend wurden die entwickelten Szenare in einer Untersuchung mit Probanden durchgespielt und abgefahren. An mehreren Stellen im Szenario wurde die Darstellungsform der AR-Symbole diskutiert und konnten dank der Exploration Sandbox entsprechend der Rückmeldung der Nutzer direkt abgeändert werden. In Workshops und über Fragebögen wurden abschließend Erfahrungen und Meinungen erhoben. Auf dieser Basis wurden die AR-Darstellungen optimiert und erweitert. 

In weiteren Schritten wurden die Interaktionsmuster um den Schwerpunkt »Red Teaming« sowie die Gestaltung der AR-Interaktion und des Informationsmanagements erweitert. Auch wurden der Exploration Sandbox sowie der AR-Anwendung zusätzliche Funktionen hinzugefügt. Dadurch werden Symbolüberlagerungen besser gelöst, das Situationsbewusstsein durch Kompassfunktionen unterstützt und eine Interaktion mit den Symbolen ermöglicht. Eine Untersuchung dieser Optimierung fand im Frühjahr 2023 mit Bundeswehrsoldaten verschiedener Einsatztruppen statt. 

• Wehrtechnische Dienststelle 91 (WTD 91)
• BAAINBW – Bundesamt für Ausrüstung Informationstechnik und Nutzung der Bundeswehr
• NATO
• Rheinmetall Landsysteme GmbH (RLS)