Blicksteuerung mit unbemannten Plattformen

Durch die Zunahme von Automatisierung und autonomen Funktionen im militärischen Bereich ist abzusehen, dass sich die Rolle der Soldaten von einer (aktiv) steuernden hin zu einer (teilweise passiv) führenden bzw. überwachenden entwickelt. Dem bereits bekannten Out-of-the-Loop-Problem kann mit neueren Konzepten wie der Shared & Cooperative Control entgegengewirkt werden. Hierbei wird der Soldat an richtiger Stelle involviert, um ausreichendes Automationsbewusstsein (Mode Awareness) und Kontrollierbarkeit (Meaningful Human Control) zu gewährleisten.

Dies kann auch die Einsatzfähigkeit während der Teleoperation steigern – insbesondere, weil für diese Form der Kontrolle traditionelle Interaktionsmethoden weniger effizient sind und somit weiterentwickelt werden müssen. Die Interaktion über Blicke spielt beim Menschen sowohl für die Informationsaufnahme als auch für die Kooperation untereinander eine Schlüsselrolle. Dies kann auf die Mensch-Technik-Kooperation und -Interaktion übertragen werden. Hierfür wurde ein bereits gut erforschtes Interaktionskonzept (die Eingabe über eine Eingabeeinheit) mit einer blickgesteuerten Interaktion (Gaze-Based Control) in Form von Eyetracking kombiniert. Zudem wurde dem reinen Eyetracking eine zusätzliche Interaktionskomponente hinzugefügt, die eine manuelle Verfeinerung bzw. Anpassung des eigentlichen Blickpunktes möglich macht.

Der Operateur steuert und überwacht über einen Bildschirm, gepaart mit Eyetracking und einem manuellen Eingabegerät (Gamepad), ein automatisiert fahrendes Bodenfahrzeug. Seine Aufgabe ist es, von der Software zuvor erkannte Objekte auszuwählen und zu klassifizieren. Hilfestellung geben dabei Einblendungen (Augmented Reality, AR) auf dem real übertragenen Bild (zumeist ein Kamerabild) in Form von Informationen oder Hinweisen, z. B. zu Objekten und Gebieten. 

Der Ansatz der Human Systems Integration bietet den notwendigen Freiraum, neue Ideen und Methoden zu entdecken und die Vielfalt möglicher Designs und Nutzungssituationen systematisch zu erkunden und einzugrenzen.

Das gewählte Interaktionskonzept wird sowohl in einer reinen Simulationsumgebung wie auch in einer AR-Anwendung mit Kamerabildübertragung eines ferngesteuerten Unmanned Ground Vehicle (UGV) im Feldeinsatz erprobt. Das Setup des Bedienerarbeitsplatzes bleibt für beide Erprobungsfälle identisch. Die Einheitlichkeit der Interaktion wird durch die Verwendung von identischen Interaktionsmustern sichergestellt.

Das Setup besteht aus drei Hauptkomponenten: Benutzer, Hardware-Setup und Simulations- / AR-Software. Das Hardware-Setup setzt sich aus einem 3-Monitor-System, drei Eyetrackern und einem Gamepad als zusätzliche Eingabeeinheit zusammen. Die Systemkomponenten wurden in einer Simulatorkonstruktion zusammengeführt. Auf den drei Bildschirmen wird die Sicht des simulierten bzw. realen Erkundungsfahrzeugs angezeigt. In die Sicht des Operateurs wurden u. a. Symbole nach NATO-APP6 (D) Standard eingeblendet, welche die Objekte markieren. Eine Visualisierung der Blickpunkterfassung in Form eines Cursors und haptische Interaktion mit dem Gamepad ermöglichen die Interaktion mit den dargestellten Symbolen. Über eine separate Benutzeroberfläche auf einem Tablet werden die Eigenschaften der Einblendungen (Größe, Form, Verhalten etc.) aufgezeichnet und bei Bedarf in Echtzeit in der Software bzw. Simulation geändert.

Die Rückmeldungen der Probanden während und nach einer ersten explorativen Studie überschnitten sich in den wichtigen Aspekten. So waren alle Teilnehmer überrascht von der Genauigkeit der Blickpunkterfassung. Generell deuten die Ergebnisse der Studie auf eine potenziell hohe Nutzbarkeit des implementierten Prototyps.

Grundsätzlich kann Blickmessung eingesetzt werden, um als Eingabemedium in Aufklärungssituationen zu dienen. Der aktuelle Stand der Blickrichtungsmessung ermöglicht präzise Selektionen, was unterstützt durch eine haptische Komponente weiter abgesichert werden kann. Hier muss insbesondere die Abschätzung zwischen Kritikalität, z. B. Waffenauslösung, und Robustheit der Interaktion sichergestellt werden.

Aus dem umfangreichen Gestaltungsraum konnte zudem ein mögliches Interaktionsdesign zur blickbasierten Steuerung skizziert und in Software getestet werden. Die gewonnenen Erkenntnisse flossen in Symboldesign, Einstellbarkeit von Modalitäten und Interaktionskonzept zurück und wurden auf einen Realaufbau übertragen.

In einem nächsten Schritt werden die Szenarien sukzessive zu komplexeren und realistischeren Einsatzbedingungen weiterentwickelt. Auf den ersten explorativen Teil folgt eine experimentelle Phase, in der konkrete Gestaltungsoptionen miteinander verglichen werden können. Die qualitativen Aussagen der durchgeführten Untersuchung werden dabei durch quantitative Daten zu Performanz und Fehlerrate ergänzt.

Zudem wurde der Simulationsaufbau in Zusammenarbeit mit der Schwesterabteilung ITF bereits prototypisch um ein weiteres Eingabemedium erweitert: die Spracheingabe. Nachdem ein Objekt über die Blicksteuerung ausgewählt wurde, kann dieses über eine Spracheingabe klassifiziert werden. Dadurch erhöht sich der mögliche Detailierungsgrad deutlich, da mehr als vier verschiedene und somit auch genauere Klassifizierungen möglich sind. Inwiefern diese Kombination der Methoden eine Verbesserung hinsichtlich Bedienerfreundlichkeit, Arbeitseffizienz und Fehleranfälligkeit darstellt, wird in weiteren Studien untersucht.

Deren Ergebnisse können zukünftig als Grundlage für Projekte wie MGCS, FCAS oder auch die Kommandobrücke der Marine dienen und diese entscheidend vorantreiben.