ARIEL – Augmented Reality bei Wartung und Instandsetzung von Luftfahrzeugen

Fortschrittliche Transportflugzeuge werden mit dem Ziel entwickelt, steigende Anforderungen im Bereich taktischer und strategischer Logistik zu adressieren. Mit derartigen Anforderungen erhöht sich auch die Komplexität dieser Luftfahrzeuge – so weisen allein die Triebwerke moderner Maschinen wie dem Airbus A400M oftmals weit über 10 000 Einzelteile auf. Die Wartung solch komplexer Systeme stellt höchste Ansprüche an das ausführende Personal. Dieses nutzt zur Gewährleistung eines sicheren Betriebs systematisch aufgebaute Vorschriften, die von den Herstellern der jeweiligen Luftfahrzeuge zur Verfügung gestellt werden.

Die Handhabung dieser Vorschriften kann – insbesondere im Rahmen umfangreicherer Wartungsarbeiten – sehr umständlich sein. So müssen Nutzer während der Arbeit in der Regel mehrere Dokumente parallel betrachten, was mit fehlender Übersichtlichkeit und Platzproblemen einhergehen kann. Auch können zweidimensionale Abbildungen zu komplexen Montageaufgaben missverständlich sein, was unter Umständen zu Wartungsfehlern führt.

Zur Verbesserung der Arbeit mit den Vorschriften werden im Rahmen dieses Projekts innovative Technologien aus dem Bereich Augmented Reality (AR) eingesetzt. Ziel ist es, auf Basis systematischer Recherchen und Fachinformationen von Domänenexperten, prototypische Konzepte für den Einsatz einer AR-Datenbrille im Kontext der Wartung und Instandsetzung von Luftfahrzeugen zu entwickeln und zu bewerten. Der Forschungsschwerpunkt liegt hierbei auf der Gestaltung geeigneter 3D-Informationsvisualisierungen und multimodaler Interaktionstechniken wie Gesten-, Blick- und Sprachsteuerung.

Im Rahmen der menschzentrierten Gestaltung wurde in einem ersten Schritt der Nutzungskontext analysiert. Hierzu erfolgte zunächst die Eingrenzung des umfangreichen Wartungskontextes auf zwei repräsentative Anwendungsfälle. Der erste Anwendungsfall betraf die »Installation einer Bildschirmeinheit im Cockpit«. Charakteristisch sind hierbei der begrenzte Raum im Inneren der Maschine, der ausladende gestische Interaktion behindert, sowie ein erhöhter Geräuschpegel, der eine mögliche Spracherkennung beeinflusst. Des Weiteren wird die automatische Objekterkennung und damit auch die direkte Überlagerung des Cockpits mit virtuellen Informationen durch wechselnde Beleuchtung und starke Hintergrundstrahlung der Instrumente erschwert. Der zweite Anwendungsfall, die »Wartung einer Batterie in der Werkstatt«, unterschied sich maßgeblich vom ersten: Die Umgebung ist hierbei sehr statisch, die Beleuchtungssituation kontrolliert und gut geeignet zur automatischen Erkennung von Objekten. Darüber hinaus können in der Werkstatt, anders als im Cockpit, Modifikationen in Form von Markierungen zur Überlagerung virtueller Informationen genutzt werden.

Das genaue Vorgehen bei der Durchführung der jeweils notwendigen Arbeiten wurde sowohl durch Befragungen von Domänenexperten als auch deren direkte Beobachtung am Arbeitsplatz analysiert. Des Weiteren wurde die persönliche Ausrüstung und deren Kompatibilität zu relevanten AR-Datenbrillen überprüft. Das Ergebnis der Nutzungskontextanalyse waren verschiedene abstrahierte Aufgaben- und Nutzermodelle, wie z. B. Personas, Aktivitätsszenarien oder User Journey Maps.

Aufbauend auf diesen Ergebnissen wurden verschiedene Anforderungen in den Kategorien Nutzung, Organisation und Gestaltung abgeleitet. Ergänzt wurden diese durch Anforderungen an die Umgebung und bestimmte Parameter, die die Nutzung von AR-Datenbrillen beeinflussen und deren Einsatz potenziell einschränken können.

Im Rahmen der darauffolgenden Konzeptionsphase wurden auf Grundlage der analysierten Anwendungsfälle und zugehöriger Anforderungen dedizierte Gestaltungslösungen erarbeitet. Hierzu erfolgte zunächst die Identifikation geeigneter Hardware. Das Ergebnis der Analyse marktverfügbarer AR-Datenbrillen zeigte, dass die Microsoft HoloLens 2 über umfangreiche Sensorik zur Erkennung der Umgebung verfügt und sowohl Sprachbefehle als auch Gesten- und Blicksteuerung unterstützt. In der Folge wurden Storyboards entwickelt, die neben der prototypischen Darstellung von Informationen auch die Interaktion des Nutzers mit der HoloLens und seiner Umgebung illustrieren, was insbesondere bei der Gestaltung von AR-Benutzungsschnittstellen von Bedeutung ist. Zur Feinkonzeption wurde ein systematischer Ansatz verfolgt, in dessen Rahmen die funktionalen Ebenen Informationsgestaltung, visuelle Gestaltung und Interaktionsgestaltung differenziert wurden. Zur Informationsgestaltung skizzierten Wireframes die Struktur von Informationen und Dialogen. Im Rahmen der visuellen Gestaltung wurde festgelegt, wie diese Elemente genau dargestellt werden sollen, was vor allem die Auswahl von Farbgebung und Schriften sowie die Entwicklung von Screen-Designs beinhaltete. Die Interaktionsgestaltung widmete sich schließlich der Umsetzung geeigneter Interaktionstechniken.

Im Fokus standen dabei Lösungen zur natürlichen Systemkontrolle sowie die Gestaltung multimodaler Eingabetechniken, die es dem Nutzer ermöglichen sollen, unabhängig von Einschränkungen durch die aktuelle Aufgabe oder bestimmte Umgebungsvariablen zu interagieren. Hierfür wurden verschiedene Interaktionselemente gestaltet, die sowohl mithilfe des Blicks als auch mit Gesten bedient werden konnten. Zur Vermeidung ungewollter Eingaben bei Nutzung der Blicksteuerung wurden verschiedene Herangehensweisen recherchiert und evaluiert. Umgesetzt wurde schließlich die Eingabe durch kurzes Verweilen des Blicks auf dem Interaktionselement. Dabei füllt sich, ähnlich eines Fortschrittbalkens, ein Indikator, der anzeigt, wie lange der Nutzer noch auf das Element blicken muss, um es auszulösen. Alternativ kann der Nutzer das Interaktionselement durch Drücken mit ausgestrecktem Zeigefinger aktivieren. Das Element zeigt dabei physikalisch nachvollziehbares Verhalten, welches sich am Paradigma der Reality Based Interaction orientiert und so die Affordanz verbessern sowie das Nutzungserlebnis bereichern soll.

Die bestehenden Vorschriften wurden erweitert – insbesondere in Bezug auf die bisher verwendeten zweidimensionalen Darstellungen von Wartungsschritten. Diese wurden nun in 3D umgesetzt und durch Animationen ergänzt, die direkt am virtuell eingeblendeten Bauteil bestimmte Handlungsschritte veranschaulichen. Das können z. B. die Messung des Widerstands an der Batterie oder spezielle Notationen am Modell des Cockpits sein. Das Ergebnis der Konzeptionsphase waren zwei dedizierte Demonstratoren für die entsprechenden Anwendungsfälle.

Abschließend wurden beide Demonstratoren im Rahmen explorativer Nutzerstudien mit fünf respektive zwei Probanden evaluiert. Es handelte sich dabei um ausgebildete Fluggerätmechaniker mit unterschiedlichem Erfahrungsgrad bei der Bearbeitung der jeweiligen Aufgabe. Besonders positiv wurde die Informationsdarstellung hervorgehoben, die sich an bestehenden Vorschriften orientierte und sinnvoll erweitert wurde. Die allgemeine Interaktion wurde von vielen Probanden als intuitiv bewertet. Dabei wurde insbesondere die Blicksteuerung gelobt und von den meisten Probanden gegenüber der Gesten- oder Sprachsteuerung bevorzugt. Die direkte Überlagerung mit relevanten Informationen während der Wartung der Batterie half dabei, bestimmte Bauteile zu identifizieren. Animationen zur zusätzlichen Illustrierung von Montageaufgaben wurden positiv bewertet. Keiner der Probanden verfügte über Erfahrung im Umgang mit der HoloLens. Das zeigte sich vor allem durch Unsicherheiten während der Bedienung mittels Gestensteuerung. Deshalb wurde zusätzlich zu den Demonstratoren eine Lernanwendung entwickelt, die Nutzern mittels entsprechender Animationen grundlegende Gesten und Interaktionstechniken vermittelt.

Das systematische Vorgehen im Rahmen der menschzentrierten Gestaltung ermöglichte insbesondere durch den iterativen Charakter der einzelnen Aktivitäten die Konzeption und Umsetzung zweier AR-Demonstratoren, deren allgemeine Akzeptanz bei den Nutzern sehr hoch ausgeprägt war und deren Gebrauchstauglichkeit wie auch Nutzungserlebnis überdurchschnittlich hoch bewertet wurden.

Zukünftige Arbeiten werden zunächst die Überarbeitung der Demonstratoren anhand der Ergebnisse der Nutzerstudien, einschließlich der Eindrücke und Anregungen von Domänenexperten betreffen. So soll z. B. die Adaptierbarkeit der Interaktionselemente an das individuelle Nutzerverhalten erhöht werden, indem mittels separatem Einstellungsmenü die benötigte Verweildauer des Blicks angepasst werden kann. Neben den analysierten Anwendungsfällen sollen in Zukunft weitere Einsatzgebiete betrachtet werden. Dabei können die im Rahmen der Anforderungsanalyse erarbeiteten Parameter für Wartungsaktivitäten helfen, geeignete Anwendungsfälle zu identifizieren und mögliche Einschränkungen bei der Nutzung von AR-Datenbrillen zu berücksichtigen. Die mithilfe von Nutzern evaluierten Gestaltungslösungen zur multimodalen Interaktion sollen in der Folge generalisiert und auf ihre Eignung hin in weiteren Anwendungsfällen untersucht werden. Hierbei könnten auch Aufgaben bei der Fernwartung adressiert werden, die eine Ausarbeitung von Mehrnutzerszenarien verlangen und bei denen vor allem die Interaktion zwischen den einzelnen Teilnehmern im Fokus steht.