re:pair – Remote Procedure Assistance in Immersive Reality

Fernwartung gewinnt aktuell immer mehr an Wichtigkeit. Domänenexperten, die Techniker bei der Erkennung und Behebung von Problemen unterstützen sollen, gelten als kritische Ressource, bei der Zeit und Verfügbarkeit eine essenzielle Rolle spielen. Ihre Anwesenheit vor Ort kann zwar die zu bietende Unterstützung verbessern, ist jedoch oft aufwendig und kostenintensiv. Stattdessen wird in der Regel auf Fernwartung per Videotelefonie zurückgegriffen. Herkömmliche Videokonferenz-Systeme bieten hierbei jedoch nicht das Gefühl, vor Ort zu sein und erschweren so die Kommunikation zwischen Experten und dem anzuleitenden Techniker.

Ein Lösungsansatz, das Gefühl vor Ort zu sein – die sogenannte Präsenz – sicherzustellen, ist der Einsatz immersiver Technologien aus den Bereichen Augmented und Virtual Reality (AR/VR). In Verbindung mit dem reichhaltigen Interaktionspotenzial dieser Technologien kann sichergestellt werden, dass die Fernunterstützung von Experten während der Wartung defekter Bauteile sich so nah wie möglich an der Realität orientiert und so zu optimalen Ergebnissen führen kann. Dabei ist es essenziell, die Herausforderungen und Potenziale der jeweiligen AR/VR-Plattformen, insbesondere im Bereich natürlicher, multimodaler Interaktion, zu adressieren und individuelle Lösungen zu entwickeln.

Im Zentrum von »re:pair« stehen Experte, der bei der Wartung unterstützt, und Techniker, der die Wartungsempfehlungen umsetzt. Der Techniker befindet sich in unmittelbarer Nähe des zu wartenden Bauteils; der Experte ist mehrere hundert Kilometer entfernt.

Mit Hilfe der Augmented-Reality-Datenbrille Microsoft HoloLens werden dem Techniker Echtzeitinformationen direkt am Bauteil präsentiert. Ermöglicht wird dies durch die Erkennung des Bauteils mittels Computer-Vision-Algorithmen und der räumlichen Verankerung von Daten an dem erkannten Bauteil.

Der Experte benutzt das Virtual Reality Headset Oculus Rift und befindet sich in einer komplett computergenerierten, dreidimensionalen Welt. In dieser sieht er eine virtuelle Repräsentation des defekten Bauteils vor sich. Zusätzlich verfügt er über verschiedene virtuelle Werkzeuge, mit deren Hilfe er mit Bauteil sowie Techniker in Interaktion treten kann. Eines dieser Werkzeuge erlaubt es, das Innere des Bauteils zu untersuchen, indem es dieses an einer beliebigen Position anschneidet. Ein weiteres Werkzeug fungiert als Laser-Pointer. Mit diesem können beliebige Abschnitte des Bauteils selektiert und für den Techniker hervorgehoben werden. Der Experte kann intuitiv mit den Werkzeugen interagieren, indem er diese mit Hilfe einer virtuellen Hand manipuliert, welche durch einen zugehörigen 6-DoF-Controller repräsentiert wird. Durch ein integriertes Menü in ergonomischer Kreisform können außerdem Animationen ausgelöst werden, welche typische Wartungsschritte illustrieren.

All diese Informationen werden in Echtzeit an den Techniker übertragen. Neben der Kommunikation über Sprache, wird der aktuelle Aufpunkt der Blickrichtung auf das Bauteil projiziert. So wissen Experte und Techniker zu jeder Zeit, welcher Abschnitt des Bauteils im Interesse des jeweils anderen ist, was die Verständigung zwischen beiden Partnern verbessert.

Das Ergebnis des Projektes ist ein Demonstrator, der durch immersive Technologien ein Vor-Ort-Gefühl bei den Nutzern hervorruft und so die Kommunikation verbessern soll. Unterstützt wird dies durch den Einsatz natürlicher, multimodaler Interaktionstechniken, die die Bedienung möglichst intuitiv erscheinen lassen. Die niedrigschwellige Kommunikation impliziter Informationen, wie zum Beispiel der Blickrichtung, unterstützt diesen natürlichen Charakter.

Als Einsatzgebiet eigenen sich zum Beispiel komplexe mobile Systeme wie Schiffe oder Luftfahrzeuge, deren Wartung und Instandsetzung oft die Unterstützung von Experten benötigt, deren Anwesenheit vor Ort eine besondere finanzielle oder logistische Belastung darstellt. Die Anpassung des vorgestellten generischen Szenarios an diese Kontexte könnte weitere Erkenntnisse bezüglich der Interaktions- und Informationsgestaltung fördern.