Virtual & Augmented Reality

Fortschrittliche militärische Transportflugzeuge wie der Airbus A400M Atlas wurden mit dem Ziel entwickelt, steigende Anforderungen im Bereich taktischer und strategischer Logistik zu adressieren. Damit erhöht sich auch die Komplexität der Luftfahrzeuge – so weist allein eines der vier Triebwerke des A400M mehr als 10.000 Einzelteile auf. Die Wartung dieser komplexen Systeme stellt höchste Ansprüche an das ausführende Personal und an dessen Ausbildung und Training. Technologien aus dem Bereich Augmented Reality (AR) erweitern die reale Umgebung des Nutzers durch computergenerierte Inhalte und stellen so eine handlungsfähige Verbindung zwischen physischer Welt und elektronischen Informationen her.

Ziel des Projekts ARIEL ist es, das Potenzial von AR bei Wartungsarbeiten und dem Training an Luftfahrzeugen zu untersuchen. Dazu soll analysiert werden, welche dreidimensionalen Informations- und Datenvisualisierungstechniken sich in diesem Kontext anbieten. Zudem wird die Eignung dedizierter Eingabemodalitäten und Interaktionstechniken überprüft. In Zusammenarbeit mit Domänenexperten wird hierbei im Rahmen der menschenzentrierten Gestaltung ein Demonstrator entwickelt, der repräsentative Anwendungsfälle im Kontext von Wartung und Ausbildung adressiert.

Drohnen oder Unmanned Aerial Vehicles (UAVs) werden von der Marine, der Luftwaffe und dem Heer der Bundeswehr eingesetzt. Die entsprechenden UAV Control Systems (UCS) reichen von Tablets bis hin zu ganzen Einsatzzentralen und sind oft nur für eine bestimmte Drohne nutzbar. Im Projekt »Virtualisierte Operationszentrale für Unbemannte Systeme« (VOPZ UAS) wird eine Umgebung entworfen, die in der virtuellen Realität (VR) betrachtet werden kann und als Werkzeug für Rapid Prototyping sowie als virtuelle Operationszentrale dient.

Auf diese Weise können virtuelle Bedienelemente schnell an eine bestimmte Drohne angepasst werden. Mittels VR werden zudem 360°-Ansichten möglich, die eine freie und nahtlose Anordnung der Elemente erlauben sowie die stereoskopische Darstellung von 3D-Daten wie Wegpunkte, Luftraumdaten oder Sensordaten. Im Forschungsmittelpunkt stehen Fragen zur Kollaboration sowie die Identifikation, Adaption und Generalisierung typischer UCS-Elemente für eine dreidimensionale Umgebung. Die im Projekt VOPZ UAS gewonnenen Erkenntnisse können den Grundstein für die Gestaltung zukünftiger Drohnen- und Luftsysteme legen.

Die Corona-Krise hat gezeigt, wie wichtig und gleichzeitig schwierig die verteilte Zusammenarbeit trotz fortschrittlicher digitaler Lösungen ist. Nicht vor Ort zu sein, erschwert Diskussionen und die Identifizierung von Problemen − mit negativen Auswirkungen auf die Entwicklung möglicher Lösungen. Im Projekt re:pair werden immersive Technologien wie Augmented und Virtual Reality (AR/VR) eingesetzt, um den Eindruck zu vermitteln, wie es sich anfühlt vor Ort zu sein, auch wenn die Teilnehmer mehrere Hundert Kilometer voneinander entfernt sind.

Der Techniker verwendet ein AR-HMD mit Echtzeitinformationen, die die reale Komponente überlagern. Der Experte verwendet ein VR-HMD und befindet sich in einer vollständig computergenerierten, dreidimensionalen Welt, in der er eine virtuelle Darstellung des defekten Bauteils vor sich sieht. Darüber hinaus hat der Experte verschiedene virtuelle Werkzeuge zur Hand, mit denen er sowohl mit dem Bauteil als auch mit dem Techniker interagieren kann. Eines dieser Werkzeuge ermöglicht es dem Experten, das Innere des Bauteils zu untersuchen, indem er an einer beliebigen Stelle hineinschneidet. Ein anderes Werkzeug fungiert als Laserpointer.

Zivile Rettungseinsätze oder militärische Operationen in Gebäuden sind für die Einsatzkräfte gefährlich und hoch dynamisch, da Wände die Sicht enorm einschränken. Mikrodrohnen könnten das Risiko verkleinern: Sie begleiten die Einsatzkräfte, erkunden die Lage und identifizieren so bereits frühzeitig Gefahren, die hinter der nächsten Ecke lauern. Allerdings sind aktuell erhältliche Modelle in erster Linie für den Außeneinsatz konzipiert. Die Möglichkeiten, sie in geschlossenen Räumen oder gar Kanälen einzusetzen, sind sehr begrenzt. Damit sie auch dort genutzt werden können, müssen die Bedienung und Darstellung der Informationen möglichst benutzerfreundlich und zuverlässig sein.

Die Abteilung »Mensch-Maschine-Systeme« hat untersucht, wie Aufklärungsdaten mit Mikrodrohnen in Innen- und Außenbereichen erfasst und gesammelt werden können. Der Schwerpunkt lag dabei auf der Konzeption und Visualisierung von Benutzungsschnittstellen. Neben einer mobilen Benutzeroberfläche wurde zudem eine Schnittstelle für Augmented Reality (AR) entworfen und umgesetzt.

Ein besonderes Augenmerk lag auf der Verwendung von multimodaler und situationsbezogener Kommunikation. Wie AR bestmöglich zur Bereitstellung einer räumlichen Darstellung von Informationen eingesetzt werden kann wurde ebenso untersucht wie der Einsatz verschiedener Modalitäten (Touch, Gesten und Head-Tracking), um Informationen zu explorieren und die Drohne zu steuern.

Im Projekt AutoAuge wurde untersucht, inwiefern unbemannte Systeme einen abgesessenen Infanteriezug innerhalb eines Mensch-Mehrroboter-Teams unterstützen können. In diesem Kontext wurde Virtual Reality (VR) zur Lagedarstellung genutzt, um eine Missionsplanung zu ermöglichen. Durch die Nutzung von VR-Brillen kann der Benutzer das Einsatzgelände direkt erfahren und eine zweckmäßige Verwendung der unbemannten Systeme ausarbeiten. Dabei kann er relevante Punkte im Gelände identifizieren, die automatisch an das Führungssystem übergeben werden.

Neben der Interaktionsgestaltung in der virtuellen Realität lag ein weiterer Aspekt auf der Integration von 3D-Modellen, die von externen Stellen wie dem Zentrum für Geoinformationswesen der Bundeswehr stammen können oder durch die unbemannten Systeme selbst erzeugt werden. Zwei Kernkomponenten des VR-Systems, die während der Forschungsarbeiten näher betrachten wurden, waren die Fortbewegungsmethode und die Systemkontrolle. Die Gesamtapplikation zur VR-Missionsplanung wurde abschließend im Rahmen einer Nutzerstudie evaluiert, die im Ergebnis eine exzellente Gebrauchstauglichkeit (System Usability Scale) sowie User Experience (User Experience Questionnaire) nahelegt.

Die Verwendung von Gesten als Mittel zur Kommunikation mit interaktiven Systemen ist mittlerweile weit verbreitet: Touch-Gesten vereinfachen die Bedienung von Smartphones, Handgesten steuern Industrieroboter, Ganzkörper-Gesten ersetzen den Game-Controller zur Steuerung von Spielen. Mit immersiven Technologien wie VR und AR verändert sich auch die Art der Kommunikation mit diesen Systemen. So ist eine an Touch-Gesten oder an die im PC-Bereich etablierte Eingabe mit Maus und Tastatur angelehnte Interaktion in einem virtuellen, dreidimensionalen Raum nur eingeschränkt anwendbar.

Die neueste Generation von VR- und AR-Hardware ermöglicht das Erfassen der Hände in Echtzeit, was die Benutzung von Handgesten als Eingabemethode ermöglicht. Solche Systeme unterstützen jedoch in der Regel nur eine eingeschränkte Anzahl vordefinierter Gesten. Um beliebige Handgesten in einem immersiven System einsetzen zu können, bedarf es der Möglichkeit, eigene Gesten zu definieren und diese in Echtzeit erkennen zu lassen.

Ziel dieser Arbeit war die Konzeption und Entwicklung einer solchen Umgebung. Sie wurde in Form eines Frameworks implementiert, welches auf einfache Weise in auf Gestensteuerung basierende Softwareprojekte integrierbar ist. Die Integrierbarkeit wurde anhand einer Beispielanwendung zum Navigieren von PDF-Dateien in VR gezeigt. Die Fähigkeit des Frameworks, zuvor definierte Freihandgesten zuverlässig zu erkennen, wurde anhand einer explorativen Nutzerstudie bewertet.

The change of the user's viewpoint in an immersive virtual environment, called locomotion, is one of the key components in a virtual reality interface. Effects of locomotion, such as simulator sickness or disorientation, depend on the specific design of the locomotion method and can influence the task performance as well as the overall acceptance of the virtual reality system. Thus, it is important that a locomotion method achieves the intended effects. The complexity of this task has increased with the growing number of locomotion methods and design choices in recent years.

Locomotion taxonomies are classification schemes that group multiple locomotion methods and can aid in the design and selection of locomotion methods. Like locomotion methods themselves, there exist multiple locomotion taxonomies, each with a different focus and, consequently, a different possible outcome. However, there is little research that focuses on locomotion taxonomies.

We performed a systematic literature review to provide an overview of possible locomotion taxonomies and analysis of possible decision criteria such as impact, common elements, and use cases for locomotion taxonomies. We aim to support future research on the design, choice, and evaluation of locomotion taxonomies and thereby support future research on virtual reality locomotion.

Teleportation is a locomotion technique in Virtual Reality (VR), widely used in immersive games and applications. It allows open virtual space exploration, unrestricted by physical space, but leads to disorientation due to a lack of sensory information. Scene transitions can help counter disorientation by providing visual cues of relative motion. This thesis investigated user-controlled teleportation, augmented with three types of scene transitions: instant (i.e. regular teleportation), pulsed, and continuous.

A formal user study was conducted in a realistic context to observe the impact of the transitions on spatial knowledge acquisition, which was evaluated by checking the accuracy of the cognitive map developed during virtual navigation. The effects on spatial orientation and VR sickness were also individually measured. It was found that instant transition induced the most disorientation while causing negligible VR sickness. On the other hand, pulsed and continuous transitions, when combined with regular teleportation, facilitated a more detailed view of the environment and helped maintain orientation better than instant transition, without inducing severe sickness.

The aim was to investigate whether severe symptoms of visually induced motion sickness (VIMS) can occur in augmented reality (AR) optical see-through applications. VIMS has been extensively studied in virtual reality (VR), whereas it has received little attention in the context of AR technology, in which the real world is enhanced by virtual objects. AR optical see-through glasses are becoming increasingly popular as technology advances. Previous studies showed minor oculomotor symptoms of VIMS with the aforementioned technology. New applications with more dynamic simulations could alter previously observed symptom severity and patterns.

In experiment 1, we exposed subjects to a traditional static AR application for pilot candidate training. In experiment 2, subjects completed tasks in a dynamic starfield simulation. We analyzed symptom profiles pre and post with the simulator sickness questionnaire (SSQ) and during exposure with the Fast Motion Sickness Scale (FMS). We also developed a new FMS-D that captures symptoms of dizziness during simulation.

As expected, in experiment 1 we found low VIMS symptomatology with predominantly oculomotor symptoms. In experiment 2, on the other hand, we detected severe VIMS symptoms in some subjects, with disorientation (SSQ subscale) as the main symptom group. The present work demonstrates that VIMS can be of serious concern in modern AR applications. The FMS-D represents a new tool to measure symptoms of dizziness during exposure. VIMS symptoms need to be considered in the design and usage of future AR applications with dynamic virtual objects, e. g. for flight training or machine maintenance work.

Visually induced motion sickness (VIMS) is a well-known side effect of virtual reality (VR) immersion, with symptoms including nausea, disorientation, and oculomotor discomfort. Previous studies have shown that pleasant music, odor, and taste can mitigate VIMS symptomatology, but the mechanism by which this occurs remains unclear. We predicted that positive emotions influence the VIMS-reducing effects. To investigate this, we conducted an experimental study with 68 subjects divided into two groups. The groups were exposed to either positive or neutral emotions before and during the VIMS-provoking stimulus. Otherwise, they performed exactly the same task of estimating the time-to-contact while confronted with a VIMS-provoking moving starfield stimulation. Emotions were induced by means of pre-tested videos and with International Affective Picture System (IAPS) images embedded in the starfield simulation.

We monitored emotion induction before, during, and after the simulation, using the Self-Assessment Manikin (SAM) valence and arousal scales. VIMS was assessed before and after exposure using the Simulator Sickness Questionnaire (SSQ) and during simulation using the Fast Motion Sickness Scale (FMS) and FMS-D for dizziness symptoms. VIMS symptomatology did not differ between groups, but valence and arousal were correlated with perceived VIMS symptoms.

For instance, reported positive valence prior to VR exposure was found to be related to milder VIMS symptoms and, conversely, experienced symptoms during simulation were negatively related to subjects’ valence. This study sheds light on the complex and potentially bidirectional relationship of VIMS and emotions and provides starting points for further research on the use of positive emotions to prevent VIMS.

In immersive virtual environments, locomotion allows users to change their viewpoint in the virtual world and is one of the most common tasks. Locomotion taxonomies can describe relationships between the locomotion techniques and thus represent a common understanding, form the backbone of many studies and publications, and can increase the comparability of studies.

Therefore, it is relevant for VR researchers, developers, and designers to get an overview of previous research on taxonomies including benefits, drawbacks, and possible research gaps. Current literature reviews focus on locomotion techniques instead of locomotion taxonomies. Thus, a time-consuming search, evaluation and comparison of many publications is required to get such an overview.

We present the design of a currently performed systematic literature review examining taxonomies of locomotion techniques. In addition, we present initial results including an overview of publications introducing locomotion taxonomies, their relationships, and impact. We aim to provide a reference to potential taxonomies to support the choice of a locomotion taxonomy and insights into the research field evolution to aid the design of novel locomotion taxonomies.

AR-Anwendungen bieten neue Möglichkeiten, Wissen zu vermitteln und Lernprozesse autodidaktisch zu gestalten. In dieser Arbeit wird die Verwendung von AR-Lernmitteln zum Erlernen von Prozeduren in der Ausbildung von Hubschrauberpiloten genauer betrachtet. Dazu wurde ein prototypisches AR-Lernsystem aufgebaut, das durch räumlich verankerte Informationen und individuelle Einstellungsmöglichkeiten für Nutzende gekennzeichnet ist.

In einer Nutzerstudie (n = 32) wurde das entwickelte Lernmittel interindividuell mit einer Anleitung aus Papier verglichen. Die Analyse von Nutzungsdaten, Lernergebnissen und Befragungen zeigte, dass Probanden mit beiden Lernmitteln erfolgreich die Prozedur erlernten. Es zeigten sich keine Unterschiede in den Lernergebnissen zwischen den Gruppen, allerdings deuten die Ergebnisse darauf hin, dass AR-Technologie im Vergleich zur Papieranleitung die Lernaufgabe erleichterte. Zudem wurde das Lernen mit AR von den Probanden als origineller, attraktiver und stimulierender bewertet.

While natural interaction techniques in virtual reality (VR) seem suitable for most tasks such as navigation and manipulation, force-fitting natural metaphors for system control is often inconvenient for the user. Focusing on traditional 2D techniques like pie menus and exploiting their potential in VR offers a promising approach.

Given that, we design and examine the four pie menus pick ray (PR), pick hand (PH), hand rotation (HR) and stick rotation (SR), addressing usability, user experience (UX), presence, error rate and selection time. In terms of UX and usability, PH was rated significantly better compared to HR and SR; PR was rated better compared to SR. Presence was not affected by menu design. Selection times for PH were significantly reduced compared to SR. PH and PR resulted in significantly decreased error rates compared to SR and HR respectively. Based on these findings, we eventually derive implications for developers of VR applications. 

Despite advances regarding autonomous functionality for robots, teleoperation remains a means for performing delicate tasks in safety critical contexts like explosive ordnance disposal (EOD) and ambiguous environments. Immersive stereoscopic displays have been proposed and developed in this regard, but bring about their own specific problems, e.g., simulator sickness. This work builds upon standardized test environments to yield reproducible comparisons between different robotic platforms.

The focus was placed on testing three optronic systems of differing degrees of immersion: (1) A laptop display showing multiple monoscopic camera views, (2) an off-the-shelf virtual reality headset coupled with a pantilt-based stereoscopic camera, and (3) a so-called Telepresence Unit, providing fast pan, tilt, yaw rotation, stereoscopic view, and spatial audio. Stereoscopic systems yielded significant faster task completion only for the maneuvering task.

As expected, they also induced Simulator Sickness among other results. However, the amount of Simulator Sickness varied between both stereoscopic systems. Collected data suggests that a higher degree of immersion combined with careful system design can reduce the to-be-expected increase of Simulator Sickness compared to the monoscopic camera baseline while making the interface subjectively more effective for certain tasks.

Fortbewegungsmethoden mit drei Freiheitsgraden oder degrees of freedom (DoF) ermöglichen es dem Nutzer, sich einen Überblick über die Virtuelle Umgebung (VU) zu verschaffen. Dies unterstützt den Nutzer bei dem Erwerb von räumlichem Wissen sowie bei der Orientierung in der VU. Existierende 3DoF-Fortbewegungsmethoden sind jedoch häufig wenig effizient oder erhöhen die Symptome der Simulatorkrankheit, was mit einer Verringerung des Präsenzempfindens einhergehen kann.

Im Rahmen dieser Arbeit wurde die Point-and-Lift-Methode entwickelt, um diese Problematik zu adressieren. Zur Evaluation dieser Methode wurde eine empirische Nutzerstudie konzipiert, welche die Point-and-Lift-Methode mit herkömmlichen 3DoF-Fortbewegungsmethoden hinsichtlich Simulatorkrankheit, Präsenzempfinden, Orientierungsfähigkeit und Performanz vergleicht. 

Die wachsende Verbreitung von Virtual Reality (VR) ermöglicht die Adressierung von Nutzern, die auf ausgeprägtes Vorwissen im Bereich traditioneller desktopbasierter Anwendungen und damit verbundener zweidimensionaler Interaktionstechniken zurückgreifen können. Von der Übertragung dieser Techniken in den dreidimensionalen Interaktionsraum profitieren insbesondere VR-Anwendungen, die durch umfangreiche Möglichkeiten zur Systemkontrolle gekennzeichnet werden.

Das Hauptaugenmerk dieser Arbeit liegt auf der Entwicklung von Kreismenüs für die VR. Entstanden sind dabei vier verschiedene Implementationen: Pick-Ray (PR) und Pick-Hand (PH) mit Unterstützung von jeweils sechs Freiheitsgraden (6-DoF) zur Selektion sowie Hand-Rotation (HR) und Stick-Rotation (SR) mit jeweils einem Freiheitsgrad (1-DoF). Zur Überprüfung des Einflusses der verschiedenen Implementationen auf Selektionszeit, Fehlerrate, Nutzererlebnis, Gebrauchstauglichkeit und Präsenzempfinden wird die Konzeption einer entsprechenden Nutzerstudie diskutiert.

Interacting with head-mounted augmented reality displays using natural user interfaces like speech recognition or gesture recognition is not practical in many situations notably in public spaces. Since these displays can be used combined with smartphones or wearables like smartwatches, the user interaction elements can be distributed across these devices. An eyes-free touch input concept for implementation on a connected mobile device with a touchscreen is presented here. An experiment was carried out to investigate the user performance on three different input devices, a smartphone, a smartwatch and a head mounted touch panel (HMT), using the same set of the touch gestures.

Mobile devices are often used while walking; accordingly the interaction was investigated both while standing and walking. The evaluation showed no significant difference in user performance, response time or errors. A significant difference in subjective performance between the HMT and the smartphone was found using the NASA TLX questionnaire. As expected, the subjective estimation of mental, physical and temporal demands as well as effort and frustration were significantly higher while walking compared to standing.

It was expected that the size of the touch screen would affect the performance of the various input devices, but this could not be verified. The touch gestures used were well suited for all three touch devices. Since the HMT is an integrated controller and there were no significant drawbacks in terms of performance compared to smartphone or smartwatch it is worth exploring how to optimize gesture control, size and placement of HMTs for future augmented reality displays.

With the advancement of augmented reality (AR) technology in the recent years, several AR head-mounted displays and smartglasses are set to enter the consumer market in the near future. Smartglasses are usually employed as output devices to display information and require a paired input device, an integrated touch panel or buttons for input.

They can communicate and collaborate with other wearables like smartphones or smartwatches. This makes it possible to distribute the user interaction elements over multiple connected wearables. A concept for the eyes-free input for smartglasses using wearables such as smartphone, smartwatch or using an additional accessory is presented here.