Kooperation von Mensch und Technik in Systemen mit hybrider Intelligenz

KI als Chance und Herausforderung

Der Einsatz künstlicher Intelligenz (KI) schafft gleichzeitig neue Möglichkeiten und Herausforderungen. KI kann mit größeren und komplexeren Datenmengen umgehen als der Mensch – was erhebliche Leistungssteigerungen ermöglicht. Gleichzeitig beeinflusst KI-basierte Technik aktiv, was Menschen wahrnehmen, wie sie Entscheidungen treffen und welche Handlungen daraus folgen. KI-Akteure können zudem selbstständig Aufgaben übernehmen, was zu Problemen bei Situationsbewusstsein, Verantwortung und Koordination führt – vor allem wenn das KI-Verhalten probabilistisch ist.

Das Potenzial von KI sollte jedoch nicht durch kognitive Limitationen des Menschen bei der Überwachung gedämpft werden. Mensch und KI müssen daher in einen Regelkreis integriert werden, der ihre jeweiligen Fähigkeiten gewinnbringend kombiniert. Diese Integration von menschlicher und künstlicher Intelligenz wird als Hybride Intelligenz (HI) bezeichnet.

Hybride Intelligenz: Mensch und KI als Gesamtsystem

Das Konzept der Hybriden Intelligenz basiert auf der Annahme, dass Mensch und KI ein Gesamtsystem bilden, in das beide wertvolle Fähigkeiten einbringen – die durch eine geeignete Interaktionsgestaltung gewinnbringend miteinander in Beziehung gesetzt werden. Ziel ist eine Systemperformanz, die weder Mensch noch KI isoliert erreichen könnten. Methodisch wird dabei auf folgende Disziplinen zurückgegriffen:

• Kognitionspsychologie und Kognitionswissenschaften
• Interaktionsgestaltung
• Theorie intelligenter Agenten
• Kybernetik und Automationsforschung
• Prozessoptimierung und adaptiven Interaktion

Anwendungsgebiete

• Interaktion mit hochautomatisierten und autonomen Systemen, etwa unbemannten Systemen (UxVs), in komplexen und sicherheitskritischen Umgebungen
• KI-gestützte Command-and-Control-Umgebungen
• Gestaltung von Assistenzfunktionen und Entscheidungsunterstützungssytemen (Decision-Support Systems, DSS)
• Menschliche Steuerung und Kontrolle von UxV-Teams und -Schwärmen

Forschungsdienstleistungen

• Integration von menschlicher und künstlicher Intelligenz über alle Phasen der Systementwicklung: Analyse, Anforderungsdefinition, Prozessoptimierung, Interaktionsgestaltung und Evaluierung
• Integration von KI-Bausteinen in bestehende Prozesse
• Untersuchung von Interaktions- und Allokationsmechanismen zur dynamischen Aufgabenteilung zwischen Mensch und KI
• Konzeption innovativer Ansätze zur menschlichen Kontrolle über autonome Systeme (z. B. UxV-Schwärme)
• Gestaltung adaptiver Mensch-Maschine-Interaktion zur dynamischen Anpassung des Automatisierungsgrads an Situation und Operateur
• Gestaltung und Modellierung von Interaktion, kollaborativer Arbeitsteilung und Arbitrationsmechanismen zwischen Mensch und KI (z. B. MuM-T, virtuelle Teammates, Mixed-Initiative Interaction)

Hybride Intelligenz: Mensch und Technik neu gedacht

Um Hybride Intelligenz zu gestalten, muss das System sowohl aus menschlicher als auch aus technischer Perspektive betrachtet werden. Die klassische Annahme, dass Automatisierung vor allem als berechenbares Werkzeug funktioniert, das dem Menschen klar untergeordnet ist, wird dabei grundlegend hinterfragt. Eine HI muss im Zusammenspiel von menschlicher Kognition und KI kontinuierlich bewerten, welche Fähigkeiten in welchen Situationen gewinnbringend eingesetzt werden können.

Mensch und KI als kooperierende Akteure

In einem HI-System interagieren Mensch und KI als separate, aber eng miteinander kooperierende intelligente Akteure –ihre Handlungen sind aufeinander abgestimmt und beeinflussen sich gegenseitig. Konzepte wie Human-AI-Teaming (HAT) oder Manned-Unmanned-Teaming (MUM-T) werden bereits beforscht, aktuelle Lösungen sind jedoch meist durch Ansätze geprägt, die ein Spektrum der Delegation beschreiben. Mixed-Initiative-Interaktion – bei der Mensch und KI auf Augenhöhe kollaborieren – wird daher als wesentliche Forschungslücke identifiziert und adressiert.

Situationsabhängige Verantwortungsverteilung

In Mixed-Initiative-HI-Systemen erfolgt die Verteilung der Verantwortlichkeiten situationsabhängig. Dabei können feinere Abstufungen als in traditionellen Levels of Automation vorgenommen werden. Alle vier Phasen der Informationsverarbeitung werden separat betrachtet:  

• Informationserfassung
• Informationsanalyse
• Entscheidung
• Resultierende Handlung

Ein höherer Automationsgrad kann so nicht nur durch die Automation einer Gesamtaufgabe, sondern auch durch stärkere Einbeziehung von KI in einzelne Verarbeitungsphasen erreicht werden.

Mixed Initiative als eigenständiges Koordinationsproblem

Mixed Initiative wird als eigenständiges Koordinationsproblem adressiert. Untersucht werden Interaktions- und Allokationsmechanismen, mit denen Mensch und KI ihre Aufgaben dynamisch aufteilen, Entscheidungen abstimmen und Verantwortung transparent aushandeln. Konkrete Forschungsschwerpunkte sind:

• Entwickelung eines operationalen Vokabulars und von Heuristiken zur Unterscheidung von Interaktionsregimen (menschliche Initiative, technische Initiative, gemischte Initiative)
• Konzepte zur Mensch-Maschine-Interaktion (HMI) zur Sichtbarmachung von Initiative und Verantwortung sowie zur Unterstützung von verhandlungsbasierter Kommunikation zwischen Mensch und KI
• Gestaltung und Repräsentation künstlicher Akteure im technischen System sowie Methoden zur Interaktion mit ihnen

Forschungsdemonstrator für KI-gestützte UxV-Schwarmkontrolle

Ziel ist es, das Konzept der Hybriden Intelligenz für den Einsatz in sicherheitskritischen Mensch-KI-Systemen operativ nutzbar zu machen. Dazu dient ein Forschungsdemonstrator für KI-gestützte UxV-Schwarmkontrolle, in dem unterschiedliche Formen der Zusammenarbeit zwischen menschlichem Operateur und technischen Akteuren untersucht werden:

• Dynamische Aufgabenallokation
• Konfliktlösung bei Entscheidungen
• Verhandlungen über Verantwortung in der Schwarmsteuerung

Szenario: Gebietsüberwachung mit Drohnenschwarm

In einer exemplarischen Gebietsüberwachungsaufgabe koordiniert ein menschlicher Operateur gemeinsam mit einer KI-basierten Assistenz einen Drohnenschwarm. Das zugrunde gelegte Szenario bildet eine typische Einsatzsituation mit drei Aufgabenbereichen und mehreren Vignetten ab und wird graduell ausgebaut:

• Dauerüberwachung des Zielgebiets durch einen UAV-Schwarm
• Detektionsereignisse mit Verifikation und Nachaufklärung
• Technischer Ausfall einer Drohne
• Kurzfristige Umpriorisierung von Aufgaben.

Interaktionskonzepte statt Algorithmusbewertung

Im Mittelpunkt steht nicht die Bewertung einzelner KI-Algorithmen, sondern die Frage, wie Interaktionskonzepte, Rollenverteilungen und Mechanismen der Zusammenarbeit so ausgelegt werden können, dass Leistung, Situationsbewusstsein, Transparenz und menschliche Kontrolle auch unter dynamischen und unsicheren Bedingungen erhalten bleiben. Dazu gehören:

• Klare Rückmeldungen über Systemzustände
• Verständliche Begründungen für Vorschläge und Entscheidungen
• Geeignete Möglichkeiten zum Abbruch oder zur Korrektur von Interaktionen
• Reduktion unnötiger Kommunikationslast

NATO-Arbeitsgruppen

RTG SCI-334: Evaluation of Swarm System for Military Applications

RTG HFM-420: Human-Swarm Interaction

Veröffentlichungen Hybride Intelligenz

Rockbach, J. D., Fuchs, S., & Bennewitz, M. (2025). An Approach to Joint Hybrid Decision Making Between Humans and Artificial Intelligence. In Decision Making: Fundamentals and Applications (pp. 47-69). Cham: Springer Nature Switzerland.

Rockbach, J. D., Fuchs, S., Witte, T. E., & Bluhm, L. F. (2022, November). Ingredients for hybrid intelligence: towards an integrated theory and application. In 2022 IEEE 3rd International Conference on Human-Machine Systems (ICHMS) (pp. 1-6). IEEE.

Rockbach, J. D., Bluhm, L. F., Schlangen, I., Over, L., Apfeld, S., Henneke, L., & Wilkinghoff, K. (2022, October). Towards human-machine integration for signals intelligence applications. In 2022 Sensor Data Fusion: Trends, Solutions, Applications (SDF) (pp. 1-6). IEEE.

Hasbach, J. D., & Witte, T. E. (2021, October). Human-machine intelligence: Frigates are intelligent organisms. In 2021 IEEE international conference on systems, man, and cybernetics (SMC) (pp. 1495-1500). IEEE.

Veröffentlichungen Mensch-Schwarm-Interaktion

Baltzer, M. C., Rockbach, J. D., Bender, C., Weber, D., Nieuwenhuisen, M., & Brüggemann, B. (2025, October). Meaningful Human Control over Swarms in ISTAR. In 2025 IEEE 50th Conference on Local Computer Networks (LCN) (pp. 1-7). IEEE.

Rockbach, J. D., & Bennewitz, M. (2024, September). Extended Swarming with Embodied Neural Computation for Human Control. In From Animals to Animats 17: 17th International Conference on Simulation of Adaptive Behavior, SAB 2024, Irvine, CA, USA, September 9–12, 2024, Proceedings (p. 169). Springer Nature.

Rockbach, J. D., Schlangen, I., & Bennewitz, M. (2023, November). Self-organising distributed sensor fusion networks for hierarchical swarm control and supervision. In 2023 IEEE Symposium Sensor Data Fusion and International Conference on Multisensor Fusion and Integration (SDF-MFI) (pp. 1-6). IEEE.

Rockbach, J. D. (2023, October). Enhancing human self-regulation with controllable robot swarms acting as extended bodies. In 2023 IEEE International conference on systems, man, and cybernetics (SMC) (pp. 4104-4109). IEEE.

Rockbach, J. D., & Bennewitz, M. (2022, October). Robot swarms as embodied extensions of humans. In IOP Conference Series: Materials Science and Engineering (Vol. 1261, No. 1, p. 012015). IOP Publishing.

Hasbach, J. D., & Bennewitz, M. (2022). The design of self-organizing human–swarm intelligence. Adaptive Behavior, 30(4), 361-386.

Rockbach, J. D., Bluhm, L. F., & Bennewitz, M. (2022, July). Towards hierarchical hybrid architectures for human-swarm interaction. In Artificial Life Conference Proceedings 34 (Vol. 2022, No. 1, p. 74). One Rogers Street, Cambridge, MA 02142-1209, USA journals-info@ mit. edu: MIT Press.

Bluhm, L. F., Lassen, C., Keiser, L., & Hasbach, J. (2021). Swarm View: Situation Awareness of Swarms in Battle Management Systems. Sto-Mp-Sci-341, 1-8.

Hasbach, J. D., Witte, T. E., & Bennewitz, M. (2020, July). On the importance of adaptive operator training in human-swarm interaction. In International Conference on Human-Computer Interaction (pp. 311-329). Cham: Springer International Publishing.

Veröffentlichungen Adaptive Automation

Fuchs, S. (2023). Dynamische Adaptierung der Mensch-Maschine-Interaktion auf der Basis mentaler Zustände. (Dissertation, Informatik). Universität der Bundeswehr München.

Prébot B., Schwarz J., Fuchs S., Claverie B. (2020) From “Knowing What” to “Knowing When”: Exploring a Concept of Situation Awareness Synchrony for Evaluating SA Dynamics in Teams. In: Sottilare R., Schwarz J. (eds) Adaptive Instructional Systems. HCII 2020. Lecture Notes in Computer Science, vol 12214. Springer, Cham. DOI: 10.1007/978-3-030-50788-6_37

Fuchs, S., Hochgeschurz, S., Schmitz-Hübsch, A., & Thiele, L. (2020). Adapting Interaction to Address Critical User States of High Workload and Incorrect Attentional Focus – An Evaluation of Five Adaptation Strategies. In: Schmorrow D., Fidopiastis C. (eds) Augmented Cognition. Human Cognition and Behavior. HCII 2020. Lecture Notes in Computer Science, vol 12197. Springer, Cham. DOI: 10.1007/978-3-030-50439-7_23

Schwarz, J., Fuchs, S. (2020). Multidimensionale Nutzerzustandsdiagnose und dynamische Adaptierung der MMI. Eingeladener Vortrag im Rahmen der Ringvorlesung „Digitale und vernetzte Arbeitswelten“ (13.01.2020), Universität Bielefeld

Schwarz, J., Fuchs, S. (2018). Validating a “Real-Time Assessment of Multidimensional User State” (RASMUS) for Adaptive Human-Computer Interaction. Proceedings of IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, Oct. 2018, pp. 704-709.

DOI: 10.1109/SMC.2018.00128

Fuchs S. (2018) Session Overview: Adaptation Strategies and Adaptation Management. In: Schmorrow D., Fidopiastis C. (eds) Augmented Cognition: Intelligent Technologies. AC 2018. Lecture Notes in Computer Science, vol 10915, pp. 3–8, Springer, Cham

Fuchs S., Schwarz J. (2017) Towards a Dynamic Selection and Configuration of Adaptation Strategies in Augmented Cognition. In: Schmorrow D., Fidopiastis C. (eds) Augmented Cognition. Enhancing Cognition and Behavior in Complex Human Environments. AC 2017. Lecture Notes in Computer Science, vol 10285, pp. 101–115. Springer, Cham
DOI: 10.1007/978-3-319-58625-0_7

Schwarz, J., Fuchs, S. (2014). Adaptive Automation als sozialer Akteur: Anforderungen an die Gestaltung aus psychologischer und systemtheoretischer Sicht. In M. Grandt & S. Schmerwitz (Hrsg.), Der Mensch zwischen Automatisierung, Kompetenz und Verantwortung (56. DGLR Fachausschusssitzung Anthropotechnik, Ottobrunn, 14.-15.10.2014, S. 107-123). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Fuchs, S., Schwarz, J. (2014). Vom passiven Werkzeug zum sozialen Akteur: Ansatz einer ganzheitlicheren Betrachtung adaptiver automatisierter Systeme. In M. Grandt & S. Schmerwitz (Hrsg.), Der Mensch zwischen Automatisierung, Kompetenz und Verantwortung (56. DGLR Fachausschusssitzung Anthropotechnik, Ottobrunn, 14.-15.10.2014, S. 285-288). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Fuchs, S., Schwarz, J. & Flemisch F. (2014). Two steps back for one step forward: Revisiting Augmented Cognition principles from a perspective of (social) system theory. In D.D. Schmorrow & C.M. Fidopiastis (Eds.) Foundations of Augmented Cognition. Advancing Human Performance and Decision-Making through Adaptive Systems. Lecture Notes in Computer Science Volume 8534, 2014, pp 114-124. Springer International Publishing Switzerland.

Schwarz, J., Fuchs, S. & Flemisch, F. (2014). Towards a more holistic view on user state assessment in adaptive human-computer interaction. Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics (pp. 1228–1234), Oct 5-8, San Diego, CA, USA.