liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Designing Human-Swarm Interaction Systems
Linköpings universitet, Institutionen för datavetenskap, Människocentrerade system. Linköpings universitet, Filosofiska fakulteten. RISE Research Institutes of Sweden, Linköping.ORCID-id: 0000-0001-7111-2964
2025 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)Alternativ titel
Utformning av system för människa-svärminteraktion (Svenska)
Abstract [en]

Swarms of Unmanned Aerial Vehicles (UAVs, or drones) are envisioned to transform various fields, from emergency response to law enforcement and military operations. Drone swarms provide scalable, adaptable, and decentralized solutions for dynamic work environments. However, the successful integration of these multi-agent systems into real-world settings presents significant challenges, particularly in terms of how humans can safely and effectively interact with and control these systems. Human-Swarm Interaction (HSI) aims to address these challenges by exploring how human operators can manage multiple drones in a cohesive manner, even under highly complex, uncertain conditions.

This thesis studies the problem of designing effective interaction mechanisms and interfaces for human operators to command drone swarms, specifically addressing challenges such as managing a large number of drones, supporting operators’ situational awareness, and balancing between centralized and decentralized control. The research highlights the necessity of rethinking conventional approaches by introducing alternative conceptual models, such as the "choir" metaphor, which re-imagines drone swarms as coordinated, semi-centralized ensembles rather than purely emergent, decentralized collectives. This metaphor aims to balance the collective, often unpredictable behavior of drone swarms with the predictable, directed actions needed in operational environments. By demonstrating how this metaphor can be operationalized in an HSI system architecture, the thesis provides new avenues for conceptualizing human interaction with autonomous systems.

Using a design research approach incorporating multiple-case study and scenario-based design activities to envision future swarm application in dialogue with prospective end users, the thesis develops and evaluates prototypes that embody these nuanced HSI concepts. The interface prototypes draw design inspiration from Real-Time Strategy (RTS) games. These elements include group commands, high-level mission planning, and resource pooling to create a hybrid interaction model that allows operators to maintain both a broad overview and precise control of multiple autonomous and collaborating drones. Domain expert evaluations of these prototypes in contexts such as firefighting and airport management validate the practical utility of these concepts.

The findings emphasize the value of adopting a Human-Technology-Organization (HTO) perspective in the design of HSI systems. Rather than focusing solely on the interaction between humans and technology, this systems-thinking approach acknowledges that drone swarms must be integrated into larger organizational frameworks, such as emergency response command structures or airport ground operations teams. It demonstrates that successful deployment requires accounting for the broader organizational context, including roles, workflows, and coordination needs. This holistic approach to HSI system design ensures that drone swarms not only meet technical performance criteria, such as reliability, responsiveness, and scalability, but also align with human and organizational needs, facilitating their adoption and effective use in a wide range of real-world scenarios. Ultimately, these contributions are intended to bridge the gap between theoretical models of swarm control and practical deployment, advancing both the field of HSI and the broader adoption of drone swarm technologies.

Abstract [sv]

Svärmar av obemannade luftfarkoster (UAV, eller drönare) förväntas omvandla flera områden, exempelvis räddningsinsatser, brottsbekämpning, och militäroperationer. Drönarsvärmar innebar skalbara, anpassningsbara, och decentraliserade lösningar for dynamiska arbetsuppgifter. Den lyckade integreringen av dessa multi-agent-system i verkliga miljöer innebar dock betydande utmaningar, särskilt med avseende på hur människor säkert och effektivt interagerar med och kontrollerar dessa system. Forskningsfältet Människa-Svärm Interaktion (MSI) syftar till att möta dessa utmaningar genom att undersöka hur mänskliga operatorer kan hantera flera drönare på ett sammanhängande vis, även under komplexa och osäkra förhållanden.

Denna avhandling utreder problemet att utforma effektiva och säkra interaktionsmekanismer och gränssnitt for mänskliga operatorer att leda drönarsvärmar, specifikt genom att adressera utmaningar som att hantera ett stort antal drönare, stödja operatorers situationsmedvetenhet, och balansera mellan centraliserad och decentraliserad kontroll. Avhandlingen betonar vikten av att ifrågasatta konventionella tillvägagångssätt genom att introducera alternativa konceptuella modeller, såsom "kör"-metaforen, som omtolkar drönarsvärmar som koordinerade, semicentraliserade ensembler snarare än rent decentraliserade kollektiv. Denna metafor syftar till att balansera det kollektiva, ofta oförutsägbara beteendet hos drönarsvärmar med de förutsägbara, riktade handlingar som behövs i operativa miljöer. Genom att visa hur denna metafor kan operationaliseras i en MSI-systemarkitektur, erbjuder avhandlingen nya sätt att konceptualisera mänsklig interaktion med autonoma system.

Genom att tillämpa en designforskningsmetod som innefattar fallstudier och scenariobaserade designaktiviteter för att föreställa sig framtida svärmtillämpningar i dialog med potentiella slutanvändare, utvecklar och utvärderar avhandlingen prototyper som manifesterar dessa nyanserade MSI-koncept. Gränssnittens prototyper drar designinspiration från realtidsstrategispel (RTS). Dessa element inkluderar enhetshantering och kommandon på gruppnivå, strategisk uppdragsplanering, och resursdelning för att skapa en hybrid interaktionsmodell som gör det möjligt för operatörer att både bibehålla en bred lägesbild och utöva precis kontroll över flera autonoma och samverkande drönare. Domänexperters utvärderingar av dessa prototyper i arbetskontexter som brandbekämpning och flygplatsledning påvisar den praktiska användbarheten av dessa koncept.

Resultaten betonar värdet av att anta ett Människa-Teknik-Organisation (MTO)-perspektiv vid utformningen av MSI-system. Snarare än att enbart fokusera på interaktionen mellan människor och teknik, erkänner detta systemtänkande tillvägagångssätt att drönarsvärmar måste integreras i större organisatoriska ramar, såsom ledningsstrukturer for räddningsinsatser eller markoperativa team på flygplatser. Det visar att framgångsrik implementering av drönarsvärmar kräver att systemutvecklare tar hänsyn till det bredare organisatoriska sammanhanget, inklusive roller, arbetsflöden, och samverkansbehov. Detta holistiska tillvägagångssatt för utformningen av MSI-system säkerställer att drönarsvärmar inte bara uppfyller tekniska prestandakriterier, såsom tillförlitlighet, responsivitet, och skalbarhet, utan också överensstämmer med mänskliga och organisatoriska behov, vilket underlättar deras införande och effektiv användning i en mängd olika tillämpningsscenarier. Över lag är dessa forskningsbidrag avsedda att överbrygga gapet mellan teoretiska modeller för svärmstyrning och praktisk implementering, och därmed avancera och främja både MSI-området och den bredare användningen av svärmteknologier.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2025. , s. 96
Serie
Linköping Studies in Arts and Sciences, ISSN 0282-9800 ; 900
Nyckelord [en]
Human-swarm interaction, Drone swarms, Cognitive systems, Interaction design
Nyckelord [sv]
Människa-svärminteraktion, Drönarsvärmar, Kognitiva system, Interaktionsdesign
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign)
Identifikatorer
URN: urn:nbn:se:liu:diva-211761DOI: 10.3384/9789180759595ISBN: 9789180759588 (tryckt)ISBN: 9789180759595 (digital)OAI: oai:DiVA.org:liu-211761DiVA, id: diva2:1938952
Disputation
2025-03-27, Ada Lovelace, B Building, Campus Valla, Linköping, 09:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2025-02-20 Skapad: 2025-02-20 Senast uppdaterad: 2025-02-20Bibliografiskt granskad
Delarbeten
1. Drone Swarms in Forest Firefighting: A Local Development Case Study of Multi-Level Human-Swarm Interaction
Öppna denna publikation i ny flik eller fönster >>Drone Swarms in Forest Firefighting: A Local Development Case Study of Multi-Level Human-Swarm Interaction
Visa övriga...
2020 (Engelska)Ingår i: Proceedings of the 11th Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society, New York, NY, USA: Association for Computing Machinery (ACM), 2020, artikel-id 93Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Swarms of autonomous and coordinating Unmanned Aerial Vehicles (UAVs) are rapidly being developed to enable simultaneous control of multiple UAVs. In the field of Human-Swarm Interaction (HSI), researchers develop and study swarm algorithms and various means of control and evaluate their cognitive and task performance. There is, however, a lack of research describing how UAV swarms will fit into future real-world domain contexts. To remedy this, this paper describes a case study conducted within the community of firefighters, more precisely two Swedish fire departments that regularly deploy UAVs in fire responses. Based on an initial description of how their UAVs are used in a forest firefighting context, participating UAV operators and unit commanders envisioned a scenario that showed how the swarm and its capabilities could be utilized given the constraints and requirements of a forest firefighting mission. Based on this swarm scenario description we developed a swarm interaction model that describes how the operators’ interaction traverses multiple levels ranging from the entire swarm, via subswarms and individual UAVs, to specific sensors and equipment carried by the UAVs. The results suggest that human-in-the-loop simulation studies need to enable interaction across multiple swarm levels as this interaction may exert additional cognitive strain on the human operator.

Ort, förlag, år, upplaga, sidor
New York, NY, USA: Association for Computing Machinery (ACM), 2020
Nyckelord
Human-Swarm Interaction, UAV swarm, Firefighting drones, Swarm applications
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign) Datorgrafik och datorseende
Identifikatorer
urn:nbn:se:liu:diva-177633 (URN)10.1145/3419249.3421239 (DOI)001334839200130 ()2-s2.0-85123040721 (Scopus ID)9781450375795 (ISBN)
Konferens
NordiCHI '20
Forskningsfinansiär
Stiftelsen för strategisk forskning (SSF), FID17-0030
Tillgänglig från: 2021-06-30 Skapad: 2021-06-30 Senast uppdaterad: 2025-10-10Bibliografiskt granskad
2. Swarms, teams, or choirs?: Metaphors in multi-UAV systems design
Öppna denna publikation i ny flik eller fönster >>Swarms, teams, or choirs?: Metaphors in multi-UAV systems design
2021 (Engelska)Ingår i: Advances in Human Factors in Robots, Unmanned Systems and Cybersecurity / [ed] Matteo Zallio, Carlos Raymundo Ibañez, Jesus Hechavarria Hernandez, Cham, 2021, s. 10-15Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Future Unmanned Aerial Vehicles (UAVs) are projected to fly and operate in swarms. The swarm metaphor makes explicit and implicit mappings regarding system architecture and human interaction to aspects of natural systems, such as bee societies. Compared to the metaphor of a team, swarming agents as individuals are less capable, more expendable, and more limited in terms of communication and coordination. Given their different features and limitations, the two metaphors could be useful in different scenarios. We also discuss a choir metaphor and illustrate how it can give rise to different design concepts. We conclude that designers and engineers should be mindful of the metaphors they use because they influence—and limit—how to think about and design for multi-UAV systems.

Ort, förlag, år, upplaga, sidor
Cham: , 2021
Serie
Lecture Notes in Networks and Systems, ISSN 2367-3370 ; 268
Nyckelord
Drone swarm, Human-swarm interaction, Metaphor
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign) Datorgrafik och datorseende
Identifikatorer
urn:nbn:se:liu:diva-178162 (URN)10.1007/978-3-030-79997-7_2 (DOI)978-3-030-79996-0 (ISBN)978-3-030-79997-7 (ISBN)
Konferens
AHFE 2021, USA, July 25-29, 2021
Forskningsfinansiär
Stiftelsen för strategisk forskning (SSF), FID17-0030
Tillgänglig från: 2021-08-09 Skapad: 2021-08-09 Senast uppdaterad: 2025-02-20Bibliografiskt granskad
3. Human-Swarm Interaction in Semi-voluntary Search and Rescue Operations: Opportunities and Challenges
Öppna denna publikation i ny flik eller fönster >>Human-Swarm Interaction in Semi-voluntary Search and Rescue Operations: Opportunities and Challenges
2023 (Engelska)Ingår i: Proceedings of the European Conference on Cognitive Ergonomics 2023, New York: Association for Computing Machinery , 2023Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

In search and rescue (SAR) operations, drones can provide clear and timely situational overview data and object identification. However, the current one-to-one relationship between operators and drones limits scalability. Swarm solutions have been proposed to overcome this limitation, but there are few examples of control concepts for SAR operations. Human-swarm interaction (HSI) presents new challenges in terms of task design, control loops, communication, and managing uncertainty. We present an exploratory study of integrating drone swarms into SAR organizations, with a focus on challenges and opportunities for HSI. Our findings highlight the need for a holistic approach to drone swarm systems design, development, and integration. Careful system and task design is vital to reduce operator workload, maximize situational awareness, and maintaining effective communication among SAR team members. Building trust through technology exposure and training is also important. We identify several key research avenues, including adaptive and intelligent swarm control mechanisms, trust dynamics between operators and swarms, participatory design work, legal and operational frameworks, and the organizational impact of drone swarm integration. Overall, this paper contributes to HSI and SAR research by addressing research gaps concerning the integration effects and constraints of drone swarms in current work settings. The study highlights the potential for implementing drone swarms in semi-voluntary SAR organizations, while emphasizing the importance of considering the tasks and interactions between humans and drones when assessing overall system performance.

Ort, förlag, år, upplaga, sidor
New York: Association for Computing Machinery, 2023
Nyckelord
Search and rescue, Human-swarm interaction, Drone swarm, Cognitive work analysis
Nationell ämneskategori
Människa-datorinteraktion (interaktionsdesign)
Identifikatorer
urn:nbn:se:liu:diva-211760 (URN)10.1145/3605655.3605684 (DOI)9798400708756 (ISBN)
Konferens
ECCE 2023: European Conference in Cognitive Ergonomics, Swansea, United Kingdom, September 19 - 22, 2023
Anmärkning

Funding agency: The Swedish Foundation for Strategic Research (FID17-0030)

Tillgänglig från: 2025-02-20 Skapad: 2025-02-20 Senast uppdaterad: 2025-02-20Bibliografiskt granskad

Open Access i DiVA

fulltext(15292 kB)1783 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 15292 kBChecksumma SHA-512
4d36248da37ef0d5473f26f223ea6bc65d6b2cac4344b17931acbd378039bf258551e96f65b689fd550a4cc58a19eab15c4c8e0b4722a9d5ca95d9a32d913eac
Typ fulltextMimetyp application/pdf
Beställ online >>

Övriga länkar

Förlagets fulltext

Person

Bjurling, Oscar

Sök vidare i DiVA

Av författaren/redaktören
Bjurling, Oscar
Av organisationen
Människocentrerade systemFilosofiska fakulteten
Människa-datorinteraktion (interaktionsdesign)

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 1786 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 4366 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf