liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Digital Twin-Enabled Adaptive Robotics: Leveraging Large Language Models in Isaac Sim for Unstructured Environments
Linköpings universitet, Institutionen för ekonomisk och industriell utveckling, Produktrealisering. Linköpings universitet, Tekniska fakulteten. (Design Automation Laboratory)ORCID-id: 0000-0003-1745-3869
Linköpings universitet, Institutionen för ekonomisk och industriell utveckling, Produktrealisering. Linköpings universitet, Tekniska fakulteten. (Design Automation Laboratory)
Linköpings universitet, Institutionen för ekonomisk och industriell utveckling, Produktrealisering. Linköpings universitet, Tekniska fakulteten. (Design Automation Laboratory)ORCID-id: 0009-0000-4905-2344
Linköpings universitet, Institutionen för ekonomisk och industriell utveckling, Produktrealisering. Linköpings universitet, Tekniska fakulteten. (Design Automation Laboratory)
Visa övriga samt affilieringar
2025 (Engelska)Ingår i: Machines, E-ISSN 2075-1702, Vol. 13, nr 7, artikel-id 620Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

As industrial automation evolves towards human-centric, adaptable solutions, collaborative robots must overcome challenges in unstructured, dynamic environments. This paper extends our previous work on developing a digital shadow for industrial robots by introducing a comprehensive framework that bridges the gap between physical systems and their virtual counterparts. The proposed framework advances toward a fully functional digital twin by integrating real-time perception and intuitive human–robot interaction capabilities. The framework is applied to a hospital test lab scenario, where a YuMi robot automates the sorting of microscope slides. The system incorporates a RealSense D435i depth camera for environment perception, Isaac Sim for virtual environment synchronization, and a locally hosted large language model (Mistral 7B) for interpreting user voice commands. These components work together to achieve bi-directional synchronization between the physical and digital environments. The framework was evaluated through 20 test runs under varying conditions. A validation study measured the performance of the perception module, simulation, and language interface, with a 60% overall success rate. Additionally, synchronization accuracy between the simulated and physical robot joint movements reached 98.11%, demonstrating strong alignment between the digital and physical systems. By combining local LLM processing, real-time vision, and robot simulation, the approach enables untrained users to interact with collaborative robots in dynamic settings. The results highlight its potential for improving flexibility and usability in industrial automation.

Ort, förlag, år, upplaga, sidor
2025. Vol. 13, nr 7, artikel-id 620
Nyckelord [en]
Adaptive digital twin; Human-robot collaboration (HRC); Adaptive robotics
Nationell ämneskategori
Produktionsteknik, arbetsvetenskap och ergonomi
Identifikatorer
URN: urn:nbn:se:liu:diva-216601DOI: 10.3390/machines13070620ISI: 001535521300001Scopus ID: 2-s2.0-105011624230OAI: oai:DiVA.org:liu-216601DiVA, id: diva2:1989566
Forskningsfinansiär
Vinnova, 2021-02481Vinnova, 2023-02674Tillgänglig från: 2025-08-18 Skapad: 2025-08-18 Senast uppdaterad: 2026-02-10
Ingår i avhandling
1. Adaptive Automation Strategies for Increasing Variability in Design and Production
Öppna denna publikation i ny flik eller fönster >>Adaptive Automation Strategies for Increasing Variability in Design and Production
2026 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

The increasing demand for customized products, together with the need for flexible, human-centric, and resilient manufacturing systems has intensified the need for automation solutions capable of operating in dynamic and unstructured industrial environments. This dissertation shows how automation methodologies evolve and where they fail as complexity and variability increase across the design and production domains.

The research begins by addressing time-consuming and iterative engineering tasks through design automation. Using Knowledge-Based Engineering (KBE) approaches, automated frameworks were developed to streamline engineering workflows and support consistent decision-making in structured industrial settings. However, when extending the focus to real-world production, the growing complexity and uncertainty of the environment create substantial challenges for both design and production automation.

While KBE provides structure and consistency, its reliance on predefined rules necessitates standardization, resulting in a rigid design space and limited adaptability. To overcome these inherent restrictions, the research integrates complementary tools and techniques that enable more flexible and adaptive automation. Camera vision captures real-world conditions and tracks changes in the environment, while large language models, combined with an agent-based approach, provide reasoning capabilities that interpret variations in products or processes and generate adaptive decision-making strategies. Digital twin simulations validate and predict the outcomes of these variations in a virtual environment, allowing the system to respond proactively and safely by reconciling real-time data with simulation outcomes.

Overall, this work contributes a holistic and scalable automation methodology that unifies design automation, adaptive digital twins, and knowledge-driven reasoning. The results demonstrate how structured engineering knowledge, combined with reasoning and adaptive technologies, enables the development of resilient automation solutions for the increasingly unstructured landscape of future Industry.

Abstract [sv]

Den ökande efterfrågan på kundanpassade produkter, tillsammans med behovet av flexibla, människocentrerade och motståndskraftiga tillverkningssystem, har intensifierat behovet av automatiseringslösningar som kan fungera i dynamiska och ostrukturerade industriella miljöer. Denna avhandling visar hur automatiserings-metoder utvecklas och var de misslyckas i takt med att komplexitet och variation ökar inom design- och produktionsområdena.

Forskningen börjar med att hantera tidskrävande och iterativa tekniska uppgifter genom designautomation. Med hjälp av kunskapsbaserad teknik (KBE) utvecklades automatiserade ramverk för att effektivisera tekniska arbetsflöden och stödja konsekvent beslutsfattande i strukturerade industriella miljöer. Men när fokus utvidgas till verklig produktion skapar den växande komplexiteten och osäkerheten i miljön betydande utmaningar för både design- och produktionsautomation.

Medan KBE ger struktur och konsekvens, kräver dess beroende av fördefinierade regler standardisering, vilket resulterar i ett rigid designutrymme och begränsad anpassningsförmåga. För att övervinna dessa inneboende begränsningar integrerar forskningen kompletterande verktyg och tekniker som möjliggör mer flexibel och adaptiv automatisering. Kameraseende fångar verkliga förhållanden och spårar förändringar i miljön, medan stora språkmodeller, i kombination med en agentbaserad metod, ger resonemangsförmåga som tolkar variationer i produkter eller processer och genererar adaptiva beslutsstrategier. Digitala tvillingsimuleringar validerar och förutsäger resultaten av dessa variationer i en virtuell miljö, vilket gör att systemet kan reagera proaktivt och säkert genom att förena realtidsdata med simuleringsresultat.

Sammantaget bidrar detta arbete med en holistisk och skalbar automationsmetodik som förenar designautomation, adaptiva digitala tvillingar och kunskapsdrivet resonemang. Resultaten visar hur strukturerad ingenjörskunskap, i kombination med resonemang och adaptiva teknologier, möjliggör utveckling av motståndskraftiga automationslösningar för det alltmer ostrukturerade landskapet inom framtidens industri.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2026. s. 62
Serie
Linköping Studies in Science and Technology. Dissertations, ISSN 0345-7524 ; 2505
Nationell ämneskategori
Produktionsteknik, arbetsvetenskap och ergonomi
Identifikatorer
urn:nbn:se:liu:diva-221174 (URN)10.3384/9789181184624 (DOI)9789181184617 (ISBN)9789181184624 (ISBN)
Disputation
2026-03-06, ACAS, A-building, Campus Valla, Linköping, 09:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2026-02-10 Skapad: 2026-02-10 Senast uppdaterad: 2026-02-11Bibliografiskt granskad

Open Access i DiVA

fulltext(11043 kB)25 nedladdningar
Filinformation
Filnamn FULLTEXT02.pdfFilstorlek 11043 kBChecksumma SHA-512
109f4eaa3ca08736850979e081ad1aeb89cf87950e8ee609243ee86db5b027b11871d1f355cea9f5e4dbcf5744d722e6eb1c8436bdb7e87e1233a08addae1b9e
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltextScopus

Person

Ikechukwu, Oscar Chigozie

Sök vidare i DiVA

Av författaren/redaktören
Nambiar, SanjayPaul, Rahul ChiramelIkechukwu, Oscar ChigozieJonsson, MarieTarkian, Mehdi
Av organisationen
ProduktrealiseringTekniska fakulteten
I samma tidskrift
Machines
Produktionsteknik, arbetsvetenskap och ergonomi

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 25 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 191 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf