liu.seSearch for publications in DiVA
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Learning Coverage Paths in Unknown Environments with Deep Reinforcement Learning
Linköping University, Department of Electrical Engineering, Computer Vision. Linköping University, Faculty of Science & Engineering. Husqvarna Group, Sweden.ORCID iD: 0000-0002-3434-2522
Dalian University of Technology, China.
Linköping University, Department of Electrical Engineering, Computer Vision. Linköping University, Faculty of Science & Engineering. University of KwaZulu-Natal, South Africa.ORCID iD: 0000-0002-6096-3648
2024 (English)In: Proceedings of the 41st International Conference on Machine Learning / [ed] Ruslan Salakhutdinov, Zico Kolter, Katherine Heller, Adrian Weller, Nuria Oliver, Jonathan Scarlett, Felix Berkenkamp, PMLR , 2024, p. 22491-22508Conference paper, Published paper (Refereed)
Abstract [en]

Coverage path planning (CPP) is the problem of finding a path that covers the entire free space of a confined area, with applications ranging from robotic lawn mowing to search-and-rescue. When the environment is unknown, the path needs to be planned online while mapping the environment, which cannot be addressed by offline planning methods that do not allow for a flexible path space. We investigate how suitable reinforcement learning is for this challenging problem, and analyze the involved components required to efficiently learn coverage paths, such as action space, input feature representation, neural network architecture, and reward function. We propose a computationally feasible egocentric map representation based on frontiers, and a novel reward term based on total variation to promote complete coverage. Through extensive experiments, we show that our approach surpasses the performance of both previous RL-based approaches and highly specialized methods across multiple CPP variations.

Place, publisher, year, edition, pages
PMLR , 2024. p. 22491-22508
Series
Proceedings of Machine Learning Research, ISSN 2640-3498 ; 235
National Category
Computer Sciences
Identifiers
URN: urn:nbn:se:liu:diva-207087OAI: oai:DiVA.org:liu-207087DiVA, id: diva2:1893764
Conference
International Conference on Machine Learning, 21-27 July 2024, Vienna, Austria
Note

Funding agencies: y the Wallenberg AI, Autonomous Systems and Software Program (WASP), fundedby the Knut and Alice Wallenberg (KAW) Foundation;  the Vinnova project, human centered autonomous regional airport, Dnr 2022-02678. The computational resources were provided by the National Academic Infrastructure for Supercomputing in Sweden (NAISS), partially funded by the Swedish Research Council through grant agreement no. 2022-06725, and by the Berzelius resource, provided by the KAW Foundation at the National Supercomputer Centre (NSC). 

Available from: 2024-08-30 Created: 2024-08-30 Last updated: 2024-09-13
In thesis
1. Learning Robot Vision under Insufficient Data
Open this publication in new window or tab >>Learning Robot Vision under Insufficient Data
2024 (English)Doctoral thesis, comprehensive summary (Other academic)
Abstract [en]

Machine learning is used today in a wide variety of applications, especially within computer vision, robotics, and autonomous systems. Example use cases include detecting people or other objects using cameras in autonomous vehicles, or navigating robots through collision-free paths to solve different tasks. The flexibility of machine learning is attractive as it can be applied to a wide variety of challenging tasks, without detailed prior knowledge of the problem domain. However, training machine learning models requires vast amounts of data, which leads to a significant manual effort, both for collecting the data and for annotating it. 

In this thesis, we study and develop methods for training machine learning models under in-sufficient data within computer vision, robotics, and autonomous systems, for the purpose of reducing the manual effort. In summary, we study (1) weakly-supervised learning for reducing the annotation cost, (2) methods for reducing model bias under highly imbalanced training data,(3) methods for obtaining trustworthy uncertainty estimates, and (4) the use of simulated and semi-virtual environments for reducing the amount of real-world data in reinforcement learning. 

In the first part of this thesis, we investigate how weakly-supervised learning can be used within image segmentation. In contrast to fully supervised learning, weakly-supervised learning uses a weaker form of annotation, which reduces the annotation effort. Typically, in image segmentation, each object needs to be precisely annotated in every image on the pixel level. Creating this type of annotation is both time consuming and costly. In weakly-supervised segmentation, however, the only information required is which objects are depicted in the images. This significantly reduces the annotation time. In Papers A and B, we propose two loss functions for improving the predicted object segmentations, especially their contours, in weakly-supervised segmentation. 

In the next part of the thesis, we tackle class imbalance in image classification. During data collection, some classes naturally occur more frequently than others, which leads to an imbalance in the amount of data between the different classes. Models trained on such datasets may become biased towards the more common classes. Overcoming this effect by collecting more data of the rare classes may take a very long time. Instead, we develop an ensemble method for image classification in Paper C, which is unbiased despite being trained on highly imbalanced data. 

When using machine learning models within autonomous systems, a desirable property for them is to predict trustworthy uncertainty estimates. This is especially important when the training data is limited, as the probability for encountering previously unseen cases is large. In short, a model making a prediction with a certain confidence should be correct with the corresponding probability. This is not the case in general, as machine learning models are notorious for predicting overconfident uncertainty estimates. We apply methods for improving the uncertainty estimates for classification in Paper C and for regression in Paper D. 

In the final part of this thesis, we utilize reinforcement learning for teaching a robot to perform coverage path planning, e.g. for lawn mowing or search-and-rescue. In reinforcement learning, the robot interacts with an environment and gets rewards based on how well it solves the task. Initially, its actions are random, which improve over time as it explores the environment and gathers data. It typically takes a long time for this learning process to converge. This is problematic in real-world environments where the robot needs to operate during the full duration, which may require human supervision. At the same time, a large variety in the training data is important for generalisation, which is difficult to achieve in real-world environments. Instead, we utilize a simulated environment in Paper E for accelerating the training process, where we procedurally generate random environments. To simplify the transfer from simulation to reality, we fine-tune the model in a semi-virtual indoor environment on the real robot in Paper F. 

Abstract [sv]

Maskininlärning används idag i bred utsträckning inom många områden, och i synnerhet in-om datorseende, robotik, och autonoma system. Det kan till exempel användas för att detektera människor och andra föremål med kameror i autonoma bilar, eller för att styra robotar längs kollisionsfria banor för att lösa diverse uppgifter. Flexibiliteten i maskininlärning är attraktiv då den kan tillämpas för att lösa svåra problem utan detaljkännedom inom problemdomänen i fråga. Dock krävs en stor mängd data för att träna maskininlärningsmodeller, vilket medför en stor manuell arbetsbörda, dels för att samla in data, och dels för att annotera insamlade data.

I denna avhandling undersöker och utvecklar vi metoder för att träna maskininlärningsmodeller med begränsad tillgång till data inom datorseende, robotik och autonoma system, i syfte att minska den manuella arbetsbördan. Sammanfattningsvis undersöker vi (1) svagt väglett läran-de för att minska annoteringstiden, (2) metoder som är opartiska under högt obalanserade data,(3) metoder för att erhålla pålitliga osäkerhetsskattningar, och (4) simulerings- och semivirtuella miljöer för att minska mängden riktiga data för förstärkningsinlärning.

I den första delen av avhandlingen undersöker vi hur svagt väglett lärande (eng. weakly-supervised learning) kan användas inom bildsegmentering. Till skillnad från fullt väglett lärande används en svagare annoteringsform, vilket medför en minskning i den manuella annoterings-bördan. För bildsegmentering krävs i vanliga fall en noggrann annotering av varje enskilt objekt i varje bild på pixelnivå. Att skapa denna typ av annotering är både tidskrävande och kostsam. Med svagt väglett lärande krävs endast kännedom om vilka typer av objekt som finns i varje bild, vilket avsevärt minskar annoteringstiden. I Artikel A och B utformar vi två målfunktioner som är anpassade för att bättre segmentera objekt av intresse, i synnerhet deras konturer.

I nästa del hanterar vi en oönskad effekt som kan uppstå under datainsamlingen. Vissa typer av klasser förekommer naturligt oftare än andra, vilket leder till att det blir en obalans av mängden data emellan olika klasser. En modell som är tränad på en sådan datamängd kan bli partisk mot de klasser som förekommer oftare. Om vissa klasser är sällsynta kan det ta väldigt lång tid att samla in tillräckligt mycket data för att överkomma den effekten. För att motverka effekten i bildklassificering utvecklar vi en ensemblemetod i Artikel C som är opartisk, trots att den är tränad på högt obalanserade data.

För att maskininlärningsmodeller ska vara användbara inom autonoma system är det fördelaktigt om de på ett pålitligt sätt kan skatta sin osäkerhet. Detta är särskilt viktigt vid begränsad träningsdata, eftersom sannolikheten ökar för att okända situationer uppstår som modellen inte har sett under träning. I korthet bör en modell som gör en skattning med en viss säkerhet vara korrekt med motsvarande sannolikhet. Detta är inte fallet generellt för maskininlärningsmodeller, utan de har en tendens att vara överdrivet självsäkra. Vi tillämpar metoder för att förbättra osäkerhetsskattningen för klassificering i Artikel C och för regression i Artikel D.

I den sista delen av avhandlingen undersöker vi hur förstärkningsinlärning (eng. reinforcement learning) kan tillämpas för att lära en robot yttäckningsplanering, exempelvis för gräsklippning eller för att hitta försvunna personer. Under förstärkningsinlärning interagerar roboten i den tilltänkta miljön, och får belöningar baserat på hur väl den utför uppgiften. Initialt är dess handlingar slumpmässiga som sedan förbättras över tid. I många fall tar detta väldigt lång tid, vilket är problematiskt i verkliga miljöer då roboten behöver hållas i drift under hela träningsprocessen. Samtidigt är varierande träningsmiljöer viktiga för generalisering till nya miljöer, vilket är svårt att åstadkomma. Istället använder vi en simulerad miljö i Artikel E för att påskynda tränings-processen där vi utnyttjar slumpmässigt genererade miljöer. För att sedan förenkla övergången från simulering till verklighet finjusterar vi modellen i en semivirtuell inomhusmiljö i Artikel F.  

Place, publisher, year, edition, pages
Linköping: Linköping University Electronic Press, 2024. p. 57
Series
Linköping Studies in Science and Technology. Dissertations, ISSN 0345-7524 ; 2397
National Category
Robotics
Identifiers
urn:nbn:se:liu:diva-207606 (URN)10.3384/9789180757218 (DOI)9789180757201 (ISBN)9789180757218 (ISBN)
Public defence
2024-10-11, Ada Lovelace, B-building, Campus Valla, Linköping, 10:15 (English)
Opponent
Supervisors
Available from: 2024-09-13 Created: 2024-09-13 Last updated: 2024-10-02Bibliographically approved

Open Access in DiVA

fulltext(3807 kB)86 downloads
File information
File name FULLTEXT01.pdfFile size 3807 kBChecksum SHA-512
bf8a90367c8c6dbf46a833c5064ec87f2ca84d10070a2e794a635fd089da3d8ea15138fb7c81fe70635c512729356d78f5d1178c2e463867f14e97fba16646b0
Type fulltextMimetype application/pdf

Authority records

Jonnarth, ArviFelsberg, Michael

Search in DiVA

By author/editor
Jonnarth, ArviFelsberg, Michael
By organisation
Computer VisionFaculty of Science & Engineering
Computer Sciences

Search outside of DiVA

GoogleGoogle Scholar
Total: 86 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 386 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf