Machine learning is used today in a wide variety of applications, especially within computer vision, robotics, and autonomous systems. Example use cases include detecting people or other objects using cameras in autonomous vehicles, or navigating robots through collision-free paths to solve different tasks. The flexibility of machine learning is attractive as it can be applied to a wide variety of challenging tasks, without detailed prior knowledge of the problem domain. However, training machine learning models requires vast amounts of data, which leads to a significant manual effort, both for collecting the data and for annotating it. 

In this thesis, we study and develop methods for training machine learning models under in-sufficient data within computer vision, robotics, and autonomous systems, for the purpose of reducing the manual effort. In summary, we study (1) weakly-supervised learning for reducing the annotation cost, (2) methods for reducing model bias under highly imbalanced training data,(3) methods for obtaining trustworthy uncertainty estimates, and (4) the use of simulated and semi-virtual environments for reducing the amount of real-world data in reinforcement learning. 

In the first part of this thesis, we investigate how weakly-supervised learning can be used within image segmentation. In contrast to fully supervised learning, weakly-supervised learning uses a weaker form of annotation, which reduces the annotation effort. Typically, in image segmentation, each object needs to be precisely annotated in every image on the pixel level. Creating this type of annotation is both time consuming and costly. In weakly-supervised segmentation, however, the only information required is which objects are depicted in the images. This significantly reduces the annotation time. In Papers A and B, we propose two loss functions for improving the predicted object segmentations, especially their contours, in weakly-supervised segmentation. 

In the next part of the thesis, we tackle class imbalance in image classification. During data collection, some classes naturally occur more frequently than others, which leads to an imbalance in the amount of data between the different classes. Models trained on such datasets may become biased towards the more common classes. Overcoming this effect by collecting more data of the rare classes may take a very long time. Instead, we develop an ensemble method for image classification in Paper C, which is unbiased despite being trained on highly imbalanced data. 

When using machine learning models within autonomous systems, a desirable property for them is to predict trustworthy uncertainty estimates. This is especially important when the training data is limited, as the probability for encountering previously unseen cases is large. In short, a model making a prediction with a certain confidence should be correct with the corresponding probability. This is not the case in general, as machine learning models are notorious for predicting overconfident uncertainty estimates. We apply methods for improving the uncertainty estimates for classification in Paper C and for regression in Paper D. 

In the final part of this thesis, we utilize reinforcement learning for teaching a robot to perform coverage path planning, e.g. for lawn mowing or search-and-rescue. In reinforcement learning, the robot interacts with an environment and gets rewards based on how well it solves the task. Initially, its actions are random, which improve over time as it explores the environment and gathers data. It typically takes a long time for this learning process to converge. This is problematic in real-world environments where the robot needs to operate during the full duration, which may require human supervision. At the same time, a large variety in the training data is important for generalisation, which is difficult to achieve in real-world environments. Instead, we utilize a simulated environment in Paper E for accelerating the training process, where we procedurally generate random environments. To simplify the transfer from simulation to reality, we fine-tune the model in a semi-virtual indoor environment on the real robot in Paper F. 

Maskininlärning används idag i bred utsträckning inom många områden, och i synnerhet in-om datorseende, robotik, och autonoma system. Det kan till exempel användas för att detektera människor och andra föremål med kameror i autonoma bilar, eller för att styra robotar längs kollisionsfria banor för att lösa diverse uppgifter. Flexibiliteten i maskininlärning är attraktiv då den kan tillämpas för att lösa svåra problem utan detaljkännedom inom problemdomänen i fråga. Dock krävs en stor mängd data för att träna maskininlärningsmodeller, vilket medför en stor manuell arbetsbörda, dels för att samla in data, och dels för att annotera insamlade data.

I denna avhandling undersöker och utvecklar vi metoder för att träna maskininlärningsmodeller med begränsad tillgång till data inom datorseende, robotik och autonoma system, i syfte att minska den manuella arbetsbördan. Sammanfattningsvis undersöker vi (1) svagt väglett läran-de för att minska annoteringstiden, (2) metoder som är opartiska under högt obalanserade data,(3) metoder för att erhålla pålitliga osäkerhetsskattningar, och (4) simulerings- och semivirtuella miljöer för att minska mängden riktiga data för förstärkningsinlärning.

I den första delen av avhandlingen undersöker vi hur svagt väglett lärande (eng. weakly-supervised learning) kan användas inom bildsegmentering. Till skillnad från fullt väglett lärande används en svagare annoteringsform, vilket medför en minskning i den manuella annoterings-bördan. För bildsegmentering krävs i vanliga fall en noggrann annotering av varje enskilt objekt i varje bild på pixelnivå. Att skapa denna typ av annotering är både tidskrävande och kostsam. Med svagt väglett lärande krävs endast kännedom om vilka typer av objekt som finns i varje bild, vilket avsevärt minskar annoteringstiden. I Artikel A och B utformar vi två målfunktioner som är anpassade för att bättre segmentera objekt av intresse, i synnerhet deras konturer.

I nästa del hanterar vi en oönskad effekt som kan uppstå under datainsamlingen. Vissa typer av klasser förekommer naturligt oftare än andra, vilket leder till att det blir en obalans av mängden data emellan olika klasser. En modell som är tränad på en sådan datamängd kan bli partisk mot de klasser som förekommer oftare. Om vissa klasser är sällsynta kan det ta väldigt lång tid att samla in tillräckligt mycket data för att överkomma den effekten. För att motverka effekten i bildklassificering utvecklar vi en ensemblemetod i Artikel C som är opartisk, trots att den är tränad på högt obalanserade data.

För att maskininlärningsmodeller ska vara användbara inom autonoma system är det fördelaktigt om de på ett pålitligt sätt kan skatta sin osäkerhet. Detta är särskilt viktigt vid begränsad träningsdata, eftersom sannolikheten ökar för att okända situationer uppstår som modellen inte har sett under träning. I korthet bör en modell som gör en skattning med en viss säkerhet vara korrekt med motsvarande sannolikhet. Detta är inte fallet generellt för maskininlärningsmodeller, utan de har en tendens att vara överdrivet självsäkra. Vi tillämpar metoder för att förbättra osäkerhetsskattningen för klassificering i Artikel C och för regression i Artikel D.

I den sista delen av avhandlingen undersöker vi hur förstärkningsinlärning (eng. reinforcement learning) kan tillämpas för att lära en robot yttäckningsplanering, exempelvis för gräsklippning eller för att hitta försvunna personer. Under förstärkningsinlärning interagerar roboten i den tilltänkta miljön, och får belöningar baserat på hur väl den utför uppgiften. Initialt är dess handlingar slumpmässiga som sedan förbättras över tid. I många fall tar detta väldigt lång tid, vilket är problematiskt i verkliga miljöer då roboten behöver hållas i drift under hela träningsprocessen. Samtidigt är varierande träningsmiljöer viktiga för generalisering till nya miljöer, vilket är svårt att åstadkomma. Istället använder vi en simulerad miljö i Artikel E för att påskynda tränings-processen där vi utnyttjar slumpmässigt genererade miljöer. För att sedan förenkla övergången från simulering till verklighet finjusterar vi modellen i en semivirtuell inomhusmiljö i Artikel F.  

Computer vision aims to equip machines with perceptual understanding—detecting, recognizing, localizing, and relating visual entities to existing sources of knowledge. Machine learning provides the mechanism: models learn representations and decision rules from data and are expected to generalize beyond the training distribution. These systems already support biodiversity monitoring, autonomous driving, and geospatial mapping. In practice, however, textbook assumptions break down: the concept space is vast, data is sparse and imbalanced, many categories are rare, and high-quality annotations are costly. In addition, deployment conditions shift over time—class frequencies and visual domains evolve—biasing models toward frequent scenarios and eroding reliability.

In this work, we develop methods for training reliable visual recognition models under more realistic conditions: class imbalance, limited labeled data, and distribution shift. Our contributions span three themes: (1) debiasing strategies for imbalanced classification that remain reliable under changes in class priors; (2) semi-supervised learning techniques tailored to imbalanced data to reduce annotation cost while preserving minority-class performance; and (3) a unified multimodal retrieval approach for remote sensing (RS) that narrows the domain gap.

In Paper A, we study long-tailed image recognition, where skewed training data biases classifiers toward frequent classes. During deployment, changes in class priors can further amplify this bias. We propose an ensemble of skill-diverse experts, each trained under a distinct target prior, and aggregate their predictions to balance head and tail performance. We theoretically show that the ensemble’s prior bias equals the mean expert bias and that choosing complementary target priors cancels it, yielding an unbiased predictor that minimizes balanced error. With calibrated experts—achieved in practice via Mixup—the ensemble attains state-of-the-art accuracy and remains reliable under label shift.

In Paper B, we investigate long-tailed recognition in the semi-supervised setting, where a small, imbalanced labeled set is paired with a large unlabeled pool. Semi-supervised learning leverages unlabeled data to reduce annotation costs, typically through pseudo-labeling, but the unlabeled class distribution is often unknown and skewed. Naïve pseudo-labeling propagates the labeled bias, reinforcing head classes and overlooking rare ones. We propose a flexible distribution-alignment framework that estimates the unlabeled class mix online and reweights pseudo-labels accordingly, guiding the model first toward the unlabeled distribution to stabilize training and then toward a balanced classifier for fair inference. The proposed approach leverages unlabeled data more effectively, improving accuracy, calibration, and robustness to unknown unlabeled priors.

In Paper C, we move beyond recognition to unified multimodal retrieval for remote sensing—a domain with scarce image–text annotations and a challenging shift from natural images. Prior solutions are fragmented: RS dual encoders lack interleaved input support; universal embedders miss spatial metadata and degrade under domain shift; and RS generative assistants reason over regions but lack scalable retrieval. To overcome these limitations, we introduce VLM2GeoVec, a single-encoder, instruction-following embedder that aligns images, text, regions, and geocoordinates in a shared space. For comprehensive evaluation, we also propose RSMEB, a unified retrieval benchmark that spans conventional tasks (e.g., classification, cross-modal retrieval) and novel interleaved tasks (e.g., visual grounding, spatial localization, semantic geo-localization). In RSMEB, VLM2GeoVec narrows the domain gap relative to universal embedders and matches specialized baselines in conventional tasks in zero-shot settings. It further enables interleaved spatially-aware search, delivering several-fold gains in metadata-aware RS applications.