liu.seSearch for publications in DiVA
Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Synthetic Data for Real-World Segmentation – Evaluating CNN and ViT Generalization
Linköping University, Department of Science and Technology.
2025 (English)Independent thesis Advanced level (degree of Master (One Year)), 20 credits / 30 HE creditsStudent thesisAlternative title
Syntetisk data för verklig segmentering – Utvärdering av CNN och ViT för generalisering (Swedish)
Abstract [en]

The phrase "garbage in, garbage out", refers to a core principle of machine learning, that the quality of a model's output is tied to the quality of its training data. While real-world datasets have long been the gold standard, their acquisition is often costly, privacy-invasive, and prone to bias. These aspects are motivating the exploration of synthetic data as an alternative. This thesis investigates the effectiveness of synthetic data for semantic facial segmentation by comparing two deep learning architectures: the Vision Transformer-based SegFormer and the convolutional UNet++. Both models were trained from scratch on the fully synthetic Devant dataset and evaluated on the real-world LaPa dataset. To account for structural differences in annotation, a label adaptation step was applied post-training. Three core research questions are addressed: how well ViT and CNN architectures generalize from synthetic to real-world domains; how training dataset size affects generalization; and how critical data augmentation is for performance. Results show that SegFormer consistently outperforms UNet++ in both mIoU and inference speed (63.9 vs. 59.6 mIoU; 28.4\% faster). Adaptation proved essential for aligning label definitions and enabling fair evaluation, and data augmentation emerged as a prerequisite for any meaningful generalization. In conclusion, the study demonstrates that Vision Transformers trained on synthetic data, when paired with strong augmentation and adaptation, can match or surpass traditional CNNs, supporting their viability for privacy-preserving and scalable machine learning applications.

Abstract [sv]

Uttrycket “garbage in, garbage out” syftar på en grundläggande princip inom maskininlärning: att kvaliteten på en modells resultat är direkt kopplad till kvaliteten på dess träningsdata. Även om verkliga datamängder länge har varit standard, är insamlingen av dem ofta kostsam, integritetskränkande och kan vara vinklade. Detta har lett till ett ökande intresse för syntetisk data som ett alternativ. Denna avhandling undersöker effektiviteten hos syntetisk data för semantisk ansiktssegmentering genom att jämföra två djupinlärningsarkitekturer: Vision Transformer-baserade SegFormer och det konvolutionella UNet++. Båda modellerna tränades från grunden på det helt syntetiska Devant-datasetet och utvärderades på det verkliga LaPa-datasetet. För att hantera strukturella skillnader i annotering tillämpades ett anpassningssteg för etiketter efter träning. Tre centrala forskningsfrågor behandlas: hur väl ViT- och CNN-arkitekturer generaliserar från syntetisk till verklig domän; hur storleken på träningsdatan påverkar generalisering; samt hur avgörande dataaugmentation är för modellens prestanda. Resultaten visar att SegFormer konsekvent överträffar UNet++ i både mIoU och inferenshastighet (63,9 vs. 59,6 mIoU; 28,4 % snabbare). Anpassning visade sig vara avgörande för att harmonisera etikettdefinitioner och möjliggöra rättvis utvärdering, och dataaugmentation framstod som en förutsättning för meningsfull generalisering. Sammanfattningsvis visar studien att Vision Transformers som tränas på syntetisk data, i kombination med effektiv augmentation och anpassning, kan matcha eller överträffa traditionella CNN:er. Detta stärker deras potential för integritetsskyddande och skalbara maskininlärningsapplikationer.

Place, publisher, year, edition, pages
2025.
Keywords [en]
synthetic data, semantic segmentation, Vision Transformer, SegFormer, UNet++, ViT vs CNN, computer vision
Keywords [sv]
syntetisk data, semantisk segmentering, Vision Transformer, SegFormer, UNet++, ViT vs CNN, datorseende
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:liu:diva-214977ISRN: LiU-ITN-TEK-A--25/029--SEOAI: oai:DiVA.org:liu-214977DiVA, id: diva2:1970762
External cooperation
Devant, Norrköping
Subject / course
Computer Engineering
Supervisors
Examiners
Available from: 2025-06-17 Created: 2025-06-17 Last updated: 2025-06-17Bibliographically approved

Open Access in DiVA

fulltext(10393 kB)552 downloads
File information
File name FULLTEXT01.pdfFile size 10393 kBChecksum SHA-512
dbd2d4060cbe57e45227b9293f20d68e8c1ce6567fe10730d658322502c81764ebb2d4c26da23a1de2b9ec923837bdcec8905a57cf6bdd8e8bfb05227b1ca473
Type fulltextMimetype application/pdf

Search in DiVA

By author/editor
Malm Bägén, Filip
By organisation
Department of Science and Technology
Engineering and Technology

Search outside of DiVA

GoogleGoogle Scholar
Total: 553 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 478 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf