Synthetic Data for Real-World Segmentation – Evaluating CNN and ViT Generalization
2025 (English)Independent thesis Advanced level (degree of Master (One Year)), 20 credits / 30 HE credits
Student thesisAlternative title
Syntetisk data för verklig segmentering – Utvärdering av CNN och ViT för generalisering (Swedish)
Abstract [en]
The phrase "garbage in, garbage out", refers to a core principle of machine learning, that the quality of a model's output is tied to the quality of its training data. While real-world datasets have long been the gold standard, their acquisition is often costly, privacy-invasive, and prone to bias. These aspects are motivating the exploration of synthetic data as an alternative. This thesis investigates the effectiveness of synthetic data for semantic facial segmentation by comparing two deep learning architectures: the Vision Transformer-based SegFormer and the convolutional UNet++. Both models were trained from scratch on the fully synthetic Devant dataset and evaluated on the real-world LaPa dataset. To account for structural differences in annotation, a label adaptation step was applied post-training. Three core research questions are addressed: how well ViT and CNN architectures generalize from synthetic to real-world domains; how training dataset size affects generalization; and how critical data augmentation is for performance. Results show that SegFormer consistently outperforms UNet++ in both mIoU and inference speed (63.9 vs. 59.6 mIoU; 28.4\% faster). Adaptation proved essential for aligning label definitions and enabling fair evaluation, and data augmentation emerged as a prerequisite for any meaningful generalization. In conclusion, the study demonstrates that Vision Transformers trained on synthetic data, when paired with strong augmentation and adaptation, can match or surpass traditional CNNs, supporting their viability for privacy-preserving and scalable machine learning applications.
Abstract [sv]
Uttrycket “garbage in, garbage out” syftar på en grundläggande princip inom maskininlärning: att kvaliteten på en modells resultat är direkt kopplad till kvaliteten på dess träningsdata. Även om verkliga datamängder länge har varit standard, är insamlingen av dem ofta kostsam, integritetskränkande och kan vara vinklade. Detta har lett till ett ökande intresse för syntetisk data som ett alternativ. Denna avhandling undersöker effektiviteten hos syntetisk data för semantisk ansiktssegmentering genom att jämföra två djupinlärningsarkitekturer: Vision Transformer-baserade SegFormer och det konvolutionella UNet++. Båda modellerna tränades från grunden på det helt syntetiska Devant-datasetet och utvärderades på det verkliga LaPa-datasetet. För att hantera strukturella skillnader i annotering tillämpades ett anpassningssteg för etiketter efter träning. Tre centrala forskningsfrågor behandlas: hur väl ViT- och CNN-arkitekturer generaliserar från syntetisk till verklig domän; hur storleken på träningsdatan påverkar generalisering; samt hur avgörande dataaugmentation är för modellens prestanda. Resultaten visar att SegFormer konsekvent överträffar UNet++ i både mIoU och inferenshastighet (63,9 vs. 59,6 mIoU; 28,4 % snabbare). Anpassning visade sig vara avgörande för att harmonisera etikettdefinitioner och möjliggöra rättvis utvärdering, och dataaugmentation framstod som en förutsättning för meningsfull generalisering. Sammanfattningsvis visar studien att Vision Transformers som tränas på syntetisk data, i kombination med effektiv augmentation och anpassning, kan matcha eller överträffa traditionella CNN:er. Detta stärker deras potential för integritetsskyddande och skalbara maskininlärningsapplikationer.
Place, publisher, year, edition, pages
2025.
Keywords [en]
synthetic data, semantic segmentation, Vision Transformer, SegFormer, UNet++, ViT vs CNN, computer vision
Keywords [sv]
syntetisk data, semantisk segmentering, Vision Transformer, SegFormer, UNet++, ViT vs CNN, datorseende
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:liu:diva-214977ISRN: LiU-ITN-TEK-A--25/029--SEOAI: oai:DiVA.org:liu-214977DiVA, id: diva2:1970762
External cooperation
Devant, Norrköping
Subject / course
Computer Engineering
Supervisors
Examiners
2025-06-172025-06-172025-06-17Bibliographically approved