Neural Randering Dataset Collection
2025 (English)Independent thesis Advanced level (degree of Master (Two Years)), 20 credits / 30 HE credits
Student thesisAlternative title
Neural Randering Dataset Insamling (Swedish)
Abstract [en]
Neural rendering methods such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting have transformed novel view synthesis, yet their development relies heavily on standardized datasets for training and evaluation. This thesis addresses the dataset gap by developing a multi-camera capture system and collecting two neural rendering datasets: a studio object dataset and a large-scale outdoor heritage site reconstruction. We designed and implemented an automated capture system using twelve synchronized industrial cameras arranged on a quarter-hemisphere arc with a motorized turntable. The system captures 432 images per object across 36 rotation positions. Custom C++ software controls camera synchronization, turntable automation, and data organization. The studio dataset contains 15 objects spanning diverse materials including diffuse, glossy, transparent, and reflective surfaces. For large-scale capture, we documented Gränsö Castle in Sweden using 5,262 images from drone and SLR photography. This dataset tests neural rendering scalability on architectural heritage sites with varying lighting conditions. We compared traditional photogrammetry (RealityCapture) against neural rendering methods (Nerfacto, Splatfacto) on both datasets. Results show that Splatfacto outperforms Nerfacto with average PSNR of 33.27 dB versus 22.07 dB on studio objects. Neural methods successfully reconstruct challenging materials (glass, metal) where photogrammetry fails due to feature matching limitations on specular surfaces. For large-scale scenes, photogrammetry remains practical for complete geometric models while neural rendering excels in bounded high-quality visualization. Both datasets and the capture software are released as open-source resources for the research community.
Abstract [sv]
Neurala renderingsmetoder som Neural Radiance Fields (NeRF) och 3D Gaussian Splatting har förändrat syntes av nya vyer, men deras utveckling är beroende av standardiserade dataset för träning och utvärdering. Detta examensarbete adresserar bristen på dataset genom att utveckla ett flerkamerasystem och samla in två dataset för neural rendering: ett studioobjektdataset och en storskalig rekonstruktion av en kulturhistorisk byggnad utomhus. Vi designade och implementerade ett automatiserat inspelningssystem med tolv synkroniserade industrikameror arrangerade på en kvartshemisfärisk båge med ett motoriserat vridskiva. Systemet tar 432 bilder per objekt över 36 rotationspositioner. Specialutvecklad C++-mjukvara styr kamerasynkronisering, vridskiveautomation och dataorganisation. Studiodatasetet innehåller 15 objekt med varierande material inklusive diffusa, blanka, transparenta och reflekterande ytor. För storskalig inspelning dokumenterade vi Gränsö slott i Sverige med 5 262 bilder från drönare och systemkamera. Detta dataset testar neural renderings skalbarhet på arkitektoniska kulturmiljöer med varierande ljusförhållanden. Vi jämförde traditionell fotogrammetri (RealityCapture) mot neurala renderingsmetoder (Nerfacto, Splatfacto) på båda dataseten. Resultaten visar att Splatfacto överträffar Nerfacto med genomsnittlig PSNR på 33,27 dB jämfört med 22,07 dB på studioobjekt. Neurala metoder rekonstruerar framgångsrikt utmanande material (glas, metall) där fotogrammetri misslyckas på grund av begränsningar i feature matching på spekulära ytor. För storskaliga scener förblir fotogrammetri praktiskt för kompletta geometriska modeller medan neural rendering utmärker sig i avgränsad högkvalitativ visualisering. Båda dataseten och inspelningsmjukvaran släpps som öppna resurser för forskarsamhället.
Place, publisher, year, edition, pages
2025.
Keywords [en]
Neural rendering, NeRF, 3D Gaussian Splatting, photogrammetry, multi-view capture, dataset collection, novel view synthesis, cultural heritage digitization
Keywords [sv]
Neural rendering, NeRF, 3D Gaussian Splatting, fotogrammetri, flervysinspelning, datasetinsamling, syntes av nya vyer, digitalisering av kulturarv
National Category
Engineering and Technology
Identifiers
URN: urn:nbn:se:liu:diva-220877ISRN: LiU-ITN-TEK-A--25/070--SEOAI: oai:DiVA.org:liu-220877DiVA, id: diva2:2033429
Supervisors
Examiners
2026-01-292026-01-292026-01-29Bibliographically approved