liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
A unified framework for multi-sensor HDR video reconstruction
Linköpings universitet, Institutionen för teknik och naturvetenskap, Medie- och Informationsteknik. Linköpings universitet, Tekniska högskolan. (C-Research)
Linköpings universitet, Institutionen för teknik och naturvetenskap, Medie- och Informationsteknik. Linköpings universitet, Tekniska högskolan. (C-Research)ORCID-id: 0000-0003-2559-6122
AG Spheron VR, Germany.
Linköpings universitet, Centrum för medicinsk bildvetenskap och visualisering, CMIV. Linköpings universitet, Institutionen för teknik och naturvetenskap, Medie- och Informationsteknik. Linköpings universitet, Tekniska högskolan. (C-Research)ORCID-id: 0000-0002-9466-9826
Visa övriga samt affilieringar
2014 (Engelska)Ingår i: Signal Processing : Image Communications, ISSN 0923-5965, Vol. 29, nr 2, s. 203-215Artikel i tidskrift (Refereegranskat) Published
Abstract [en]

One of the most successful approaches to modern high quality HDR-video capture is to use camera setups with multiple sensors imaging the scene through a common optical system. However, such systems pose several challenges for HDR reconstruction algorithms. Previous reconstruction techniques have considered debayering, denoising, resampling (alignment) and exposure fusion as separate problems. In contrast, in this paper we present a unifying approach, performing HDR assembly directly from raw sensor data. Our framework includes a camera noise model adapted to HDR video and an algorithm for spatially adaptive HDR reconstruction based on fitting of local polynomial approximations to observed sensor data. The method is easy to implement and allows reconstruction to an arbitrary resolution and output mapping. We present an implementation in CUDA and show real-time performance for an experimental 4 Mpixel multi-sensor HDR video system. We further show that our algorithm has clear advantages over existing methods, both in terms of flexibility and reconstruction quality.

Ort, förlag, år, upplaga, sidor
Elsevier, 2014. Vol. 29, nr 2, s. 203-215
Nyckelord [en]
HDR video, HDR fusion, Kernel regression, Radiometric calibration
Nationell ämneskategori
Mediateknik
Identifikatorer
URN: urn:nbn:se:liu:diva-104617DOI: 10.1016/j.image.2013.08.018ISI: 000332999200003OAI: oai:DiVA.org:liu-104617DiVA, id: diva2:697984
Projekt
VPS
Forskningsfinansiär
Stiftelsen för strategisk forskning (SSF), IIS11-0081Tillgänglig från: 2014-02-19 Skapad: 2014-02-19 Senast uppdaterad: 2015-11-10Bibliografiskt granskad
Ingår i avhandling
1. Physically Based Rendering of Synthetic Objects in Real Environments
Öppna denna publikation i ny flik eller fönster >>Physically Based Rendering of Synthetic Objects in Real Environments
2015 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

This thesis presents methods for photorealistic rendering of virtual objects so that they can be seamlessly composited into images of the real world. To generate predictable and consistent results, we study physically based methods, which simulate how light propagates in a mathematical model of the augmented scene. This computationally challenging problem demands both efficient and accurate simulation of the light transport in the scene, as well as detailed modeling of the geometries, illumination conditions, and material properties. In this thesis, we discuss and formulate the challenges inherent in these steps and present several methods to make the process more efficient.

In particular, the material contained in this thesis addresses four closely related areas: HDR imaging, IBL, reflectance modeling, and efficient rendering. The thesis presents a new, statistically motivated algorithm for HDR reconstruction from raw camera data combining demosaicing, denoising, and HDR fusion in a single processing operation. The thesis also presents practical and robust methods for rendering with spatially and temporally varying illumination conditions captured using omnidirectional HDR video. Furthermore, two new parametric BRDF models are proposed for surfaces exhibiting wide angle gloss. Finally, the thesis also presents a physically based light transport algorithm based on Markov Chain Monte Carlo methods that allows approximations to be used in place of exact quantities, while still converging to the exact result. As illustrated in the thesis, the proposed algorithm enables efficient rendering of scenes with glossy transfer and heterogenous participating media.

Abstract [sv]

En av de största utmaningarna inom datorgrafik är att syntetisera, eller rendera, fotorealistiska bilder. Fotorealistisk rendering används idag inom många tillämpningsområden såsom specialeffekter i film, datorspel, produktvisualisering och virtuell verklighet. I många praktiska tillämpningar av fotorealistisk rendering är det viktigt att kunna placera in virtuella objekt i fotografier, så att de virtuella objekten ser verkliga ut. IKEA-katalogen, till exempel, produceras i många olika versioner för att passa olika länder och regioner. Grunden till de flesta bilderna i katalogen är oftast densamma, men symboler och standardmått på möbler varierar ofta för olika versioner av katalogen. Istället för att fotografera varje version separat kan man använda ett grundfotografi och lägga in olika virtuella objekt såsom möbler i fotot. Genom att på det här sättet möblera ett rum virtuellt, istället för på riktigt, kan man också snabbt testa olika möbleringar och därmed göra ekonomiska besparingar.

Den här avhandlingen bidrar med metoder och algoritmer för att rendera fotorealistiska bilder av virtuella objekt som kan blandas med verkliga fotografier. För att rendera sådana bilder används fysikaliskt baserade simuleringar av hur ljus interagerar med virtuella och verkliga objekt i motivet. För fotorealistiska resultat kräver simuleringarna noggrann modellering av objektens geometri, belysning och materialegenskaper, såsom färg, textur och reflektans.

För att de virtuella objekten ska se verkliga ut är det viktigt att belysa dem med samma ljus som de skulle ha haft om de var en del av den verkliga miljön. Därför är det viktigt att noggrant mäta och modellera ljusförhållanden på de platser i scenen där de virtuella objekten ska placeras. För detta använder vi High Dynamic Range-fotografi, eller HDR. Med hjälp av HDR-fotografi kan vi noggrant mäta hela omfånget av det infallande ljuset i en punkt, från mörka skuggor till direkta ljuskällor. Detta är inte möjligt med traditionella digitalkameror, då det dynamiska omfånget hos vanliga kamerasensorer är begränsat. Avhandlingen beskriver nya metoder för att rekonstruera HDR-bilder som ger mindre brus och artefakter än tidigare metoder. Vi presenterar också metoder för att rendera virtuella objekt som rör sig mellan regioner med olika belysning, eller där belysningen varierar i tiden. Metoder för att representera spatiellt varierande belysning på ett kompakt sätt presenteras också. För att noggrant beskriva hur glansiga ytor sprider eller reflekterar ljus, beskrivs också två nya parametriska modeller som är mer verklighetstrogna än tidigare reflektionsmodeller. I avhandlingen presenteras också en ny metod för effektiv rendering av motiv som är mycket beräkningskrävande, till exempel scener med uppmätta belysningsförhållanden, komplicerade  material, och volumetriska modeller som rök, moln, textiler, biologisk vävnad och vätskor. Metoden bygger på en typ av så kallade Markov Chain Monte Carlo metoder för att simulera ljustransporten i scenen, och är inspirerad av nyligen presenterade resultat inom matematisk statistik.

Metoderna som beskrivs i avhandlingen presenteras i kontexten av fotorealistisk rendering av virtuella objekt i riktiga miljöer, då majoriteten av forskningen utförts inom detta område. Flera av de metoder som presenteras i denna avhandling är dock tillämpbara inom andra domäner, såsom fysiksimulering, datorseende och vetenskaplig visualisering.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2015. s. 135
Serie
Linköping Studies in Science and Technology. Dissertations, ISSN 0345-7524 ; 1717
Nationell ämneskategori
Signalbehandling
Identifikatorer
urn:nbn:se:liu:diva-122588 (URN)10.3384/diss.diva-122588 (DOI)978-91-7685-912-4 (ISBN)
Disputation
2015-12-04, Domteatern, Visualiseringscenter C, Kungsgatan 54, Norrköping, 09:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2015-11-10 Skapad: 2015-11-10 Senast uppdaterad: 2015-11-10Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextJournalProject Page

Personposter BETA

Kronander, JoelGustavson, StefanYnnerman, AndersUnger, Jonas

Sök vidare i DiVA

Av författaren/redaktören
Kronander, JoelGustavson, StefanYnnerman, AndersUnger, Jonas
Av organisationen
Medie- och InformationsteknikTekniska högskolanCentrum för medicinsk bildvetenskap och visualisering, CMIV
Mediateknik

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 514 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • harvard1
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf