liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Deep Gaussian Markov Random Fields
Linköpings universitet, Institutionen för datavetenskap, Statistik och maskininlärning. Linköpings universitet, Tekniska fakulteten.
Linköpings universitet, Institutionen för datavetenskap, Statistik och maskininlärning. Linköpings universitet, Tekniska fakulteten.
2020 (Engelska)Ingår i: Proceedings of the 37th International Conference on Machine Learning / [ed] Hal Daumé III, Aarti Singh, PMLR , 2020, Vol. 119, s. 8916-8926Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

Gaussian Markov random fields (GMRFs) are probabilistic graphical models widely used in spatial statistics and related fields to model dependencies over spatial structures. We establish a formal connection between GMRFs and convolutional neural networks (CNNs). Common GMRFs are special cases of a generative model where the inverse mapping from data to latent variables is given by a 1-layer linear CNN. This connection allows us to generalize GMRFs to multi-layer CNN architectures, effectively increasing the order of the corresponding GMRF in a way which has favorable computational scaling. We describe how well-established tools, such as autodiff and variational inference, can be used for simple and efficient inference and learning of the deep GMRF. We demonstrate the flexibility of the proposed model and show that it outperforms the state-of-the-art on a dataset of satellite temperatures, in terms of prediction and predictive uncertainty.

Ort, förlag, år, upplaga, sidor
PMLR , 2020. Vol. 119, s. 8916-8926
Serie
Proceedings of Machine Learning Research, ISSN 2640-3498 ; 119
Nationell ämneskategori
Sannolikhetsteori och statistik
Identifikatorer
URN: urn:nbn:se:liu:diva-171582OAI: oai:DiVA.org:liu-171582DiVA, id: diva2:1503327
Konferens
International Conference on Machine Learning, 13-18 July 2020, Virtual
Tillgänglig från: 2020-11-24 Skapad: 2020-11-24 Senast uppdaterad: 2020-11-24
Ingår i avhandling
1. Scalable Bayesian spatial analysis with Gaussian Markov random fields
Öppna denna publikation i ny flik eller fönster >>Scalable Bayesian spatial analysis with Gaussian Markov random fields
2020 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Alternativ titel[sv]
Skalbar Bayesiansk spatial analys med Gaussiska Markov-fält
Abstract [en]

Accurate statistical analysis of spatial data is important in many applications. Failing to properly account for spatial autocorrelation may often lead to false conclusions. At the same time, the ever-increasing sizes of spatial datasets pose a great computational challenge, as many standard methods for spatial analysis are limited to a few thousand data points.

In this thesis, we explore how Gaussian Markov random fields (GMRFs) can be used for scalable analysis of spatial data. GMRFs are closely connected to the commonly used Gaussian processes, but have sparsity properties that make them computationally cheap both in time and memory. The Bayesian framework enables a GMRF to be used as a spatial prior, comprising the assumption of smooth variation over space, and gives a principled way to estimate the parameters and propagate uncertainty.

We develop new algorithms that enable applying GMRF priors in 3D to the brain activity inherent in functional magnetic resonance imaging (fMRI) data, with millions of observations. We show that our methods are both faster and more accurate than previous work. A method for approximating selected elements of the inverse precision matrix (i.e. the covariance matrix) is also proposed, which is important for evaluating the posterior uncertainty. In addition, we establish a link between GMRFs and deep convolutional neural networks, which have been successfully used in countless machine learning tasks for images, resulting in a deep GMRF model. Finally, we show how GMRFs can be used in real-time robotic search and rescue operations, for modeling the spatial distribution of injured persons.

Abstract [sv]

Tillförlitlig statistisk analys av spatiala data är viktigt inom många tillämpningar. Om inte korrekt hänsyn tas till spatial autokorrelation kan det ofta leda till felaktiga slutsatser. Samtidigt ökar ständigt storleken på de spatiala datamaterialen vilket utgör en stor beräkningsmässig utmaning, eftersom många standardmetoder för spatial analys är begränsade till några tusental datapunkter.

I denna avhandling utforskar vi hur Gaussiska Markov-fält (eng: Gaussian Markov random fields, GMRF) kan användas för mer skalbara analyser av spatiala data. GMRF-modeller är nära besläktade med de ofta använda Gaussiska processerna, men har gleshetsegenskaper som gör dem beräkningsmässigt effektiva både vad gäller tids- och minnesåtgång. Det Bayesianska synsättet gör det möjligt att använda GMRF som en spatial prior som innefattar antagandet om långsam spatial variation och ger ett principiellt tillvägagångssätt för att skatta parametrar och propagera osäkerhet.

Vi utvecklar nya algoritmer som gör det möjligt att använda GMRF-priors i 3D för den hjärnaktivitet som indirekt kan observeras i hjärnbilder framtagna med tekniken fMRI, som innehåller milliontals datapunkter. Vi visar att våra metoder är både snabbare och mer korrekta än tidigare forskning. En metod för att approximera utvalda element i den inversa precisionsmatrisen (dvs. kovariansmatrisen) framförs också, vilket är viktigt för att kunna evaluera osäkerheten i posteriorn. Vidare gör vi en koppling mellan GMRF och djupa neurala faltningsnätverk, som har använts framgångsrikt för mängder av bildrelaterade problem inom maskininlärning, vilket mynnar ut i en djup GMRF-modell. Slutligen visar vi hur GMRF kan användas i realtid av autonoma drönare för räddningsinsatser i katastrofområden för att modellera den spatiala fördelningen av skadade personer.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2020. s. 53
Serie
Linköping Studies in Arts and Sciences, ISSN 0282-9800 ; 790Linköping Studies in Statistics, ISSN 1651-1700 ; 15
Nyckelord
Spatial statistics, Bayesian statistics, Gaussian Markov random fields, fMRI, Machine learning, Spatial statistik, Bayesiansk statistik, Gaussiska Markov-fält, fMRI, Maskininlärning
Nationell ämneskategori
Sannolikhetsteori och statistik
Identifikatorer
urn:nbn:se:liu:diva-165872 (URN)10.3384/diss.diva-165872 (DOI)9789179298180 (ISBN)
Disputation
2020-09-18, Ada Lovelace, B Building, Campus Valla, Linköping, 10:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2020-08-17 Skapad: 2020-06-01 Senast uppdaterad: 2020-11-24Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Electronic full text

Person

Sidén, PerLindsten, Fredrik

Sök vidare i DiVA

Av författaren/redaktören
Sidén, PerLindsten, Fredrik
Av organisationen
Statistik och maskininlärningTekniska fakulteten
Sannolikhetsteori och statistik

Sök vidare utanför DiVA

GoogleGoogle Scholar

urn-nbn

Altmetricpoäng

urn-nbn
Totalt: 300 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf