liu.seSök publikationer i DiVA
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Hierarchical Bayesian approaches for robust inference in ARX models
Linköpings universitet, Institutionen för systemteknik, Reglerteknik. Linköpings universitet, Tekniska högskolan.ORCID-id: 0000-0002-9424-1272
Linköpings universitet, Institutionen för systemteknik, Reglerteknik. Linköpings universitet, Tekniska högskolan.
Dept. of Information Technology, Uppsala University, Uppsala, Sweden.
School of EECS, University of Newcastle, Australia .
2012 (Engelska)Ingår i: Proceedings from the 16th IFAC Symposium on System Identification, 2012 / [ed] Michel Kinnaert, International Federation of Automatic Control , 2012, Vol. 16 Part 1, s. 131-136Konferensbidrag, Enbart muntlig presentation (Refereegranskat)
Abstract [en]

Gaussian innovations are the typical choice in most ARX models but using other distributions such as the Student's t could be useful. We demonstrate that this choice of distribution for the innovations provides an increased robustness to data anomalies, such as outliers and missing observations. We consider these models in a Bayesian setting and perform inference using numerical procedures based on Markov Chain Monte Carlo methods. These models include automatic order determination by two alternative methods, based on a parametric model order and a sparseness prior, respectively. The methods and the advantage of our choice of innovations are illustrated in three numerical studies using both simulated data and real EEG data.

Ort, förlag, år, upplaga, sidor
International Federation of Automatic Control , 2012. Vol. 16 Part 1, s. 131-136
Serie
IFAC papers online, ISSN 1474-6670 ; 2012
Nyckelord [en]
Particle Filtering/Monte Carlo Methods; Bayesian Methods
Nationell ämneskategori
Signalbehandling
Identifikatorer
URN: urn:nbn:se:liu:diva-81258DOI: 10.3182/20120711-3-BE-2027.00318ISBN: 978-3-902823-06-9 (tryckt)OAI: oai:DiVA.org:liu-81258DiVA, id: diva2:551244
Konferens
The 16th IFAC Symposium on System Identification, July 11-13, Brussels, Belgium
Projekt
CADICSCNDS
Forskningsfinansiär
VetenskapsrådetTillgänglig från: 2012-09-10 Skapad: 2012-09-10 Senast uppdaterad: 2016-05-04Bibliografiskt granskad
Ingår i avhandling
1. Sequential Monte Carlo for inference in nonlinear state space models
Öppna denna publikation i ny flik eller fönster >>Sequential Monte Carlo for inference in nonlinear state space models
2014 (Engelska)Licentiatavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Nonlinear state space models (SSMs) are a useful class of models to describe many different kinds of systems. Some examples of its applications are to model; the volatility in financial markets, the number of infected persons during an influenza epidemic and the annual number of major earthquakes around the world. In this thesis, we are concerned with state inference, parameter inference and input design for nonlinear SSMs based on sequential Monte Carlo (SMC) methods.

The state inference problem consists of estimating some latent variable that is not directly observable in the output from the system. The parameter inference problem is concerned with fitting a pre-specified model structure to the observed output from the system. In input design, we are interested in constructing an input to the system, which maximises the information that is available about the parameters in the system output. All of these problems are analytically intractable for nonlinear SSMs. Instead, we make use of SMC to approximate the solution to the state inference problem and to solve the input design problem. Furthermore, we make use of Markov chain Monte Carlo (MCMC) and Bayesian optimisation (BO) to solve the parameter inference problem.

In this thesis, we propose new methods for parameter inference in SSMs using both Bayesian and maximum likelihood inference. More specifically, we propose a new proposal for the particle Metropolis-Hastings algorithm, which includes gradient and Hessian information about the target distribution. We demonstrate that the use of this proposal can reduce the length of the burn-in phase and improve the mixing of the Markov chain.

Furthermore, we develop a novel parameter inference method based on the combination of BO and SMC. We demonstrate that this method requires a relatively small amount of samples from the analytically intractable likelihood, which are computationally costly to obtain. Therefore, it could be a good alternative to other optimisation based parameter inference methods. The proposed BO and SMC combination is also extended for parameter inference in nonlinear SSMs with intractable likelihoods using approximate Bayesian computations. This method is used for parameter inference in a stochastic volatility model with -stable returns using real-world financial data.

Finally, we develop a novel method for input design in nonlinear SSMs which makes use of SMC methods to estimate the expected information matrix. This information is used in combination with graph theory and convex optimisation to estimate optimal inputs with amplitude constraints. We also consider parameter estimation in ARX models with Student-t innovations and unknown model orders. Two different algorithms are used for this inference: reversible Jump Markov chain Monte Carlo and Gibbs sampling with sparseness priors. These methods are used to model real-world EEG data with promising results.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2014. s. 118
Serie
Linköping Studies in Science and Technology. Thesis, ISSN 0280-7971 ; 1652
Nationell ämneskategori
Reglerteknik
Identifikatorer
urn:nbn:se:liu:diva-106752 (URN)10.3384/lic.diva-106752 (DOI)LIU-TEK-LIC-2014:85 (Lokalt ID)978-91-7519-369-4 (ISBN)LIU-TEK-LIC-2014:85 (Arkivnummer)LIU-TEK-LIC-2014:85 (OAI)
Presentation
2014-05-28, Visionen, B-building, Campus Valla, Linköpings universitet, Linköping, 10:15 (Engelska)
Opponent
Handledare
Tillgänglig från: 2014-05-21 Skapad: 2014-05-21 Senast uppdaterad: 2016-05-04Bibliografiskt granskad
2. Accelerating Monte Carlo methods for Bayesian inference in dynamical models
Öppna denna publikation i ny flik eller fönster >>Accelerating Monte Carlo methods for Bayesian inference in dynamical models
2016 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Making decisions and predictions from noisy observations are two important and challenging problems in many areas of society. Some examples of applications are recommendation systems for online shopping and streaming services, connecting genes with certain diseases and modelling climate change. In this thesis, we make use of Bayesian statistics to construct probabilistic models given prior information and historical data, which can be used for decision support and predictions. The main obstacle with this approach is that it often results in mathematical problems lacking analytical solutions. To cope with this, we make use of statistical simulation algorithms known as Monte Carlo methods to approximate the intractable solution. These methods enjoy well-understood statistical properties but are often computational prohibitive to employ.

The main contribution of this thesis is the exploration of different strategies for accelerating inference methods based on sequential Monte Carlo (SMC) and Markov chain Monte Carlo (MCMC). That is, strategies for reducing the computational effort while keeping or improving the accuracy. A major part of the thesis is devoted to proposing such strategies for the MCMC method known as the particle Metropolis-Hastings (PMH) algorithm. We investigate two strategies: (i) introducing estimates of the gradient and Hessian of the target to better tailor the algorithm to the problem and (ii) introducing a positive correlation between the point-wise estimates of the target.

Furthermore, we propose an algorithm based on the combination of SMC and Gaussian process optimisation, which can provide reasonable estimates of the posterior but with a significant decrease in computational effort compared with PMH. Moreover, we explore the use of sparseness priors for approximate inference in over-parametrised mixed effects models and autoregressive processes. This can potentially be a practical strategy for inference in the big data era. Finally, we propose a general method for increasing the accuracy of the parameter estimates in non-linear state space models by applying a designed input signal.

Abstract [sv]

Borde Riksbanken höja eller sänka reporäntan vid sitt nästa möte för att nå inflationsmålet? Vilka gener är förknippade med en viss sjukdom? Hur kan Netflix och Spotify veta vilka filmer och vilken musik som jag vill lyssna på härnäst?

Dessa tre problem är exempel på frågor där statistiska modeller kan vara användbara för att ge hjälp och underlag för beslut. Statistiska modeller kombinerar teoretisk kunskap om exempelvis det svenska ekonomiska systemet med historisk data för att ge prognoser av framtida skeenden. Dessa prognoser kan sedan användas för att utvärdera exempelvis vad som skulle hända med inflationen i Sverige om arbetslösheten sjunker eller hur värdet på mitt pensionssparande förändras när Stockholmsbörsen rasar. Tillämpningar som dessa och många andra gör statistiska modeller viktiga för många delar av samhället.

Ett sätt att ta fram statistiska modeller bygger på att kontinuerligt uppdatera en modell allteftersom mer information samlas in. Detta angreppssätt kallas för Bayesiansk statistik och är särskilt användbart när man sedan tidigare har bra insikter i modellen eller tillgång till endast lite historisk data för att bygga modellen. En nackdel med Bayesiansk statistik är att de beräkningar som krävs för att uppdatera modellen med den nya informationen ofta är mycket komplicerade. I sådana situationer kan man istället simulera utfallet från miljontals varianter av modellen och sedan jämföra dessa mot de historiska observationerna som finns till hands. Man kan sedan medelvärdesbilda över de varianter som gav bäst resultat för att på så sätt ta fram en slutlig modell. Det kan därför ibland ta dagar eller veckor för att ta fram en modell. Problemet blir särskilt stort när man använder mer avancerade modeller som skulle kunna ge bättre prognoser men som tar för lång tid för att bygga.

I denna avhandling använder vi ett antal olika strategier för att underlätta eller förbättra dessa simuleringar. Vi föreslår exempelvis att ta hänsyn till fler insikter om systemet och därmed minska antalet varianter av modellen som behöver undersökas. Vi kan således redan utesluta vissa modeller eftersom vi har en bra uppfattning om ungefär hur en bra modell ska se ut. Vi kan också förändra simuleringen så att den enklare rör sig mellan olika typer av modeller. På detta sätt utforskas rymden av alla möjliga modeller på ett mer effektivt sätt. Vi föreslår ett antal olika kombinationer och förändringar av befintliga metoder för att snabba upp anpassningen av modellen till observationerna. Vi visar att beräkningstiden i vissa fall kan minska ifrån några dagar till någon timme. Förhoppningsvis kommer detta i framtiden leda till att man i praktiken kan använda mer avancerade modeller som i sin tur resulterar i bättre prognoser och beslut.

Ort, förlag, år, upplaga, sidor
Linköping: Linköping University Electronic Press, 2016
Serie
Linköping Studies in Science and Technology. Dissertations, ISSN 0345-7524 ; 1754
Nyckelord
Computational statistics, Monte Carlo, Markov chains, Particle filters, Machine learning, Bayesian optimisation, Approximate Bayesian Computations, Gaussian processes, Particle Metropolis-Hastings, Approximate inference, Pseudo-marginal methods
Nationell ämneskategori
Sannolikhetsteori och statistik Reglerteknik Beräkningsmatematik
Identifikatorer
urn:nbn:se:liu:diva-125992 (URN)10.3384/diss.diva-125992 (DOI)978-91-7685-797-7 (ISBN)
Disputation
2016-05-04, Visionen, B-building, Campus Valla, Linköping, 10:15 (Engelska)
Opponent
Handledare
Forskningsfinansiär
Vetenskapsrådet, 621-2013-5524Vetenskapsrådet, 637-2014-466Stiftelsen för strategisk forskning (SSF), IIS11-0081
Tillgänglig från: 2016-03-22 Skapad: 2016-03-11 Senast uppdaterad: 2019-10-29Bibliografiskt granskad

Open Access i DiVA

fulltext(536 kB)1020 nedladdningar
Filinformation
Filnamn FULLTEXT01.pdfFilstorlek 536 kBChecksumma SHA-512
90b89525ec5c526e5c697f3d5fa1c347044163b50791d3aa6ec72b87527cc384a1caeeb5a126f6fa7493c57c90d093a260ef35a48407f744b07a0adacaef6614
Typ fulltextMimetyp application/pdf

Övriga länkar

Förlagets fulltext

Person

Dahlin, JohanLindsten, FredrikSchön, Thomas Bo

Sök vidare i DiVA

Av författaren/redaktören
Dahlin, JohanLindsten, FredrikSchön, Thomas Bo
Av organisationen
ReglerteknikTekniska högskolan
Signalbehandling

Sök vidare utanför DiVA

GoogleGoogle Scholar
Totalt: 1020 nedladdningar
Antalet nedladdningar är summan av nedladdningar för alla fulltexter. Det kan inkludera t.ex tidigare versioner som nu inte längre är tillgängliga.

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 753 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • oxford
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf