Latent spaces for convective-scale data assimilation
- Reference number
- SM24-0059
- Project leader
- Landelius, Tomas
- Start and end dates
- 250701-270630
- Amount granted
- 756 000 SEK
- Administrative organization
- Linköping University
- Research area
- Computational Sciences and Applied Mathematics
Summary
The main objective is to develop efficient computational methods for hectometric scale numerical weather prediction, which is beyond reach for current methods. To enable this, we will transform high-dimensional non-Gaussian processes into lower-dimensional Gaussian equivalents using advanced autoencoders and explore this latent space for data assimilation. Condensed work Plan: - Utilize variational, Wasserstein, or standard autoencoders followed by normalizing flows or diffusion models to achieve dimensionality reduction and Gaussian noise. - Apply sequential Monte Carlo with locally optimal proposals or score-based data assimilation in the Gaussian latent space. - Investigate the use of Koopman neural operators to learn linear projections of latent space dynamics for conventional Kalman filters. - Study neural ODEs to model the Perron-Frobenius operator, ensuring solutions comply with the Liouville equation and directly model probability density functions. Expected Results: - Develop transformations that turn high-dimensional non-Gaussian processes into lower-dimensional Gaussian equivalents. - Report on findings from applying different data assimilation methods in the Gaussian latent space; Sequential Monte Carlo, score based data data assimilation, Kalman filtering with Koopman operators, and directly on the space of probability distributions via the Perron-Frobenius operator.
Popular science description
Numeriska väderprognoser utvecklas nu mot att kunna beskriva fenomen på detaljerade skalor av storleksordningen 100 meter. För att göra prognoser måste man dock först ha en beskrivning av hur vädret ser ut nu. På de nya detaljerade skalorna fungerar inte längre traditionella metoder för att hitta en sådan beskrivning. Här beter sig atmosfären på ett mer komplext, icke-linjärt sätt jämfört med vad som sker på skalor kring några kilometer i dagens modeller. Detta projekt syftar till att förbättra väderprognoser genom att utveckla nya metoder för att hitta nulägesbeskrivningar som kan hantera dessa komplexiteter. Varför är detta viktigt? Väderprognoser spelar en avgörande roll i många samhällssektorer, från jordbruk och energisystem till katastrofberedskap. Genom att utveckla metoder för att beskriva aktuella väderförhållanden mer detaljerat möjliggör vi prognoser på skalor runt 100 meter. Sådana högupplösta prognoser är viktiga för exempelvis planering vid lokalt extremväder, beslut om bevattning och besprutning av åkrar, styrning av vindkraftsparker samt bekämpning av skogsbränder. Hur ska vi göra detta? Förenkla komplex data: Vi kommer att använda maskininlärning för att omvandla komplexa väderdata till enklare former som är lättare att arbeta med. Effektiv dataintegration: Genom att dra nytta av dessa förenklade dataformer kan vi tillämpa effektiva metoder för att integrera nya observationer av väderläget, vilket är nödvändigt för att starta en ny prognos. Sannolikhetsprognoser: Atmosfären är ett kaotiskt system, vilket innebär att det inte går att göra lika långsiktiga prognoser på en skala av 100 meter som på 1 kilometer med samma kvalitet. Lösningen är att använda sannolikhetsprognoser som beskriver olika möjliga väderutvecklingar. Trots att ingen enskild prognos kan vara exakt på skalan 100 meter, kan dessa prognoser ändå fånga detaljer som prognoser på 1 km missar.