Datadriven scenkaraktärisering för realistisk rendering
- Diarienummer
- IIS11-0081
- Start- och slutdatum
- 120101-161231
- Beviljat belopp
- 26 973 361 kr
- Förvaltande organisation
- Linköping University
- Forskningsområde
- Informations-, kommunikations- och systemteknik
Summary
Dagens bildtillämpningar producerar mycket stora mängder visuell information. För mer avancerad analys och nya tillämpningar finner man idag att t.o.m. enkla konsumentkameror ofta har flera olika sensorer t.ex. GPS, kompass eller sensorer för att uppskatta kamerans orientering. I det här projektet använder vi ett unikt kamerasystem med en videokamera med högt dynamiskt omfång, s.k. High Dynamic Range (HDR), en avståndskamera samt sensorer som gör det möjligt att noggrant mäta position och orientering. Målet med projektet är att från stora datamängder med HDR-bilder med tillhörande meta-information samt stora databaser som beskriver geometri och materialegenskaper såsom reflektans och textur hos ett mycket stort antal möbler och inomhusdetaljer utveckla teori och algoritmer för att strukturera bildinformationen och extrahera semantisk information. Baserat på detta kommer projektet att utveckla en demonstrator-pipeline som gör det möjligt att rekonstruera geometrier, materialegenskaper och belysning i en scen. Den resulterande modellen är den virtuella fotostudion (VPS). Till skillnad från vanliga, tvådimensionella fotografier beskriver en VPS den infångade scenen på ett sätt som tillåter betraktaren att se sig omkring, förändra den och att lägga till virtuella objekt med fotorealistisk visuell kvalitet. Kraftfullheten och nyttan hos VPS-konceptet visas genom att den pipeline som utvecklas kommer att användas för kommersiella syften av projektets industriella partners.
Populärvetenskaplig beskrivning
Dagens bildtillämpningar producerar mycket stora mängder visuell information. För mer avancerad analys och nya tillämpningar finner man idag att t.o.m. enkla konsumentkameror ofta har flera olika sensorer t.ex. GPS, kompass eller sensorer för att uppskatta kamerans orientering. I det här projektet använder vi ett unikt kamerasystem med en videokamera med högt dynamiskt omfång s.k. High Dynamic Range (HDR), en avståndskamera samt sensorer som gör det möjligt att noggrant mäta position och orientering. Målet med projektet är att från stora datamängder med HDR-bilder med tillhörande meta-information samt stora databaser som beskriver geometri och materialegenskaper såsom reflektans och textur hos ett mycket stort antal möbler och inomhusdetaljer utveckla teori och algoritmer för att strukturera bildinformationen och extrahera semantisk information som beskriver scenen. Baserat på detta kommer projektet att utveckla metoder som gör det möjligt att rekonstruera geometrier, materialegenskaper och belysning i en scen. Den resulterande modellen är den virtuella fotostudion (VPS). Den virtuella fotostudion (VPS) är ett helt nytt sätt att se på hur vi dokumenterar en scen. Till skillnad från vanliga, tvådimensionella fotografier beskriver en VPS den infångade scenen på ett sätt som tillåter betraktaren att se sig omkring, förändra den och att lägga till virtuella objekt med fotorealistisk visuell kvalitet. Projektet kommer att utveckla en demonstrator-pipeline med metoder för att analysera multi-modala indata såsom bilder med högt dynamiskt omfång, avståndsdata, m.m. för att bygga digitala VPS-modeller av komplexa scener. Demonstratorn bygger på forskning och utveckling av nya avancerade metoder för sensor fusion för noggrann positionering och kalibrering av sensorer, datorseendealgoritmer för registrering och rekonstruktion av geometrier, analys av material på ytor, som tillåter förändring av scenen, samt datorgrafikalgoritmer för bildsyntes. Tillämpningsområden för VPS hittar man inom många olika fält, exempelvis specialeffekter i film, digital dokumentation av brottsplatser, fotorealistisk produktvisualisering och digital design.