Data-driven scene characterization for realistic rendering
- Reference number
- IIS11-0081
- Start and end dates
- 120101-161231
- Amount granted
- 26 973 361 SEK
- Administrative organization
- Linköping University
- Research area
- Information, Communication and Systems Technology
Summary
Motivated by the rapid growth of image data and corresponding other sensor and meta data available, the goal of this project is to develop new theory and methods for structuring large image data sets and algorithms for extracting semantic information from visually rich scenes. The project will concentrate on everyday indoor scenes and develop an imaging pipeline for novel combinations of multi-modal sensor input (a high resolution HDR-video camera, a range image sensor, and an Inertial Measurement Unit (IMU) and Ultra-Wide Band (UWB) technology for tracking) and new forms of scene meta information (large databases of geometries and material properties) demonstrating: capture and processing of scenes into a physically accurate representation, that can be edited and enables photo-realistic and photometrically accurate computer graphics images to be rendered, that allows virtual objects to be added to the scene and appear as if they were actually there. We call this the Virtual Photo Set (VPS). The project covers areas such as camera tracking, extraction and editing of light and geometry, material and color representations. The groups that have joined forces in this proposal hold strong track records in these competitive research areas. A central part of the project is the design and implementation of a complex, software-intensive and data-intensive VPS pipeline. This will demonstrate the novelty of the research undertaken and the system-engineering behind the VPS concept.
Popular science description
Dagens bildtillämpningar producerar mycket stora mängder visuell information. För mer avancerad analys och nya tillämpningar finner man idag att t.o.m. enkla konsumentkameror ofta har flera olika sensorer t.ex. GPS, kompass eller sensorer för att uppskatta kamerans orientering. I det här projektet använder vi ett unikt kamerasystem med en videokamera med högt dynamiskt omfång s.k. High Dynamic Range (HDR), en avståndskamera samt sensorer som gör det möjligt att noggrant mäta position och orientering. Målet med projektet är att från stora datamängder med HDR-bilder med tillhörande meta-information samt stora databaser som beskriver geometri och materialegenskaper såsom reflektans och textur hos ett mycket stort antal möbler och inomhusdetaljer utveckla teori och algoritmer för att strukturera bildinformationen och extrahera semantisk information som beskriver scenen. Baserat på detta kommer projektet att utveckla metoder som gör det möjligt att rekonstruera geometrier, materialegenskaper och belysning i en scen. Den resulterande modellen är den virtuella fotostudion (VPS). Den virtuella fotostudion (VPS) är ett helt nytt sätt att se på hur vi dokumenterar en scen. Till skillnad från vanliga, tvådimensionella fotografier beskriver en VPS den infångade scenen på ett sätt som tillåter betraktaren att se sig omkring, förändra den och att lägga till virtuella objekt med fotorealistisk visuell kvalitet. Projektet kommer att utveckla en demonstrator-pipeline med metoder för att analysera multi-modala indata såsom bilder med högt dynamiskt omfång, avståndsdata, m.m. för att bygga digitala VPS-modeller av komplexa scener. Demonstratorn bygger på forskning och utveckling av nya avancerade metoder för sensor fusion för noggrann positionering och kalibrering av sensorer, datorseendealgoritmer för registrering och rekonstruktion av geometrier, analys av material på ytor, som tillåter förändring av scenen, samt datorgrafikalgoritmer för bildsyntes. Tillämpningsområden för VPS hittar man inom många olika fält, exempelvis specialeffekter i film, digital dokumentation av brottsplatser, fotorealistisk produktvisualisering och digital design.