Soundscape analysis using AI methods
- Reference number
- FID20-0028
- Project leader
- Mogren, Olof
- Start and end dates
- 220101-261231
- Amount granted
- 2 500 000 SEK
- Administrative organization
- RISE Research Institutes of Sweden AB, Borås
- Research area
- Computational Sciences and Applied Mathematics
Summary
Soundscape analysis is the problem of analysing sounds in the environment. In this doctoral project, we will approach this and advance the state-of-the-art in acoustic classification and acoustic source separation by jointly studying the two problems, combining strengths from solutions of both into a unified system. Results from this project will accelerate progress in conservation ecology, precision medicine, smart cities, and industry applications. Methods that can separate the different kinds of sound can unlock insights about relationships between them and allow us to answer questions such as: how does human development affect living organisms? Or how does changes in the environment (such as extreme weather, due to changes in climate) affect living organisms? This project will analyse large data sets from sound recording devices, used in ecoacoustics, the study of relationships between different kinds of sounds. One source of such data consists of soundscape recordings of rainforests in Madagascar where problems such as data annotation scarcity and high levels of geophonic noise has to be addressed. Applications also include medicine, project results may enable smart body sensors based on vibration and sound in the body. In industrial settings, the developed techniques may be used to monitor production lines and make the workplace safer. A research project is already ongoing in collaboration with Lund University to investigate sound-based detection of fire events.
Popular science description
I detta projekt kommer vi jobba med tekniker från AI och maskininlärning för att förbättra tekniker för källseparering och ljudklassificering. Dessa är centrala inom fältet ljudlandskapsanalys som studerar relationen mellan olika kategorier av ljud, såsom ljud från djur, ljud från miljön, och ljud som kommer från människa och samhälle. Stora framsteg har gjorts inom automatiserad behandling av ljud, mycket tack vare landvinningar inom maskininlärning och djupa neuronnät. Detta i kombination med tillgång till större datakällor har varit möjliggörande för en fantastisk utveckling. Maskinell ljudanalys har möjliggjort smarta hem genom röststyrning och mobila enheter. Vi föreställer oss liknande transformationer inom biologi, medicin, smarta städer och inom industrin. Klimatförändringar har gjort traditionella metoder för spårning och övervakning av ekologiska system svårare. Kamerafällor och passiva ljudupptagningsenheter har på en del ställen satts upp för att samla in information om djurlivet, och detta skapar stora mängder data som man idag till stor del går igenom manuellt. I detta projekt kommer vi att utveckla tekniker för att underlätta detta arbete, vilket kommer leda till ett effektivare arbetssätt för viltvård och forskning på ekosystemet. Vi kommer kunna svara på frågor som hur ljud från mänsklig utveckling, exempelvis buller från motorvägar och flygplatser, påverkar ekosystem genom att följa akustiskt aktiva arter som fungerar som markörer för balansen i systemet. Inom medicin har manuell ljudanalys länge varit del av läkarkårens verktygslåda. Man lyssnar på lungor och hjärta och ställer diagnoser baserat på detta. De smarta ljudanalysmetoder som kommer att utvecklas i detta projekt kommer kunna leda till effektivare arbete inom sjukvården samt nya medicinska analyser som kan utföras baserat på ljud. Inom tillverkningsindustri används en mängd olika sensorer, och smarta analysmetoder möjliggör optimerade serviceintervall och undvikande av dyra produktionsstopp. Automatiserad ljudanalys kan ge ytterligare verktyg som leder till ännu större effektiviseringar, samt leda till ökad säkerhet för människor i den industriella miljön.