ISLA: Interactive Semi-situated robot LeArning
- Reference number
- FFL18-0199
- Project leader
- Leite, Iolanda
- Start and end dates
- 200401-250331
- Amount granted
- 12 000 000 SEK
- Administrative organization
- KTH - Royal Institute of Technology
- Research area
- Information, Communication and Systems Technology
Summary
For robots to move out of controlled settings to dynamic real-world environments, a long-standing barrier is the ongoing need to account for the wide range of situations that may arise. To address the challenge of how to enable robots to autonomously learn in a scalable and cost-efficient manner, we propose a novel interactive learning framework that enables robots to gradually acquire new knowledge by querying non-expert semi-situated teachers and incorporating the newly acquired knowledge into their existing decision-making. To achieve this, we will develop computational methods for robots to query semi-situated teachers (e.g. crowd workers) by conveying their underlying representation and synthesize the newly acquired to further use in situ. Our framework has two main novel aspects. First, robots will gather new knowledge from human teachers not physically situated in the environment, contrasting with typical Learning from Demonstration approaches where both the robot and the teacher share the same space. Second, we will leverage recent work on visual end-user programming to push the boundaries of the complexity of the tasks that non-expert users can teach robots. The ability for robots to autonomously leverage crowd-based demonstrations to expand their abilities will change the paradigm of how robots learn today, paving the way for the next generation of general-purpose robots that can acquire novel information as they encounter new challenges in the real world.
Popular science description
Allteftersom robotar rör sig från en kontrollerad miljö till den dynamiska verkligheten är ett hinder behovet att ta hänsyn till mångfalden av situationer som kan uppstå. För att möjliggöra självinlärning hos robotar på ett skalenligt och kostnadseffektivt sätt, föreslår vi ett nytt interaktivt inlärningssystem där robotar gradvis kan införskaffa sig mer kunskap med hjälp av semi-situerade icke-expert lärare och applicera den nyfunna kunskapen i beslutsfattande. I detta syfte utvecklar vi nya beräkningsmetoder åt robotar för att (1) fråga ut semi-situerade lärare genom att förmedla deras underliggande representation och (2) syntetisera den nyfunna kunskapen för användning i nya situationer. Vårt nya inlärningssystem har två huvudaspekter. Först, att robotarna kommer samla in kunskap från mänskliga lärare som inte befinner sig i robotens närliggande området, till skillnad från det typiska inlärning genom demonstration där både roboten och läraren delar samma yta. Det andra är att vi kommer utnyttja de senaste utvecklingarna i visuell slutanvändarprogrammering för att tänja på gränserna på komplexiteten av de utmaningar som icke-expertanvändare kan lära robotar. Robotars förmåga att bli självlärda från mångfaldsbaserade demonstrationer och utveckla sina förmågor kommer att bli ett paradigmskifte i robotars inlärningssätt. Detta kommer att öppna dörrar för nästa generations robotar att införskaffa sig ny information medans de stöter på nya utmaningar i den riktiga världen.