Att skala upp männsklig interaktion inom maskininlärning
- Diarienummer
- SM24-0054
- Projektledare
- Leite, Iolanda
- Start- och slutdatum
- 250101-260630
- Beviljat belopp
- 1 207 570 kr
- Förvaltande organisation
- KTH - Royal Institute of Technology
- Forskningsområde
- Informations-, kommunikations- och systemteknik
Summary
Trots den ökande populariteten av "human-in-the-loop" maskininlärningsalgoritmer inom många områden av AI, inklusive robotik, finns det fortfarande begränsningar som hindrar deras tillämpning i kommersiella produkter. Dessa begränsningar inkluderar stora mängder mänskligt input som krävs för modellens konvergens samt en diskrepans mellan feedback-uppgifterna och verkliga användarpreferenser. Detta projekt syftar till att utveckla nya metoder för att förbättra "human-in-the-loop" maskininlärning genom att göra mänsklig feedback mer skalbar, sömlös och engagerande. Projektet kommer att struktureras i tre faser. I fas ett kommer den praktiska implementeringen och skalbarheten av befintliga algoritmer för att optimera mänsklig feedback att analyseras inom användningsfall från spelindustrin. I fas två kommer nya gränssnitt för att samla in implicit mänsklig feedback inom inlärningsuppgiften att undersökas. I fas tre kommer långsiktig användarfeedback att undersökas som ett sätt att utforska personalisering av AI-system. Detta arbete kan medföra en positiv inverkan på effektiviteten av "human-in-the-loop" inlärningsalgoritmer, inte bara inom spel och robotik utan även i andra områden där "human-in-the-loop" inlärning blir allt mer populär, såsom konversationsagenter. Detta stödjer Sveriges AI-agenda och innovationsvision. Detta projekt erbjuder också en möjlighet att bygga starka kopplingar mellan KTH och EA, vilket kan leda till framtida samarbeten och patentansökningar.
Populärvetenskaplig beskrivning
Många av de senaste framstegen inom AI är ganska imponerande, men det finns också fall där de misslyckas, och det är inte hållbart att alltid ha experter i processen. Medan AI-system som lär sig direkt från icke-experter får ökad uppmärksamhet inom fält som robotik, möter de fortfarande utmaningar som hindrar deras tillämpning i kommersiella produkter. Till exempel krävs stora mängder mänskligt input för att effektivt träna dessa system, och det finns en klyfta mellan hur vi för närvarande ger feedback och vad som verkligen speglar våra preferenser. Detta projekt syftar till att överbrygga denna klyfta genom att skala upp hur AI lär sig från människor. Vi avser att skapa metoder som gör mänsklig feedback inte bara mer effektiv utan även mer intuitiv och engagerande, vilket i slutändan leder till AI-system som bättre överensstämmer med våra behov och värderingar. Vi kommer att ta oss an detta mål i tre faser. Först kommer vi att använda datorspel, ofta komplexa miljöer som fokuserar på mänskliga interaktioner och spelas av miljontals människor, för att utvärdera hur nuvarande forskningsalgoritmer för att optimera mänsklig feedback kan tillämpas i större skala. Nästa steg är att utforska nya gränssnitt för att samla in mänsklig feedback implicit, och sömlöst integrera det i användarupplevelsen. Slutligen kommer vi att undersöka hur långsiktiga interaktioner med användare kan bana väg för verkligt personliga AI-system. Effekten av detta arbete kan sträcka sig långt utanför spel och robotik och gynna alla områden där "human-in-the-loop" inlärning blir allt mer relevant, såsom konversations-AI. Genom att driva denna teknik framåt bidrar vi till Sveriges AI-agenda och dess vision för innovation. Dessutom syftar detta projekt till att stärka samarbetet mellan KTH och Electronic Arts, vilket öppnar dörrar för framtida samarbeten och banbrytande framsteg inom området.