Computing in Superposition
- Reference number
- FFL24-0111
- Project leader
- Kleyko, Denis
- Start and end dates
- 260101-301231
- Amount granted
- 15 000 000 SEK
- Administrative organization
- Örebro University
- Research area
- Information, Communication and Systems Technology
Summary
Rapid advances in AI, driven by neural networks, are transforming our society. However, they pose an imminent crisis as computing costs and training data grow increasingly unsustainably. We need to rethink the AI foundations from an efficiency-first perspective. The proposal is to pursue this vision by developing a neuro-inspired computing framework with novel design principles, expanding the processing capabilities of AI and reducing the need for computing resources. The key novelty is to acknowledge that to achieve unprecedented efficiency gains, it is paramount to connect algorithms to the advances in low-power emerging hardware. I will do so by developing an abstraction framework for full-stack computing that will enable effortless co-design of algorithms and hardware. This framework will allow to seamlessly solve challenging problems within machine learning and optimization domains, leading to sustainable next-generation intelligent systems. The proposal is built around a novel paradigm of computing-in-superposition emerging when using neural representations – PI’s field. It promises to revolutionize AI methods from approaches relying on upscaling computing resources to a holistic one wherein algorithms are integrated tightly with their implementation for the overall efficiency. The project aims at dramatically increasing capabilities of intelligent systems while sustaining the computing needs that have become an indispensable foundation of our lives.
Popular science description
Projektet riktar sig mot den kris som samhällets behov av beräkningar står inför, där dessa riskerar att bli ohållbara. För att dramatiskt minska resurserna som förbrukas av AI-metoder och samtidigt öka deras bearbetningskapacitet, kommer projektet att göra betydande framsteg genom att ompröva de algoritmiska grunderna för AI-metoder och designa primitiver för framväxande energisnål hårdvara. För att fullfölja denna vision kommer inspiration att hämtas från biologin. Neuro-inspirerade tillvägagångssätt för beräkning har potential att erbjuda nya sätt att designa AI-metoder och att bygga bättre intelligenta system. Dessa framsteg kommer att utnyttjas för att undersöka hur vi kan förbättra inom områdena av maskininlärning och optimering. Särskilt, projektet fokuserar på tillämpningar inom två utmanande domäner: kombinatorisk optimering och behandling av biomedicinska signaler. Det nyskapande i det föreslagna tillvägagångssättet är insikten att för att uppnå oöverträffade effektivitetsvinster är det avgörande att koppla framstegen inom framväxande energisnål hårdvara till en korrekt algoritmisk abstraktion med många beräkningsprimitiver. Av denna anledning är projektet byggt kring ett nytt paradigm av beräkning-i-superposition som lovar att möjliggöra ett fullstack-beräkningsramverk där algoritmiska och implementeringsmekanismer är tätt integrerade. Men det är också här utmaningen ligger: att utveckla principerna för fullstack-beräkning som överbryggar algoritmiska och implementeringsnivåer, som stödjer många beräkningsprimitiver och som är tillämpliga på en mängd olika beräkningshårdvaror, är en grundläggande utmaning. Utfallet av denna utmaning är inte säkert men PI:s erfarenhet sätter förslaget i en fördelaktig position att ta sig an den. Om det lyckas, kommer projektets långsiktiga påverkan att ligga i det ramverk och de principer det producerar för att tillgodose de beräkningsbehov som har blivit en oumbärlig grund för våra liv.