FSNN: Federated Spiking Neural Networks
- Reference number
- ID23-0019
- Project leader
- Aminifar, Amir
- Start and end dates
- 240101-281231
- Amount granted
- 2 500 000 SEK
- Administrative organization
- Lunds tekniska högskola
- Research area
- Information, Communication and Systems Technology
Summary
In the quest for higher accuracy, Artificial Intelligence (AI) and Machine Learning (ML) are consuming enormous amounts of energy and pose a threat to the environment. For instance, GPT-3 alone consumes 1000 MWh for training, an amount which is akin to the energy consumption of a small town for approximately a day. It has, thus, become evident that the current machine learning paradigm is increasingly unsustainable in multiple aspects, not only with respect to the computing overheads around training, but also in relation to the communication required to make learning possible with decentralized data. Inspired by the energy efficiency of the human brain, our main goal in this project is to enable energy-efficient decentralized learning by developing the next generation Federated Spiking Neural Networks (FSNN). Our specific objectives in this project are: (1) to develop the theoretical foundation of federated learning considering spiking neural networks (SNNs) and their underlying spike-timing model, (2) to develop the next generation FSNNs leveraging the inherent sparsity in SNNs, and (3) to demonstrate the efficiency of the proposed framework for real-world applications, including Augmented/Virtual Reality. We expect this new generation of FSNNs to be orders of magnitude more efficient in terms of energy, presenting a strong contender to tackle the sustainability challenges and energy overheads associated with AI/ML techniques.
Popular science description
Användningen och utvecklingen av maskininlärning eller AI har ökat dramatiskt de senaste åren. För att öka prestandan av maskininlärning så har man börjat samla in och använda sig utav allt mer data och större modeller. Denna utvecklingstrend innebär att allt mer energi behövs för att träna och använda modellerna. Endast träningen för GPT-3, en stor språk modell, tog mer än 1000 megawattimmar att träna, vilket är i höjd med energikonsumptionen av en liten stad i USA för en dag. Utöver oroligheter kring energi-konsumptionen, så betyder även insamlingen och användandet av alltmer data ett ökat bekymmer kring sekretess och folks rätt till en nivå av privatliv. För att bekämpa dessa två bekymmer så föreslår vi forskning kring federerade spikande neurala nätverk (FSNN). Federerad inlärning (FL) utvecklades med klassiska neural nätverk (NN) i åtanke för att öka sekretess. I FL så ökar man sekretess generellt genom att utföra all träning på samma enhet som samlar datan, och man skickar endast modell uppdateringar till molnet. Molnet sammanställer sedan en gemensam modell på olika sätt för att öka prestandan. Med andra ord, i FL delar man aldrig med sig utav datan direkt, vilket också medför andra problem, men också stora möjligheter. Inspirerade av den biologiska hjärnans enorma beräknings kapacitet, för en approximativ energi-konsumption av ynka 20 Watt, så har man utvecklat Spikande Neurala Nätverk (SNN). Det vill säga, SNN utvecklades framförallt med energi-effektivitet i åtanke, men också för en potentiellt högre beräkningskapacitet. Till skillnad från vanliga neurala nätverk, där enskilda neuroner summerar ett antal indata och matar ut ett värde med avseende på en aktiveringsfunktion, så har framförallt varje neuron en spänningspotential. Spänningspotentialen gör att neuroner matar ut ett spiktåg och först när de når över en spänningspotential, innan de sedan återställer spänningspotentialen till basnivån. Med spänningspotentialen blir SNN glesa och mer energi-effektiva i anpassad hårdvara. Genom att kombinera SNN med FL, det vill säga FSNN, så kan vi öka sekretessen och drastiskt sänka energi-konsumptionen. Dessutom är FL glesa då endast modell uppdateringar skickas, som kan komprimeras bättre än rådata. Detta innebär att med FSNN är inte endast träningen av modellen energi-effektivare, men dessutom kommunikationen mellan enhet och moln eller server.