FSNN: Federerade Spikande Neurala Nätverk
- Diarienummer
- ID23-0019
- Projektledare
- Aminifar, Amir
- Start- och slutdatum
- 240101-281231
- Beviljat belopp
- 2 500 000 kr
- Förvaltande organisation
- Lunds tekniska högskola
- Forskningsområde
- Informations-, kommunikations- och systemteknik
Summary
I strävan efter bättre noggrannhet, konsumerar Artificiell Intelligens (AI) och Maskin Lärning (ML) allt större mängder energi och utgör ett hot mot miljön. Till exempel, GPT-3 själv använde 1000 MWH för träning, vilket är i höjd med en liten stads elförbrukning under en dag. Det har, därför, blivit uppenbart att den nuvarande maskinlärnings paradigmen är alltmer ohållbar i flera avseenden, inte endast med avseende till beräkningsoverheaden kring träning, men också i relation till den nödvändiga kommunikationen för att möjliggöra träning med decentraliserad data. Inspirerad av energi-effektiviteten hos människohjärnan, så är vårt huvudmål i detta projekt att göra energi-effektiv decentraliserad lärning möjlig genom att utveckla nästa generations Federerade Spikande Neurala Nätverk (FSNN). Mer specifikt har vi som mål att: (1) utveckla den teoretiska grunden för federerad lärning med avseende på Spikande Neurala Nätverk (SNNs) och dess underliggande spik-tids modell, (2) utveckla nästa generations FSNNs genom att utnyttja den inneboende glesheten i SNNs, och (3) demonstrera effektiviteten av det förslagna ramverk i verkliga applikationsförhållanden, inklusive Augmenterad/Virtuell Verklighet. Vi förväntar att denna nya generation av FSNNs kommer vara storleksordningar mer effektiv med avseende på energi, och därav en stark kandidat för att möta de utmaningar kring hållbarhet och energioverhead som är associerade med AI/ML tekniker.
Populärvetenskaplig beskrivning
Användningen och utvecklingen av maskininlärning eller AI har ökat dramatiskt de senaste åren. För att öka prestandan av maskininlärning så har man börjat samla in och använda sig utav allt mer data och större modeller. Denna utvecklingstrend innebär att allt mer energi behövs för att träna och använda modellerna. Endast träningen för GPT-3, en stor språk modell, tog mer än 1000 megawattimmar att träna, vilket är i höjd med energikonsumptionen av en liten stad i USA för en dag. Utöver oroligheter kring energi-konsumptionen, så betyder även insamlingen och användandet av alltmer data ett ökat bekymmer kring sekretess och folks rätt till en nivå av privatliv. För att bekämpa dessa två bekymmer så föreslår vi forskning kring federerade spikande neurala nätverk (FSNN). Federerad inlärning (FL) utvecklades med klassiska neural nätverk (NN) i åtanke för att öka sekretess. I FL så ökar man sekretess generellt genom att utföra all träning på samma enhet som samlar datan, och man skickar endast modell uppdateringar till molnet. Molnet sammanställer sedan en gemensam modell på olika sätt för att öka prestandan. Med andra ord, i FL delar man aldrig med sig utav datan direkt, vilket också medför andra problem, men också stora möjligheter. Inspirerade av den biologiska hjärnans enorma beräknings kapacitet, för en approximativ energi-konsumption av ynka 20 Watt, så har man utvecklat Spikande Neurala Nätverk (SNN). Det vill säga, SNN utvecklades framförallt med energi-effektivitet i åtanke, men också för en potentiellt högre beräkningskapacitet. Till skillnad från vanliga neurala nätverk, där enskilda neuroner summerar ett antal indata och matar ut ett värde med avseende på en aktiveringsfunktion, så har framförallt varje neuron en spänningspotential. Spänningspotentialen gör att neuroner matar ut ett spiktåg och först när de når över en spänningspotential, innan de sedan återställer spänningspotentialen till basnivån. Med spänningspotentialen blir SNN glesa och mer energi-effektiva i anpassad hårdvara. Genom att kombinera SNN med FL, det vill säga FSNN, så kan vi öka sekretessen och drastiskt sänka energi-konsumptionen. Dessutom är FL glesa då endast modell uppdateringar skickas, som kan komprimeras bättre än rådata. Detta innebär att med FSNN är inte endast träningen av modellen energi-effektivare, men dessutom kommunikationen mellan enhet och moln eller server.