tiny AI 2: Enhancing AI with hyperdimensional computing
- Reference number
- UKR24-0014
- Project leader
- Rachkovskij, Dmitri
- Start and end dates
- 241231-251230
- Amount granted
- 907 009 SEK
- Administrative organization
- Luleå University of Technology
- Research area
- Information, Communication and Systems Technology
Summary
The project is designed to tackle a critical challenge in the field of deep neural networks: their current limitation in learning compositional structures. Our research objectives are twofold: O1 aims to enhance the learning of compositional representations in neural networks via Hyperdimensional Computing/Vector Symbolic Architectures (HDC/VSA); and O2, which seeks to refine learning in conventional artificial neural networks through the application of HDC/VSA. To achieve thits goals, the project is structured into two distinct work packages (WPs), each corresponding to one of the research objectives, over a planned duration of one year. WP1 is devoted to objective O1 and is subdivided into two tasks. The anticipated outcomes from WP1 include a suite of innovative methods for the formation of compositional distributed representations of data across various modalities, such as vectorized data, sequences, and time series. WP2 is directed toward objective O2 and encompasses one task. The principal deliverable of WP2 is expected to be a cutting-edge neural network architecture that represents the most effective integration of the principles of conventional neural networks with the structured and transparent nature of HDC/VSA.
Popular science description
Artificiell intelligens (AI) spelar en allt viktigare roll i olika sektorer i vårt samhälle. Exempel på tillämpningar inkluderar autonoma fordon, genomsekvensering och sjukdomsdiagnostik. Det finns dock ett enormt behov av kompakta AI-lösningar, så kallad TinyAI, för att uppnå strategiska mål för ett hållbart samhälle, hållbara infrastrukturer och intelligenta industrier. Ny neuromorfisk hårdvara, som Intels Loihi-processor, använder endast en bråkdel av energin jämfört med traditionella datorer för att utföra AI-beräkningar. Lösningarna som utvecklas i vårt projekt kommer att testas på sådan hårdvara, vilket direkt bidrar till deras användbarhet i framtida TinyAI-tillämpningar. Projektets målsättning är att adressera en betydande utmaning inom fältet för djupa neurala nätverk, vilket är deras begränsade kapacitet att lära sig och förstå kompositionella strukturer. Vi kommer att utveckla nya metoder för kompositionell distribuerad representation av objekt, vilket möjliggör att skapa hierarkiska "on-the-fly"-representationer där liknande representationer motsvarar liknande objekt. Detta kommer att underlätta uppgifter som likhetssökning, klassificering och många andra AI-tillämpningar. Metoderna i projektet kommer att baseras på teorin om hyperdimensionell beräkning och vektor-symboliska arkitekturer (VSA) – en biologiskt inspirerad beräkningsteori för snabb analys av mycket komplexa datastrukturer, där all data representeras som högdimensionella vektorer. Under de senaste tre åren har det bevisats att VSA-baserade lösningar kan implementeras direkt på ny neuromorfisk hårdvara. Vinsten i beräkningstid och energieffektivitet för att bearbeta komplexa data på sådan hårdvara är dramatisk, eftersom tiden för vektoroperationer är konstant. Projektets mål inkluderar: att utveckla innovativa metoder som grundar sig på principerna för Hyperdimensionell Beräkning och Vektor-Symboliska Arkitekturer (HDC/VSA) för distribuerad representation av data från olika modaliteter; Att konstruera hybridarkitekturer som kombinerar fördelarna med djupinlärning och HDC/VSA;