Visual Symbol Grounding with Distributed Representations
- Reference number
- UKR22-0024
- Project leader
- Rachkovskij, Dmitri
- Start and end dates
- 220601-241231
- Amount granted
- 2 000 000 SEK
- Administrative organization
- Luleå University of Technology
- Research area
- Information, Communication and Systems Technology
Summary
The projects aims at addressing the problem of symbol grounding with Artificial Intelligence (AI) by developing algorithms executable on resource-constrained devices. The research aim is expressed via the following research objectives. O1: to originate novel methods based on Hyperdimensional Computing/Vector Symbolic Architectures (HDC/VSA) for the compositional distributed representation of 2D structures; O2: to develop the hybrid architectures combining the strengths of deep learning and HDC/VSA; O3: to implement and evaluate the solutions on neuromorphic hardware. The work is organized into three work packages (WPs) – one per objective. The project is planned for two years. WP1 addresses O1 and includes 3 tasks. The results expected from this WP will be a collection of novel methods for forming compositional distributed representation of visual data. These methods will, e.g., permit obtaining representations corresponding to some object transformations from the representation of the original object. WP2 addresses O2 and includes 2 tasks. The main result of this WP will be a novel neural network architecture realizing the most promising way of combining the principles of deep learning with the flexibility and transparency of HDC/VSA. Finally, WP3 will address O3 and consists of 2 tasks. The result expected from this WP is a prototype demonstrating a prospective application featuring the methods developed in WP1 and WP2 on neuromorphic hardware using Intel’s Loihi chip.
Popular science description
Betydelsen av artificiell intelligens (AI) ökar dramatiskt i olika sektorer av vårt samhälle. De noterbara exemplen på AI tillämpningar inkluderar självkörande bilar, sekvensering av genom, diagnostisering av sjukdomar. Behovet av kompakta AI lösningar så kallade TinyAI är däremot enormt stor för att uppnå strategiska målsättningar för ett hållbart samhälle, uthålliga infrastrukturer och intelligenta industrier. Ny neuromorfisk hårdvara som t.ex Intels processorn Loihi använder sig ut av bara en bråkdel av energi för att utföra AI beräkningar jämfört med dem traditionella datorer. Våra lösningar i projektet kommer att testas på denna typ av hårdvara som direkt bidrar till deras hög användbarhet i framtida Tiny AI tillämpningar. I detta projekt söker vi lösningar på ett fundamentalt problem av artificiell intelligens som heter symbolföränkringsproblemmet. Problemet formuleras som att hitta en entydig koppling mellan ett fenomen som är observerad av t.ex. visuell sensor (dvs en kamera) och dess symbolisk representation som kan användas i resonemang, och planeringsrutiner. Wi att utveckla nya metoder för kompositionell distribuerad objektrepresentation, som gör det möjligt att skapa hierarkiska objektrepresentationer "on-the-fly" där liknande representationer motsvarar liknande objekt. Detta kommer att möjliggöra dess användning för att lösa sådana uppgifter som likhetssökning (sök efter objekt i basen som liknar frågeobjektet), klassificering och i många andra AI applikationer. I projektet kommer vi att basera våra originella metoder på teori av hyper-dimensionella beräkningar och vektor-symboliska arkitekturer (VSA). VSA är en biologisk inspirerad beräkningsteori för snabb likhetsanalys av mycket komplexa data. I detta paradigm all data även mycket komplex datastruktur är representerad som en högdimensionell vektor. Under dem senaste tre år var det bevisat att VSA baserat lösningar direkt implementerbara på den nya neuromorfiska hårdvaran. Eftersom tidsåtgången för beräkningarna av vektoroperationerna på en sådan hårdavara är konstant är vinsten i beräkningstid och energiförbrukning för bearbetning av komplexa data dramatisk! Projektet har följande mål: 1. Att skapa nya metoder baserade på HDC/VSA principer för distribuerad representation av 2D-strukturer; 2. Att utveckla hybridarkitekturerna som kombinerar styrkorna med djupinlärning och HDC/VSA; 3. Att implementera och utvärdera lösningarna på neuromorfisk hårdvara.