Continuous Deep Analytics
- Reference number
- BD15-0006
- Start and end dates
- 170101-221231
- Amount granted
- 32 705 188 SEK
- Administrative organization
- KTH - Royal Institute of Technology
- Research area
- Information, Communication and Systems Technology
Summary
While big data processing systems are being used in a variety of societal settings today to support decision making, they currently suffer from two major shortcomings: 1) advanced analytics severely lack in scalability and interpretability, and 2) current processing systems do not support continuous analytics at massive scale. We will provide the foundations for Continuous Deep Analytics (CDA): a radically new approach for data analytics combined with large scale machine learning, producing interpretable causal models of the world. Interpretability and causality are crucial for big data to become an integral part of the decision-making process in society. Current approaches lack both characteristics and hence can never be used to make critical decisions. CDA systems can be used in a simple declarative manner to produce interpretable results on societal-scale data, and will be able to control the fundamental tradeoffs between the Time required to perform a computation, the Resources utilized, and the Uncertainty attached to results. The project will develop the foundations for CDA systems following two main avenues of research: 1) Algorithms that learn efficiently, build higher-order representations and causal models, and enable reasoning about uncertainty. 2) A computational model supporting a declarative programming paradigm, that unifies relational algebra, linear algebra and graph processing, and accurately reflecting tradeoffs between time, resources, and uncertainty.
Popular science description
Storskaliga databehandlingssystem används idag i en mängd olika tillämpningar till stöd för beslutsfattande, men användningen begränsas av två stora brister: 1) avancerad analys är idag inte fullt skalbar och de resultat som produceras är inte tolkningsbara, och 2) nuvarande beräkningssystem stöder inte kontinuerlig analys på stor skala. Big Data och Storskaliga databehandlingssystem används idag i en mängd olika tillämpningar till stöd för automation och beslutsfattande, men användningen begränsas av två stora brister. För det första är de lösningar som finns idag mycket bra för att analysera en stor lagrad datamängd och producera ett resultat, men är dåliga på att kontinuerligt bilda sig en uppfattning av världen baserat på data som snabbt strömmar genom systemet, något som är helt nödvändigt för riktigt avancerade tillämpningar. För det andra är avancerade analysmodeller (idag nästan alltid baserade på avancerad maskininlärning) och de resultat de producerar mycket svåra att tolka för en användare och därmed ofta nästan omöjliga att basera viktiga beslut på - för människor säväl som automatiserade maskiner. Vi kommer att lägga grunden för kontinuerlig djup analys (KDA): en radikalt ny ansats för till dataanalys i kombination med storskalig maskininlärning som kan producera tolkningsbara kausala modeller av världen. Tolkningsbarhet och kausalitet är avgörande för att Big Data skall bli en integrerad del av beslutsfattandet i samhället. Nuvarande metoder saknar båda egenskaper och kan därmed aldrig användas för att fatta kritiska beslut. KDA system kan användas på ett för användarna enkelt sätt för att producera analysresultat på enorm skala, och kommer att kunna balansera grundläggande kompromisser mellan den tid som krävs för att utföra en beräkning, de beräkningsresurser som krävs och den osäkerhet som är kopplad till resultatet. Projektet kommer att arbeta i två viktiga forskningsspår: 1) Algoritmer som effektivt bygger högre ordningens representationer och kausala modeller av världen från data, och som möjliggör resonemang om osäkerheten i data och resultat. 2) En beräkningsmodell som stödjer en enkel deklarativ programmeringsparadigm som förenar relationsalgebra, linjär algebra och grafbearbetning, och som exakt speglar avvägningar mellan tid, resurser och osäkerhet.