Resilient Stateful Serverless Computing at the Edge
- Reference number
- FID20-0041
- Project leader
- Carbone, Paris
- Start and end dates
- 220101-261231
- Amount granted
- 2 500 000 SEK
- Administrative organization
- RISE Research Institutes of Sweden AB, Borås
- Research area
- Information, Communication and Systems Technology
Summary
This doctoral project aims to address the major challenges behind the composition of data-driven services on massive-scale edge networks. Building scalable applications and services outside the cloud is nowadays hard. The lack of declarative and easy-to-use programming abstractions for edge computing in addition to network instability hinders the development of reliable services and therefore the automation of data-driven decision-making beyond cloud infrastructures. This thesis will address two major challenges: at first, the student will investigate novel methods and system abstractions based on stateful dataflow processing and function-as-a-service which are commonplace in cloud computing nowadays but have not yet been applied to programming in heterogeneous, large-scale network computing infrastructures (led by Paris Carbone at RISE). Contrary to data centers, large networks are characterized by high churn (nodes entering and leaving frequently), as well as network partitions and unpredictable latencies. There is therefore one more important need to address: the efficient and automated management of computing resources. We advocate for automation, fairness and data-driven resource management and this thesis will explore such sustainable methods to achieve this challenging goal (led by György Dán at KTH). All results of this thesis are expected to be published at top ACM and IEEE venues, whereas the software will be made available in open source for industrial adoption.
Popular science description
Den senaste utvecklingen inom Cloud Computing och viritualisering har tillåtit komponering av skalbara IT-tjänster som binder ihop logik och lagring i arbetsflöden bestående av funktioner som en tjänst (Function as a Service, FaaS). Paradigmen kallas för den Serverlösa Arkitekturen, och tillåter utvecklare att fokusera på funktioner och dess sammansättningar istället för servermiljöer och klusterhantering. Denna tjänst finns tillgänglig hos de stora molntjänsterna under namn som Azure Durable Functions, AWS Lambda, och Google Cloud Functions. Utformningen av sådana tjänster medför en mängd olika utmaningar i form av pålitlighet, skalbarhet och resursanvändning. Vad alla nuvarande Serverlösa tjänster har gemensamt är att de körs på homogena kluster och de kan inte användas för så kallad Edge-Computing, där hårdvaran är heterogen och geografiskt distribuerad i utkanten av molnet med varierande nätverksförhållanden. Med denna bakgrund föreslås ett projekt med mål att utforma och implementera nya programmeringsabstraktioner och algoritmer för att tillåta och förenkla komponering av skalbara och pålitliga tjänster genom Funktioner som tjänst (FaaS) på utkanten av molnet. Nya metoder för hantering av driftstörningar, både i nätverk och hårdvara, som sker i geografiskt spridda kluster behöver tas fram. Vidare så uppstår utmaningar i lastbalansering och nyttomaximering av hårdvaruresurser och digital infrastruktur i dynamiska miljöer med dynamisk belastning. Visionen är storskaliga applikationer som enkelt kan komponeras för att nyttja både befintlig infrastruktur samt de kommande 6G nätverken effektivt. Denna forskningsinriktning kan stärka konkurrenskraften för svensk industri och hjälpa Sverige att fortsatt ligga i framkanten av digitalisering med användningsområden inom smart-cities, säkerhet, jordbruk, telekom, e-hälsa, underhållning och handel.