EASe - Evaluate Autonomous Systems with Foundation Models
- Reference number
- ID25-0110
- Project leader
- Berger, Christian
- Start and end dates
- 260630-310629
- Amount granted
- 3 250 000 SEK
- Administrative organization
- Chalmers University of Technology
- Research area
- Information, Communication and Systems Technology
Summary
We aim for devising a validated methodology to establish Foundation Models (FMs) as experienced co-workers to systematically evaluate and improve the safety of autonomous systems (AS) - during development and at operation. Condensed work plan: We will break down DevOps for engineering AS into its two constituent parts to systematically uncover application potential for FMs' strengths (a) for workflow automation for relevant industrial safety standards such as ISO 26262 and ISO 21488 under human collaboration and oversight, and (b) for pattern identification and prediction capabilities for unstructured, time-series data at scale. In particular for Ops, we will focus on how to process onboard data streams with FMs under real-time constraints by identifying approaches to safe-guard and accelerate FMs. Complementary to the FMs' strengths, we will systematically map and assess their limitations when applied to engineer safety-critical systems. Insights and results from either side shall shape improvements on the complementary other side of the cycle in an iterative way-of-working. Expected results: We expect to establish a methodology on how to responsibly integrate FMs as an experienced co-worker within DevOps for safety-critical AS during engineering ("Dev") and for onboard application ("Ops") to systematically assess and improve an AS' safety in domains that face continuously growing amounts of data coupled with a need for continuous system evaluation.
Popular science description
Dagens mjukvaruintensiva produkter är en viktig del av våra dagliga liv. Innovation är en viktig ingrediens för en hållbar verksamhet för företag. AI lyfter nu innovationer till nya höjder och ökar innovationstakten ytterligare. För säkerhetskritiska system som autonoma fordon är dock utvecklingsstandarder och regler viktiga för att säkerställa säkra produkter. Regelverket, särskilt för autonoma fordon, är dock redan mycket komplext och kräver erfarna mänskliga experter för att ge råd till mjukvaru- och systemingenjörer om hur man navigerar transparent och säkert inom detta regelverk. Med vårt föreslagna projekt EASe kommer vi systematiskt att utforska användningen av Foundation Models (FM) och Large Language Models (LLM) som ett stöd för mänskliga experter. Det skulle hjälpa dem att bättre navigera i detta landskap där AI/ML-baserade system utvecklas med syfte att öka graden av automatisering av mjukvaru- och systemteknik. Vi kommer ytterligare att utforska möjligheterna att integrera FM och LLM som verktyg för att ytterligare öka säkerheten under driften av autonoma fordon.