Dependable AI in Safe Autonomous Systems
- Reference number
- ID21-0071
- Project leader
- Daneshtalab, Masoud
- Start and end dates
- 220101-251231
- Amount granted
- 2 500 000 SEK
- Administrative organization
- Mälardalen University, Västerås
- Research area
- Information, Communication and Systems Technology
Summary
Data-driven development methods show great promise in producing accurate models for perception functions such as object detection and semantic segmentation, however most of them lack a holistic view for being implemented in dependable systems. This project proposal aims at producing Machine Learning (ML) models of robust nature to meet and stay ahead of emerging certification requirements. A large part of the accuracy and robustness of a trained model is due to the data it was trained on, yet most research today focuses on model architecture development. It is the intention of this project to emphasize the dataset side of the problem, including novel methods of data augmentation e.g. neural augmentation. Expected outputs of the project would be to set the basis of a safety-conscious ML system and provide the methodology to iterate and refine such systems. Results will be disseminated externally in published papers as well as within the company through workshops and seminars.
Popular science description
Avancerad maskininlärning har ett brett användningsområde i samhället och är ofta den metod som används när man pratar om artificiell intelligens. Det är en datadriven metod, vilket innebär att man skapar sin modell genom att låta den hitta och lära sig de mönster som finns i data som man exponerar den för under den sk träningsfasen. Mycket forskning har på senare tid ägnats åt modellarkitektur, och trots att datat man tränar modellen på starkt påverkar dess prestanda och noggrannhet när modellen används t ex för att klassificera objekt har detta område inte fått det fokus det förtjänar. I säkerhetskritiska system, där hög tillförlitlighet är en självklarhet behöver man kunna leda i bevis att den data man tränat en modell med faktiskt är representativ för den miljö i vilken modellen ska operera, d v s den tränade modellen behöver vara tillräckligt robust. I detta projekt studerar vi metoder för att bearbeta data som sedan används för träning av modeller som används i flygande system. Ett exempel på funktion kan vara att detektera en landningsbana från luften med hjälp av visuella kameror när ett flygplan går in för landning. Syftet med att bearbeta data är att höja kvaliteten på den och att möjliggöra att använda olika källor (både simulerat data och riktigt insamlat data) för att på så sätt täcka en större del av alla möjliga fall som modellen kan komma att utsättas för (i det visuella fallet kan man tänka sig att man använder bilder från en simulerad omvärld för att komplettera de bilder som insamlats vid en riktig flygning). Genom att ha en kontrollerad metod för databearbetning kan man lättare argumentera för att den tränade modellen uppfyller de starka krav som ställs på tillförlitliga system genom den ökade robustheten som följer av dessa metoder.