Explainable Reinforcement Learning for Intelligent Networks
- Reference number
- ID21-0062
- Project leader
- Johansson, Karl Henrik
- Start and end dates
- 220101-261231
- Amount granted
- 2 500 000 SEK
- Administrative organization
- KTH - Royal Institute of Technology
- Research area
- Information, Communication and Systems Technology
Summary
The main objective of this PhD research project is to develop explainable reinforcement learning algorithms for intelligent networks supporting future mobile networks for safe collaborative robotics. It is essential for such data-based decision making to explain the intent behind how the system affects the concerned parties, how the agent perceives the environment, why an action is taken, and whether the reward reflects the intended goal. Transparent and explainable learning algorithms are believed to be able to speed up the deployment and adoption of AI systems in general. With its strong focus and engagement in telecom networks, this project has the potential to make important and strategic scientific and industrial impact. The project plan is structured into three work packages on reward decomposition, understandable explanations, and hierarchical and structured AI-based decision-making. An essential part is the design of novel explainable reinforcement learning algorithms, together with major efforts in implementing the algorithms in realistic telecom simulation environments and in live telecom networks. For the first time, such algorithms will be tested in real networks and their explanation capabilities evaluated by network operators. The team behind the proposal is at the highest international level, with expertise in AI, intelligent systems and decision-making. It builds on a strong Ericsson-KTH tradition but the proposed collaboration is new.
Popular science description
Att styra och övervaka mobilnätverk är komplext och kostsamt. Detta industridoktorandprojekt fokuserar på att utveckla nya AI-baserad algoritmer för att automatisera och effektivisera driften av nätverk och underlätta arbetet för nätoperatörer. Så kallade förklarbara algoritmer för förstärkningsinlärning ("explainable reinforcement learning") kommer att tas fram. Dessa stöder möjligheten att utveckla helt nya tjänster i framtida mobilnätverk, så att t ex robotar kan jobba tillsammans med andra robotar och människor och att förarlösa bilar blir en verklighet i våra städer. Speciell vikt läggs i projektet vid att de AI-baserade besluten ska automatiskt kunna beskriva avsikten bakom varför en viss åtgärd ska vidtas och om den återspeglar det avsedda målet. Sådana transparenta inlärningsalgoritmer är ovanliga idag men antas kunna påskynda väsentligt implementeringen och användandet av AI. Detta är speciellt viktigt för Ericsson och telekomindustrin, då det mobila nätverket bildar infrastrukturen för framtidens autonoma system och därför behöver kunna integrera AI-system på en helt annan nivå än i dagens 5G-nätverk. Algoritmerna och resultaten kommer alltså att integreras i Ericssons mobilnät för potentiell migration till framtida produkter. En viktig del av projektarbetet består av att implementera de utvecklade inlärningsalgoritmerna i realistiska simuleringsmiljöer och i verkliga telekomnätverk. Det kommer att bli första gången sådana algoritmer testas i riktiga nätverk och utvärderas av nätoperatörer. Projektet är möjligt tack vara ett tätt och helt nytt samarbete mellan en AI-grupp vid Ericsson Research och en forskargrupp inom regler- och beslutsteori vid KTH.