Pre-programming a robot may be efficient to some extent, but since a human has code the robot it will only be as efficient as the programming. The problem can solved by using machine learning, which lets the robot learn the most efficient way by itself. This thesis is continuation of a previous work that covered the development of the framework Safe-To-Explore-State-Spaces (STESS) for safe robot manipulation. This thesis evaluates the efficiency of the Q-Learning with normalized advantage function (NAF), a deep reinforcement learning algorithm, when integrated with the safety framework STESS. It does this by performing a 2D task where the robot moves the tooltip on a plane from point A to point B in a set workspace. To test the viability different scenarios was presented to the robot. No obstacles, sphere obstacles and cylinder obstacles. The reinforcement learning algorithm only knew the starting position and the STESS pre-defined the workspace constraining the areas which the robot could not enter. By satisfying these constraints the robot could explore and learn the most efficient way to complete its task. The results show that in simulation the NAF-algorithm learns fast and efficient, while avoiding the obstacles without collision. ; Förprogrammering av en robot kan vara effektiv i viss utsträckning, men eftersom en människa har programmerat roboten kommer den bara att vara lika effektiv som programmet är skrivet. Problemet kan lösas genom att använda maskininlärning. Detta gör att roboten kan lära sig det effektivaste sättet på sitt sätt. Denna avhandling är fortsättning på ett tidigare arbete som täckte utvecklingen av ramverket Safe-To-Explore-State-Spaces (STESS) för säker robot manipulation. Denna avhandling utvärderar effektiviteten hos Q-Learning with normalized advantage function (NAF), en deep reinforcement learning algoritm, när den integreras med ramverket STESS. Det gör detta genom att utföra en 2D-uppgift där roboten flyttar sitt verktyg på ett plan från punkt A till punkt B i en förbestämd arbetsyta. För att testa effektiviteten presenterades olika scenarier för roboten. Inga hinder, hinder med sfärisk form och hinder med cylindrisk form. Deep reinforcement learning algoritmen visste bara startpositionen och STESS-fördefinierade arbetsytan och begränsade de områden som roboten inte fick beträda. Genom att uppfylla dessa hinder kunde roboten utforska och lära sig det mest effektiva sättet att utföra sin uppgift. Resultaten visar att NAF-algoritmen i simulering lär sig snabbt och effektivt, samtidigt som man undviker hindren utan kollision.


    Access

    Download


    Export, share and cite



    Title :

    SAFE AND EFFICIENT REINFORCEMENT LEARNING ; Säker och effektiv reinforcement learning


    Contributors:

    Publication date :

    2019-01-01


    Type of media :

    Theses


    Type of material :

    Electronic Resource


    Language :

    English



    Classification :

    DDC:    629



    Safe and Efficient Reinforcement Learning for Environmental Monitoring

    Federico Bianchi / Davide Corsi / Luca Marzari et al. | BASE | 2023

    Free access

    Routing using Safe Reinforcement Learning

    Nayak Seetanadi, Gautham / Årzén, Karl-Erik | BASE | 2020

    Free access


    Routing Using Safe Reinforcement Learning

    Nayak Seetanadi, Gautham | BASE | 2020

    Free access

    Safe Exploration in Model-Based Reinforcement Learning

    Cohen, Max / Belta, Calin | Springer Verlag | 2023