Un framework de aprendizaje por refuerzo para tareas de manipulación con el manipulador robótico Franka

Abstract

El presente proyecto consiste en el desarrollo de un framework de aprendizaje por refuerzo para un robot manipulador. El manipulador es un Franka Emika Panda, un robot colaborativo de 7 grados de libertad. Este TFG se enmarca dentro del proyecto de investigación TYRELL (Time-Ready Reinforcement Learning for Robotic Skills and Tasks). El framework permite crear tareas de aprendizaje por refuerzo y entrenar en entornos simulados modelos que pueden ser desplegados directamente en el robot real. El código se ha desarrollado en el lenguaje de programación Python, y se han utilizado la librería dm_robotics_panda, diseñada para controlar al manipulador y realizar simulaciones, las librerías de aprendizaje por refuerzo Gymnasium y Stable-Baselines3, y la librería rl_spin_decoupler, que actúa como puente entre las anteriores. Para demostrar la utilidad del framework, se realiza una serie de experimentos. En ellos se entrenan modelos para realizar tareas sencillas de manipulación en entornos simulados, y posteriormente se demuestra su funcionamiento en el robot real. Este trabajo de fin de estudios ha sido financiado por el proyecto de investigación “Tyrell: Time-Ready Reinforcement Learning for Robotic Skills and Tasks”, código PID2023-147392NB-I00, por MICI-U/AEI/10.13039/501100011033 y los fondos FEDER de la Unión Europea, así como por los proyectos “CONCERTO” (PID2021-127221OB-I00) y “RollGrip” (AT21_00051).