Diseño e implementación de un entorno simulado para experimentos en la interacción humano-robot con un brazo humano y un manipulador robótico

Abstract

Este Trabajo Fin de Máster presenta el desarrollo de un entorno de simulación orientado al entrenamiento de agentes mediante aprendizaje por refuerzo profundo (Deep Reinforcement Learning o DRL) para tareas de interacción física entre un manipulador robótico y un brazo humano simulado. El objetivo principal ha sido crear un framework modular y escalable que permita experimentar con estrategias de control aplicables en el ámbito de la rehabilitación física asistida. Se ha integrado el manipulador Franka Emika Panda y el modelo biomecánico MyoArm utilizando el motor de simulación física MuJoCo, junto con librerías como dm_robotics_panda, myo_sim y Stable Baselines3. El sistema se ha validado realizando el entrenamiento de un agente DRL utilizando el algoritmo Soft Actor-Critic (SAC), el cual es capaz de seguir trayectorias predefinidas respetando unos umbrales de dolor o incomodidad física, medidos en magnitudes de fuerza y par.

This Master Thesis presents the development of a simulation environment oriented to agent training through Deep Reinforcement Learning (DRL) for physical interaction tasks between a robotic manipulator and a simulated human arm. The main objective has been to create a modular and scalable framework that allows experimenting with control strategies applicable in the field of assisted physical rehabilitation. The Franka Emika Panda manipulator and the biomechanical model MyoArm have been integrated using the MuJoCo physics engine, along with libraries such as dm_robotics_panda, myo_sim, and Stable Baselines3. The system was validated by training a DRL agent using the Soft Actor-Critic (SAC) algorithm, which is capable of following predefined trajectories while respecting thresholds of pain or physical discomfort, measured in terms of force and torque magnitudes.