Aprendizaje por refuerzo en vivo para robots móviles: mejoras de la autonomía y la autoadaptación

Abstract

El presente trabajo se centra en la explicación de mejoras implementables para el aprendizaje por refuerzo en vivo en robots móviles, como el aumento de la autonomía del robot para retornar a estados seguros tras un resultado erróneo en el aprendizaje, la adaptación a cambios en la tarea de aprendizaje y ahorro de batería; todo ello se traduce en un menor tiempo de operación supervisada del robot, uno de los problemas que presenta el aprendizaje por refuerzo en vivo. Para ello se diseña una tarea de aprendizaje consistente en la navegación de un robot móvil (Turtlebot2) hasta un objetivo evitando choques con obstáculos cercanos. El trabajo hace uso de varios algoritmos bien conocidos y propone una versión modificada de Q-learning y True On-Line SARSA mediante la inclusión de reflejos que se desencadenan automáticamente ante la recepción de ciertos estímulos sensoriales en cualquier paso de ejecución de los algoritmos. Se ha realizado una fase inicial de experimentación en un entorno de simulación muy similar al entorno real elegido para llevar a cabo el aprendizaje en vivo en pos de reducir el coste temporal que supone la obtención de una parametrización de los algoritmos en caso de llevarse a cabo mediante un robot físico, al mismo tiempo que se evitan daños en el hardware robótico. Posteriormente, se ha llevado a cabo la fase de experimentación en vivo y se ha completado, de forma adicional, un aprendizaje híbrido (aprendizaje en vivo a partir de un aprendizaje en simulación previo) basado en el algoritmo True On-Line SARSA. El resultado final de este trabajo es el desarrollo de un método de aprendizaje en vivo que mejora la seguridad del robot en relación con las colisiones con obstáculos y proporciona adaptabilidad a cambios en la tarea. Requiere una intervención humana mínima, aumenta el tiempo de entrenamiento gracias a los reflejos incluidos y mejora el ahorro de energía.