AI-based Multimodal Perception for Planetary Exploration Robotics

Abstract

Los rovers de exploración planetaria se enfrentan a importantes desafíos al desplazarse por los terrenos desestructurados de Marte, lo que compromete el éxito de las misiones. Los retrasos en las comunicaciones Tierra-Marte hacen que sea imprescindible que los rovers tengan un alto grado de autonomía. Sin embargo, su limitada capacidad de procesamiento dificulta la integración de sistemas avanzados de Inteligencia Artificial (IA). La presente tesis aborda estos desafíos mediante el desarrollo de métodos innovadores que mejoran la percepción en tiempo real, utilizando técnicas multimodales basadas en IA adaptadas a entornos con recursos computacionales limitados. Esta tesis propone el uso de imágenes térmicas para mejorar la evaluación autónoma de la transitabilidad del terreno, ya que pueden revelar características del suelo que otros sensores no detectan. Debido a la baja resolución de los datos obtenidos por los rovers actuales, se desarrolla una metodología que simula la evaluación térmica de distintos terrenos bajo condiciones similares a las de Marte, utilizando una Cámara Ambiental Multifuncional. Este enfoque mejora la caracterización del terreno y permite estimar propiedades clave, como la inercia térmica, con resultados validados mediante datos reales de rovers. Asimismo, se desarrolla un sistema de percepción multimodal que combina imágenes a color, de profundidad y térmicas para segmentar entornos no estructurados. Validado en pruebas de campo, este sistema genera mapas de transitabilidad en tiempo real, lo que facilita la navegación autónoma. También se introduce un sistema autónomo para localizar y estimar la posición de tubos de muestra en Marte, mediante simulaciones virtuales fotorrealistas y aprendizaje profundo, optimizado para hardware de a bordo.Esta investigación mejora significativamente la autonomía de los rovers planetarios, proporcionando soluciones avanzadas para la evaluación del terreno, la navegación y la recuperación autónoma de muestras, elementos clave para optimizar el rendimiento científico de las misiones de exploración planetaria.