Integración de un sistema de realidad mixta en unas gafas de realidad virtual para cirugía laparoscópica

Abstract

Este proyecto presenta el diseño e implementación de una consola de teleoperación para sistemas quirúrgicos, basada en un sistema de realidad mixta. El enfoque de la propuesta se basa en la creación de una interfaz inmersiva que permite al personal médico visualizar, supervisar y controlar en tiempo real distintos aspectos de una intervención quirúrgica mínimamente invasiva, concretamente en procedimientos de laparoscopia. Se emplean las gafas de realidad virtual Meta Quest 2, que incorporan controladores hápticos que permiten la interacción directa con los elementos del entorno virtual, así como la teleoperación y manejo de las herramientas del robot quirúrgico. En la interfaz de realidad mixta se superpone información aumentada relevante sobre la imagen en tiempo real del endoscopio, proporcionando apoyo contextual al asistente, tanto de datos sobre el procedimiento como del estado de distintos componentes del robot quirúrgico. Entre ellos, destaca la monitorización del aspirador de sangre, mostrando en pantalla su estado de activación o nivel de llenado. Esta información se transmite desde el robot al entorno de las gafas a través de ROS, integrándose con el resto de la interfaz. La arquitectura desarrollada permite el control manual del robot y la supervisión de comportamientos previamente definidos y, para llevar a cabo esta solución, el sistema de visualización se implementa en Unity, ofreciendo visión bidimensional y tridimensional. La imagen se obtiene de una cámara Intel RealSense D435 y se transmite al entorno de realidad mixta mediante Python o el sistema ROS, que permite una comunicación fluida con el resto de los componentes del sistema. Se presenta, por tanto, una base sólida hacia la integración de la realidad mixta en entornos quirúrgicos reales, ofreciendo un entorno más eficiente, centralizado y seguro, dando al personal médico la posibilidad de controlar múltiples aspectos de la operación desde una única interfaz inmersiva.