Restauración digital de arte y patrimonio cultural mediante modelos y técnicas de aprendizaje profundo

Abstract

objetivo de este trabajo es desarrollar un modelo basado en aprendizaje profundo capaz de restaurar obras de arte dañadas mediante técnicas de inpainting, es decir, el completado de regiones deterioradas de una imagen para integrarlas de forma consistente con el resto. Esto presenta dos grandes retos: la reconstrucción de estructuras globales coherentes y la preservación de las texturas locales. Para abordarlos se han utilizado dos métodos diferentes. En primer lugar se implementó un Autoencoder1 para capturar las características relevantes de los estilos pictóricos y reconstruir las zonas con desperfectos. Se exploraron distintas arquitecturas y configuraciones de entrenamiento, destacando la integración de dicho Autoencoder como componente generador de una Generative Adversarial Network (GAN)2, entrenándose el sistema hasta que el discriminador no pudo diferenciar entre imágenes reales y las reconstruidas por el GAN. Ambos enfoques se refinaron mediante sucesivas pruebas y ajuste de hiperparámetros. Por otro lado, también se aborda el problema utilizando el modelo neuronal profundo conocido como Image Completion Transformer3, diseñado para aprovechar la atención global de los Transformers junto a la potencia de las redes convolucionales, que son capaces de generar texturas detalladas y realistas. Ambos enfoques se evalúan cuantitativa y cualitativamente mediante comparaciones visuales y concluyen, tras analizar los resultados, que el modelo basado en ICT produce reparaciones de las obras con una mayor coherencia visual.