Optimización de hiperparámetros en el modelo de reconstrucción de campos de radiancia DirectVoxGo

Abstract

Neural Rendering es un método, basado en redes neuronales y otras técnicas, capaz de crear imágenes y vídeos nuevos basados en escenas preexistentes. El modelo DirectVoxGo es un software de Neural Rendering para reconstrucción de escenas en 3D, basado en la tecnología NeRF y consistente en la optimización de varias redes de vóxeles. Con esto, consigue tiempos de ejecución considerablemente menores a los de otros modelos NeRF con calidad comparable. En este proyecto llevamos a cabo un estudio de hiperparámetros sobre este modelo. En él, analizamos semánticamente el rol que juegan estos hiperparámetros en la ejecución del modelo, para así seleccionar los que consideramos más relevantes para nuestros experimentos. Posteriormente, seleccionamos las métricas a medir: calidad (PSNR, SSIM y LPIPS), consumo de memoria y tiempo de ejecución. Proseguimos diseñando un código para la ejecución de pruebas, basado en la implementación original del modelo, y que nos permita realizar diferentes puebas consecutivas y exportar los resultados. A continuación, analizamos los resultados y, buscando los valores óptimos de Pareto, encontramos cuáles son los valores que mejor consiguen un balance entre pares de métricas. Con estos resultados, creamos combinaciones de valores óptimos. Realizamos una fase de experimentación con estos, encontrando las combinaciones Pareto óptimas, y analizándolas semánticamente. De nuestra investigación, obtenemos dos combinaciones Pareto óptimas para las 6 gráficas, de las cuales una creemos que mejora los resultados de la configuración estándar de los hiperparámetros. Concluimos que el estudio de hiperparámetros es una forma efectiva de optimizar modelos de Neural Rendering, y, más en concreto, el DirectVoxGo. Consideramos que, debido a la variabilidad ...