Adaptación de chatbots a Avatares virtuales con MetaHuman. Animación automática de un Avatar virtual en Unreal Engine

Abstract

En la actualidad se está extendiendo el uso de chatbots y asistentes a través de páginas web, Whatsapp, algunos con voz como el Asistente de Google, Cortana o Siri. A todos ellos les falta un toque más humano que daría una interfaz 3D. En este proyecto se ha trabajado para dar una interfaz 3D genérica en formato de Avatar a esos chatbots. Utilizando tecnologías de texto a voz, analizando los movimientos de la boca que estarían asociados a cada sonido (visema) para generar una interacción en tiempo real lo más realista posible. En este proyecto se ha realizado un avatar virtual 3D en Unreal Engine 4 utilizando la nueva tecnología de MetaHumans. Este avatar puede conectarse con un chatbot y, utilizando la tecnología ReadSpeaker Text to Speech, puede obtener los pares de audio y duración de visema a partir de la respuesta del chatbot. El avatar utiliza estos resultados para generar una animación facial de la respuesta. En este TFG se realiza la parte relacionada con la interacción con el usuario y la animación automática del MetaHuman. Todo esto se hace con el propósito de ofrecer a los usuarios de este tipo de servicios una experiencia más realista, aprovechando las tecnologías más modernas de generación de voz y creación de avatares virtuales. En la memoria también se detallará cómo utilizar cada tecnología que ha sido empleada para el desarrollo de este proyecto, ya que gran parte de éste ha consistido en aprender a utilizar tecnologías que se encuentran todavía en desarrollo.