Adaptación de ChatBots a avatares virtuales con Metahuman comunicación de ChatBot con Unreal Engine y conversión texto a voz con API de ReadSpeaker

Abstract

En la actualidad se está extendiendo el uso de chatbots y asistentes a través de páginas web, whatsapp, algunos con voz como el Asistente de Google, Cortana o Siri. A todos ellos les falta un toque más humano que daría una interfaz 3D. En este proyecto se ha trabajado para dar una interfaz 3D genérica en formato de Avatar a esos chatbots. Utilizando tecnologías de texto a voz, analizando los movimientos de la boca que estarían asociados a cada sonido (visema) para generar una interacción en tiempo real lo más realista posible. Este Proyecto ha consistido en el desarrollo de un avatar virtual 3D en Unreal Engine 4 utilizando la nueva tecnología MetaHumans. Este avatar puede conectarse con un chatbot y, utilizando la tecnología ReadSpeaker Text to Speech, puede obtener los pares de audio y duración de visema a partir de la respuesta del chatbot. El avatar utiliza estos resultados para generar una animación facial de la respuesta. Este TFG en concreto se encarga del envío del texto al Chatbot así como del procesamiento de la respuesta para obtener el audio y la información de los visemas. Todo esto se hace con el propósito de ofrecer a los usuarios de este tipo de servicios una experiencia más realista, aprovechando las tecnologías más modernas de generación de voz y creación de avatares virtuales. En la memoria también se detallará como utilizar cada tecnología que ha sido empleada para el desarrollo de este proyecto, ya que gran parte de este ha consistido en aprender a utilizar tecnologías que se encuentran todavía en desarrollo.