Intérprete del lenguaje de signos en tiempo real mediante Machine Learning

Abstract

Desarrollo de una aplicación móvil para iOS, que es capaz de identificar en tiempo real letras de la lengua de signos americana (ASL). El usuario podrá seleccionar la cámara del dispositivo o un vídeo y la aplicación intentará detectar las manos de una persona, en caso de éxito, realizará una predicción para identificar qué letra está realizando la mano. La aplicación será realiada en Swift y utiliza un modelo de Deep Learning para las predicciones. Para el desarrollo del modelo, se utiliza keras como una librería para la generación y el entrenamiento. Consistirá en una red neuronal que será capaz de realizar predicciones sobre 24 letras, excluyendo letras cuya representación no será un gesto estático, y que está desarrollada para su uso en dispositivos móviles, especialmente iOS. Se utiliza como lenguaje ASL especialmente por la multitud de conjuntos de imágenes que son públicos y que se utilizan para el entrenamiento del modelo. si bien su adaptación a LSE (Lengua de Signos Española) consistirá simplemente en su adaptación a un conjunto de imágenes del lenguaje de signos en españo, puesto que el proyecto contiene todas las herramientas para su adaptación a otro lenguaje.