Kafka-ML open-source framework using distributed, incremental, and federated machine learning techniques based on data streams

Abstract

Esta tesis aborda la integración de técnicas avanzadas de aprendizaje profundo con flujos de datos continuos en entornos del Internet de las Cosas (IoT). El trabajo parte de la necesidad de afrontar limitaciones habituales en sistemas distribuidos, como la latencia en la comunicación, la capacidad de cálculo reducida en dispositivos perimetrales, la adaptación de los modelos ante datos no estacionarios y la preservación de la privacidad en escenarios colaborativos. Estas cuestiones constituyen la motivación central de la investigación.

Como punto de partida, se analiza un caso de estudio aplicado a la inspección de aspas de aerogeneradores mediante visión por computador, dispositivos IoT y modelos profundos. Este análisis permite identificar requisitos prácticos para integrar de forma eficiente sensores, flujos de datos y procesos de inferencia, proporcionando la base empírica del marco propuesto.

A partir de estas conclusiones, la tesis amplía la plataforma Kafka-ML para habilitar el entrenamiento y despliegue de redes neuronales profundas distribuidas a lo largo del continuo Cloud–Fog–Edge. Mediante la partición de modelos y el uso de salidas tempranas, se reducen la latencia de inferencia y el volumen de datos enviados a la nube. Sobre esta infraestructura distribuida se incorpora aprendizaje incremental, permitiendo actualizar los modelos conforme llegan nuevos datos y mitigando, en lo posible, el olvido catastrófico sin necesidad de reentrenamientos completos.

Finalmente, se integra el aprendizaje federado con los enfoques distribuido e incremental, posibilitando el entrenamiento colaborativo sin intercambio de datos sensibles. Esta combinación se evalúa en un escenario V2X, mostrando su viabilidad en contextos con participantes heterogéneos, movilidad y restricciones de privacidad.

En conjunto, la tesis presenta una arquitectura unificada para aprendizaje profundo distribuido, continuo y federado sobre flujos IoT. La bibliografía consultada abarca trabajos recientes en aprendizaje profundo, computación perimetral, aprendizaje incremental, aprendizaje federado y procesamiento de flujos, proporcionando el marco teórico que sustenta las contribuciones desarrolladas.