Especialización de un modelo LLM en una disciplina específica.

Abstract

El presente proyecto aborda la especialización de un agente conversacional basado en modelos grandes del lenguaje (LLM) en disciplina específica, con el objetivo de mejorar su precisión y relevancia en contextos especializados. A pesar de la creciente utilización cotidiana de los LLM en diversas aplicaciones, estos modelos enfrentan desafíos significativos cuando se aplican a disciplinas técnicas debido a su entrenamiento generalista. Para enfrentar esta limitación, este trabajo realiza una investigación exhaustiva del estado del arte en técnicas de reentrenamiento de LLM, incluyendo métodos como el fine-tuning completo, parcial, métodos PEFT, destacando especialmente el método LoRA. Asimismo, se exploran estrategias complementarias como la generación aumentada por recuperación (RAG). Se desarrolla partiendo de Falcon3 7B Instruct, seleccionado por su óptimo balance entre rendimiento y eficiencia. El conjunto de datos, ha sido generado sintéticamente usando documentos técnicos relacionados con las comunicaciones por satélite, obtenidos de diversas fuentes especializadas, y procesado en un conjunto de datos de 14787 tuplas pregunta y respuesta, usando un modelo Mistral 24B. Finalmente, se realiza una evaluación rigurosa del modelo resultante utilizando la metodología LLM as a judge para comparar diferentes estrategias de reentrenamiento por medio de diferentes métricas diseñadas, ofreciendo así conclusiones claras sobre la eficacia y eficiencia de cada método, además, esta metodología ha sido duplicada, utilizando 2 modelos diferentes por cada evaluación, descartando sesgos y preferencias. Obteniendo a través de esta metodología resultados coherentes con la literatura investigada, denotando la importancia de la calidad del conjunto de datos y el método de entrenamiento escogido según el caso de uso e información disponible.