Evaluación del uso de LLMs en el proceso de desarrollo software.

Abstract

La inteligencia artificial generativa revoluciona de manera constante el sector de la ingeniería del software al automatizar tareas, resolver problemas de programación cada vez más complejos, asistir en tareas de documentación y pruebas de código, adquiriendo un papel cada vez más relevante en fases del desarrollo de aplicaciones software debido a su capacidad para proporcionar soluciones acertadas y de alta calidad. Ante el auge de su popularidad, han surgido LLMs gratuitos y de código abierto que buscan igualar su rendimiento con aquellos modelos de inteligencia artificial comerciales. Se pretende realizar una evaluación de distintos modelos gratuitos para analizar su rendimiento y eficacia en diferentes fases del desarrollo de aplicaciones. La forma de evaluar estos modelos será a través de un caso práctico propuesto que también servirá para comparar el desempeño de los LLMs con respecto al desarrollo que haría una persona. Para ello, se utilizarán tres métricas de evaluación: completitud, corrección y rendimiento. El caso práctico que servirá como base para evaluar a los modelos consistirá en el desarrollo de una aplicación web para una empresa ficticia del sector turístico. Este será desarrollado de forma dual, es decir, primero por el autor y luego por los LLMs seleccionados para el estudio. Este enfoque permitirá poner en práctica distintas fases del proceso de desarrollo de software y servirá como base para realizar un análisis comparativo del rendimiento entre el desarrollo por un humano y el asistido por LLMs.