Un estudio liderado por la Universidad de Chile, en conjunto con la Comisión para el Mercado Financiero, evaluó el desempeño de modelos de lenguaje como ChatGPT para predecir el riesgo de incumplimiento en créditos de consumo. Los resultados muestran que estas herramientas pueden alcanzar altos niveles de precisión, incluso sin ajustes técnicos complejos, y entregan explicaciones útiles para la toma de decisiones financieras.
Comunicaciones Universidad de Chile – Recientemente se llevó a cabo el seminario académico “Can Large Language Models Predict Credit Risk? An Empirical Study on Consumer Loans in Chile”, presentado por David Díaz, profesor asociado del Departamento de Administración de la Facultad de Economía y Negocios (FEN) de la Universidad de Chile. El trabajo fue realizado en colaboración con Diego Beas L., profesional de la Comisión para el Mercado Financiero (CMF).
La investigación abordó una pregunta clave para el futuro de las finanzas: ¿puede un modelo de lenguaje como ChatGPT evaluar con precisión el riesgo de que una persona no pague su crédito?
Para responderla, se utilizó una muestra de 10.000 créditos de consumo otorgados entre 2010 y 2020, y se comparó el desempeño de estas herramientas con modelos tradicionales como regresión logística y LightGBM.
IA y riesgo crediticio: más que una moda
Los resultados mostraron que los modelos de lenguaje de gran escala (LLMs), al ser ajustados correctamente (fine-tuning), lograron un desempeño similar al de los modelos clásicos, alcanzando un 80% de precisión en algunas métricas clave. Incluso aquellos modelos sin ajustes previos obtuvieron resultados competitivos, lo que sugiere que esta tecnología podría ser una herramienta útil para bancos y fintechs, incluso sin grandes inversiones técnicas.
Modelos que explican sus decisiones
Un aspecto destacado del estudio fue que los LLMs no solo entregaron predicciones, sino también explicaciones sobre por qué tomaban ciertas decisiones. Estas justificaciones fueron evaluadas por expertos y recibieron una calificación promedio de 5,5 sobre 7, lo que es un hallazgo prometedor respecto de su utilidad interpretativa.
No obstante, el profesor Díaz fue enfático en señalar que la supervisión humana sigue siendo esencial. Los modelos pueden apoyar la toma de decisiones, pero no deben reemplazar el juicio profesional ni la revisión regulatoria y que todavía existe mucho trabajo por hacer respecto de validar los resultados en otros contextos y condiciones.
