Resumen: Las tareas financieras son fundamentales para la estabilidad económica global; Sin embargo, su ejecución enfrenta desafíos que incluyen procesos intensivos en mano de obra, baja tolerancia a errores, fragmentación de datos y limitaciones de herramientas. Aunque los modelos de lenguaje grande (LLM) han tenido éxito en varias tareas de procesamiento del lenguaje natural y han mostrado potencial en la automatización de flujos de trabajo a través del razonamiento y la comprensión contextual, los puntos de referencia actuales para evaluar las LLM en finanzas carecen de datos suficientes específicos de dominio, tienen un diseño de tareas simplistas y un marco de evaluación incompleto. Para abordar estas brechas, este artículo presenta a Fintermaster, un punto de referencia financiero integral diseñado para evaluar sistemáticamente las capacidades de LLM en educación financiera, contabilidad, auditoría y consultoría. Específicamente, Finmaster comprende tres módulos principales: i) Finsim, que crea simuladores que generan datos financieros sintéticos y compatibles con la privacidad para que las empresas replicen la dinámica del mercado; ii) Finsuite, que proporciona tareas en dominios financieros centrales, que abarcan 183 tareas de varios tipos y niveles de dificultad; y iii) FineVal, que desarrolla una interfaz unificada para la evaluación. Experimentos extensos sobre LLM de última generación revelan brechas de capacidad crítica en el razonamiento financiero, con una precisión de más del 90% en tareas básicas a simplemente un 40% en escenarios complejos que requieren razonamiento de varios pasos. Esta degradación exhibe la propagación de errores computacionales, donde los cálculos de un solo métrico que demuestran una precisión del 58% disminuyeron al 37% en escenarios multimétricos. Hasta donde sabemos, Fintermaster es el primer punto de referencia que cubre flujos de trabajo financieros de Pipeline Full-Pipeline con tareas desafiantes. Esperamos que Finmaster pueda cerrar la brecha entre la investigación y los profesionales de la industria, impulsando la adopción de LLM en las prácticas financieras del mundo real para mejorar la eficiencia y la precisión.
Publicado Originalme en rss.arxiv.org El 20 de mayo de 2025.
Ver Fuente Original
