Resumen: La evaluación de modelos de lenguajes grandes (LLM) es crucial tanto para evaluar sus capacidades como para identificar problemas de seguridad o solidez antes de su implementación. Medir de manera confiable fenómenos abstractos y complejos como la “seguridad” y la “robustez” requiere una fuerte validez de constructo, es decir, contar con medidas que representen lo que importa al fenómeno. Con un equipo de 29 revisores expertos, llevamos a cabo una revisión sistemática de 445 puntos de referencia de LLM de conferencias líderes en procesamiento del lenguaje natural y aprendizaje automático. A lo largo de los artículos revisados, encontramos patrones relacionados con los fenómenos medidos, las tareas y las métricas de puntuación que socavan la validez de las afirmaciones resultantes. Para abordar estas deficiencias, brindamos ocho recomendaciones clave y orientación práctica detallada a investigadores y profesionales en el desarrollo de puntos de referencia de LLM.
Publicado originalmente en export.arxiv.org el 9 de noviembre de 2025.
Ver fuente original
