Resumen:Presentamos un marco novedoso que mejora la confiabilidad de los jueces de LLM al aumentar selectivamente el LLM con dimensiones de evaluación auxiliares. Los jueces actuales de LLM a menudo pasan por alto dimensiones de evaluación cruciales porque no reconocen los estándares implícitos que subyacen a las evaluaciones humanas. Para abordar este desafío, proponemos el Auto-Prompt Ensemble (APE), un marco adaptativo que aprende automáticamente las dimensiones de evaluación de sus casos de falla. APE incorpora un mecanismo conjunto basado en la confianza para decidir cuándo adoptar los juicios de dimensiones de evaluación adicionales a través de un novedoso enfoque de estimación de confianza llamado Confianza Colectiva. Amplios experimentos demuestran que APE mejora la confiabilidad de LLM Judge en diversos puntos de referencia estándar. Por ejemplo, APE mejora la tasa de acuerdo GPT-4o en Reward Bench del 87,2% al 90,5% en la configuración de disparo cero. En general, APE proporciona un enfoque basado en principios para que los jueces LLM aprovechen el cálculo del tiempo de prueba y cierren la brecha de evaluación entre los jueces humanos y LLM.
Publicado originalmente en export.arxiv.org el 8 de octubre de 2025.
Ver fuente original
