Resumen: Los modelos de lenguaje grande (LLM) se utilizan cada vez más como evaluadores para tareas de evaluación. Sin embargo, su confiabilidad suele ser limitada para tareas subjetivas, cuando los juicios humanos implican un razonamiento sutil más allá de las etiquetas de anotación. Las huellas del pensamiento, el razonamiento detrás de un juicio, son muy informativas pero difíciles de recopilar y curar. Presentamos un marco de colaboración humano-LLM para inferir rastros de pensamiento a partir de anotaciones de solo etiquetas. El marco propuesto utiliza un método de muestreo de rechazo simple y eficaz para reconstruir estos rastros a escala. Estos rastros de pensamiento inferidos se aplican a dos tareas complementarias: (1) ajustar los evaluadores abiertos de LLM; y (2) sintetizar pautas de anotación más claras para evaluadores propietarios de LLM. A través de múltiples conjuntos de datos, nuestros métodos conducen a una concordancia LLM-humana significativamente mejorada. Además, las pautas de anotación refinadas aumentan la concordancia entre los diferentes modelos de LLM. Estos resultados sugieren que los LLM pueden servir como sustitutos prácticos de rastros del pensamiento humano que de otro modo no se revelarían, lo que permite que los corpus de solo etiquetas se extiendan a recursos aumentados con rastros de pensamiento que mejoran la confiabilidad de los evaluadores de LLM.
Publicado originalmente en export.arxiv.org el 30 de octubre de 2025.
Ver fuente original
