Resumen: Grandes modelos de razonamiento (LRMS) han mejorado significativamente sus capacidades en la resolución de problemas complejos al introducir un borrador de pensamiento que permite exploraciones de la cadena de pensamiento múltiple antes de producir respuestas finales. Asegurar la fidelidad de estos procesos de razonamiento intermedio es crucial para un monitoreo, interpretación y control efectivo confiables. En este documento, proponemos un marco de intervención contrafactual sistemática para evaluar rigurosamente el pensamiento de fidelidad. Nuestro enfoque se centra en dos dimensiones complementarias: (1) fidelidad intra-draft, que evalúa si los pasos de razonamiento individual influyen causalmente en los pasos posteriores y el borrador final de conclusión a través de inserciones de pasos contrafactuales; y (2) la fidelidad del borrador a la respuesta, que evalúa si las respuestas finales son lógicamente consistentes y dependen del borrador de pensamiento, al perturbar la lógica final del borrador. Realizamos experimentos extensos en seis LRM de última generación. Nuestros hallazgos muestran que los LRM actuales demuestran fidelidad selectiva a los pasos de razonamiento intermedio y con frecuencia no se alinean fielmente con el borrador de conclusiones. Estos resultados subrayan la necesidad de un razonamiento más fiel e interpretable en LRM avanzados.
Publicado Originalme en rss.arxiv.org El 20 de mayo de 2025.
Ver Fuente Original
