Resumen: La unidad para el razonamiento de LLM predecible en su integración con los sistemas compuestos ha popularizado los resultados estructurados, sin embargo, quedan preocupaciones sobre las compensaciones de rendimiento en comparación con el lenguaje natural sin restricciones. Al mismo tiempo, la capacitación sobre trazas de pensamiento (cot) sin restricciones ha provocado una nueva clase de modelos de razonamiento fuertes que, sin embargo, presentan novedosos desafíos de presupuesto y fidelidad. Este documento presenta a ISELF-Descubrube, una adaptación a nivel de instancia del marco de autodescubrimiento, y el uso de él compara el razonamiento JSON estructurado generado dinámicamente con su contraparte no estructurada. Nuestra evaluación empírica en diversos puntos de referencia que utilizan modelos de código abierto de última generación admiten una ventaja consistente para el razonamiento no estructurado. En particular, en el complejo punto de referencia de matemáticas, los planes no estructurados lograron mejoras de rendimiento relativas de hasta 18.90 % sobre enfoques estructurados. También se muestra que las variantes de descubrimiento ISELF no estructuradas de disparo cero superan a sus contrapartes estructuradas de cinco disparos, subrayando la importancia de esta brecha, incluso cuando los planes estructurados se generan dinámicamente para garantizar el razonamiento precede a la respuesta final. Además, demostramos que la granularidad óptima de la generación del plan (nivel de instancia frente a nivel de tarea) depende del contexto. Estos hallazgos invitan a la reevaluación de la dependencia de formatos estructurados para la resolución de problemas complejos y cómo se deben organizar los sistemas compuestos.
Publicado Originalme en export.arxiv.org El 7 de julio de 2025.
Ver Fuente Original
