Resumen: El progreso reciente ha empujado las fronteras de la IA desde tareas de reconocimiento de patrones hacia problemas que requieren un razonamiento estilo System2 paso a paso, especialmente con modelos de lenguaje grandes. Sin embargo, a diferencia del aprendizaje, donde los conceptos de evaluación de generalización y fuera de distribución (OoD) están bien formalizados, no existe una definición o métrica clara y consistente para la capacidad de razonamiento. Proponemos la generalización de la Complejidad Fuera de la Distribución (Complejidad OoD) como marco y planteamiento de problemas para definir y medir el razonamiento. Un modelo exhibe una generalización de Complejidad OoD cuando mantiene el rendimiento en instancias de prueba cuya complejidad mínima de solución requerida, ya sea representacional (estructura de solución más rica) o computacional (más pasos de razonamiento/longitud del programa), excede la de todos los ejemplos de entrenamiento. Formalizamos la complejidad a través de la descripción de la solución, la complejidad de Kolmogorov y los proxy operativos (por ejemplo, recuentos de objetos/relaciones; recuentos de pasos de razonamiento), aclarando en qué se diferencia el OoD de complejidad del OoD de longitud y composición. Esta lente unifica el aprendizaje y el razonamiento: muchos casos que se pueden resolver con un procesamiento similar al del Sistema1 a baja complejidad se convierten en el del Sistema2 bajo presión de complejidad, mientras que el Sistema2 puede verse como una generalización sobre las estructuras de la solución. Traducimos esta perspectiva a la práctica con recomendaciones para operacionalizar Complexity OoD en toda la pila: incorporar la complejidad en el diseño de métricas de evaluación y referencia, repensar la supervisión para apuntar a los rastros de soluciones, buscar y diseñar sesgos inductivos para la generalización de Complexity OoD, abordar el aprendizaje para razonar los efectos indirectos como atajos falsos, robustez semántica, olvido catastrófico y calibración gradual. Debido a que Complexity OoD no se puede resolver escalando datos únicamente, el progreso hacia un razonamiento sólido requerirá arquitecturas y regímenes de entrenamiento que modelen y asignen explícitamente la computación con respecto a la complejidad.
Publicado originalmente en export.arxiv.org el 8 de octubre de 2025.
Ver fuente original
