Resumen: Las alucinaciones de razonamiento en modelos de lenguaje grandes (LLM) a menudo aparecen como conclusiones fluidas pero sin fundamento que violan el contexto dado o el conocimiento fáctico subyacente. Aunque estos fallos se observan ampliamente, los mecanismos por los cuales los transformadores con descodificador los producen siguen siendo poco conocidos. Modelamos la predicción del siguiente token como un proceso de búsqueda de gráficos sobre un gráfico subyacente, donde las entidades corresponden a nodos y las transiciones aprendidas forman bordes. Desde esta perspectiva, el razonamiento contextual es una búsqueda restringida sobre un subgrafo muestreado (razonamiento intrínseco), mientras que las consultas libres de contexto se basan en estructuras memorizadas en el gráfico subyacente (razonamiento extrínseco). Mostramos que las alucinaciones de razonamiento surgen de dos mecanismos fundamentales: textbf{Reutilización de rutas}, donde el conocimiento memorizado anula las restricciones contextuales durante el entrenamiento inicial, y textbf{Compresión de rutas}, donde las rutas de varios pasos frecuentemente atravesadas colapsan en atajos en el entrenamiento posterior. Juntos, estos mecanismos proporcionan una explicación unificada para las alucinaciones de razonamiento en los LLM y se conectan con comportamientos bien conocidos observados en aplicaciones posteriores.
Publicado originalmente en export.arxiv.org el 6 de abril de 2026.
Ver fuente original
