Resumen: Los modelos de lenguaje basados en transformadores muestran un impresionante comportamiento similar al razonamiento, pero siguen siendo frágiles en tareas que requieren una manipulación simbólica estable. Este artículo desarrolla una perspectiva unificada sobre estos fenómenos al interpretar la autoatención y las corrientes residuales como la implementación de una Arquitectura Simbólica Vectorial (VSA) aproximada. En esta vista, las consultas y las claves definen espacios de roles, los valores codifican rellenos, los pesos de atención realizan una desvinculación suave y las conexiones residuales realizan la superposición de muchas estructuras vinculadas. Usamos esta lente algebraica para relacionar los aspectos internos del transformador con los rastros de la cadena de pensamiento, el razonamiento basado en programas y el uso de herramientas con memoria aumentada, y para explicar los modos de falla característicos, como la confusión variable y la inconsistencia entre indicaciones lógicamente relacionadas. Sobre la base de esta perspectiva, proponemos sesgos arquitectónicos inspirados en VSA, que incluyen cabezas de unión/desvinculación explícitas y capas de memoria hiperdimensional, y objetivos de entrenamiento que promueven la separación de roles y la superposición robusta. Finalmente, describimos métricas para medir la “parecido a VSA” y la composicionalidad lógica, y planteamos problemas abiertos teóricos y arquitectónicos. En general, el artículo sostiene que ver la atención como un cálculo suave de vectores simbólicos ofrece una ruta basada en principios hacia sistemas de razonamiento más interpretables y lógicamente confiables.
Publicado originalmente en export.arxiv.org el 18 de diciembre de 2025.
Ver fuente original
