Resumen:La memoria es fundamental para que los agentes basados en LLM preserven observaciones pasadas para la toma de decisiones futuras, donde la memoria factual sirve como parte fundamental. Sin embargo, los enfoques existentes para construir la memoria fáctica enfrentan varias limitaciones. Los métodos textuales imponen pesadas cargas de contexto e indexación, mientras que los métodos paramétricos sufren de olvidos catastróficos y altos costos. Para abordar estos desafíos, presentamos NextMem, un marco de memoria factual latente que utiliza un codificador automático autorregresivo para construir de manera eficiente la memoria latente y al mismo tiempo garantizar una reconstrucción precisa. Para una mejor optimización, proponemos un proceso de entrenamiento de dos etapas, que incluye la alineación de reconstrucción autorregresiva y la sustitución latente progresiva. También incorporamos cuantificación para reducir los gastos generales de almacenamiento. Amplios experimentos demuestran que NextMem logra un rendimiento superior y sobresale en propiedades de recuperación, robustez y extensibilidad. Publicamos nuestro código y puntos de control del modelo en esta URL https.
Publicado originalmente en export.arxiv.org el 17 de marzo de 2026.
Ver fuente original
