Resumen: Los LLM se utilizan ampliamente en tareas intensivas en conocimiento donde el mismo hecho puede revisarse varias veces dentro de su contexto. A diferencia de trabajos anteriores que se centran en actualizaciones únicas o conflictos únicos, los escenarios de actualizaciones múltiples contienen múltiples versiones históricamente válidas que compiten en la recuperación, pero aún permanecen inexploradas. Este desafío se asemeja al paradigma de interferencia AB-AC en psicología cognitiva: cuando la misma señal A se asocia sucesivamente con B y C, las asociaciones antiguas y nuevas compiten durante la recuperación, lo que genera sesgos. Inspirándonos en esto, presentamos un marco de evaluación de Instancias de conocimiento dinámico (DKI), que modela actualizaciones múltiples del mismo hecho como una señal combinada con una secuencia de valores actualizados, y evaluamos modelos mediante sondeo de puntos finales de los estados más tempranos (iniciales) y más recientes (actuales). En diversos LLM, observamos que el sesgo de recuperación se intensifica a medida que aumentan las actualizaciones, la precisión del estado más temprano se mantiene alta mientras que la precisión del estado más reciente cae sustancialmente. Los análisis de diagnóstico de la atención, la similitud del estado oculto y los logits de salida revelan además que estas señales se vuelven más planas y discriminan débilmente los errores, lo que proporciona una base poco estable para identificar la última actualización. Finalmente, las estrategias de intervención heurísticas de inspiración cognitiva producen sólo ganancias modestas y no eliminan el sesgo. Nuestros resultados revelan un desafío persistente en el seguimiento y seguimiento de las actualizaciones de conocimientos en contextos prolongados.
Publicado originalmente en export.arxiv.org el 15 de marzo de 2026.
Ver fuente original
