Resumen: Se ha demostrado que los modelos de idiomas grandes contienen un amplio conocimiento mundial en sus parámetros, lo que permite un rendimiento impresionante en muchas tareas intensivas en conocimiento. Sin embargo, cuando se implementan en entornos novedosos, los LLM a menudo encuentran situaciones en las que deben integrar el conocimiento paramétrico con información nueva o desconocida. En este trabajo, exploramos si los LLM pueden combinar el conocimiento en contexto con su conocimiento paramétrico a través de la lente del razonamiento contrafactual. A través de experimentos sintéticos y reales en problemas de razonamiento de múltiples saltos, mostramos que los LLM generalmente luchan con el razonamiento contrafáctico, a menudo recurriendo para usar exclusivamente su conocimiento paramétrico. Además, mostramos que la simple delicadeza post-hoc que puede tener dificultades para inculcar la capacidad de razonamiento contrafactual, lo que a menudo conduce a la degradación en el conocimiento paramétrico almacenado. En última instancia, nuestro trabajo revela limitaciones importantes de las habilidades actuales de LLM para reutilizar el conocimiento paramétrico en entornos novedosos.
Publicado Originalme en export.arxiv.org El 22 de junio de 2025.
Ver Fuente Original
