Resumen: Los modelos de lenguajes grandes (LLM) a menudo producen contenido incorrecto u obsoleto. Actualizar sus conocimientos de manera eficiente y precisa sin una costosa recapacitación es un desafío importante. Este problema es especialmente difícil para el conocimiento complejo y no estructurado en un entorno de toda la vida, donde muchas ediciones deben coexistir sin interferencias. Presentamos RILKE (Intervención de representación para el control del conocimiento a lo largo de toda la vida), un método robusto y escalable que trata el control del conocimiento como intervenciones dentro del espacio de representación del modelo. Aprovechando la expresividad del espacio de representación, identificamos dos propiedades que permiten a RILKE brindar un control detallado sobre conocimientos complejos y no estructurados mientras mantienen la utilidad general con pesos base congelados. Durante el entrenamiento, RILKE aprende módulos de paráfrasis robusta y edición localizada que limitan cada actualización a un subespacio de baja dimensión para minimizar la interferencia de edición cruzada. En inferencia, un enrutador adaptable a consultas selecciona el módulo apropiado para guiar la generación del modelo. En la evaluación de puntos de referencia de edición de conocimiento con modelos LLaMA y Qwen, RILKE es escalable a conjuntos de datos a gran escala, lo que demuestra un alto éxito de edición, una fuerte generalización de paráfrasis y preserva la utilidad general con una modesta sobrecarga de memoria. Estos resultados muestran que RILKE es una solución eficaz y escalable para el control del conocimiento permanente en los LLM.
Publicado originalmente en export.arxiv.org el 26 de noviembre de 2025.
Ver fuente original
