Resumen: La evolución dinámica del mundo real requiere la edición de modelos dentro de modelos de lenguaje grandes. Si bien los métodos existentes exploran el aislamiento modular o estrategias eficientes en parámetros, todavía sufren de deriva semántica u olvido de conocimiento debido a la actualización continua. Para abordar estos desafíos, proponemos SoLA, un marco LoRA basado en enrutamiento semántico para la edición de modelos de por vida. En SoLA, cada edición se encapsula como un módulo LoRA independiente, que se congela después del entrenamiento y se asigna a la entrada mediante enrutamiento semántico, lo que permite la activación dinámica de los módulos LoRA mediante coincidencia semántica. Este mecanismo evita la deriva semántica causada por la actualización del clúster y mitiga el olvido catastrófico al compartir parámetros. Más importante aún, SoLA admite la revocación precisa de ediciones específicas al eliminar la clave del enrutamiento semántico, lo que restaura el comportamiento original del modelo. Hasta donde sabemos, esta capacidad de edición reversible es la primera que se logra en la literatura existente. Además, SoLA integra el proceso de toma de decisiones en la capa editada, eliminando la necesidad de redes de enrutamiento auxiliares y permitiendo un proceso de toma de decisiones de un extremo a otro. Amplios experimentos demuestran que SoLA aprende y retiene eficazmente el conocimiento editado, logrando una edición de modelos precisa, eficiente y reversible de por vida.
Publicado originalmente en export.arxiv.org el 12 de marzo de 2026.
Ver fuente original
