Resumen:Agregar memoria a modelos de lenguaje previamente entrenados generalmente requiere cambios arquitectónicos o modificaciones de peso. Presentamos Prometheus Mind, que adapta la memoria a un Qwen3-4B congelado usando 11 adaptadores modulares (530 MB, 7 % de sobrecarga), totalmente reversible quitando los adaptadores. Construir este sistema requirió resolver cuatro problemas: (1) Extracción: desarrollamos Descubrimiento de dirección contrastiva (CDD), que encuentra direcciones semánticas a través de pares mínimos sin datos etiquetados. (2) Capacitación: la optimización de un extremo a otro colapsa; El entrenamiento por etapas de cada adaptador en tareas de proxy simples tiene éxito. (3) Inyección: los codificadores aprendidos no logran generalizar; encontramos que esta URL http Las filas ya proporcionan el mapeo que necesitamos y no requieren capacitación. (4) Colapso del Estado oculto: los transformadores hacen que “esposa” y “hermano” sean 0,98+ similares; Entrenamos proyecciones para recuperar la distinción (0,98 $rightarrow$ 0,09). En PrometheusExtract-132 (132 casos), el sistema logra un 94,4% de recuperación en entradas limpias (n=54, IC del 95%: [84,9%, 98,1%]), degradándose al 19,4% en entradas informales con puntos suspensivos, palabras de relleno o temas implícitos (n=36). El principal cuello de botella es la clasificación de relaciones (47,3% de precisión), responsable de la mayoría de los errores de extracción.
Publicado originalmente en export.arxiv.org el 22 de enero de 2026.
Ver fuente original
