Resumen: “El mayor enemigo del conocimiento no es la ignorancia, es la ilusión del conocimiento”. Los modelos de idiomas grandes han conquistado el lenguaje natural, pero siguen siendo prisioneros de su propia naturaleza probabilística, confidentemente alucinando hechos que nunca conocieron realmente. Presentamos la atención fundamentada (FGA), una nueva modificación arquitectónica que transforma modelos de lenguaje poco confiables en cajeros de verdad deterministas al inyectar el conocimiento verificable directamente en el mecanismo de atención. A diferencia de los enfoques existentes que parchan las alucinaciones después de la generación o prependen el texto recuperado, FGA interviene en el corazón matemático del transformador, los puntajes de atención pre-Softmax, creando un modelo que no puede alucinar cuando los hechos existen en su base de conocimiento. Nuestros experimentos en 1.107 consultas técnicas que abarcan teléfonos inteligentes, computadoras portátiles y vehículos eléctricos demuestran una transformación de 6.3% de precisión en Vanilla Llama 3.2 a 99.7% de precisión con FGA. Más críticamente, las actualizaciones de conocimiento ocurren en menos de un segundo sin reentrenamiento, en comparación con las horas para los enfoques de edición de parámetros. La FGA no solo reduce la alucinación, sino que la elimina por completo para los hechos verificables, marcando un cambio fundamental de la aproximación probabilística a la precisión determinista en la generación del lenguaje neuronal.
Publicado Originalme en export.arxiv.org El 30 de septiembre de 2025.
Ver Fuente Original
