Resumen: Proponemos la fusión semántica, un esquema liviano que aumenta un modelo de lenguaje de transformador (LM) con un canal paralelo de características de membresía difusa que codifica semántica a nivel de token. Cada token está representado por un vector de características interpretables (por ejemplo, señales de parte de voz, roles poco profundos, banderas límite, polaridad y fuerza de sentimiento) cuyos valores son grados graduados de funciones de membresía diferenciable (por ejemplo, núcleo de potencia). Estos vectores por juicio forman una matriz semántica a nivel de oración fusionada a través de un adaptador cerrado en el LM. La capacitación utiliza la predicción estándar de la próxima token, una pérdida auxiliar que reconstruye las características semánticas de los estados ocultos y un uniformal ligero que regulariza las distribuciones de clase adjetiva. En un corpus sintético de dos cláusulas con adjetivos sostenidos para el control fuera de distribución (OOD), la fusión semántica mejora la perplejidad y permite la generación precisa y controlable de la polaridad y puntuación al tiempo que mantiene la simplicidad del modelo. Este enfoque agrega solo una pequeña sobrecarga, permanece totalmente compatible con incrustaciones de entrada-salida atadas y proporciona una vía interpretable para la generación de lenguaje natural condicionado.
Publicado Originalme en export.arxiv.org El 17 de septiembre de 2025.
Ver Fuente Original
