Resumen: La rápida evolución de los grandes modelos de lenguaje (LLM) ha intensificado la demanda de técnicas de personalización efectivas que puedan adaptar el comportamiento del modelo a las preferencias individuales del usuario. A pesar de los métodos no paramétricos que utilizan la capacidad de aprendizaje en contexto de los LLM, surgen métodos de adaptación paramétrica recientes, que incluyen el ajuste personalizado eficiente de los parámetros y el modelado de recompensas. Sin embargo, estos métodos enfrentan limitaciones en el manejo de patrones de usuario dinámicos y escenarios de alta escasez de datos, debido a la baja adaptabilidad y eficiencia de los datos. Para abordar estos desafíos, proponemos un marco de dirección detallado y adaptado a instancias que genera dinámicamente vectores de interferencia a nivel de muestra a partir de datos del usuario y los inyecta en el paso directo del modelo para una adaptación personalizada. Nuestro enfoque introduce dos innovaciones técnicas clave: un componente de dirección detallado que captura señales matizadas conectando activaciones de las capas de atención y MLP, y un módulo de agregación consciente de la entrada que sintetiza estas señales en mejoras contextualmente relevantes. El método demuestra una alta flexibilidad y eficiencia de datos, sobresaliendo en escenarios de distribución que cambian rápidamente y alta escasez de datos. Además, el método propuesto es ortogonal a los métodos existentes y funciona como un componente complementario compatible con diferentes técnicas de personalización. Amplios experimentos en diversos escenarios, incluida la generación de texto de corto a largo y la llamada a funciones web, validan la efectividad y compatibilidad de nuestro enfoque. Los resultados muestran que nuestro método mejora significativamente el rendimiento de la personalización en entornos que cambian rápidamente, al tiempo que mantiene la solidez en diferentes modos de interacción y longitudes de contexto. La implementación está disponible en esta URL https.
Publicado originalmente en export.arxiv.org el 2 de noviembre de 2025.
Ver fuente original
