Resumen: Los datos de series de tiempo (TS) son ubicuos en varias áreas de aplicación, lo que representa el pronóstico de series de tiempo (TSF) una tarea fundamental. Con los asombrosos avances en modelos de idiomas grandes (LLM), se ha desarrollado una variedad de métodos para adaptar las LLM para el pronóstico de series de tiempo. A pesar de desbloquear el potencial de los LLM para comprender los datos de TS, los métodos existentes están inherentemente limitados por su integración superficial de la información de TS, en la que los LLM suelen acceder a representaciones TS en capas poco profundas, principalmente en la capa de entrada. Esto hace que la influencia de las representaciones de TS se desvanezca progresivamente en capas más profundas y eventualmente conduce a una adaptación ineficaz entre incrustaciones textuales y representaciones de TS. En este artículo, proponemos la fusión de incrustación de la orientación multicapa (MSEF), un marco novedoso que permite a los LLM acceder directamente a los patrones de series temporales a todas las profundidades, mitigando así la pérdida progresiva de la información de TS en capas más profundas. Específicamente, MSEF aprovecha los modelos de base de la serie temporal en el estante para extraer incrustaciones semánticamente ricas, que se fusionan con representaciones de texto intermedias a través de capas LLM a través de vectores de dirección específicos de capa. Estos vectores de dirección están diseñados para optimizar continuamente la alineación entre las series temporales y las modalidades textuales y facilitar un mecanismo de adaptación específico de la capa que garantice capacidades de aprendizaje de pocos disparos eficientes. Los resultados experimentales en siete puntos de referencia demuestran mejoras de rendimiento significativas por MSEF en comparación con las líneas de base, con una reducción promedio del 31.8% en términos de MSE. El código está disponible en esta URL HTTPS.
Publicado Originalme en export.arxiv.org El 24 de agosto de 2025.
Ver Fuente Original
