Resumen: Los modelos básicos de series de tiempo basados en transformadores enfrentan una compensación fundamental en la elección de la tokenización: las incrustaciones puntuales preservan la fidelidad temporal pero escalan mal con la longitud de la secuencia, mientras que los parches de longitud fija mejoran la eficiencia al imponer límites uniformes que pueden interrumpir las transiciones naturales y desdibujar la dinámica local informativa. Para abordar estas limitaciones, presentamos TimeSqueeze, un mecanismo de parcheo dinámico que selecciona de forma adaptativa los límites del parche dentro de cada secuencia en función de la complejidad de la señal local. TimeSqueeze primero aplica un codificador de espacio de estado liviano para extraer características puntuales de resolución completa, luego realiza una segmentación basada en el contenido asignando parches cortos a regiones densas en información y parches largos a segmentos suaves o redundantes. Esta compresión de resolución variable preserva la estructura temporal crítica al tiempo que reduce sustancialmente la secuencia de tokens presentada a la columna vertebral del Transformer. Específicamente para el preentrenamiento a gran escala, TimeSqueeze logra una convergencia hasta 20 veces más rápida y una eficiencia de datos 8 veces mayor en comparación con las bases de referencia de tokens de puntos equivalentes. Los experimentos realizados en puntos de referencia de pronóstico a largo plazo muestran que TimeSqueeze supera consistentemente a arquitecturas comparables que utilizan tokenización puntual o parches de tamaño fijo.
Publicado originalmente en export.arxiv.org el 12 de marzo de 2026.
Ver fuente original
