Resumen: El pronóstico multimodal de series temporales es fundamental en varios campos, como la utilización de imágenes satelitales y datos numéricos para predecir tifones en la ciencia del clima. Sin embargo, los enfoques multimodales existentes se centran principalmente en utilizar datos de texto para ayudar a los pronósticos de series de tiempo, dejando los datos visuales en los conjuntos de datos de series de tiempo existentes. Además, es un desafío para los modelos capturar efectivamente la información física integrada en los datos visuales, como el contexto temporal y geoespacial de las imágenes satelitales, que se extiende más allá de las imágenes. Para abordar esta brecha, proponemos la codificación posicional informada por física (tubería), un método liviano que incorpora información física en modelos de lenguaje de visión (VLMS). La tubería introduce dos innovaciones clave: (1) un esquema de indexación posicional informado por física para mapear la física a las ID de posición, y (2) un mecanismo de codificación posicional de frecuencia de variante para codificar información de frecuencia de variables físicas y orden secuencial de tokens dentro del espacio de incrustación. Al preservar tanto la información física como la información de orden secuencial, la tubería mejora significativamente la alineación multimodal y la precisión de pronóstico. A través de los experimentos sobre el conjunto de datos de imágenes satelitales de origen abierto más representativo y mayor, Pipe logra el rendimiento de última generación en el pronóstico de aprendizaje profundo y los métodos de dominio climático, lo que demuestra la superioridad en los puntos de referencia, incluida una mejora del 12% en la intensidad de la intensidad de los tifones sobre las obras présticas. Nuestro código se proporciona en el material complementario.
Publicado Originalme en rss.arxiv.org El 18 de junio de 2025.
Ver Fuente Original
