Resumen: Los sitios del patrimonio cultural enfrentan una degradación acelerada debido al cambio climático, sin embargo, el monitoreo tradicional se basa en un análisis unimodal (inspección visual o sensores ambientales únicamente) que no logra capturar la compleja interacción entre los factores de estrés ambiental y el deterioro material. Proponemos una arquitectura multimodal liviana que fusiona datos de sensores (temperatura, humedad) con imágenes visuales para predecir la gravedad de la degradación en sitios patrimoniales. Nuestro enfoque adapta PerceiverIO con dos innovaciones clave: (1) codificadores simplificados (espacio latente 64D) que evitan el sobreajuste en conjuntos de datos pequeños (n = 37 muestras de entrenamiento) y (2) pérdida adaptativa de Barlow Twins que fomenta la complementariedad de modalidades en lugar de la redundancia. Según los datos de la Catedral de Estrasburgo, nuestro modelo logra una precisión del 76,9%, una mejora del 43% con respecto a las arquitecturas multimodales estándar (VisualBERT, Transformer) y un 25% con respecto al PerceiverIO básico. Los estudios de ablación revelan que el uso de solo sensores alcanza el 61,5%, mientras que el de solo imágenes alcanza el 46,2%, lo que confirma una sinergia multimodal exitosa. Un estudio sistemático de hiperparámetros identifica un objetivo óptimo de correlación moderada ({tau} =0,3) que equilibra la alineación y la complementariedad, logrando una precisión del 69,2% en comparación con otros valores {tau} ({tau} =0,1/0,5/0,7: 53,8%, {tau} =0,9: 61,5%). Este trabajo demuestra que la simplicidad arquitectónica combinada con la regularización contrastiva permite un aprendizaje multimodal efectivo en contextos de monitoreo del patrimonio con escasez de datos, proporcionando una base para sistemas de apoyo a las decisiones de conservación impulsados por IA.
Publicado originalmente en export.arxiv.org el 16 de octubre de 2025.
Ver fuente original
