Resumen: La emoción multimodal y el reconocimiento de la intención es esencial para la interacción automatizada de la computadora humana, tiene como objetivo analizar el habla, el texto y la información visual de los usuarios para predecir sus emociones o intenciones. Uno de los desafíos significativos es que faltar modalidades debido a un mal funcionamiento del sensor o datos incompletos. Los métodos tradicionales que intentan reconstruir la información faltante a menudo sufren de procesos de generación excesiva y de generación imprecisa, lo que lleva a resultados subóptimos. Para abordar estos problemas, presentamos un modelo de difusión basado en la atención para la finalización de la función de modalidades faltantes (ADMC). Nuestro marco entrena de forma independiente con redes de extracción para cada modalidad, preservando sus características únicas y evitando el acoplamiento excesivo. La red de difusión basada en la atención (ADN) genera características de modalidad faltantes que se alinean estrechamente con la distribución multimodal auténtica, mejorando el rendimiento en todos los escenarios de modalidad desaparecida. Además, la generación intermodal de ADN ofrece un mejor reconocimiento incluso en contextos de modalidad completa. Nuestro enfoque logra resultados de última generación en los puntos de referencia IEMOCAP y MINTREC, lo que demuestra su efectividad en escenarios de modalidad faltantes y completos.
Publicado Originalme en export.arxiv.org El 8 de julio de 2025.
Ver Fuente Original
