Resumen: Las plataformas de redes sociales están cada vez más dominadas por contenido multimodal de formato largo, donde se construyen narrativas dañinas a través de una compleja interacción de señales de audio, visuales y textuales. Si bien los sistemas automatizados pueden detectar el discurso de odio con gran precisión, a menudo funcionan como “cajas negras” que no proporcionan la evidencia granular e interpretable, como marcas de tiempo precisas e identidades de objetivos, necesarias para una moderación humana efectiva. En este trabajo, presentamos TANDEM, un marco unificado que transforma la detección de odio audiovisual de una tarea de clasificación binaria a un problema de razonamiento estructurado. Nuestro enfoque emplea una novedosa estrategia de aprendizaje por refuerzo en tándem donde los modelos de visión-lenguaje y audio-lenguaje se optimizan entre sí a través de un contexto intermodal autolimitado, estabilizando el razonamiento sobre secuencias temporales extendidas sin requerir una supervisión densa a nivel de cuadro. Los experimentos en tres conjuntos de datos de referencia demuestran que TANDEM supera significativamente las líneas de base de disparo cero y aumentadas por el contexto, logrando 0,73 F1 en la identificación de objetivos en HateMM (una mejora del 30 % con respecto a la tecnología de punta) mientras mantiene una base temporal precisa. Además, observamos que si bien la detección binaria es sólida, diferenciar entre contenido ofensivo y de odio sigue siendo un desafío en entornos de múltiples clases debido a la ambigüedad inherente de las etiquetas y al desequilibrio del conjunto de datos. En términos más generales, nuestros hallazgos sugieren que se puede lograr una alineación estructurada e interpretable incluso en entornos multimodales complejos, lo que ofrece un modelo para la próxima generación de herramientas de moderación de seguridad en línea transparentes y procesables.
Publicado originalmente en export.arxiv.org el 18 de enero de 2026.
Ver fuente original
