Resumen: La comprensión de la cinematografía se refiere a la capacidad de reconocer no solo el contenido visual de una escena sino también las técnicas cinematográficas que dan forma al significado narrativo. Esta capacidad está atrayendo una atención cada vez mayor, ya que mejora la comprensión multimodal en aplicaciones del mundo real y sustenta la creación de contenido coherente en películas y medios de comunicación. Como el punto de referencia más completo para esta tarea, Shotbench abarca una amplia gama de conceptos cinematográficos y evaluaciones de estilo VQA, con ShotVl logrando resultados de última generación. Sin embargo, nuestro análisis revela que el diseño de opciones ambiguas en las deficiencias de Shotbench y ShotVL en la consistencia y la adherencia de instrucción de razonamiento socavan la confiabilidad de la evaluación, limitan la comparación justa y obstaculiza el progreso futuro. Para superar estos problemas, refinamos sistemáticamente el banco de tiro a través de una reestructuración de opciones consistente, realizamos el primer análisis crítico del comportamiento de razonamiento de ShotVL e introducimos un protocolo de evaluación extendido que evalúa conjuntamente la precisión de la tarea y las competencias del modelo central. Estos esfuerzos conducen a la refina, un punto de referencia refinado y ampliado que permite una evaluación más confiable y fomenta los avances futuros en la comprensión de la cinematografía.
Publicado Originalme en export.arxiv.org El 5 de octubre de 2025.
Ver Fuente Original
