Resumen: Los modelos multimodales de lenguaje grande (MLLM, por sus siglas en inglés) se implementan cada vez más como planificadores incorporados en entornos egocéntricos, donde el éxito de la tarea requiere no sólo alcanzar los objetivos establecidos sino también actuar de manera socialmente apropiada. Si bien los objetivos explícitos pueden hacer que ciertas acciones sean óptimas, las normas sociales implícitas a menudo imponen restricciones ocultas. Las evaluaciones existentes normalmente se centran en el logro explícito de objetivos o en el conocimiento directo de normas, y rara vez evalúan si los planificadores pueden inferir y aplicar estas limitaciones ocultas dentro de las secuencias de acción. Presentamos NormAct, un punto de referencia para interacciones de normas sociales incorporadas que evalúa los planes sobre el logro de objetivos, el cumplimiento de normas y el éxito general de las tareas. NormAct incorpora de manera única normas ocultas dentro de tareas ordinarias, probando si los modelos pueden realizarlas sin instrucciones explícitas. Los experimentos con MLLM de última generación (GPT-5.4, Claude Opus 4.7, Gemini 3 Pro) revelan una brecha significativa: los modelos logran objetivos explícitos en el 67,3% de los casos, pero cumplen con normas ocultas en sólo el 26,4%. Los experimentos con condiciones de señal indican que esta brecha no se debe a una falta de conocimiento social general, sino a los desafíos para activar y fundamentar las normas relevantes en su contexto. Para abordar esto, proponemos NormPerceptor, un generador de señales condicionadas por el contexto que infiere normas relevantes para la escena antes de la planificación, aumentando el éxito de la tarea del 24,2% al 46,7%. Nuestros resultados subrayan la importancia de permitir a los agentes encarnados detectar de forma proactiva normas ocultas, fundamentarlas en evidencia visual e integrarlas como limitaciones de planificación de acciones. Nuestro punto de referencia está disponible públicamente en esta URL https.
Publicado originalmente en export.arxiv.org el 28 de junio de 2026.
Ver fuente original
