Resumen: Este documento describe las soluciones del equipo de seguridad de Dianping-Trust para el desafío Meta Crag-MM. El desafío requiere construir un sistema de generación integral de recuperación acuático capaz de respuesta multimodal de preguntas múltiples. La competencia consta de tres tareas: (1) responder preguntas utilizando datos estructurados recuperados de un gráfico de conocimiento simulado basado en imágenes, (2) sintetizar información de los gráficos de conocimiento y los resultados de búsqueda web, y (3) manejar conversaciones múltiples que requieren comprensión de contexto e agregación de información de múltiples fuentes. Para la Tarea 1, nuestra solución se basa en el modelo de lenguaje grande Vision, mejorado por el ajuste superior supervisado con conocimiento destilado de GPT-4.1. Además, aplicamos estrategias de aprendizaje del plan de estudios para guiar el aprendizaje de refuerzo, lo que resulta en una mejor precisión de la respuesta y una alucinación reducida. Para la Tarea 2 y la Tarea 3, también aprovechamos las API de búsqueda web para incorporar un conocimiento externo, permitiendo que el sistema maneje mejor consultas complejas y conversaciones múltiples. Nuestro enfoque alcanzó el primer lugar en la Tarea 1 con un plomo significativo de 52.38 %, y el tercer lugar en la Tarea 3, lo que demuestra la efectividad de la integración del aprendizaje curricular con el aprendizaje de refuerzo en nuestra tubería de capacitación.
Publicado Originalme en export.arxiv.org El 14 de agosto de 2025.
Ver Fuente Original
