Resumen: Los sistemas multiagente basados en modelos de lenguaje grande (LLM) son difíciles de depurar porque las fallas a menudo surgen de rastros de interacción largos y ramificados. La práctica predominante es aprovechar los LLM para la localización de fallas basada en registros, atribuyendo errores a un agente y paso específicos. Sin embargo, este paradigma tiene dos limitaciones clave: (i) la depuración de solo registros carece de validación, lo que produce hipótesis no probadas, y (ii) la atribución de un solo paso o de un solo agente a menudo está mal planteada, ya que encontramos que múltiples intervenciones distintas pueden reparar de forma independiente la tarea fallida. Para abordar la primera limitación, presentamos DoVer, un marco de depuración impulsado por intervenciones, que aumenta la generación de hipótesis con verificación activa a través de intervenciones específicas (por ejemplo, editar mensajes, alterar planes). Para la segunda limitación, en lugar de evaluar la precisión de la atribución, nos centramos en medir si el sistema resuelve la falla o logra un progreso cuantificable hacia el éxito de la tarea, lo que refleja una visión de la depuración más orientada a los resultados. Dentro del marco del agente Magnetic-One, en los conjuntos de datos derivados de GAIA y AssistantBench, DoVer convierte entre el 18% y el 28% de las pruebas fallidas en éxitos, logra hasta un 16% de progreso en los hitos y valida o refuta entre el 30% y el 60% de las hipótesis fallidas. DoVer también funciona de manera efectiva en un conjunto de datos diferente (GSMPlus) y un marco de agente (AG2), donde recupera el 49 % de las pruebas fallidas. Estos resultados destacan la intervención como un mecanismo práctico para mejorar la confiabilidad en sistemas agentes y abren oportunidades para métodos de depuración más robustos y escalables para sistemas multiagente basados en LLM. El sitio web y el código del proyecto estarán disponibles en esta URL https.
Publicado originalmente en export.arxiv.org el 8 de diciembre de 2025.
Ver fuente original
