Resumen: Los agentes gráficos de la interfaz de usuario (GUI) han avanzado rápidamente pero aún así han tenido dificultades con tareas complejas que involucran elementos de interfaz de usuario nuevos, acciones de horizonte larga y trayectorias personalizadas. En este trabajo, presentamos el agente de instrucciones, un agente de la GUI que aprovecha las demostraciones de expertos para resolver tales tareas, lo que permite completar los flujos de trabajo difíciles. Dada una única demostración, el agente extrae instrucciones paso a paso y las ejecuta siguiendo estrictamente la trayectoria prevista por el usuario, lo que evita cometer errores durante la ejecución. El agente aprovecha aún más el verificador y los módulos de retroceso para mejorar la robustez. Ambos módulos son críticos para comprender el resultado actual de cada acción y manejar interrupciones inesperadas (como ventanas emergentes) durante la ejecución. Nuestros experimentos muestran que el agente de instrucciones logra una tasa de éxito del 60% en un conjunto de tareas en Osworld que todos los agentes de alto rango no lograron completar. El agente de instrucciones ofrece un marco práctico y extensible, cerrando la brecha entre los agentes de la GUI actuales y la automatización confiable de tareas de GUI del mundo real.
Publicado Originalme en export.arxiv.org El 9 de septiembre de 2025.
Ver Fuente Original
