Resumen: los agentes digitales basados en herramientas que invocan interfaces de programación de aplicaciones externas (API) a menudo dependen de la documentación para comprender la funcionalidad API. Sin embargo, dicha documentación es frecuentemente faltante, desactualizada, privatizada o de manejo inconsistente del desarrollo de agentes confiables y de propósito general. En este trabajo, proponemos la funcionalidad de API de aprendizaje directamente de las demostraciones como un nuevo paradigma aplicable en escenarios sin documentación. Utilizando los puntos de referencia de API existentes, recopilamos demostraciones de agentes expertos basados en API y de la autoexploración. Para comprender qué demostraciones de información deben transmitir para completar la tarea exitosa, estudiamos ampliamente cómo el número de demostraciones y el uso de resúmenes y evaluaciones generados por LLM afectan la tasa de éxito de la tarea del agente basado en API. Nuestros experimentos en 3 conjuntos de datos y 5 modelos muestran que la funcionalidad de aprendizaje de las demostraciones sigue siendo un desafío no trivial, incluso para LLM de vanguardia. Encontramos que proporcionar llamadas de función explícita y críticas de lenguaje natural mejora significativamente la tasa de éxito de la tarea del agente debido al relleno de parámetros más preciso. Analizamos los modos de falla, identificamos fuentes de error y destacamos los desafíos clave de la clave para el trabajo futuro en agentes sin documentación, superiores y administradores y basados en API.
Publicado Originalme en rss.arxiv.org El 1 de junio de 2025.
Ver Fuente Original
