Resumen: La naturaleza no determinista inherente de los agentes autónomos, particularmente dentro de entornos de bajo código/sin código (LCNC), presenta desafíos de confiabilidad significativos. Los agentes pueden quedarse atrapados en bucles imprevistos, generar resultados inexactos o encontrar fallas irrecuperables, lo que lleva a la frustración del usuario y un desglose de la confianza. Este informe propone un nuevo patrón arquitectónico para abordar estos problemas: la integración de una capa secundaria “metacognitiva” que monitorea activamente al agente LCNC primario. Inspirada en la introspección humana, esta capa está diseñada para predecir fallas inminentes de tareas basadas en un conjunto definido de desencadenantes, como la latencia excesiva o las acciones repetitivas. Al predecir una falla, el agente metacognitivo inicia proactivamente una transferencia humana, proporcionando al usuario un resumen claro del “proceso de pensamiento” del agente y una explicación detallada de por qué no podía proceder. Un análisis empírico de un sistema prototipo demuestra que este enfoque aumenta significativamente la tasa general de éxito de la tarea. Sin embargo, esta ganancia de rendimiento viene con un aumento notable en la sobrecarga computacional. Los hallazgos replantan las transferencias humanas no como una admisión de la derrota, sino como una característica de diseño central que mejora la resiliencia del sistema, mejora la experiencia del usuario y genera confianza al proporcionar transparencia al estado interno del agente. El informe analiza las implicaciones prácticas y éticas de este enfoque e identifica direcciones clave para futuras investigaciones.
Publicado Originalme en export.arxiv.org El 24 de septiembre de 2025.
Ver Fuente Original
