Resumen: Presentamos un marco Agent-in-the-Loop (AITL) que implementa un volante de datos continuo para mejorar iterativamente un sistema de atención al cliente basado en LLM. A diferencia de los enfoques estándar fuera de línea que se basan en anotaciones por lotes, AITL integra cuatro tipos clave de anotaciones directamente en las operaciones en vivo de los clientes: (1) preferencias de respuesta por pares, (2) adopción y fundamentos de los agentes, (3) comprobaciones de relevancia del conocimiento y (4) identificación de conocimientos faltantes. Estas señales de retroalimentación se retroalimentan sin problemas en las actualizaciones de los modelos, lo que reduce los ciclos de reentrenamiento de meses a semanas. Nuestro piloto de producción que involucró a agentes de atención al cliente con sede en EE. UU. demostró mejoras significativas en la precisión de la recuperación (+11,7 % de recuperación@75, +14,8 % de precisión@8), calidad de generación (+8,4 % de utilidad) y tasas de adopción de agentes (+4,5 %). Estos resultados subrayan la eficacia de incorporar circuitos de retroalimentación humana directamente en los flujos de trabajo operativos para perfeccionar continuamente el sistema de atención al cliente basado en LLM.
Publicado originalmente en export.arxiv.org el 8 de octubre de 2025.
Ver fuente original
