Resumen: Los agentes de IA empresarial deben adaptarse continuamente para mantener la precisión, reducir la latencia y permanecer alineados con las necesidades del usuario. Presentamos una implementación práctica de un volante de datos en NVInfo AI, el asistente de conocimiento de mezcla de expertos (MoE) de NVIDIA que presta servicios a más de 30 000 empleados. Al poner en funcionamiento un volante de datos impulsado por MAPE, construimos un sistema de circuito cerrado que aborda sistemáticamente las fallas en las tuberías de generación aumentada de recuperación (RAG) y permite el aprendizaje continuo. Durante un período de 3 meses posterior a la implementación, monitoreamos los comentarios y recopilamos 495 muestras negativas. El análisis reveló dos modos de fallo principales: errores de enrutamiento (5,25%) y errores de reformulación de consultas (3,2%). Utilizando los microservicios NVIDIA NeMo, implementamos mejoras específicas mediante ajustes. Para el enrutamiento, reemplazamos un modelo Llama 3.1 70B por una variante 8B optimizada, logrando una precisión del 96%, una reducción de 10 veces en el tamaño del modelo y una mejora de la latencia del 70%. Para la reformulación de consultas, el ajuste fino arrojó una ganancia del 3,7% en precisión y una reducción del 40% en la latencia. Nuestro enfoque demuestra cómo la retroalimentación humana en el circuito (HITL), cuando se estructura dentro de un volante de datos, transforma a los agentes de IA empresarial en sistemas que se mejoran a sí mismos. Los aprendizajes clave incluyen enfoques para garantizar la solidez de los agentes a pesar de los comentarios limitados de los usuarios, sortear las restricciones de privacidad y ejecutar implementaciones por etapas en producción. Este trabajo ofrece un modelo repetible para crear agentes de IA empresarial robustos y adaptables capaces de aprender del uso en el mundo real a escala.
Publicado originalmente en export.arxiv.org el 2 de noviembre de 2025.
Ver fuente original
