Resumen:La implementación de sistemas basados en LLM capaces y alineados con el usuario requiere una evaluación confiable. Si bien los LLM se destacan en tareas verificables como codificación y matemáticas, donde se encuentran disponibles soluciones estándar, la adopción sigue siendo un desafío para tareas subjetivas que carecen de una única respuesta correcta. La reescritura de consultas (QR) de comercio electrónico es uno de esos problemas en los que determinar si una consulta reescrita captura correctamente la intención del usuario es extremadamente difícil de determinar algorítmicamente. En este trabajo, presentamos OptAgent, un marco novedoso que combina simulaciones de múltiples agentes con algoritmos genéticos para verificar y optimizar consultas para QR. En lugar de depender de un modelo de recompensa estático o de un único juez de LLM, nuestro enfoque utiliza múltiples agentes basados en LLM, cada uno de los cuales actúa como un cliente de compras simulado, como una señal de recompensa dinámica. El promedio de estas puntuaciones derivadas de los agentes sirve como una función de aptitud eficaz para un algoritmo evolutivo que refina de forma iterativa la consulta inicial del usuario. Evaluamos OptAgent en un conjunto de datos de 1000 consultas de comercio electrónico del mundo real en cinco categorías diferentes, y observamos una mejora promedio del 21,98 % con respecto a la consulta original del usuario y del 3,36 % con respecto a una línea de base de reescritura de LLM Best of N.
Publicado Originalme en export.arxiv.org El 6 de octubre de 2025.
Ver Fuente Original
