Resumen: Para llenar este vacío, presentamos HSCodeComp, el primer punto de referencia realista de comercio electrónico a nivel de expertos diseñado para evaluar agentes de búsqueda profunda en la aplicación de reglas jerárquicas. En esta tarea, el proceso de razonamiento profundo de los agentes se guía por estas reglas para predecir el Código del Sistema Armonizado (HSCode) de 10 dígitos de productos con descripciones ruidosas pero realistas. Estos códigos, establecidos por la Organización Mundial de Aduanas, son vitales para la eficiencia de la cadena de suministro global. Construido a partir de datos del mundo real recopilados de plataformas de comercio electrónico a gran escala, nuestra HSCodeComp propuesta comprende 632 entradas de productos que abarcan diversas categorías de productos, con estos HSCodes anotados por varios expertos humanos.
Amplios resultados experimentales en varios LLM de última generación, agentes de código abierto y de código cerrado revelan una enorme brecha de rendimiento: el mejor agente logra solo un 46,8 % de precisión de 10 dígitos, muy por debajo de los expertos humanos con un 95,0 %. Además, el análisis detallado demuestra los desafíos de la aplicación de reglas jerárquicas, y el escalamiento en el tiempo de prueba no logra mejorar aún más el rendimiento.
Publicado originalmente en export.arxiv.org el 22 de octubre de 2025.
Ver fuente original
