Resumen: El aprendizaje de herramientas, que permite a los modelos de idiomas grandes (LLM) utilizar herramientas externas de manera efectiva, ha atraído una atención creciente por su potencial para revolucionar la productividad en todas las industrias. A pesar del rápido desarrollo en el aprendizaje de las herramientas, los desafíos y las oportunidades clave siguen siendo poco estudiados, lo que limita las ideas más profundas y los avances futuros. En este documento, investigamos la capacidad de aprendizaje de herramientas de 41 LLM prevalentes al reproducir 33 puntos de referencia y habilitando una evaluación con un solo clic para siete de ellos, formando una plataforma de aprendizaje de herramientas llamada TOLEAP. También recopilamos 21 de 33 conjuntos de datos de capacitación potenciales para facilitar la exploración futura. Después de analizar más de 3.000 casos malos de 41 LLM basados en TOLEAP, identificamos cuatro desafíos críticos principales: (1) las limitaciones de referencia inducen tanto la negligencia como la falta de (2) aprendizaje autónomo, (3) generalización y (4) capacidades de resolución de tareas de oraciones largas de LLM. Para ayudar a futuros avances, damos un paso más hacia la exploración de posibles direcciones, a saber (1) construcción de referencia del mundo real, (2) aprendizaje autónomo de compatibilidad, (3) aprendizaje de justificación al pensar y (4) identificar y recordar pistas clave. Los experimentos preliminares demuestran su efectividad, destacando la necesidad de más investigación y exploración.
Publicado Originalme en rss.arxiv.org El 19 de mayo de 2025.
Ver Fuente Original
