Resumen: ¿Qué algoritmos realmente aprenden y usan para resolver problemas? Los estudios que abordan esta pregunta son escasos, ya que las prioridades de investigación se centran en mejorar el rendimiento a través de la escala, dejando una brecha teórica y empírica en la comprensión de los algoritmos emergentes. Este documento de posición propone Algeval: un marco para la investigación sistemática de los algoritmos que los LLM aprenden y usan. El álgeval tiene como objetivo descubrir las primitivas algorítmicas, reflejadas en representaciones latentes, atención y cómputo de tiempo de inferencia, y su composición algorítmica para resolver problemas específicos de la tarea. Destacamos posibles caminos metodológicos y un estudio de caso hacia este objetivo, centrándonos en los algoritmos de búsqueda emergentes. Nuestro estudio de caso ilustra tanto la formación de hipótesis de arriba hacia abajo sobre los algoritmos candidatos como las pruebas ascendentes de estas hipótesis a través del análisis a nivel de circuito de patrones de atención y estados ocultos. La rigurosa evaluación sistemática de cómo LLMS realmente resuelve tareas proporciona una alternativa a la escala intensiva de recursos, reorientando el campo hacia una comprensión de principios de los cálculos subyacentes. Dichas explicaciones algorítmicas ofrecen una vía hacia la interpretabilidad del humano, lo que permite la comprensión de las medidas de rendimiento de razonamiento interno del modelo. Esto a su vez puede conducir a métodos más eficientes en muestras para capacitar y mejorar el rendimiento, así como nuevas arquitecturas para sistemas de extremo a extremo y agente múltiple.
Publicado Originalme en export.arxiv.org El 10 de julio de 2025.
Ver Fuente Original
