Observatorio de información y Publicaciones

Resumen: Las arquitecturas dispersas de mezcla de expertos (MoE) escalan efectivamente la capacidad del modelo activando solo un subconjunto de expertos para cada token de entrada. Sin embargo, la estrategia de enrutamiento estándar Top-k impone un patrón de escasez uniforme que ignora la dificultad variable de los tokens.

Resumen: Los modelos de lenguaje grande (LLM) con razonamiento en cadena de pensamiento (CoT) han logrado un rendimiento sólido en diversas tareas, incluidas matemáticas, codificación y razonamiento general. Una capacidad distintiva de estos modelos de razonamiento es la autorreflexión: la capacidad de revisar y revisar pasos de razonamiento anteriores.

Resumen:Asignamos a cada modelo la tarea de generar pruebas formales en LaTeX para una serie de lemas y ejercicios que abarcan el libro de texto.