Observatorio de información y Publicaciones

Resumen: Automatizar el modelado de optimización con LLM es un camino prometedor hacia la inteligencia de decisiones escalable, pero los enfoques existentes se basan en procesos de agente creados en LLM de código cerrado con alta latencia de inferencia, o afinan LLM más pequeños utilizando una costosa supervisión de procesos que a menudo se adapta a una única API de resolución.

Resumen: Las capas de mezcla de expertos (MoE) aumentan la capacidad del modelo al activar solo un pequeño subconjunto de expertos por token y, por lo general, dependen de un enrutador aprendido para asignar estados ocultos a asignaciones de expertos. En este trabajo, nos preguntamos si un enrutador aprendido dedicado es estrictamente necesario en la configuración MoE que estudiamos.

Resumen: Los sistemas LLM deben tomar decisiones de control además de generar resultados: ya sea responder, aclarar, recuperar, llamar a herramientas, reparar o escalar.