Densidad y estabilidad inducidas por rutas (RIDE): intervención controlada y análisis de mecanismos de metaindicaciones de estilo de enrutamiento en estados internos de LLM
Resumen: El enrutamiento se usa ampliamente para escalar modelos de lenguaje grandes, desde la combinación de expertos hasta la selección de múltiples modelos/herramientas. Una creencia común es que dirigirse a una tarea “experta” activa un cálculo interno más disperso y, por lo tanto, produce resultados más seguros y estables (la hipótesis de escasez-certidumbre).
Leer más →