Resumen: Los grandes modelos de razonamiento (LRM) tienen costos de energía de inferencia heterogéneos según el modelo que se utiliza y cuánto razona. Para reducir la energía, es importante elegir el LRM adecuado y operarlo de la manera correcta. Como resultado, el desempeño de los sistemas que envían tareas a diferentes LRM individuales depende del equilibrio entre el aprovisionamiento medio de energía y las fluctuaciones estocásticas. El régimen crítico es el único punto operativo en el que ni la energía auxiliar ni la energía base se desperdician sistemáticamente. El aumento del suministro básico desplaza el sistema hacia un exceso persistente de suministro y un desperdicio de energía básico, mientras que la reducción del suministro induce una dependencia persistente de la energía auxiliar. Sin embargo, en este régimen, el desempeño sigue estando limitado por la volatilidad, por lo que una caracterización de segundo orden proporciona más ideas que desarrollamos. Aquí, el rendimiento se rige por cómo se absorbe la variabilidad a través del tiempo, los modelos y las opciones de ejecución. Esta perspectiva destaca el enrutamiento y el despacho conscientes de la variación como un eje de diseño de principios y proporciona una base teórica para desarrollar políticas de enrutamiento de modelos conscientes de la energía. El comportamiento de enrutamiento se caracteriza cuando las políticas de despacho se basan en leyes de escalamiento de computación de entrenamiento y computación de inferencia para LRM.
Publicado originalmente en export.arxiv.org el 5 de enero de 2026.
Ver fuente original
