Resumen: El escalado dinámico de voltaje y frecuencia (DVFS) y la asignación de tareas a núcleos son fundamentales para la gestión térmica y el equilibrio de energía y rendimiento en sistemas integrados. Los enfoques existentes se basan en heurísticas basadas en la utilización que pasan por alto los tiempos de parada o requieren una elaboración extensa de perfiles fuera de línea para la generación de tablas, lo que impide la adaptación del tiempo de ejecución. Proponemos un marco de aprendizaje por refuerzo de múltiples agentes (MARL) jerárquico basado en modelos para la programación con conciencia térmica y energética en plataformas de múltiples núcleos. Dos agentes colaborativos descomponen el espacio de acción exponencial, logrando una latencia de 358ms para decisiones posteriores. Las primeras decisiones requieren de 3,5 a 8,0 segundos, incluida la extracción única de funciones de LLM. Un modelo ambiental preciso aprovecha las técnicas de regresión para predecir la dinámica térmica y los estados de rendimiento. Cuando se combina con características semánticas extraídas de LLM, el modelo de entorno permite una implementación inmediata para nuevas cargas de trabajo en plataformas entrenadas al generar datos de entrenamiento sintéticos sin requerir muestras de perfiles específicos de la carga de trabajo. Presentamos la extracción de características semánticas basada en LLM que caracteriza los programas OpenMP a través de 13 características a nivel de código sin ejecución. El marco inspirado en Dyna-Q integra el aprendizaje por refuerzo directo con la planificación basada en modelos, logrando una convergencia 20 veces más rápida que los métodos sin modelos. Los experimentos con pruebas comparativas de BOTS y PolybenchC en NVIDIA Jetson TX2, Jetson Orin NX, RubikPi e Intel Core i7 demuestran una eficiencia energética 7,09 veces mayor y una capacidad de producción 4,0 veces mayor que el gobernador bajo demanda de Linux. La latencia de primera decisión es 8300 veces más rápida que la creación de perfiles basada en tablas, lo que permite una implementación práctica en sistemas integrados dinámicos.
Publicado originalmente en export.arxiv.org el 13 de enero de 2026.
Ver fuente original
