Resumen: Este documento presenta LLM-Marl, un marco unificado que incorpora grandes modelos de idiomas (LLM) en el aprendizaje de refuerzo de múltiples agentes (MARL) para mejorar la coordinación, la comunicación y la generalización en entornos de juegos simulados. El marco presenta tres componentes modulares del coordinador, el comunicador y la memoria, que generan dinámicamente subggoals, facilitan la mensajería simbólica entre agentes y admiten el retiro episódico. La capacitación combina PPO con una pérdida de pérdidas y consultas de LLM. LLM-Marl se evalúa en Google Research Football, Magent Battle y Starcraft II. Los resultados muestran mejoras consistentes sobre MAPPO y QMIX en la tasa de victorias, el puntaje de coordinación y la generalización de disparo cero. Los estudios de ablación demuestran que la generación subggoal y la mensajería basada en el lenguaje contribuyen significativamente a las ganancias de rendimiento. El análisis cualitativo revela comportamientos emergentes, como la especialización de roles y las tácticas impulsadas por la comunicación. Al unir el modelado de idiomas y el aprendizaje de políticas, este trabajo contribuye al diseño de agentes cooperativos inteligentes en simulaciones interactivas. Ofrece un camino hacia adelante para aprovechar los LLM en sistemas de múltiples agentes utilizados para entrenamiento, juegos y colaboración Human-AI.
Publicado Originalme en rss.arxiv.org El 5 de junio de 2025.
Ver Fuente Original
