Resumen: Este trabajo presenta un marco jerárquico de aprendizaje de refuerzo de múltiples agentes para analizar escenarios simulados de combate de aire que involucran agentes heterogéneos. El objetivo es identificar cursos de acción efectivos que conduzcan al éxito de la misión dentro de las simulaciones preestablecidas, lo que permite la exploración de escenarios de defensa del mundo real a bajo costo y en un entorno seguro para faltar. La aplicación de un aprendizaje de refuerzo profundo en este contexto plantea desafíos específicos, como la dinámica de vuelo compleja, el tamaño exponencial del estado y los espacios de acción en los sistemas de múltiples agentes, y la capacidad de integrar el control en tiempo real de las unidades individuales con planificación del aspecto. Para abordar estos desafíos, el proceso de toma de decisiones se divide en dos niveles de abstracción: las políticas de bajo nivel controlan las unidades individuales, mientras que un comandante de alto nivel emite comandos macro alineados con los objetivos generales de la misión. Esta estructura jerárquica facilita el proceso de capacitación al explotar las simetrías de políticas de los agentes individuales y separar el control de las tareas de comando. Las políticas de bajo nivel están entrenadas para el control de combate individual en un plan de estudios de creciente complejidad. El comandante de alto nivel se entrena en objetivos de misión dadas las políticas de control previamente capacitadas. La validación empírica confirma las ventajas del marco propuesto.
Publicado Originalme en rss.arxiv.org El 14 de mayo de 2025.
Ver Fuente Original
