Resumen: El aprendizaje por refuerzo permite a los agentes aprender comportamientos óptimos a través de interacciones con entornos. Sin embargo, los entornos del mundo real suelen ser no estacionarios y requieren que los agentes se adapten continuamente a nuevas tareas y condiciones cambiantes. Aunque el aprendizaje por refuerzo continuo facilita el aprendizaje en múltiples tareas, los métodos existentes a menudo sufren de olvidos catastróficos y una utilización ineficiente del conocimiento. Para abordar estos desafíos, proponemos la Adaptación Continua del Conocimiento para el Aprendizaje por Refuerzo (CKA-RL), que permite la acumulación y utilización efectiva del conocimiento histórico. Específicamente, introducimos una estrategia de Adaptación Continua del Conocimiento, que implica mantener un conjunto de vectores de conocimiento específicos de la tarea y utilizar dinámicamente el conocimiento histórico para adaptar el agente a nuevas tareas. Este proceso mitiga el olvido catastrófico y permite la transferencia eficiente de conocimiento entre tareas al preservar y adaptar los parámetros críticos del modelo. Además, proponemos un mecanismo de fusión adaptativa de conocimientos que combina vectores de conocimientos similares para abordar los desafíos de escalabilidad, reduciendo los requisitos de memoria y garantizando al mismo tiempo la retención de conocimientos esenciales. Los experimentos en tres puntos de referencia demuestran que el CKA-RL propuesto supera a los métodos más modernos, logrando una mejora del 4,20 % en el rendimiento general y del 8,02 % en la transferencia hacia adelante. El código fuente está disponible en esta URL https.
Publicado originalmente en export.arxiv.org el 22 de octubre de 2025.
Ver fuente original
