Resumen: Las redes neuronales de picos (SNN) ofrecen alternativas biológicamente inspiradas en la energía a las redes neuronales profundas tradicionales (DNN) para los sistemas de control en tiempo real. Sin embargo, su capacitación presenta varios desafíos, particularmente para las tareas de aprendizaje de refuerzo (RL), debido a la naturaleza no diferenciable de la comunicación basada en picos. En este trabajo, presentamos lo que es, hasta donde sabemos, el primer marco que emplea el muestreo de metrópolis-Hastings (MH), una técnica de inferencia bayesiana, para capacitar SNN para el control de agentes dinámicos en entornos RL sin depender de los métodos basados en gradientes. Nuestro enfoque propone y acepta probabilísticamente las actualizaciones de los parámetros de la red basados en señales de recompensa acumuladas, eludiendo efectivamente las limitaciones de la retroceso al tiempo que permite la optimización directa en las plataformas neuromórficas. Evaluamos este marco en dos puntos de referencia de control estándar: Acrobot y Cartpole. Los resultados demuestran que nuestro enfoque basado en MH supera a las líneas de base de Learning Q-Learning (DQL) convencional y enfoques de RL previos basados en SNN en términos de maximizar la recompensa acumulada al tiempo que minimiza los recursos de la red y los episodios de capacitación.
Publicado Originalme en export.arxiv.org El 14 de julio de 2025.
Ver Fuente Original
