Resumen: Resolver el problema de asignación de créditos (CAP) sináptico es fundamental para el aprendizaje en sistemas neuronales tanto biológicos como artificiales. Encontrar una solución óptima para la CAP sináptica significa establecer los pesos sinápticos que asignan crédito a cada neurona por influir en el resultado final y el comportamiento de las redes neuronales o los animales. Los métodos basados en gradientes resuelven este problema en las redes neuronales artificiales mediante la propagación hacia atrás, aunque no de la manera más eficiente. Por ejemplo, la retropropagación requiere una cadena de cálculos de gradiente de arriba hacia abajo. Esto conduce a una optimización costosa en términos de potencia de cálculo y memoria, unida a problemas conocidos de transporte de peso y bloqueo de actualizaciones. Para abordar estas deficiencias, adoptamos un enfoque de NeuroAI y nos inspiramos en el aprendizaje por refuerzo neuronal para desarrollar un optimizador sin derivados para entrenar redes neuronales, la dopamina. La dopamina está desarrollada para el aprendizaje de la perturbación del peso (WP) que explota la actualización estocástica de los pesos hacia el estado óptimo. Lo logra minimizando el arrepentimiento, una forma de error de predicción de recompensa (RPE) entre el resultado esperado del modelo perturbado y el resultado real del modelo no perturbado. Usamos este RPE para ajustar la tasa de aprendizaje en la red (es decir, crear una estrategia de tasa de aprendizaje adaptativa, similar al papel de la dopamina en el cerebro). Probamos el optimizador de dopamina para entrenar perceptrones de múltiples capas para tareas XOR y redes neuronales recurrentes para pronósticos de series temporales caóticas. Los modelos entrenados con dopamina demuestran una convergencia acelerada y superan al WP estándar, y brindan un rendimiento comparable a los algoritmos basados en gradientes, al tiempo que consumen significativamente menos computación y memoria. En general, el optimizador de dopamina no sólo encuentra soluciones sólidas y un rendimiento comparable a los optimizadores de aprendizaje automático de última generación, sino que también es neurobiológicamente más plausible.
Publicado originalmente en export.arxiv.org el 27 de octubre de 2025.
Ver fuente original
