Resumen: Este documento tiene como objetivo comprender cómo las redes neuronales aprenden el razonamiento algorítmico abordando dos preguntas: ¿Qué tan fieles se aprenden algoritmos cuando son efectivas, y por qué las redes neuronales no aprenden algoritmos efectivos de otra manera? Para responder a estas preguntas, utilizamos la compilación neural, una técnica que codifica directamente un algoritmo de origen en los parámetros de la red neuronal, lo que permite que la red calcule el algoritmo exactamente. Esto permite la comparación entre parámetros compilados y convencionalmente aprendidos, vectores intermedios y comportamientos. Esta investigación es crucial para desarrollar redes neuronales que aprenden robustas a los complejos de los datos de los datos. Nuestro análisis se centra en las redes neuronales gráficas (GNN), que están naturalmente alineadas con las tareas de razonamiento algorítmico, específicamente nuestras elecciones de BFS, DFS y Bellman-Ford, que cubren el espectro de algoritmos aprendidos efectivos, fieles e ineficaces. Comúnmente, el razonamiento algorítmico de aprendizaje se enmarca como inducción sobre datos sintéticos, donde un modelo parametrizado está entrenado en entradas, trazas y salidas producidas por un algoritmo de verdad terrestre subyacente. Por el contrario, presentamos un método de compilación neural para GNN, que establece los parámetros de red analíticamente, evitando el entrenamiento. Centrarse en GNN aprovecha su alineación con el razonamiento algorítmico, la extensa literatura de inducción algorítmica y la nueva aplicación de la compilación neuronal a los GNN. En general, este documento tiene como objetivo caracterizar las brechas de expresabilidad -trenabilidad, una deficiencia fundamental en el razonamiento algorítmico de aprendizaje. Presumimos que el aprendizaje inductivo es más efectivo para los algoritmos paralelos contenidos dentro de la clase computacional texttt {nc}.
Publicado Originalme en rss.arxiv.org El 26 de mayo de 2025.
Ver Fuente Original
