Resumen: La teoría estándar del aprendizaje por refuerzo sin modelos supone que la dinámica del entorno es estacionaria y que los agentes están desacoplados de su entorno, de modo que las políticas se tratan como algo separado del mundo que habitan. Esto conduce a desafíos teóricos en el entorno de múltiples agentes donde la no estacionariedad inducida por el aprendizaje de otros agentes exige un aprendizaje prospectivo basado en modelos de predicción. Para modelar con precisión a otros agentes, un agente debe tener en cuenta el hecho de que esos otros agentes, a su vez, están formando creencias sobre él para predecir su comportamiento futuro, motivando a los agentes a modelarse a sí mismos como parte del entorno. Aquí, basándose en el trabajo fundamental sobre la inteligencia artificial universal (AIXI), presentamos un marco matemático para el aprendizaje prospectivo y la agencia integrada centrada en la autopredicción, donde los agentes bayesianos de RL predicen tanto entradas perceptuales futuras como sus propias acciones y, por lo tanto, deben resolver la incertidumbre epistémica sobre sí mismos como parte del universo que habitan. Mostramos que en entornos de múltiples agentes, la autopredicción permite a los agentes razonar sobre otros que ejecutan algoritmos similares, lo que lleva a nuevos conceptos de solución de teoría de juegos y nuevas formas de cooperación inalcanzables por los agentes desacoplados clásicos. Además, ampliamos la teoría de AIXI y estudiamos agentes integrados universalmente inteligentes que parten de un anterior de Solomonoff. Mostramos que estos agentes idealizados pueden formar predicciones mutuas consistentes y lograr una teoría de la mente de orden infinito, estableciendo potencialmente un estándar de oro para el aprendizaje integrado de múltiples agentes.
Publicado originalmente en export.arxiv.org el 30 de noviembre de 2025.
Ver fuente original
