Resumen: Los investigadores preocupados por los riesgos catastróficos de la IA avanzada han argumentado que debemos esperar que los agentes de IA suficientemente capaces persigan el poder sobre la humanidad porque el poder es un objetivo instrumental convergente, algo que es útil para una amplia gama de objetivos finales. Otros han expresado recientemente escepticismo de estas afirmaciones. Este documento tiene como objetivo formalizar los conceptos de convergencia instrumental y la búsqueda de poder en un marco abstracto y teórico de decisión, y evaluar la afirmación de que el poder es un objetivo instrumental convergente. Concluyo que esta afirmación contiene al menos un elemento de la verdad, pero podría resultar tener una utilidad predictiva limitada, ya que las opciones de un agente no siempre se pueden clasificar en términos de poder en ausencia de información sustantiva sobre los objetivos finales del agente. Sin embargo, el hecho de la convergencia instrumental es más predictivo para los agentes que tienen una buena oportunidad de alcanzar el poder absoluto o casi absoluto.
Publicado Originalme en rss.arxiv.org El 9 de junio de 2025.
Ver Fuente Original
