Resumen: La evolución continua de los paradigmas de IA ha impulsado la investigación de IA en la etapa de AI agente. En consecuencia, el enfoque de la investigación ha cambiado de agentes únicos y aplicaciones simples hacia la toma de decisiones autónomas de múltiples agentes y la colaboración de tareas en entornos complejos. A medida que avanzan los modelos de idiomas grandes (LLM), sus aplicaciones se vuelven más diversas y complejas, lo que lleva a riesgos cada vez más situacionales y sistémicos. Esto ha traído una atención significativa a la alineación del valor para los agentes de IA, cuyo objetivo es garantizar que los objetivos, las preferencias y los comportamientos de un agente se alineen con los valores humanos y las normas sociales. Este documento revisa la alineación de valor en los sistemas de agentes dentro de escenarios de aplicación específicos. Integra los avances en IA impulsados por grandes modelos con las demandas de la gobernanza social. Nuestra revisión cubre los principios de valor, los escenarios de aplicación del sistema de agentes y la evaluación de alineación del valor del agente. Específicamente, los principios de valor se organizan jerárquicamente desde una perspectiva de arriba hacia abajo, que abarca los niveles macro, meso y micro. Los escenarios de aplicación del sistema de agentes se clasifican y revisan desde un punto de vista general a específico. La evaluación de la alineación del valor del agente examina sistemáticamente los conjuntos de datos para la evaluación de alineación de valor y los métodos de alineación de valor relevantes. Además, profundizamos en la coordinación del valor entre múltiples agentes dentro de los sistemas de agentes. Finalmente, proponemos varias direcciones de investigación potenciales en este campo.
Publicado Originalme en rss.arxiv.org El 11 de junio de 2025.
Ver Fuente Original
