Resumen: El desarrollo y la evaluación de las capacidades sociales en los agentes de IA requieren entornos complejos donde los comportamientos competitivos y cooperativos emergen naturalmente. Si bien las propiedades teóricas del juego pueden explicar por qué ciertos equipos o poblaciones de agentes superan a otros, los comportamientos más abstractos, como la siguiente convención, son más difíciles de controlar en los entornos de entrenamiento y evaluación. El concurso Melting Pot es una suite de evaluación de IA social diseñada para evaluar las capacidades de cooperación de los sistemas de IA. En este documento, aplicamos un enfoque bayesiano conocido como diseños de medición para inferir los perfiles de capacidad de los sistemas de múltiples agentes en el concurso de bote de fusión. Mostramos que estos perfiles de capacidad no solo predicen el rendimiento futuro dentro de la suite de fusión, sino que también revelan las habilidades prosociales subyacentes de los agentes. Nuestro análisis indica que si bien las capacidades prosociales más altas a veces se correlacionan con un mejor rendimiento, esta no es una tendencia universal, algunos agentes de menor puntaje exhiben habilidades de cooperación más fuertes. Además, encontramos que las presentaciones del concurso de alto rendimiento tienen más probabilidades de lograr puntajes altos en escenarios en los que no se requieren capacidades prosociales. Estos hallazgos, junto con los informes de que el ganador del concurso utilizó una solución codificada con codificación adaptada a entornos específicos, sugieren que al menos un equipo de alto rendimiento puede haber optimizado para condiciones en las que la cooperación no era necesaria, potencialmente limitaciones en el marco de evaluación. Proporcionamos recomendaciones para mejorar la anotación de las demandas de cooperación y proponer futuras direcciones de investigación para tener en cuenta los sesgos introducidos por diferentes entornos de prueba. Nuestros resultados demuestran que los diseños de medición ofrecen una fuerte precisión predictiva y conocimientos procesables, contribuyendo a un enfoque más transparente y generalizable para evaluar los sistemas de IA en entornos sociales complejos.
Publicado Originalme en export.arxiv.org El 18 de septiembre de 2025.
Ver Fuente Original
