Resumen: La capacidad de adaptarse rápidamente a cambios ambientales novedosos e imprevistos es una piedra angular de la inteligencia general artificial (AGI), pero sigue siendo un punto ciego crítico en la mayoría de los puntos de referencia de IA existentes. La evaluación tradicional se centra en gran medida en optimizar el rendimiento dentro de entornos fijos, no evaluar la flexibilidad y las capacidades de generalización de los sistemas cuando se enfrentan incluso a una regla sutil o modificaciones estructurales. Al abordar esta brecha, presento el Othello AI Arena, un nuevo marco de referencia diseñado para evaluar sistemas inteligentes basados en su capacidad para una adaptación a tiempo limitado a entornos invisibles. Nuestra plataforma plantea un desafío de meta-aprendizaje: los participantes deben desarrollar sistemas que puedan analizar la configuración específica y las reglas de una nueva placa Othello dentro de un límite de tiempo estricto (60 segundos) y generar una estrategia personalizada y de alto rendimiento para ese entorno único. Con esto, la evaluación de la inteligencia de nivel meta se puede separar del rendimiento de la estrategia a nivel de tarea. La arena presenta un conjunto diverso de etapas de juego, incluidas las etapas públicas para el desarrollo y las etapas privadas con variaciones estructurales y de reglas diseñadas para probar capacidades genuinas de adaptación y generalización. Implementada como una plataforma basada en la web accesible, la arena proporciona visualización en tiempo real, evaluación automatizada utilizando métricas multidimensionales y registro integral para análisis post-hoc. Las observaciones iniciales de las pruebas piloto y los compromisos preliminares de los estudiantes destacan patrones fascinantes en los enfoques de adaptación, que van desde la sintonización de parámetros rápidos hasta el aprendizaje del modelo ambiental rudimentario a través de la simulación. El Othello AI Arena ofrece una herramienta educativa única y un valioso punto de investigación de investigación para fomentar y evaluar la habilidad crucial de la adaptación rápida e inteligente en los sistemas de IA.
Publicado Originalme en export.arxiv.org El 13 de agosto de 2025.
Ver Fuente Original
