Resumen: Los sistemas de inteligencia artificial para el desarrollo de software están ganando rápidamente prominencia, pero los desafíos significativos quedan para garantizar su seguridad. Para abordar esto, Amazon lanzó la pista de AI confiable del Amazon Nova AI Challenge, una competencia global entre 10 equipos universitarios para impulsar los avances en AI seguro. En el desafío, cinco equipos se centran en desarrollar bots de equipo rojos automatizados, mientras que los otros cinco crean asistentes de IA seguros. Este desafío proporciona a los equipos una plataforma única para evaluar los métodos automatizados de equipo rojo y alineación de seguridad a través de torneos adversos en la cabeza a cabeza donde los equipos rojos tienen conversaciones múltiples con los asistentes de codificación de IA competidores para probar su alineación de seguridad. Junto con esto, el desafío proporciona a los equipos una alimentación de datos anotados de alta calidad para combinar la mejora iterativa. A lo largo del desafío, los equipos desarrollaron técnicas de vanguardia, introduciendo enfoques novedosos en la alineación de seguridad basada en el razonamiento, las barandillas de modelos robustas, la cárcel múltiple que rompe la cárcel y el soporte eficiente de modelos de idiomas grandes (LLM). Para apoyar estos esfuerzos, el equipo de Amazon Nova AI Challenge realizó inversiones científicas e de ingeniería sustanciales, incluida la construcción de un modelo especializado de codificación de línea de base personalizado para el desafío desde cero, el desarrollo de un servicio de orquestación de torneo y la creación de un arnés de evaluación. Este documento describe los avances realizados por los equipos universitarios y el equipo de desafíos de Amazon Nova AI para abordar los desafíos de seguridad de la IA para el desarrollo de software, destacando este esfuerzo de colaboración para elevar el listón para la seguridad de la IA.
Publicado Originalme en export.arxiv.org El 14 de agosto de 2025.
Ver Fuente Original
