Resumen: Proponemos el monitoreo del tiempo de ejecución de la robustez de entrada-salida de los modelos implementados de IA de caja negra, donde el objetivo es diseñar monitores que observen una larga secuencia de ejecución del modelo, y plantearía una alarma cada vez que se detecta que dos entradas similares del pasado condujeron a salidas diferentes.
De esta manera, el monitoreo complementará los enfoques de “ robustificación ” fuera de línea existentes para aumentar la confiabilidad de los tomadores de decisiones de la IA.
Mostramos que el problema de monitoreo se puede proyectar como el problema de búsqueda de vecinos más cercanos de radio fijo (FRNN), que, a pesar de estar bien estudiado, carece de soluciones en línea adecuadas.
Presentamos nuestra herramienta Clemont, que ofrece una serie de monitores livianos, algunos de los cuales utilizan variantes en línea actualizadas de algoritmos FRNN existentes, y uno utiliza un algoritmo novedoso basado en diagramas de decisión binarios, una estructura de datos comúnmente utilizada en software y verificación de hardware.
También hemos desarrollado una técnica de paralelización eficiente que puede reducir sustancialmente el tiempo de cálculo de los monitores para los cuales la distancia entre los pares de entrada-salida se mide utilizando la norma $ L_ Infty $.
Utilizando puntos de referencia estándar de la literatura de robustez adversa y semántica y justicia individual, realizamos un estudio comparativo de diferentes monitores en la herramienta y demostramos su efectividad para detectar correctamente las violaciones de robustez en el tiempo de ejecución.
Publicado Originalme en rss.arxiv.org El 2 de junio de 2025.
Ver Fuente Original
