Resumen:Presentamos un marco de cruce de peatones automatizado que compara un par de documentos de políticas de seguridad de IA bajo una taxonomía compartida de actividades. Utilizando las categorías de actividades definidas en el Mapa de actividades sobre seguridad de la IA como aspectos fijos, el sistema extrae y mapea las actividades relevantes, luego produce para cada aspecto un breve resumen para cada documento, una breve comparación y una puntuación de similitud. Evaluamos la estabilidad y validez del análisis de cruce de peatones basado en LLM en documentos de políticas públicas. Utilizando cinco grandes modelos de lenguaje, realizamos cruces en diez documentos disponibles públicamente y visualizamos puntuaciones medias de similitud con un mapa de calor. Los resultados muestran que la elección del modelo afecta sustancialmente los resultados del cruce de peatones y que algunos pares de documentos generan grandes desacuerdos entre los modelos. Una evaluación humana realizada por tres expertos en dos pares de documentos muestra un alto acuerdo entre anotadores, mientras que las puntuaciones del modelo aún difieren de los juicios humanos. Estos hallazgos respaldan la inspección comparativa de los documentos de políticas.
Publicado originalmente en export.arxiv.org el 6 de abril de 2026.
Ver fuente original
