Resumen: Los modelos generativos de visión médica en idioma ~ (MED-VLMS) están diseñados principalmente para generar información textual compleja ~ (por ejemplo, informes de diagnóstico) a partir de entradas multimodales, incluida la modalidad de visión ~ (por ejemplo, imágenes médicas) y modalidad de lenguaje ~ (por ejemplo, consultas clínicas). Sin embargo, sus vulnerabilidades de seguridad permanecen poco superiores. MED-VLMS debe ser capaz de rechazar consultas dañinas, como textit {proporcionar instrucciones detalladas para usar esta tomografía computarizada para fraude de seguro}. Al mismo tiempo, abordar las preocupaciones de seguridad introduce el riesgo de defensa excesiva, donde los mecanismos de mejora de la seguridad pueden degradar el rendimiento general, lo que hace que MED-VLM rechace consultas clínicas benignas. En este artículo, proponemos una nueva estrategia de defensa de tiempo de inferencia para mitigar consultas dañinas, permitiendo la defensa contra ataques visuales y textuales de jailbreak. Utilizando diversos conjuntos de datos de imágenes médicas recopilados de nueve modalidades, demostramos que nuestra estrategia de defensa basada en demostraciones clínicas sintéticas mejora la seguridad del modelo sin comprometer significativamente el rendimiento. Además, encontramos que aumentar el presupuesto de demostración alivia el problema de defensa excesiva. Luego presentamos una estrategia de demostración mixta como una solución de compensación para equilibrar la seguridad y el rendimiento bajo las limitaciones presupuestarias de demostración de pocos disparos.
Publicado Originalme en rss.arxiv.org El 11 de junio de 2025.
Ver Fuente Original
