Resumen: La amenaza emergente de los ataques de ingeniería social basados en AR-LLM (AR-LLM-SE) (por ejemplo, SEAR) plantea un riesgo significativo para las interacciones sociales del mundo real. En un ataque de este tipo, un actor malintencionado utiliza gafas de realidad aumentada (AR) para capturar datos visuales y vocales del objetivo. Luego, un modelo de lenguaje grande (LLM) analiza estos datos para identificar al individuo y generar un perfil social detallado. Posteriormente, los agentes con tecnología LLM emplean estrategias de ingeniería social, proporcionando sugerencias de conversación en tiempo real, para ganarse la confianza del objetivo y, en última instancia, ejecutar phishing u otros actos maliciosos. A pesar de su potencial, la aplicación práctica de AR-LLM-SE enfrenta dos obstáculos importantes: (1) la personalización del arranque en frío, los métodos de generación aumentada de recuperación de corriente (RAG) introducen retrasos críticos en los primeros giros, lo que ralentiza la formación del perfil inicial e interrumpe la interacción en tiempo real; (2) las estrategias de ataque estático; los enfoques existentes se basan en tácticas de ingeniería social artesanales de etapa fija que carecen de fundamento en la teoría psicológica establecida. Para abordar estas limitaciones, proponemos PhySE, un marco novedoso con dos innovaciones principales: (1) Entrenamiento de contexto social basado en VLM. Para eliminar retrasos en la creación de perfiles, entrenamos previamente de manera eficiente un modelo de lenguaje visual (VLM) con datos de contexto social, lo que permite una generación rápida de perfiles sobre la marcha. (2) Agente psicológico adaptativo. Presentamos un LLM psicológico que implementa dinámicamente distintas clases de estrategias psicológicas basadas en la respuesta del objetivo, yendo más allá de los guiones estáticos y hechos a mano. Evaluamos PhySE a través de un estudio de usuarios aprobado por el IRB con 60 participantes, recopilando un conjunto de datos novedoso de 360 conversaciones anotadas en diversos escenarios sociales.
Publicado originalmente en export.arxiv.org el 27 de abril de 2026.
Ver fuente original
