Resumen: El aprendizaje en contexto (ICL) en modelos de idiomas grandes (LLM) ha mostrado un rendimiento notable en varias tareas sin requerir el ajuste. Sin embargo, estudios recientes han destacado el riesgo de fuga de datos privados a través del aviso en ICL, especialmente cuando los LLM están expuestos a ataques maliciosos. Si bien la privacidad diferencial (DP) proporciona fuertes garantías de privacidad, a menudo reduce significativamente la utilidad del aprendizaje en contexto (ICL). Para abordar este desafío, incorporamos datos públicos relacionados con la tarea en el marco ICL mientras mantenemos la garantía DP. Según este enfoque, proponemos un algoritmo de aprendizaje privado en contexto que equilibra efectivamente la protección de la privacidad y la utilidad del modelo. A través de experimentos, demostramos que nuestro enfoque mejora significativamente la utilidad de la ICL privada con la ayuda de datos públicos. Además, mostramos que nuestro método es sólido contra los ataques de inferencia de membresía, lo que demuestra la protección empírica de la privacidad.
Publicado Originalme en export.arxiv.org El 15 de septiembre de 2025.
Ver Fuente Original
