Resumen: Los modelos de lenguaje grande de código se entrenan con frecuencia en conjuntos de datos masivos que contienen código fuente con licencia restrictiva. Esto crea desafíos urgentes en materia de gobernanza de datos y derechos de autor. Los ataques de inferencia de membresía (MIA) pueden servir como mecanismo de auditoría para detectar el uso de datos no autorizados en los modelos. Si bien ataques como Loss Attack proporcionan una base, métodos más complicados como la Calibración de aumento polarizado (PAC) siguen sin explorarse en el dominio del código. Este artículo presenta un estudio exploratorio que evalúa estos métodos en modelos de código de parámetros 3B–7B. Descubrimos que, si bien PAC generalmente supera la línea base de pérdida, su efectividad depende de estrategias de aumento que ignoran la sintaxis rígida del código, lo que lleva a una degradación del rendimiento en archivos más grandes y complejos. Para abordar esto, presentamos AST-PAC, una adaptación específica de dominio que utiliza perturbaciones basadas en el árbol de sintaxis abstracta (AST) para generar muestras de calibración sintácticamente válidas. Los resultados preliminares indican que AST-PAC mejora a medida que crece el tamaño sintáctico, mientras que PAC se degrada, pero muta menos archivos pequeños y tiene un rendimiento inferior en código rico en alfanuméricos. En general, los hallazgos motivan el trabajo futuro sobre la calibración adaptativa al tamaño y la sintaxis como requisito previo para una auditoría confiable de la procedencia de los modelos de lenguaje de código.
Publicado originalmente en export.arxiv.org el 16 de febrero de 2026.
Ver fuente original
