Resumen: Los modelos de lenguaje de difusión (DLM) están surgiendo como una alternativa poderosa y prometedora al paradigma autorregresivo dominante, ofreciendo ventajas inherentes en la generación paralela y el modelado de contexto bidireccional. Sin embargo, el rendimiento de los DLM en tareas de generación de código, que tienen restricciones estructurales más fuertes, se ve significativamente obstaculizado por el equilibrio crítico entre la velocidad de inferencia y la calidad de la salida. Observamos que acelerar el proceso de generación de código reduciendo el número de pasos de muestreo generalmente conduce a un colapso catastrófico en el rendimiento. En este artículo, presentamos el muestreo eficiente con aceleración adaptativa y reenmascaramiento mejorado de retroceso (es decir, Sabre), un novedoso algoritmo de muestreo sin entrenamiento para que los DLM logren una mejor velocidad de inferencia y calidad de salida en la generación de código. Específicamente, Sabre está motivado por dos ideas clave en el proceso de generación de DLM: 1) puede acelerarse de manera adaptativa a medida que se establece más contexto de código; 2) requiere un mecanismo de retroceso para revertir los tokens generados. Amplios experimentos en múltiples puntos de referencia de generación de código convencionales muestran que Sabre aumenta la precisión de Pass@1 en una mejora promedio del 1,9 % con respecto a los métodos de muestreo DLM convencionales, al tiempo que logra una velocidad de inferencia promedio del 251,4 %. Al aprovechar las ventajas inherentes de los DLM, nuestro trabajo reduce significativamente la brecha de rendimiento con los modelos autorregresivos en la generación de código.
Publicado originalmente en export.arxiv.org el 21 de octubre de 2025.
Ver fuente original
