Resumen: La adaptación de bajo rango (LORA) tiene un ajuste fino eficiente de parámetros significativamente avanzado de grandes modelos previos a la aparición. Lora aumenta los pesos previamente capacitados de un modelo agregando el producto de dos matrices más pequeñas que juntas forman una actualización de matriz de bajo rango. Investigaciones recientes han demostrado que las disparidades de escala entre estas dos matrices a menudo causan una dinámica de entrenamiento inestable, lo que lleva a un rendimiento subóptimo. En este artículo, proponemos Singlora, que reformula la adaptación de bajo rango al aprender la actualización de pesos como una descomposición de una sola matriz de bajo rango multiplicada por su transposición. Este diseño simple elimina inherentemente los conflictos de la escala entre matriz, garantizando la optimización estable y mitad mitamente el recuento de parámetros. Analizamos Singlora dentro del marco de la red neuronal de ancho de ancho infinito, mostrando que garantiza un aprendizaje de características estable por construcción. Experimentos extensos en múltiples tareas validan estos beneficios. En el razonamiento de sentido común, el ajuste de Llama 7B en MNLI con Singlora alcanza el 91.3% de precisión, superando a Lora (89.1%) y Lora+ (90.2%), mientras que usa solo el 60% de su presupuesto de parámetros. En la generación de imágenes, el ajuste de la difusión estable con Singlora mejora significativamente la fidelidad de la imagen en Dreambooth, logrando un puntaje de similitud de dinosauría de 0.151, en comparación con puntajes de 0.148 y 0.143 para Dora y Lora, respectivamente.
Publicado Originalme en export.arxiv.org El 8 de julio de 2025.
Ver Fuente Original
