Resumen: Esta revisión examina la rápida evolución de la serie LLaMA (Large Language Model Meta AI) de Meta AI, desde LLaMA 1 hasta LLaMA 4 y los métodos especializados de ajuste fino eficiente de parámetros (PEFT) desarrollados para estos modelos. Primero describimos la familia LLaMA de modelos básicos (parámetros 7B-65B a 288B), sus arquitecturas (incluidas las variantes nativas multimodales y Mixtureof-Experts) y las características clave de rendimiento. Luego describimos y analizamos el concepto de PEFT, que adapta grandes modelos previamente entrenados actualizando solo un pequeño subconjunto de parámetros, y revisamos cinco métodos PEFT que se han aplicado a LLaMA: LoRA (adaptación de bajo rango), LLaMA-Adapter V1 y V2, LLaMA-Excitor y QLoRA (LoRA cuantificado). Analizamos el mecanismo de cada método, el ahorro de parámetros y la aplicación de ejemplo a LLaMA (por ejemplo, ajuste de instrucciones, tareas multimodales). Proporcionamos discusión y análisis estructurados de arquitecturas de modelos y adaptadores, recuentos de parámetros y resultados de pruebas comparativas (incluidos ejemplos en los que los modelos LLaMA ajustados superan las líneas de base más grandes). Finalmente, examinamos casos de uso del mundo real donde se han aplicado con éxito modelos basados en LLaMA y PEFT (por ejemplo, dominios legales y médicos), y discutimos los desafíos actuales y las direcciones de investigación futuras (como escalar a contextos aún más amplios y mejorar la solidez). Este documento de encuesta proporciona un recurso integral para investigadores y profesionales del aprendizaje automático interesados en modelos LLaMA y estrategias de ajuste eficientes.
Publicado originalmente en export.arxiv.org el 14 de octubre de 2025.
Ver fuente original
