Resumen: Este documento presenta EdgeProfiler, un marco de perfil rápido diseñado para evaluar modelos de lenguaje grande (LLM) livianos en los sistemas de borde. Si bien los LLM ofrecen capacidades notables en la comprensión y generación del lenguaje natural, sus altos requisitos computacionales, de memoria y potencia a menudo los limitan a entornos en la nube. EdgeProfiler aborda estos desafíos al proporcionar una metodología sistemática para evaluar el rendimiento de LLM en la configuración de borde limitada por los recursos. El marco perfiles compactas LLMS, incluidos Tinyllama, Gemma3.1b, LLAMA3.2-1b y Deepseek-R1-1.5b, utilizando técnicas de cuantización agresivas y limitaciones de memoria estrictas. El modelado analítico se utiliza para estimar la latencia, los fracasos y el consumo de energía. El perfil revela que la cuantización de 4 bits reduce el uso de la memoria del modelo en aproximadamente 60-70%, al tiempo que mantiene la precisión dentro del 2-5% de las líneas de base de precisión completa. Se observa que las velocidades de inferencia mejoran en 2-3X en comparación con las líneas de base FP16 en varios dispositivos de borde. El modelado de energía estima una reducción del 35-50% en el consumo de energía para las configuraciones INT4, lo que permite una implementación práctica en hardware como Raspberry Pi 4/5 y Jetson Orin Nano Super. Nuestros hallazgos enfatizan la importancia de un perfil eficiente adaptado a LLM livianos en entornos de borde, precisión de equilibrio, eficiencia energética y viabilidad computacional.
Publicado Originalme en rss.arxiv.org El 11 de junio de 2025.
Ver Fuente Original
