SnapStream: decodificación eficiente de secuencia larga en aceleradores de flujo de datos

Resumen: La proliferación de modelos de lenguaje grande (LLM) de más de 100 mil millones de parámetros con soporte de longitud de contexto de más de 100 mil ha dado como resultado una demanda creciente de memoria en chip para admitir grandes cachés de KV. Técnicas como StreamingLLM y SnapKV demuestran cómo controlar el tamaño de la caché KV manteniendo la precisión del modelo.

Leer más →

Comentarios desactivados en SnapStream: decodificación eficiente de secuencia larga en aceleradores de flujo de datos

Epidemiología de modelos de lenguaje grandes: un punto de referencia para el conocimiento de la distribución observacional

Resumen: Los sistemas de inteligencia artificial (IA) son muy prometedores para el avance de diversas disciplinas científicas y se utilizan cada vez más en aplicaciones del mundo real. A pesar de su notable progreso, se esperan mayores capacidades para lograr tipos de inteligencia más generales.

Leer más →

Comentarios desactivados en Epidemiología de modelos de lenguaje grandes: un punto de referencia para el conocimiento de la distribución observacional

Fin del contenido

No hay más páginas por cargar