Los grandes modelos lingüísticos requieren una nueva forma de supervisión: la supervisión basada en capacidades

Resumen: La rápida adopción de modelos de lenguaje grande (LLM) en la atención médica ha ido acompañada de un escrutinio de su supervisión. Los enfoques de monitoreo existentes, heredados del aprendizaje automático (ML) tradicional, se basan en tareas y se basan en la supuesta degradación del rendimiento que surge de la deriva del conjunto de datos.

Leer más →

Comentarios desactivados en Los grandes modelos lingüísticos requieren una nueva forma de supervisión: la supervisión basada en capacidades

SnapStream: decodificación eficiente de secuencia larga en aceleradores de flujo de datos

Resumen: La proliferación de modelos de lenguaje grande (LLM) de más de 100 mil millones de parámetros con soporte de longitud de contexto de más de 100 mil ha dado como resultado una demanda creciente de memoria en chip para admitir grandes cachés de KV. Técnicas como StreamingLLM y SnapKV demuestran cómo controlar el tamaño de la caché KV manteniendo la precisión del modelo.

Leer más →

Comentarios desactivados en SnapStream: decodificación eficiente de secuencia larga en aceleradores de flujo de datos

Fin del contenido

No hay más páginas por cargar