Pruebas adaptativas para la evaluación de LLM: una alternativa psicométrica a los puntos de referencia estáticos

Resumen:La evaluación de modelos de lenguaje grandes requiere miles de elementos de referencia, lo que hace que las evaluaciones sean costosas y lentas. Los métodos existentes calculan la precisión promedio en conjuntos de elementos fijos, tratando todos los elementos por igual a pesar de la diferente calidad e información.

Leer más →

Comentarios desactivados en Pruebas adaptativas para la evaluación de LLM: una alternativa psicométrica a los puntos de referencia estáticos

Gestión de caché KV con estado para LLM: equilibrio de espacio, tiempo, precisión y fidelidad posicional

Resumen: La caché de valor clave (KV) es integral para la inferencia autorregresiva eficiente en modelos de lenguaje grandes (LLM), sin embargo, su crecimiento ilimitado en escenarios de múltiples turnos con estado presenta desafíos importantes.

Leer más →

Comentarios desactivados en Gestión de caché KV con estado para LLM: equilibrio de espacio, tiempo, precisión y fidelidad posicional

Fin del contenido

No hay más páginas por cargar