Observatorio de información y Publicaciones

Resumen: Los modelos de mezcla de expertos (MoE) permiten un rendimiento escalable pero enfrentan graves limitaciones de memoria en los dispositivos perimetrales. Las estrategias de descarga existentes luchan contra los cuellos de botella de E/S debido a la naturaleza dinámica y con poca información de la activación experta autorregresiva.

Resumen: La evaluación de la confiabilidad del LLM mediante probabilidades escalares a menudo no logra capturar la dinámica estructural del razonamiento. Presentamos TRACED, un marco que evalúa la calidad del razonamiento a través de cinemática geométrica fundamentada teóricamente.

Resumen: Los modelos de transformadores de solo codificador siguen siendo ampliamente utilizados para tareas discriminativas de PNL, sin embargo, los avances arquitectónicos recientes se han centrado en gran medida en el inglés.