Observatorio de información y Publicaciones

Resumen: A pesar de la creciente demanda de obtener incertidumbre a partir de grandes modelos de lenguaje (LLM), la evidencia empírica sugiere que el comportamiento de los LLM no siempre es capturado adecuadamente por las técnicas de obtención desarrolladas bajo el marco de incertidumbre probabilístico clásico.

Resumen: Los modelos de mezcla de expertos (MoE) permiten un rendimiento escalable pero enfrentan graves limitaciones de memoria en los dispositivos perimetrales. Las estrategias de descarga existentes luchan contra los cuellos de botella de E/S debido a la naturaleza dinámica y con poca información de la activación experta autorregresiva.

Resumen: La evaluación de la confiabilidad del LLM mediante probabilidades escalares a menudo no logra capturar la dinámica estructural del razonamiento. Presentamos TRACED, un marco que evalúa la calidad del razonamiento a través de cinemática geométrica fundamentada teóricamente.