Resumen: Quickmerge selecciona dinámicamente un número reducido de tokens basado en la magnitud de la norma de atención, guiado por un estimador de presupuesto basado en entropía. Para preservar la compatibilidad autorregresiva, presentamos un transformador liviano previo entrenado sobre la secuencia de token fusionado. Al combinar la estimación semántica de relevancia, los presupuestos de tokens flexibles y la alineación de AR, QuickMerge permite una generación precisa con menos tokens.
Evaluamos la cima rápida entre los dominios de la modalidad múltiple, lo que demuestra mejoras consistentes en las compensaciones de precisión de la cómputo. Específicamente, Quickmerge reduce los recuentos de tokens sustancialmente mientras coincide y excede el rendimiento de los tokenizadores aprendidos y las líneas de base de parches fijos.
Publicado Originalme en export.arxiv.org El 19 de agosto de 2025.
Ver Fuente Original
