Resumen: Para abordar este problema, presentamos TokenDance, un marco de generación de música a danza en dos etapas que aborda explícitamente esta limitación a través de la tokenización de modalidad dual y la generación eficiente de nivel de token. En la primera etapa, discretizamos tanto la danza como la música utilizando la cuantificación escalar finita, donde los movimientos de la danza se factorizan en componentes de la parte superior e inferior del cuerpo con restricciones cinemático-dinámicas, y la música se descompone en características semánticas y acústicas con libros de códigos dedicados para capturar estructuras específicas de la coreografía. En la segunda etapa, presentamos un generador de token a token local-global-local construido sobre una columna vertebral bidireccional de Mamba, que permite una síntesis de movimiento coherente, una fuerte alineación entre música y danza y una inferencia no autorregresiva eficiente. Amplios experimentos demuestran que TokenDance logra un rendimiento general de vanguardia (SOTA) tanto en calidad de generación como en velocidad de inferencia, destacando su efectividad y valor práctico para aplicaciones de música a baile del mundo real.
Publicado originalmente en export.arxiv.org el 30 de marzo de 2026.
Ver fuente original
