Resumen: Las prácticas de evaluación estándar de LLM compriman diversas habilidades en puntajes individuales, oscureciendo su naturaleza inherentemente multidimensional. Presentamos JE-ARC, un marco geométrico de respuesta al elemento que incorpora tanto LLM como preguntas en un espacio compartido. Para las incrustaciones de preguntas, la dirección codifica la semántica y la norma codifica dificultad, mientras que la corrección en cada pregunta está determinada por la interacción geométrica entre el modelo y las incrustaciones de preguntas. Esta geometría reemplaza una clasificación global de LLM con especialización tópica y permite una variación suave entre preguntas relacionadas. Sobre la base de este marco, nuestros resultados experimentales revelan que el comportamiento fuera de distribución puede explicarse a través de la alineación direccional, y que las normas más grandes indican consistentemente preguntas más difíciles. Además, JE-ARC es naturalmente la generalización: una vez que se aprende el espacio, se agregan nuevos LLM al ajustar una sola incrustación. El espacio aprendido revela además una taxonomía interna LLM que solo se alinea parcialmente con las categorías de temas definidos por humanos. JE-ARC establece una lente geométrica unificada e interpretable que conecta las habilidades de LLM con la estructura de las preguntas, ofreciendo una perspectiva distintiva sobre la evaluación del modelo y la generalización.
Publicado Originalme en export.arxiv.org El 29 de septiembre de 2025.
Ver Fuente Original
