Resumen: El conocimiento de la generación de recuperación basada en gráficos (KG-RAG) es un enfoque cada vez más explorado para combinar las capacidades de razonamiento de modelos de lenguaje grande con la evidencia estructurada de gráficos de conocimiento. Sin embargo, las prácticas de evaluación actuales se quedan cortas: los puntos de referencia existentes a menudo incluyen preguntas que pueden responder directamente utilizando los triples existentes en KG, lo que no está claro si los modelos realizan un razonamiento o simplemente recuperan respuestas directamente. Además, las métricas de evaluación inconsistentes y los criterios de coincidencia de respuesta indulgente oscurecen aún más las comparaciones significativas. En este trabajo, presentamos un método general para construir puntos de referencia, junto con un protocolo de evaluación, para evaluar sistemáticamente los métodos de KG-RAG bajo la incompletitud del conocimiento. Nuestros resultados empíricos muestran que los métodos actuales de KG-RAG tienen una capacidad de razonamiento limitada bajo el conocimiento perdido, a menudo dependen de la memorización interna, y exhiben diversos grados de generalización dependiendo de su diseño.
Publicado Originalme en export.arxiv.org El 12 de agosto de 2025.
Ver Fuente Original
