Resumen: El desarrollo de modelos de lenguaje grande (LLMS) ha promovido en gran medida el progreso de Chatbot en múltiples campos. Existe una necesidad urgente de evaluar si los LLM pueden desempeñar el papel de agente en las transacciones y servicios de vivienda, así como en humanos. Presentamos la evaluación del modelo de lenguaje grande del agente inmobiliario (Real), el primer conjunto de evaluación diseñado para evaluar las habilidades de LLM en el campo de las transacciones y servicios de vivienda. Real comprende 5,316 entradas de evaluación de alta calidad en 4 temas: memoria, comprensión, razonamiento y alucinación. Todas estas entradas se organizan como 14 categorías para evaluar si los LLM tienen el conocimiento y la capacidad en el escenario de transacciones y servicios de vivienda. Además, lo real se utiliza para evaluar el rendimiento de los LLM más avanzados. Los resultados del experimento indican que los LLM aún tienen un espacio significativo para que se aplique una mejora en el campo inmobiliario.
Publicado Originalme en export.arxiv.org El 7 de julio de 2025.
Ver Fuente Original
