Resumen: A medida que los LLM se estudian cada vez más como agentes de juego de roles para generar datos sintéticos para la investigación conductual humana, asegurando que sus resultados sigan siendo coherentes con sus roles asignados se ha convertido en una preocupación crítica. En este artículo, investigamos cómo las creencias establecidas de los agentes de rol basadas en el rol basadas en LLM sobre el comportamiento de las personas a las que se les pide que jueguen a roles (“lo que dicen”) corresponden a su comportamiento real durante el juego de roles (“cómo actúan”). Específicamente, establecemos un marco de evaluación para medir rigurosamente qué tan bien las creencias obtenidas al solicitar el modelo pueden predecir los resultados de simulación de antemano. Utilizando una versión aumentada del Genagents Persona Bank y el juego de confianza (un juego económico estándar utilizado para cuantificar la confianza y la reciprocidad de los jugadores), presentamos una métrica de consistencia de creencia para investigar sistemáticamente cómo se ve afectado por factores tales como: (1) a los tipos de creencias que obtenemos de LLM, como los resultados esperados de los simulaciones de simulaciones en versus tareas, los atributos de los personajes individuales de los personajes individuales se piden a los personajes individuales a los Simulantes; (2) cuándo y cómo presentamos LLM con información relevante sobre el juego de confianza; y (3) qué tan lejos en el futuro le pedimos al modelo que pronostice sus acciones. También exploramos cuán factible es imponer los propios antecedentes teóricos de un investigador en caso de que las creencias originalmente provocadas sean desalineadas con los objetivos de investigación. Nuestros resultados revelan inconsistencias sistemáticas entre las creencias establecidas (o impuestas) de LLMS y los resultados de su simulación de juego de roles, tanto a nivel individual como de población. Específicamente, encontramos que, incluso cuando los modelos parecen codificar creencias plausibles, pueden no aplicarlas de manera consistente. Estos hallazgos destacan la necesidad de identificar cómo y cuándo las creencias establecidas de LLMS se alinean con su comportamiento simulado, lo que permite a los investigadores usar agentes basados en LLM adecuadamente en estudios de comportamiento.
Publicado Originalme en export.arxiv.org El 3 de julio de 2025.
Ver Fuente Original
