Resumen: Con el rápido avance de los modelos de lenguaje grande (LLM), estudios recientes han llamado la atención sobre su potencial para manejar no solo tareas simples de preguntas y respuestas, sino también habilidades conversacionales más complejas y realizar imitaciones de comportamiento similares a las humanas. En particular, existe un interés considerable en saber con qué precisión los LLM pueden reproducir emociones y comportamientos humanos reales, así como si dichas reproducciones pueden funcionar de manera efectiva en escenarios del mundo real. Sin embargo, los puntos de referencia existentes se centran principalmente en la evaluación basada en el conocimiento y, por lo tanto, no reflejan suficientemente las interacciones sociales y las capacidades de diálogo estratégico. Para abordar estas limitaciones, este trabajo propone una metodología para evaluar cuantitativamente la imitación emocional y conductual humana y las capacidades de toma de decisiones estratégicas de los LLM mediante el empleo de una simulación de negociación de compra y venta. Específicamente, asignamos diferentes personas a múltiples LLM y llevamos a cabo negociaciones entre un Comprador y un Vendedor, analizando de manera integral resultados como tasas de ganancia, precios de transacción y valores SHAP. Nuestros resultados experimentales muestran que los modelos con puntuaciones de referencia existentes más altas tienden a lograr un mejor desempeño de negociación en general, aunque algunos modelos exhiben un desempeño disminuido en escenarios que enfatizan contextos emocionales o sociales. Además, los rasgos competitivos y astutos resultan más ventajosos para los resultados de la negociación que los rasgos altruistas y cooperativos, lo que sugiere que la persona asignada puede generar variaciones significativas en las estrategias y resultados de la negociación. En consecuencia, este estudio introduce un nuevo enfoque de evaluación para las estrategias de diálogo e imitación del comportamiento social de los LLM, y demuestra cómo las simulaciones de negociación pueden servir como una métrica complementaria significativa para medir las capacidades de interacción en el mundo real, un aspecto que a menudo se pasa por alto en los puntos de referencia existentes.
Publicado originalmente en export.arxiv.org el 25 de noviembre de 2025.
Ver fuente original
