Resumen: Los modelos de lenguaje grande están revolucionando los sistemas de recomendación conversacional a través de sus impresionantes capacidades en la comprensión de la instrucción, el razonamiento y la interacción humana. Un factor central que subyace al diálogo de recomendación eficaz es la capacidad de inferir y razonar sobre los estados mentales de los usuarios (como el deseo, la intención y la creencia), una capacidad cognitiva comúnmente conocida como Teoría de la Mente. A pesar del creciente interés en evaluar la ToM en los LLM, los puntos de referencia actuales se basan predominantemente en narrativas sintéticas inspiradas en la prueba de Sally-Anne, que enfatizan la percepción física y no logran capturar la complejidad de la inferencia del estado mental en entornos conversacionales realistas. Además, los puntos de referencia existentes a menudo pasan por alto un componente crítico de la ToM humana: la predicción del comportamiento, la capacidad de utilizar estados mentales inferidos para guiar la toma de decisiones estratégicas y seleccionar acciones conversacionales apropiadas para interacciones futuras. Para alinear mejor la evaluación de ToM basada en LLM con el razonamiento social similar al humano, proponemos RecToM, un punto de referencia novedoso para evaluar las habilidades de ToM en diálogos de recomendación. RecToM se centra en dos dimensiones complementarias: inferencia cognitiva y predicción conductual. Los primeros se centran en comprender lo que se ha comunicado infiriendo los estados mentales subyacentes. Este último enfatiza lo que se debe hacer a continuación, evaluando si los LLM pueden aprovechar estos estados mentales inferidos para predecir, seleccionar y evaluar estrategias de diálogo apropiadas. Amplios experimentos con LLM de última generación demuestran que RecToM plantea un desafío importante. Si bien los modelos exhiben una competencia parcial en el reconocimiento de estados mentales, luchan por mantener un razonamiento ToM coherente y estratégico a lo largo de diálogos dinámicos de recomendación, particularmente en el seguimiento de la evolución de las intenciones y la alineación de estrategias conversacionales con estados mentales inferidos.
Publicado originalmente en export.arxiv.org el 30 de noviembre de 2025.
Ver fuente original
