Resumen: Los modelos de lenguajes grandes (LLM) se han convertido en herramientas comunes de apoyo a la toma de decisiones en contextos educativos y profesionales, lo que plantea interrogantes sobre cómo sus resultados dan forma al pensamiento crítico humano. Trabajos anteriores sugieren que la cantidad de asistencia de IA puede influir en el compromiso cognitivo, sin embargo, se sabe poco sobre cómo las propiedades específicas de los resultados de LLM (por ejemplo, la duración de la respuesta) impactan la evaluación crítica de la información de los usuarios. En este estudio, examinamos si la duración de las respuestas del LLM determina la precisión de los usuarios al evaluar el razonamiento generado por el LLM en tareas de pensamiento crítico, particularmente en interacción con la corrección del razonamiento del LLM. Para comenzar a evaluar esto, llevamos a cabo un experimento intrasujetos con 24 participantes que completaron 15 elementos de pensamiento crítico Watson-Glaser modificados, cada uno acompañado de una explicación generada por LLM que variaba en longitud y corrección. La regresión logística de efectos mixtos reveló un efecto fuerte y estadísticamente confiable de la corrección de los resultados del LLM en la precisión de los participantes, siendo más probable que los participantes respondieran correctamente cuando la explicación del LLM era correcta. La longitud de la respuesta pareció moderar este efecto: cuando el resultado del LLM fue incorrecto, las explicaciones de extensión media se asociaron con una mayor precisión de los participantes que las explicaciones más cortas o más largas, mientras que la precisión se mantuvo alta en todas las longitudes cuando el resultado del LLM fue correcto. En conjunto, estos hallazgos sugieren que la duración de la respuesta por sí sola puede ser insuficiente para respaldar el pensamiento crítico, y que la forma en que se presenta el razonamiento (incluida una ventaja potencial de las explicaciones intermedias en algunas condiciones) apunta a diseñar oportunidades para sistemas de apoyo a la toma de decisiones basados en LLM que enfaticen el razonamiento transparente y las expresiones calibradas de certeza.
Publicado originalmente en export.arxiv.org el 9 de marzo de 2026.
Ver fuente original
