Resumen: Este estudio ofrece un enfoque novedoso para la evaluación comparativa de comportamiento cognitivo complejo en sistemas artificiales. Casi universalmente, los modelos de lenguaje grande (LLM) funcionan mejor en las tareas que pueden incluirse en sus datos de capacitación y se pueden lograr únicamente utilizando un lenguaje natural, lo que limita nuestra comprensión de sus capacidades cognitivas sofisticadas emergentes. En este trabajo, creamos docenas de artículos novedosos de una tarea clásica de imágenes mentales de la psicología cognitiva. Una tarea que, tradicionalmente, los psicólogos cognitivos han argumentado se pueden solucionar exclusivamente a través de imágenes mentales visuales (es decir, el lenguaje solo sería insuficiente). Los LLM son perfectos para probar esta hipótesis. Primero, probamos varios LLM de vanguardia dando instrucciones escritas solo de modelos de texto y pidiéndoles que informen el objeto resultante después de realizar las transformaciones en la tarea mencionada anteriormente. Luego, creamos una línea de base probando 100 sujetos humanos en exactamente la misma tarea. Descubrimos que los mejores LLM tuvieron un rendimiento humano significativamente superior al promedio. Finalmente, probamos modelos de razonamiento establecidos en diferentes niveles de razonamiento y encontramos el rendimiento más fuerte cuando los modelos asignan mayores cantidades de tokens de razonamiento. Estos resultados proporcionan evidencia de que los mejores LLM pueden tener la capacidad de completar tareas dependientes de imágenes a pesar de la naturaleza no pictórica de sus arquitecturas. Nuestro estudio no solo demuestra una capacidad cognitiva emergente en LLM mientras realiza una tarea novedosa, sino que también proporciona al campo una nueva tarea que deja mucho margen de mejora en modelos de otro modo altamente capaces. Finalmente, nuestros hallazgos reavivan el debate sobre los formatos de representación de imágenes visuales en humanos, lo que sugiere que el razonamiento proposicional (o al menos razonamiento no imagista) puede ser suficiente para completar tareas que se pensaron mucho en depender de las imágenes.
Publicado Originalme en export.arxiv.org El 29 de septiembre de 2025.
Ver Fuente Original
