Resumen: La inmensa cantidad de parámetros y redes neuronales profundas hacen que los grandes modelos de lenguaje (LLM) rivalicen con la complejidad de los cerebros humanos, lo que también los convierte en sistemas opacos de “caja negra” que son difíciles de evaluar e interpretar. La psicometría de la IA es un campo emergente que tiene como objetivo abordar estos desafíos mediante la aplicación de metodologías psicométricas para evaluar e interpretar los rasgos y procesos psicológicos de los sistemas de inteligencia artificial (IA). Este artículo investiga la aplicación de la psicometría de la IA para evaluar el razonamiento psicológico y la validez psicométrica general de cuatro LLM destacados: GPT-3.5, GPT-4, LLaMA-2 y LLaMA-3. Utilizando el Modelo de Aceptación de Tecnología (TAM), examinamos la validez convergente, discriminante, predictiva y externa de estos modelos. Nuestros hallazgos revelan que las respuestas de todos estos modelos generalmente cumplieron con todos los criterios de validez. Además, los modelos de mayor rendimiento como GPT-4 y LLaMA-3 demostraron consistentemente una validez psicométrica superior en comparación con sus predecesores, GPT-3.5 y LLaMA-2. Estos resultados ayudan a establecer la validez de la aplicación de la psicometría de IA para evaluar e interpretar modelos de lenguaje grandes.
Publicado originalmente en export.arxiv.org el 12 de marzo de 2026.
Ver fuente original
