Resumen: Los sistemas de inteligencia artificial (IA) son muy prometedores para el avance de diversas disciplinas científicas y se utilizan cada vez más en aplicaciones del mundo real. A pesar de su notable progreso, se esperan mayores capacidades para lograr tipos de inteligencia más generales. Una distinción crítica en este contexto es entre el conocimiento fáctico, que puede evaluarse frente a respuestas verdaderas o falsas (por ejemplo, “¿cuál es la capital de Inglaterra?”), y el conocimiento probabilístico, que refleja propiedades probabilísticas del mundo real (por ejemplo, “¿cuál es el sexo de un graduado en ciencias de la computación en los Estados Unidos?”). En este artículo, nuestro objetivo es construir un punto de referencia para comprender las capacidades de los LLM en términos de conocimiento de las distribuciones de probabilidad que describen el mundo real. Dado que los LLM están capacitados en grandes cantidades de texto, puede ser plausible que internalicen aspectos de estas distribuciones. De hecho, los LLM se promocionan como poderosos aproximadores universales de las distribuciones del mundo real. Al mismo tiempo, los resultados clásicos en estadística, conocidos como maldición de la dimensionalidad, resaltan desafíos fundamentales en las distribuciones de aprendizaje en altas dimensiones, desafiando la noción de aprendizaje distributivo universal. En este trabajo, desarrollamos el primer punto de referencia para probar directamente esta hipótesis, evaluando si los LLM tienen acceso a distribuciones empíricas que describen poblaciones del mundo real en dominios como economía, salud, educación y comportamiento social. Nuestros resultados demuestran que los LLM tienen un desempeño deficiente en general y no parecen internalizar las estadísticas del mundo real de forma natural. Cuando se interpreta en el contexto de la Jerarquía Causal (PCH) de Pearl, nuestro punto de referencia demuestra que los modelos de lenguaje no contienen conocimiento sobre distribuciones observacionales (Capa 1 de PCH) y, por lo tanto, el Teorema de la Jerarquía Causal implica que el conocimiento intervencionista (Capa 2) y contrafactual (Capa 3) de estos modelos también es limitado.
Publicado originalmente en export.arxiv.org el 5 de noviembre de 2025.
Ver fuente original
