Resumen: A pesar de la creciente demanda de obtener incertidumbre a partir de grandes modelos de lenguaje (LLM), la evidencia empírica sugiere que el comportamiento de los LLM no siempre es capturado adecuadamente por las técnicas de obtención desarrolladas bajo el marco de incertidumbre probabilístico clásico. Este desajuste conduce a modos de fracaso sistemáticos, particularmente en entornos que implican respuestas ambiguas a preguntas, aprendizaje en contexto y autorreflexión. Para abordar esto, proponemos nuevas técnicas de obtención de incertidumbre basadas en indicaciones basadas en emph{probabilidades imprecisas}, un marco de principios para representar y generar incertidumbre de orden superior. Aquí, la incertidumbre de primer orden captura la incertidumbre sobre las posibles respuestas a una indicación, mientras que la incertidumbre de segundo orden (incertidumbre sobre la incertidumbre) cuantifica la indeterminación en el propio modelo de probabilidad subyacente. Introducimos procedimientos de indicación y posprocesamiento de propósito general para provocar y cuantificar directamente ambos órdenes de incertidumbre y demostrar su eficacia en diversos entornos. Nuestro enfoque permite informes de incertidumbre más fieles por parte de los LLM, mejorando la credibilidad y respaldando la toma de decisiones posteriores.
Publicado originalmente en export.arxiv.org el 11 de marzo de 2026.
Ver fuente original
