Resumen:Cuando un modelo sabe cuando no sabe, surgen muchas posibilidades. La primera pregunta es cómo permitir que un modelo reconozca que no sabe. Un enfoque prometedor es utilizar la confianza, calculada a partir de las señales internas del modelo, para reflejar su ignorancia. Trabajos anteriores en dominios específicos han demostrado que la calibración puede proporcionar estimaciones de confianza confiables. En este trabajo, proponemos un método simple, eficaz y universal sin entrenamiento que se aplica tanto a modelos de visión como de lenguaje, realizando calibración de modelos, conexión en cascada y limpieza de datos para explotar mejor la capacidad de un modelo para reconocer cuando no sabe. Primero destacamos dos observaciones empíricas clave: una mayor confianza corresponde a una mayor precisión dentro de un solo modelo, y los modelos calibrados en el conjunto de validación permanecen calibrados en un conjunto de pruebas retenido. Estos hallazgos establecen empíricamente la confiabilidad y comparabilidad de la confianza calibrada. Sobre la base de esto, presentamos dos aplicaciones: (1) modelo en cascada con enrutamiento de ventajas calibrado y (2) limpieza de datos basada en un conjunto de modelos. Utilizando la señal de enrutamiento derivada de la comparabilidad de confianzas calibradas, conectamos en cascada modelos grandes y pequeños para mejorar la eficiencia casi sin comprometer la precisión, y además conectamos en cascada dos modelos de escala comparable para lograr un rendimiento más allá de cualquiera de los modelos por separado. Aprovechando a múltiples expertos y sus confidencias calibradas, diseñamos un método de limpieza de datos simple pero efectivo que equilibra la precisión y la tasa de detección para identificar muestras mal etiquetadas en conjuntos de datos de ImageNet y Massive Multitask Language Understanding (MMLU). Nuestros resultados demuestran que permitir que los modelos reconozcan cuando no saben es un paso práctico hacia una IA más eficiente, fiable y digna de confianza.
Publicado originalmente en export.arxiv.org el 13 de enero de 2026.
Ver fuente original
