Resumen: Los LLM se están liberando en entornos complejos y del mundo real que involucran la toma de decisiones secuenciales y el uso de herramientas. A menudo, esto implica tomar decisiones en nombre de los usuarios humanos. Sin embargo, no se sabe mucho sobre la distribución de tales opciones y cuán susceptibles son a diferentes arquitecturas de elección. Realizamos un estudio de caso con algunos de estos modelos LLM en un problema de toma de decisiones tabulares multi-atributos, bajo empujones canónicos, como la opción predeterminada, las sugerencias y el resaltado de información, así como las estrategias de solicitación adicionales. Mostramos que, a pesar de las similitudes superficiales con las distribuciones de elección humana, tales modelos difieren en formas sutiles pero importantes. Primero, muestran una susceptibilidad mucho mayor a los empujones. En segundo lugar, divergen en puntos ganados, afectados por factores como la idiosincrasia de los premios disponibles. Tercero, divergen en estrategias de adquisición de información: p. incurrir en un costo sustancial para revelar demasiada información o seleccionar sin revelar ninguna. Además, mostramos que las estrategias rápidas simples como la cadena de pensamiento de disparo cero (COT) pueden cambiar la distribución de la elección, y pocos disparos de disparo con datos humanos pueden inducir una mayor alineación. Sin embargo, ninguno de estos métodos resuelve la sensibilidad de estos modelos a los empujones. Finalmente, mostramos cómo los empujes óptimos optimizados con un modelo racional de recursos humanos pueden aumentar de manera similar el rendimiento de LLM para algunos modelos. Todos estos hallazgos sugieren que se necesitan pruebas de comportamiento antes de implementar modelos como agentes o asistentes que actúan en nombre de los usuarios en entornos complejos.
Publicado Originalme en rss.arxiv.org El 19 de mayo de 2025.
Ver Fuente Original
