Resumen: Se espera cada vez que se espera cada vez más modelos de idiomas de lenguaje (LLM) para manejar tareas complejas de toma de decisiones, sin embargo, su capacidad para realizar la asignación de recursos estructurados sigue siendo poco excesivo. Evaluar su razonamiento también es difícil debido a la contaminación de datos y la naturaleza estática de los puntos de referencia existentes. Presentamos un marco de doble propósito que aprovecha el presupuesto participativo (PB) como (i) un entorno práctico para la asignación de recursos basada en LLM y (ii) un punto de referencia adaptativo para evaluar sus capacidades de razonamiento. Nos encargamos de la selección de subconjuntos de proyectos bajo restricciones de factibilidad (por ejemplo, presupuesto) a través de tres estrategias de solicitud: selección codiciosa, optimización directa y un refinamiento inspirado en la escalada en la colina. Benchmaremos las asignaciones de LLMS contra un oráculo que maximiza la utilidad. Curiosamente, también probamos si los LLM pueden inferir preferencias estructuradas del aporte o metadatos de votantes en idioma natural, sin votos explícitos. Al comparar las asignaciones basadas en las preferencias inferidas con las de los votos de verdad en tierra, evaluamos la capacidad de LLM para extraer preferencias de la entrada abierta. Nuestros resultados subrayan el papel del diseño rápido y muestran que los LLM son prometedores para el diseño del mecanismo con entradas no estructuradas.
Publicado Originalme en export.arxiv.org El 10 de agosto de 2025.
Ver Fuente Original
