Observatorio de información y Publicaciones

Resumen:Presentamos POLIS-Bench, el primer conjunto de evaluación riguroso y sistemático diseñado para LLM que operan en escenarios de políticas gubernamentales bilingües. En comparación con los puntos de referencia existentes, POLIS-Bench introduce tres avances importantes.

Resumen: Los agentes en el mundo real deben emitir juicios no sólo lógicos sino también oportunos. Esto requiere una conciencia continua del entorno dinámico: surgen peligros, surgen oportunidades y otros agentes actúan, mientras el razonamiento del agente aún se está desarrollando.

Resumen: La evaluación de modelos de lenguajes grandes (LLM) es crucial tanto para evaluar sus capacidades como para identificar problemas de seguridad o solidez antes de su implementación.