Resumen: Los sistemas de IA autónomos implementados a menudo deben evaluar múltiples cursos de acción plausibles (secuencias extendidas de comportamiento) en contextos novedosos o poco especificados. A pesar de una amplia capacitación, estos sistemas inevitablemente encontrarán escenarios en los que ningún curso de acción disponible satisfaga completamente todas las limitaciones operativas (por ejemplo, procedimientos operativos, reglas, leyes, normas y objetivos). Para lograr objetivos de acuerdo con las expectativas y los valores humanos, los agentes deben ir más allá de las políticas entrenadas y, en cambio, construir, evaluar y justificar cursos de acción candidatos. Estos procesos requieren “conocimientos” contextuales que pueden estar fuera de la formación (política) previa. Este artículo caracteriza los requisitos para la toma de decisiones de los agentes en estos contextos. También identifica los tipos de conocimiento que los agentes requieren para tomar decisiones sólidas para los objetivos de los agentes y alineadas con las expectativas humanas. Basándonos en análisis y estudios de casos empíricos, examinamos cómo los agentes necesitan integrar una comprensión normativa, pragmática y situacional para seleccionar y luego perseguir cursos de acción más alineados en entornos complejos del mundo real.
Publicado originalmente en export.arxiv.org el 17 de noviembre de 2025.
Ver fuente original
