Resumen: Los agentes de asistencia no sólo deben tomar acciones en nombre de un ser humano, sino también apartarse del camino y ceder el control cuando hay que tomar decisiones importantes. Sin embargo, los métodos actuales para crear agentes de asistencia, ya sea imitando a humanos expertos o mediante el ajuste de RL en una recompensa inferida, a menudo alientan a los agentes a completar tareas por sí mismos en lugar de ayudar verdaderamente al humano a alcanzar sus objetivos. Además, estos métodos a menudo requieren comentarios humanos explícitos y costosos para proporcionar una señal de entrenamiento. Proponemos un nuevo enfoque para ajustar los modelos de lenguaje de asistencia basado en maximizar el empoderamiento del ser humano, su capacidad para efectuar los cambios deseados en el entorno. Nuestro método de maximización del empoderamiento, Empower, solo requiere datos de texto fuera de línea, lo que proporciona un método autosupervisado para ajustar los modelos de lenguaje para ayudar mejor a los humanos. Para estudiar la eficacia de nuestro enfoque, realizamos un estudio de usuarios de 18 personas comparando nuestro asistente de empoderamiento con una base sólida. Los participantes prefirieron a nuestro asistente el 78% de las veces (p=0,015), con una tasa de aceptación un 31% más alta y un 38% menos de sugerencias. Además, presentamos un nuevo entorno para evaluar la asistencia de código de múltiples giros utilizando humanos simulados. Utilizando este entorno, mostramos que los agentes capacitados con Empower aumentan la tasa de éxito de un programador humano simulado en preguntas de codificación desafiantes en un promedio de 192 % con respecto a una línea de base SFT. Con este objetivo de empoderamiento, proporcionamos un marco para agentes de IA alineados y útiles a escala utilizando solo datos fuera de línea sin la necesidad de comentarios humanos adicionales o recompensas verificables.
Publicado originalmente en export.arxiv.org el 15 de octubre de 2025.
Ver fuente original
