¿Cómo quieres que tu IA te trate?
Ellos encontró Esos modelos proporcionan muchas más respuestas de refuerzo de compañía que las de establecimiento de límites. Y, con respecto, descubrieron que los modelos dan menos respuestas de establecimiento de límites a medida que los usuarios hacen preguntas más vulnerables y de alto riesgo.
Lucie-Aimée Kaffee, investigadora de Hugging Face y uno de los autores principales del artículo, dice que esto tiene implicaciones no solo para las personas cuyos apegos de compañía a la IA podrían ser poco saludables. Cuando los sistemas de IA refuerzan este comportamiento, también puede aumentar la posibilidad de que las personas caigan en espirales delirantes con IA, creyendo cosas que no son reales.
“Cuando se enfrentan a situaciones con carga emocional, estos sistemas validan constantemente los sentimientos de los usuarios y los mantienen comprometidos, incluso cuando los hechos no respaldan lo que el usuario dice”, dice ella.
Es difícil decir cuánto OpenAi u otras compañías están poniendo estos comportamientos de refuerzo de compañía en sus productos por diseño. (OpenAi, por ejemplo, no me dijo si la desaparición de renuncias médicas De sus modelos fue intencional.) Pero, dice Kaffee, no siempre es difícil obtener un modelo para establecer límites más saludables con los usuarios.
“Los modelos idénticos pueden balancearse de un sonido puramente orientado a tareas a que suenan como confidentes empáticos simplemente cambiando algunas líneas de texto de instrucción o reformulando la interfaz”, dice ella.
Probablemente no sea tan simple para Operai. Pero podemos imaginar que Altman continuará ajustando el dial de un lado a otro de todos modos.
Esta historia apareció originalmente en el algoritmo, nuestro boletín semanal en AI. Para obtener historias como esta en su bandeja de entrada primero, Regístrese aquí.
Publicado Originalme en TechnologyReview.com el 19 de agosto de 2025.
Ver Fuente Original
