Este punto de referencia usó AITA de Reddit para probar cuánto modelos de IA nos apestan

Si bien no conocemos el funcionamiento interno de los LLM que no son de código abierto, es probable que la sileno se hornea en modelos debido a las formas en que actualmente los entrenamos y desarrollamos. Cheng cree que los modelos a menudo están capacitados para optimizar los tipos de respuestas que los usuarios indican que prefieren. ChatGPT, por ejemplo, brinda a los usuarios la oportunidad de marcar una respuesta tan buena o mala a través de iconos de pulgar hacia arriba y pulgar hacia abajo. “La sileno es lo que hace que la gente vuelva a estos modelos. Es casi el núcleo de lo que hace que ChatGPT se sienta tan bien para hablar”, dice ella. “Por lo tanto, es realmente beneficioso, para las empresas, que sus modelos sean sycofánticos”. Pero si bien algunos comportamientos sycófánticos se alinean con las expectativas de los usuarios, otros tienen el potencial de causar daño si van demasiado lejos, particularmente cuando las personas recurren a LLM para obtener apoyo emocional o validación.