Cuando las preferencias humanas cambian: una pérdida sólida dependiente de la instancia para RLHF
Resumen: La calidad de los conjuntos de datos juega un papel importante en la alineación del modelo de lenguaje grande (LLM). Sin embargo, al recopilar comentarios humanos, el cambio de preferencias es omnipresente y provoca corrupción en la anotación de datos; El problema requiere algoritmos de alineación con mayor robustez frente a posibles pares invertidos.
Leer más →