Observatorio de información y Publicaciones

Resumen: La calidad de los conjuntos de datos juega un papel importante en la alineación del modelo de lenguaje grande (LLM). Sin embargo, al recopilar comentarios humanos, el cambio de preferencias es omnipresente y provoca corrupción en la anotación de datos; El problema requiere algoritmos de alineación con mayor robustez frente a posibles pares invertidos.

Resumen:El desarrollo de grandes modelos de lenguaje (LLM) está limitado por la falta de explicabilidad, la ausencia de una teoría unificadora y costos operativos prohibitivos. Proponemos un marco neuroteórico para el surgimiento de la inteligencia en sistemas que sea funcionalmente robusto y biológicamente plausible.

Resumen: Los modelos de lenguaje grande basados ​​en difusión (dLLM) refinan las generaciones de tokens mediante la eliminación iterativa de ruido, pero las respuestas a menudo se estabilizan antes de que se completen todos los pasos.