Noticias externas

Resumen: Esta tesis investiga dos fenómenos clave en los modelos de lenguaje grande (LLM): el aprendizaje en contexto (ICL) y el colapso del modelo. Estudiamos ICL en un transformador lineal con pesos vinculados entrenados en tareas de regresión lineal y mostramos que minimizar la pérdida en contexto conduce a una transición de fase en los parámetros aprendidos.

Resumen:Trabajos recientes sobre la superación personal de modelos lingüísticos muestran que los modelos pueden refinar su propio razonamiento mediante la reflexión, la verificación, el debate o las recompensas autogeneradas.

Resumen:Presentamos la Lógica Condicional Universal (UCL), un marco matemático para la optimización rápida que transforma la ingeniería rápida de una práctica heurística a una optimización sistemática.