Noticias externas

Resumen: Abierto es un campo de investigación activo en la búsqueda de inteligencia general artificial capaz (AGI), lo que permite que los modelos persigan tareas de su propia elección. Simultáneamente, los avances recientes en modelos de lenguaje grande (LLM) como GPT-4O [9] han permitido que dichos modelos sean capaces de interpretar las entradas de imágenes.

Resumen: El impulso para comprimir e impartir la competencia de los modelos de idiomas grandes (LLM) en modelos de lenguaje pequeño más desplegables y eficientes (SLMS) se ha beneficiado de las mejoras en las técnicas de destilación de conocimiento (KD). Estas técnicas permiten que un modelo de estudiante más pequeño aprenda de las respuestas de un modelo de maestro más capaz y más grande.

Resumen: los modelos de lenguaje grande (LLMS) exhiben capacidades notables pero sufren una pérdida de precisión aparente, reflexionado aquí como propagación de información. Este replanteamiento cambia el problema de la precisión computacional a un problema de comunicación teórica de información.