Observatorio de información y Publicaciones

Resumen: Grandes modelos de idiomas (LLM) han demostrado capacidades notables para resolver tareas de razonamiento complejos con la impulso de la cadena de pensamiento (COT), pero sus procesos de toma de decisiones siguen siendo un poco Blackbox.

Resumen: Abierto es un campo de investigación activo en la búsqueda de inteligencia general artificial capaz (AGI), lo que permite que los modelos persigan tareas de su propia elección. Simultáneamente, los avances recientes en modelos de lenguaje grande (LLM) como GPT-4O [9] han permitido que dichos modelos sean capaces de interpretar las entradas de imágenes.

Resumen: El impulso para comprimir e impartir la competencia de los modelos de idiomas grandes (LLM) en modelos de lenguaje pequeño más desplegables y eficientes (SLMS) se ha beneficiado de las mejoras en las técnicas de destilación de conocimiento (KD). Estas técnicas permiten que un modelo de estudiante más pequeño aprenda de las respuestas de un modelo de maestro más capaz y más grande.