Resumen: Los avances recientes en modelos de lenguaje grande (LLM) han revolucionado la inteligencia artificial, pero desarrollar una LLM fundamental efectiva que equilibre el alto rendimiento con la eficiencia computacional sigue siendo desafiante, especialmente para los grupos de investigación emergentes. Para abordar esta brecha, presentamos el motivo-2.6b, un modelo de base de 2.6 mil millones de parámetros diseñado para democratizar las capacidades avanzadas de LLM. El motivo-2.6b incorpora varias mejoras arquitectónicas innovadoras, incluidas la atención diferencial y las funciones de activación de polinormas, que mejoran la comprensión de contexto a largo plazo, reducen la alucinación y mejoran las capacidades de aprendizaje en contexto. Probamos rigurosamente múltiples componentes arquitectónicos novedosos a través de una amplia experimentación para determinar la arquitectura óptima para el motivo-2.6b. Las evaluaciones integrales demuestran que el motivo-2.6b cumple o excede consistentemente el rendimiento de modelos de última generación en diversos puntos de referencia, mostrando su efectividad, escalabilidad y aplicabilidad del mundo real. A través de experimentos detallados y técnicas personalizadas, el motivo-2.6b avanza significativamente el panorama de LLM fundamentales eficientes, escalables y poderosos, que ofrece ideas valiosas y una base sólida para futuras investigaciones y despliegue.
Publicado Originalme en export.arxiv.org El 13 de agosto de 2025.
Ver Fuente Original
