Resumen: Los modelos de transformadores de solo codificador siguen siendo ampliamente utilizados para tareas discriminativas de PNL, sin embargo, los avances arquitectónicos recientes se han centrado en gran medida en el inglés. En este trabajo, presentamos AraModernBERT, una adaptación de la arquitectura del codificador ModernBERT al árabe, y estudiamos el impacto de la inicialización de incrustación transtokenizada y el modelado nativo de contexto largo hasta 8,192 tokens. Mostramos que la transtokenización es esencial para el modelado del idioma árabe, lo que produce mejoras dramáticas en el rendimiento del modelado del lenguaje enmascarado en comparación con la inicialización no transtokenizada. Además, demostramos que AraModernBERT admite un modelado de contexto largo estable y eficaz, logrando un rendimiento mejorado del modelado del lenguaje intrínseco en longitudes de secuencia extendidas. Las evaluaciones posteriores de las tareas de comprensión del lenguaje natural árabe, incluida la inferencia, la detección del lenguaje ofensivo, la similitud entre preguntas y el reconocimiento de entidades nombradas, confirman una fuerte transferencia a entornos de etiquetado discriminativo y de secuencia. Nuestros resultados destacan consideraciones prácticas para adaptar las arquitecturas de codificadores modernas al árabe y otros idiomas escritos en escrituras derivadas del árabe.
Publicado originalmente en export.arxiv.org el 11 de marzo de 2026.
Ver fuente original
