Resumen: Con el rápido desarrollo del aprendizaje profundo, un número creciente de modelos previamente capacitados ha estado disponible públicamente. Sin embargo, la implementación de estos modelos fijos en aplicaciones de IoT del mundo real es un desafío porque los diferentes dispositivos poseen recursos computacionales y de memoria heterogéneos, lo que hace que sea imposible implementar un modelo único en todas las plataformas. Aunque los métodos de compresión tradicionales, como la poda, la cuantización y la destilación del conocimiento, pueden mejorar la eficiencia, se vuelven inflexibles una vez que se aplican y no pueden adaptarse a las restricciones de recursos cambiantes. Para abordar estos problemas, proponemos Restnet, una red reutilizable y cosible que construye dinámicamente una red híbrida uniendo dos modelos previamente capacitados. La implementación de Restnet requiere abordar varios desafíos clave, incluida cómo seleccionar los puntos de costura óptimos, determinar el orden de costura de los dos modelos previamente capacitados y elegir una estrategia efectiva de ajuste fino. Para abordar sistemáticamente estos desafíos y adaptarse a las diferentes restricciones de recursos, Restnet determina el punto de costura calculando la similitud de capa a través de la alineación centrada del núcleo (CKA). Luego construye el modelo híbrido reteniendo capas tempranas de un modelo de mayor capacidad y agregando capas más profundas de una más pequeña. Para facilitar la implementación eficiente, solo la capa de costura está ajustada. Este diseño permite una adaptación rápida a los presupuestos cambiantes al tiempo que aprovecha por completo los recursos disponibles. Además, Restnet admite las costuras homogéneas (CNN-CNN, transformador transformador) y heterogéneas (CNN-Transformer), lo que permite combinar diferentes familias modelo de manera flexible. Experimentos extensos en múltiples puntos de referencia demuestran que RESTNET logran compensaciones flexibles de eficiencia de precisión en tiempo de ejecución, al tiempo que reduce significativamente el costo de capacitación.
Publicado Originalme en rss.arxiv.org El 11 de junio de 2025.
Ver Fuente Original
