Resumen: La fusión del modelo es una técnica poderosa para integrar el conocimiento especializado de múltiples modelos de aprendizaje automático en un solo modelo. Sin embargo, los métodos existentes requieren parámetros del modelo de división manual en grupos fijos para la fusión, lo que restringe la exploración de potenciales combinaciones y limita el rendimiento. Para superar estas limitaciones, proponemos la fusión del modelo de nichos naturales (M2N2), un algoritmo evolutivo con tres características clave: (1) ajuste dinámico de la fusión de límites para explorar progresivamente una gama más amplia de combinaciones de parámetros; (2) un mecanismo de preservación de la diversidad inspirado en la competencia por los recursos en la naturaleza, para mantener una población de modelos diversos y de alto rendimiento que son particularmente adecuados para la fusión; y (3) una métrica de atracción basada en la heurística para identificar los pares de modelos más prometedores para la fusión. Nuestros resultados experimentales demuestran, por primera vez, que la fusión del modelo puede usarse para evolucionar modelos completamente desde cero. Específicamente, aplicamos M2N2 para desarrollar clasificadores MNIST desde cero y lograr un rendimiento comparable a CMA-ES, mientras que es computacionalmente más eficiente. Además, M2N2 escala para fusionar modelos especializados de generación de idiomas e imágenes, logrando un rendimiento de última generación. En particular, preserva las capacidades de modelo cruciales más allá de las que se optimizan explícitamente por la función de aptitud física, destacando su robustez y versatilidad. Nuestro código está disponible en esta URL HTTPS
Publicado Originalme en export.arxiv.org El 24 de agosto de 2025.
Ver Fuente Original
