Resumen: Si bien la ingeniería rápida se ha convertido en una técnica crucial para optimizar el rendimiento del modelo de lenguaje grande, el panorama de optimización subyacente sigue siendo poco conocido. Los enfoques actuales tratan la optimización rápida como un problema de caja negra, aplicando algoritmos de búsqueda sofisticados sin caracterizar la topología del paisaje que navegan. Presentamos un análisis sistemático de las estructuras del paisaje de fitness en ingeniería rápida utilizando análisis de autocorrelación en espacios de incrustación semántica. A través de experimentos sobre tareas de detección de errores con dos estrategias de generación de aviso distintas: enumeración sistemática (1,024 indicaciones) y diversificación impulsada por la novedad (1,000 indicaciones), revelamos topologías de paisaje fundamentalmente diferentes. La generación rápida sistemática produce una autocorrelación en descomposición suave, mientras que la generación diversificada exhibe patrones no monotónicos con correlación máxima a distancias semánticas intermedias, lo que indica paisajes resistentes y estructurados jerárquicamente. El análisis específico de la tarea en 10 categorías de detección de errores revela diversos grados de robustez en diferentes tipos de error. Nuestros hallazgos proporcionan una base empírica para comprender la complejidad de la optimización en los paisajes de ingeniería rápida.
Publicado Originalme en export.arxiv.org El 8 de septiembre de 2025.
Ver Fuente Original
