Resumen: El razonamiento científico a través de modelos de lenguaje grandes en heliofísica implica más que simplemente recordar hechos: requiere incorporar suposiciones físicas, mantener unidades consistentes y proporcionar formatos científicos claros a través de enfoques coordinados. Para abordar estos desafíos, presentamos Reasoning With a Star, un conjunto de datos de heliofísica recientemente aportado y aplicable al razonamiento; También proporcionamos un enfoque inicial de evaluación comparativa. Nuestros datos se construyen a partir de conjuntos de problemas de la escuela de verano Living With a Star de la Administración Nacional de Aeronáutica y del Espacio y la Corporación Universitaria para la Investigación Atmosférica y se compilan en una estructura de preguntas y respuestas fácilmente consumible con contextos de preguntas, pasos de razonamiento, tipo de respuesta esperada, objetivos de verdad sobre el terreno, sugerencias de formato y metadatos. Un calificador programático verifica las predicciones utilizando tolerancia numérica, equivalencia simbólica y validación de esquemas con reconocimiento de unidades. Comparamos una línea de base de un solo disparo y cuatro patrones de múltiples agentes y descubrimos que la descomposición de los flujos de trabajo a través de principios de ingeniería de sistemas supera la indicación directa en problemas que requieren razonamiento deductivo en lugar de recuerdo inductivo puro.
Publicado originalmente en export.arxiv.org el 26 de noviembre de 2025.
Ver fuente original
