Resumen: Los modelos de lenguaje grande (LLM) han mostrado una promesa significativa en tareas de toma de decisiones incorporadas dentro de entornos virtuales del mundo abierto. No obstante, su rendimiento se ve obstaculizado por la ausencia de conocimiento específico del dominio. Los métodos que finalmente se centran en los datos específicos del dominio a gran escala implican costos de desarrollo prohibitivos. Este documento presenta Vistawise, un marco de agente rentable que integra el conocimiento de dominio intermodal y las finetunas un modelo de detección de objetos dedicado para el análisis visual. Reduce el requisito de datos de entrenamiento específicos de dominio de millones de muestras a unos pocos cientos. Vistawise integra información visual y dependencias textuales en un gráfico de conocimiento intermodal (kg), lo que permite una comprensión integral y precisa de los entornos multimodales. También equipamos al agente con una estrategia de agrupación basada en recuperación para extraer información relacionada con la tarea del KG, y una biblioteca de habilidades a nivel de escritorio para admitir el funcionamiento directo del cliente de escritorio Minecraft a través de entradas de mouse y teclado. Los resultados experimentales demuestran que Vistawise logra el rendimiento de vanguardia en varias tareas del mundo abierto, destacando su efectividad para reducir los costos de desarrollo al tiempo que mejora el rendimiento del agente.
Publicado Originalme en export.arxiv.org El 26 de agosto de 2025.
Ver Fuente Original
