Resumen: Cocinar juega un papel vital en la independencia cotidiana y el bienestar, pero sigue siendo un desafío para las personas con discapacidades visión debido al apoyo limitado para el seguimiento del progreso y la recepción de comentarios contextuales. El estado del objeto, la condición o transformación de ingredientes y herramientas, ofrece una base prometedora pero subexplorada para el soporte de cocción con el contexto. En este documento, presentamos OSCAR (conciencia del contexto del estado del objeto para las recetas), una tubería técnica que explora el uso del reconocimiento del estado del objeto para habilitar el seguimiento del progreso de las recetas en la cocción no visual. Oscar integra el análisis de recetas, la extracción de estado de objetos, la alineación visual con los pasos de cocina y el modelado de tiempo de tiempo para admitir el seguimiento de pasos en tiempo real. Evaluamos a Oscar en 173 videos instructivos y un conjunto de datos del mundo real de 12 sesiones de cocina no visuales grabadas por individuos BLV en sus hogares. Nuestros resultados muestran que el estado del objeto mejora constantemente la precisión de la predicción de pasos entre los modelos en idioma de visión y revela factores clave que afectan el rendimiento en condiciones del mundo real, como tareas implícitas, colocación de la cámara e iluminación. Contribuimos la tubería de seguimiento del progreso de las recetas conscientes de contexto, un conjunto de datos de cocina no visual anotado del mundo real y diseñan ideas para guiar futuros sistemas de cocina de asistencia con el contexto.
Publicado Originalme en export.arxiv.org El 7 de julio de 2025.
Ver Fuente Original
