Resumen:La reciente enfermedad por coronavirus (Covid-19) se ha convertido en una pandemia y ha afectado a todo el planeta. Durante la pandemia, hemos observado un aumento en los casos relacionados con la salud mental, como ansiedad, estrés y depresión. La depresión influye significativamente en la mayoría de las enfermedades en todo el mundo, lo que dificulta la detección de afecciones de salud mental en las personas debido a la falta de conocimiento y falta de voluntad para consultar a un médico. Sin embargo, hoy en día, la gente utiliza ampliamente las plataformas de redes sociales en línea para expresar sus emociones y pensamientos. Por lo tanto, las plataformas de redes sociales se están convirtiendo en una gran fuente de datos que puede utilizarse para detectar la depresión y las enfermedades mentales. Sin embargo, los enfoques existentes a menudo pasan por alto la escasez de datos en los tweets y los aspectos multimodales de las redes sociales. En este artículo, proponemos un marco multimodal novedoso que combina análisis textual, específico del usuario y de imágenes para detectar la depresión entre los usuarios de redes sociales. Para proporcionar suficiente contexto sobre el estado emocional del usuario, proponemos (i) una característica extrínseca aprovechando las URL presentes en los tweets y (ii) extrayendo contenido textual presente en las imágenes publicadas en los tweets. También extraemos cinco conjuntos de características que pertenecen a diferentes modalidades para describir a un usuario. Además, presentamos un modelo de aprendizaje profundo, Visual Neural Network (VNN), para generar incrustaciones de imágenes publicadas por el usuario, que se utilizan para crear el vector de características visuales para la predicción. Contribuimos con un conjunto de datos seleccionados de Covid-19 de usuarios deprimidos y no deprimidos con fines de investigación y demostramos la eficacia de nuestro modelo para detectar la depresión durante el brote de Covid-19. Nuestro modelo supera a los métodos de última generación existentes sobre un conjunto de datos de referencia entre un 2% y un 8% y produce resultados prometedores en el conjunto de datos de Covid-19. Nuestro análisis destaca el impacto de cada modalidad y proporciona información valiosa sobre los estados mentales y emocionales de los usuarios.
Publicado originalmente en export.arxiv.org el 4 de noviembre de 2025.
Ver fuente original
