Resumen:Si bien los avances recientes en modelos de lenguaje grande (LLM) han mejorado la calidad de la generación de texto creativo, aún persisten desafíos importantes en la producción de historias personalizadas que reflejen las preferencias individuales de los usuarios. Los enfoques convencionales se basan en comentarios explícitos o ajustes, lo que presenta problemas prácticos relacionados con la carga del usuario, la recopilación de datos, los costos computacionales y la privacidad. En este trabajo, proponemos PREFINE (Crítica y refinación guiada por persona y rúbrica), un marco novedoso que extiende el paradigma de Crítica y refinación a la personalización. PREFINE construye un agente pseudousuario a partir del historial de interacción de un usuario y genera rúbricas específicas del usuario (criterios de evaluación). Al hacer que este agente critique y refine los resultados en nombre del usuario en función de estas rúbricas personalizadas, nuestro método logra una generación personalizada sin requerir actualizaciones de parámetros ni comentarios directos del usuario. Realizamos una evaluación exhaustiva de los conjuntos de datos de historias de PerDOC y PerMPST. Diseñamos tres métodos de referencia y varias variantes de modelo para verificar la contribución de cada componente de nuestro marco. En las evaluaciones automáticas (LLM-as-a-Judge), PREFINE logró tasas de victoria más altas y puntuaciones estadísticamente significativas que las líneas de base, sin comprometer la calidad general de la historia. El análisis de las variantes del modelo confirmó que tanto el agente pseudousuario como las rúbricas específicas del usuario son cruciales para mejorar el rendimiento de la personalización. Más allá de la generación de historias, nuestro enfoque tiene potencial para permitir una personalización eficiente en aplicaciones más amplias, como sistemas de diálogo, educación y recomendación.
Publicado originalmente en export.arxiv.org el 27 de octubre de 2025.
Ver fuente original
