Resumen:La revisión por pares es la piedra angular de la publicación científica, pero adolece de inconsistencias, subjetividad de los revisores y desafíos de escalabilidad. Presentamos ReviewerToo, un marco modular para estudiar e implementar la revisión por pares asistida por IA para complementar el juicio humano con evaluaciones sistemáticas y consistentes. ReviewerToo admite experimentos sistemáticos con revisores especializados y criterios de evaluación estructurados, y puede integrarse parcial o totalmente en flujos de trabajo de conferencias reales. Validamos ReviewerToo en un conjunto de datos cuidadosamente seleccionado de 1963 envíos de artículos de ICLR 2025, donde nuestros experimentos con el modelo gpt-oss-120b logran una precisión del 81,8 % para la tarea de categorizar un artículo como aceptado/rechazado en comparación con el 83,9 % del revisor humano promedio. Además, un juez de LLM califica las reseñas generadas por ReviewerToo como de mayor calidad que el promedio humano, aunque todavía están por detrás de las contribuciones de expertos más sólidas. Nuestro análisis destaca los dominios en los que los revisores de IA sobresalen (por ejemplo, la verificación de hechos, la cobertura de la literatura) y en los que tienen dificultades (por ejemplo, la evaluación de la novedad metodológica y las contribuciones teóricas), lo que subraya la necesidad continua de experiencia humana. Con base en estos hallazgos, proponemos pautas para integrar la IA en los procesos de revisión por pares, mostrando cómo la IA puede mejorar la coherencia, la cobertura y la equidad, al tiempo que deja juicios evaluativos complejos a los expertos en el dominio. Nuestro trabajo proporciona una base para sistemas de revisión por pares híbridos y sistemáticos que crecen con el crecimiento de las publicaciones científicas.
Publicado originalmente en export.arxiv.org el 12 de octubre de 2025.
Ver fuente original
