Resumen: Las habilidades de comunicación clínica son críticas en la educación médica, y practicar y evaluar las habilidades de comunicación clínica en una escala es un desafío. Aunque las simulaciones de escenarios clínicos con LLM se han mostrado prometedor para mejorar la práctica clínica de los estudiantes de medicina, es difícil proporcionar una evaluación clínica automatizada y escalable que siga el juicio matizado del médico. Este documento combina lógica difusa y modelo de lenguaje grande (LLM) y propone a Judge de LLM-As-Fuzzy para abordar el desafío de alinear la evaluación automatizada de las habilidades clínicas de los estudiantes de medicina con las preferencias de los médicos subjetivos. LLM-As-A-Fuzzy-Judge es un enfoque que LLM está ajustado para evaluar las expresiones de los estudiantes de medicina dentro de los guiones de conversación de pacientes estudiantiles-AI basados en anotaciones humanas de cuatro conjuntos difusos, incluida la profesionalidad, la relevancia médica, el comportamiento ético y la distracción contextual. La metodología de este documento comenzó a partir de la recopilación de datos del sistema de educación médica con alimentación de LLM, anotación de datos basada en conjuntos difusos multidimensionales, seguido de ingeniería rápida y el ajuste fino supervisado (SFT) de los LLM previos al entrenamiento utilizando estas anotaciones humanas. Los resultados muestran que el jueces LLM-as-a-Fuzzy alcanza más del 80 % de precisión, con elementos de criterios principales superiores al 90 %, aprovechando efectivamente la lógica difusa y LLM como una solución para ofrecer una evaluación interpretable y alineada humana. Este trabajo sugiere que la viabilidad de aprovechar la lógica difusa y LLM para alinearse con las preferencias humanas, avanza la evaluación automatizada en la educación médica y respalda las prácticas de evaluación y juicio más sólidas. El repositorio de GitHub de este trabajo está disponible en esta URL HTTPS
Publicado Originalme en rss.arxiv.org El 15 de junio de 2025.
Ver Fuente Original
