Cómo evaluar un resumen médico generado con IA
Para evaluar un resumen médico generado con IA, abra la fuente y compruebe la población, el diseño, las cifras y el grado de certeza de cada afirmación. Registre también qué no pudo verificar. El resultado útil es una revisión que otra persona pueda examinar y que permita corregir el texto.
En el caso del Agente de Investigación de Flow Results, los diez identificadores de PubMed existían, pero la revisión posterior de los abstracts encontró aspectos que debían corregirse. Esa experiencia documentada permite mostrar cómo pasar de comprobar una referencia a examinar lo que el resumen dice sobre ella.
Soy fundador y CEO de Flow Results, la empresa que desarrolla el producto utilizado como ejemplo. Presento una propuesta práctica de revisión editorial. La muestra fue examinada con asistencia de IA; la evaluación por profesionales clínicos y con textos completos sigue pendiente.
Defina el trabajo que quiere evaluar
Empiece por escribir quién usará el resumen y para qué. Una lista que ayuda a elegir lecturas tiene una función distinta de un material destinado a publicarse para pacientes. La revisión debe corresponder a ese uso y al conocimiento de la persona que recibirá el texto.
Para un primer ejercicio editorial, propongo esta pregunta: ¿el resumen conserva lo que la fuente permite afirmar y ayuda al profesional a decidir qué leer? La decisión sobre una recomendación clínica requiere una evaluación específica que esta ficha no cubre.
Conserve la versión y la fuente examinadas
Guarde el texto antes de corregirlo, la fecha, la referencia y el material consultado. Indique si pudo leer el abstract, el artículo completo u otra versión. Una afirmación que no aparece en el abstract puede requerir el texto completo; deje constancia de esa limitación.
Registre también la herramienta, su versión y las instrucciones utilizadas cuando esa información esté disponible. En nuestra muestra histórica no hemos comprobado todos los parámetros de generación. Mantener ese dato como desconocido permite describir con precisión qué se puede reproducir.
La guía de reporte TRIPOD-LLM pide transparencia sobre modelos, instrucciones, evaluación y personas que revisan las respuestas. Es una referencia para documentar estudios; esta guía y su ficha no declaran cumplimiento de TRIPOD-LLM.
Revise cada afirmación con criterios explícitos
- Población y diseño. Compruebe a quiénes estudió el trabajo, cómo los seleccionó y qué tipo de estudio realizó. Una síntesis debe conservar las condiciones que limitan la interpretación.
- Comparación y resultados. Identifique qué grupos o intervenciones se compararon y qué resultado se midió. Revise si la conclusión del resumen responde a esa comparación.
- Cifras y denominadores. Contraste valores, unidades, intervalos y subgrupos. Deje claro cuántas observaciones sustentan una cifra y a qué periodo corresponde.
- Interpretación e incertidumbre. Compare el lenguaje de la fuente con el del resumen. Registre cuando una asociación, una comparación limitada o una pregunta abierta se transforma en una afirmación más concluyente.
Estos criterios organizan la ficha propuesta. Cada observación debe incluir la frase examinada, el motivo de la corrección, la ubicación del respaldo en la fuente y una redacción alternativa. Conservar el razonamiento permite revisar desacuerdos después.
Tres ejemplos de nuestra revisión
En una nota sobre electroporación irreversible, la densidad de APE aparecía con cm², mientras el abstract utilizaba cm³. Corregimos la unidad. El ejemplo muestra por qué revisar solo la existencia del enlace habría dejado pasar un error concreto. Fuente en PubMed.
En el estudio de Node-RADS, la cohorte tenía 267 participantes y 104 tuvieron PSMA-PET/CT. Incorporamos el tamaño de ese subgrupo al resumen para contextualizar la comparación. Fuente en PubMed.
En la revisión de láseres, el abstract describía resultados comparables con evidencia limitada y pedía mejores estudios. Se retiró una formulación que podía sugerir una garantía de equivalencia para pacientes. Fuente en PubMed.
Los tres ejemplos se eligieron por las correcciones encontradas. El registro completo conserva las diez notas examinadas. Esta selección deliberada no permite estimar una tasa general de exactitud del producto.
Haga visible el criterio humano
Pida al revisor que indique su especialidad, experiencia, fecha y relación con el proyecto. Una revisión de un cliente o colaborador aporta información, y esa relación debe acompañar la descripción de su contribución. La participación por sí sola no autoriza a publicar su nombre ni un testimonio.
La ficha ofrece cuatro respuestas: Sustentado, cuando la afirmación corresponde a la fuente consultada; Requiere corrección, cuando necesita un cambio; No evaluable, cuando faltan acceso o conocimientos para juzgarla; y No aplica, cuando el criterio no corresponde, con su explicación. Todos los campos empiezan en Sin evaluar.
La OMS describe el riesgo de afirmaciones inexactas y de sesgo de automatización, que puede llevar a pasar por alto errores de una herramienta. Por eso, en este procedimiento, el revisor contrasta el texto contra la fuente y conserva sus objeciones.
Separe fidelidad, utilidad y tiempo
Un profesional puede encontrar útil una nota y, al mismo tiempo, corregir una cifra. Registre ambas observaciones. Si desea estudiar ahorro de tiempo, defina de antemano la tarea, las condiciones de comparación y el tiempo de verificación y corrección que va a incluir.
La ficha descargable recoge fidelidad y utilidad percibida. No mide ahorro de tiempo, resultados en pacientes ni eficacia clínica. Para comparar herramientas o estimar desempeño general, hace falta un diseño de evaluación con una muestra adecuada al uso previsto y criterios definidos antes de ver los resultados.
Cierre la revisión con una decisión documentada
Conserve la respuesta original del revisor y prepare una versión corregida. Anote qué cambió, quién lo revisó y qué dudas siguen abiertas. Cuando una observación exceda la fuente disponible o el ámbito del revisor, deje esa parte pendiente y defina qué revisión falta.
La decisión inmediata puede ser corregir el resumen, pedir el texto completo o reformular el uso propuesto. El registro debe permitir explicar por qué se tomó esa decisión. Una revisión editorial de una muestra es un paso de aprendizaje para el equipo; el alcance de cualquier piloto posterior debe evaluarse por separado.
Una ficha que puede adaptar
El documento de cuatro páginas incluye las tres notas de urología, sus referencias y campos editables para la revisión. Es un ejemplo preparado para recoger observaciones; todavía no contiene respuestas de profesionales. Para otra especialidad, sustituya las notas, conserve sus fuentes y describa cómo eligió la nueva muestra.
Descargar la ficha de revisión formativa en Word. No requiere registro. Complete el archivo en su propio entorno; esta página no recibe las respuestas.
Llevar el ejercicio a su organización
Desde Cumbre Advisors, Esteban Morales Navarro y Roberto Echeverría Cárdenas ofrecemos conferencias y sesiones para equipos de salud y farma. Podemos adaptar un ejercicio de revisión al problema, la audiencia y las fuentes acordadas con su organización.