Evaluación de la Sensibilidad y Especificidad de los Modelos GPT-3.5 Turbo para la Selección de Títulos y Resúmenes en Revisiones Sistemáticas
Introducción
En la era de la información, la síntesis de evidencia es crucial para la toma de decisiones en medicina y salud pública. Sin embargo, el proceso manual de revisar miles de citas para determinar su elegibilidad es tedioso y consume tiempo. Este estudio investiga la capacidad del modelo GPT-3.5 Turbo para ayudar en este proceso, evaluando su sensibilidad y especificidad en comparación con revisores humanos.
Metodología
El estudio se realizó utilizando cinco revisiones sistemáticas diferentes, abarcando un total de 22,665 citas. Se diseñó un marco de trabajo de prompts genéricos para instruir al modelo GPT-3.5 Turbo a realizar la revisión de títulos y resúmenes. Se evaluaron dos reglas de decisión:
- Regla balanceada: Equilibrio entre sensibilidad y especificidad, similar al rol de un segundo revisor.
- Regla sensible: Optimización de la sensibilidad para reducir el número de citas que deben ser revisadas manualmente.
Resultados
Regla Balanceada:
- La sensibilidad del modelo GPT-3.5 Turbo osciló entre 81.1% y 96.5%.
- La especificidad varió entre 25.8% y 80.4%.
- El modelo identificó 7 de 708 citas (1%) que los revisores humanos pasaron por alto y que deberían haber sido incluidas tras la revisión del texto completo.
Regla Sensible:
- La sensibilidad osciló entre 94.6% y 99.8%.
- La especificidad varió entre 2.2% y 46.6%.
- La utilización de esta regla podría reducir el número de citas a revisar manualmente de 127 a 1851, con la posibilidad de omitir entre 0% y 3.8% de las citas que deberían ser incluidas tras la revisión del texto completo.
Desempeño en revisiones específicas:
- La revisión sobre la eficacia de tratamientos ambulatorios para la variante Omicron de SARS-CoV-2 mostró una sensibilidad del 81.7% y especificidad del 80.4% bajo la regla balanceada.
- En la revisión sobre tratamientos farmacológicos sistémicos para psoriasis en placa crónica, la sensibilidad alcanzó el 96.5% con una especificidad de 25.8%.
Discusión
Los modelos GPT-3.5 Turbo mostraron una sensibilidad comparable a los revisores humanos pero con una especificidad menor. Esto significa que, aunque el modelo es eficaz para identificar citas relevantes, también genera un número significativo de falsos positivos que deben ser reconciliados.
Limitaciones:
- El estudio utilizó un conjunto limitado de revisiones sistemáticas, lo que puede no representar otros contextos o temas.
- La retrospectiva del estudio y la variabilidad en el desarrollo de prompts afectan la consistencia de los resultados.
Conclusión
El modelo GPT-3.5 Turbo tiene el potencial de actuar como un segundo revisor, mejorando el flujo de trabajo de los revisores humanos al costo de reconciliar un mayor número de falsos positivos. Además, puede reducir el número de citas a revisar manualmente, aunque podría omitir algunas citas relevantes.
Referencias
- Tran, V.T., et al. (2024). Sensitivity and Specificity of Using GPT-3.5 Turbo Models for Title and Abstract Screening in Systematic Reviews. Annals of Internal Medicine, 177(6), 791-799.
Evaluación del RIGHT-COI&F: Un Checklist para Reportar Conflictos de Interés y Financiamiento en Guías de Atención Médica
El artículo de Xun et al. (2024) presenta el desarrollo y la implementación del checklist RIGHT-COI&F, diseñado específicamente para mejorar la transparencia en la declaración de conflictos de interés (COI) y financiamiento en las guías de atención médica. Este checklist surge como una extensión de la declaración RIGHT, con el objetivo de proporcionar directrices detalladas y estandarizadas para la presentación de estos elementos críticos en los documentos de políticas y guías individuales.
Desarrollo del RIGHT-COI&F
- Metodología Riguroso: El desarrollo del RIGHT-COI&F siguió las recomendaciones del EQUATOR (Enhancing the QUAlity and Transparency Of health Research) network. El proceso involucró la creación de grupos de trabajo internacionales, generación de una lista inicial de ítems, consenso sobre los ítems y pruebas del checklist final.
- Grupos de Trabajo: Se formaron tres grupos de trabajo: un equipo de coordinación, un grupo asesor y un panel de expertos. Los miembros fueron seleccionados por su experiencia en metodología de guías, desarrollo de checklists de reporte e investigación de COI. Este equipo incluyó expertos de 17 países y diversos campos de especialización.
Contenido del RIGHT-COI&F
- Estructura del Checklist: El checklist final consta de 27 ítems organizados en 9 temas bajo 2 secciones principales:
- COIs de los Contribuyentes: 18 ítems agrupados en 6 temas.
- Financiamiento del Proyecto de Guía: 9 ítems organizados en 3 temas.
- Clasificación de Ítems: Los ítems se clasifican como relacionados con políticas (16 ítems) o con la implementación (11 ítems). Los primeros describen cómo se deben reportar los principios de manejo de COI y financiamiento, mientras que los segundos se aplican al proyecto específico de la guía.
Aplicación y Beneficios
- Universalidad: El checklist RIGHT-COI&F es aplicable a cualquier tipo de guía, independientemente de la población objetivo o el entorno de atención médica. Complementa los ítems relacionados con COI y financiamiento en la declaración RIGHT principal (ítems 18a, 18b, 19a, y 19b).
- Transparencia y Credibilidad: Al estandarizar la presentación de COI y financiamiento, el RIGHT-COI&F mejora la transparencia y la credibilidad de las guías, facilitando su difusión e implementación.
- Pruebas Futuras: Aunque el RIGHT-COI&F ya ha sido adoptado, requerirá pruebas adicionales en el uso real para evaluar su viabilidad y fiabilidad.
Asociaciones de la Testosterona y Hormonas Relacionadas con la Mortalidad por Todas las Causas y Cardiovascular en Hombres
Introducción
La influencia de las hormonas sexuales en la mortalidad y el riesgo de enfermedad cardiovascular (ECV) en hombres mayores es un tema de debate. Este estudio, llevado a cabo por Yeap et al., investiga las asociaciones entre los niveles circulantes de hormonas sexuales (testosterona, globulina transportadora de hormonas sexuales (SHBG), hormona luteinizante (LH), dihidrotestosterona (DHT) y estradiol) y la mortalidad por todas las causas y la mortalidad cardiovascular, así como los eventos incidentes de ECV en hombres.
Diseño del Estudio
Este meta-análisis de datos de participantes individuales (IPD) incluyó estudios de cohortes prospectivos con un seguimiento de al menos 5 años. Los estudios incluidos midieron las hormonas sexuales utilizando espectrometría de masas, proporcionando estimaciones más precisas.
Metodología
- Participantes: 20,654 hombres para los análisis de mortalidad (255,830 años-persona) y 12,829 hombres para los eventos de ECV.
- Variables Independientes: Testosterona, SHBG, LH, DHT y estradiol.
- Covariables: Edad, índice de masa corporal (IMC), estado civil, consumo de alcohol, tabaquismo, actividad física, hipertensión, diabetes, creatinina, relación colesterol total a HDL y uso de medicamentos lipídicos.
- Resultados Primarios: Mortalidad por todas las causas, mortalidad por ECV y eventos incidentes de ECV.
Resultados Principales
- Mortalidad por Todas las Causas:
- Testosterona: Hombres con niveles <7.4 nmol/L (<213 ng/dL) tuvieron un riesgo mayor de mortalidad por todas las causas (HR 1.06; IC 95%, 0.97 a 1.15).
- SHBG: Niveles más altos se asociaron con un mayor riesgo de mortalidad (HR 0.85; IC 95%, 0.77 a 0.95 para el quintil más bajo vs. el más alto).
- LH: Niveles >10 IU/L se asociaron con un mayor riesgo de mortalidad (HR 1.13; IC 95%, 0.86 a 1.47).
- DHT: Niveles bajos (<0.69 nmol/L) y altos (>2.45 nmol/L) se asociaron con un mayor riesgo de mortalidad.
- Estradiol: Niveles muy bajos (<5.1 pmol/L) se asociaron con un mayor riesgo de mortalidad.
- Mortalidad Cardiovascular:
- Testosterona: Niveles <5.3 nmol/L (<153 ng/dL) se asociaron con un mayor riesgo de mortalidad cardiovascular (HR 1.13; IC 95%, 0.86 a 1.47).
- SHBG: Asociación marginal con menor riesgo de mortalidad cardiovascular (HR 0.81; IC 95%, 0.65 a 1.00).
- DHT: Niveles bajos (<0.59 nmol/L) se asociaron con un mayor riesgo de mortalidad cardiovascular.
- Eventos Incidentes de ECV:
- DHT: Niveles muy bajos se asociaron con un mayor riesgo de eventos incidentes de ECV.
Discusión
El estudio encontró que los hombres con niveles bajos de testosterona, DHT y estradiol tenían un mayor riesgo de mortalidad por todas las causas y cardiovascular. Además, niveles altos de SHBG se asociaron con un mayor riesgo de mortalidad por todas las causas. Estas asociaciones sugieren que los niveles hormonales pueden influir significativamente en la salud y la longevidad de los hombres mayores.
Limitaciones
El diseño observacional y la heterogeneidad entre los estudios limitan la capacidad de establecer causalidad. La imputación de datos faltantes también podría introducir sesgos.
Conclusión
Los resultados indican que las concentraciones bajas de testosterona, DHT y estradiol, así como las concentraciones altas de SHBG, están asociadas con un mayor riesgo de mortalidad en hombres mayores. Estos hallazgos destacan la importancia de monitorear y potencialmente intervenir en los niveles hormonales para mejorar la salud y la longevidad en esta población.