Evaluación de la Sensibilidad y Especificidad de los Modelos GPT-3.5 Turbo para la Selección de Títulos y Resúmenes en Revisiones Sistemáticas
Introducción
En la era de la información, la síntesis de evidencia es crucial para la toma de decisiones en medicina y salud pública. Sin embargo, el proceso manual de revisar miles de citas para determinar su elegibilidad es tedioso y consume tiempo. Este estudio investiga la capacidad del modelo GPT-3.5 Turbo para ayudar en este proceso, evaluando su sensibilidad y especificidad en comparación con revisores humanos.
Metodología
El estudio se realizó utilizando cinco revisiones sistemáticas diferentes, abarcando un total de 22,665 citas. Se diseñó un marco de trabajo de prompts genéricos para instruir al modelo GPT-3.5 Turbo a realizar la revisión de títulos y resúmenes. Se evaluaron dos reglas de decisión:
- Regla balanceada: Equilibrio entre sensibilidad y especificidad, similar al rol de un segundo revisor.
- Regla sensible: Optimización de la sensibilidad para reducir el número de citas que deben ser revisadas manualmente.
Resultados
Regla Balanceada:
- La sensibilidad del modelo GPT-3.5 Turbo osciló entre 81.1% y 96.5%.
- La especificidad varió entre 25.8% y 80.4%.
- El modelo identificó 7 de 708 citas (1%) que los revisores humanos pasaron por alto y que deberían haber sido incluidas tras la revisión del texto completo.
Regla Sensible:
- La sensibilidad osciló entre 94.6% y 99.8%.
- La especificidad varió entre 2.2% y 46.6%.
- La utilización de esta regla podría reducir el número de citas a revisar manualmente de 127 a 1851, con la posibilidad de omitir entre 0% y 3.8% de las citas que deberían ser incluidas tras la revisión del texto completo.
Desempeño en revisiones específicas:
- La revisión sobre la eficacia de tratamientos ambulatorios para la variante Omicron de SARS-CoV-2 mostró una sensibilidad del 81.7% y especificidad del 80.4% bajo la regla balanceada.
- En la revisión sobre tratamientos farmacológicos sistémicos para psoriasis en placa crónica, la sensibilidad alcanzó el 96.5% con una especificidad de 25.8%.
Discusión
Los modelos GPT-3.5 Turbo mostraron una sensibilidad comparable a los revisores humanos pero con una especificidad menor. Esto significa que, aunque el modelo es eficaz para identificar citas relevantes, también genera un número significativo de falsos positivos que deben ser reconciliados.
Limitaciones:
- El estudio utilizó un conjunto limitado de revisiones sistemáticas, lo que puede no representar otros contextos o temas.
- La retrospectiva del estudio y la variabilidad en el desarrollo de prompts afectan la consistencia de los resultados.
Conclusión
El modelo GPT-3.5 Turbo tiene el potencial de actuar como un segundo revisor, mejorando el flujo de trabajo de los revisores humanos al costo de reconciliar un mayor número de falsos positivos. Además, puede reducir el número de citas a revisar manualmente, aunque podría omitir algunas citas relevantes.
Referencias
- Tran, V.T., et al. (2024). Sensitivity and Specificity of Using GPT-3.5 Turbo Models for Title and Abstract Screening in Systematic Reviews. Annals of Internal Medicine, 177(6), 791-799.
Evaluación del RIGHT-COI&F: Un Checklist para Reportar Conflictos de Interés y Financiamiento en Guías de Atención Médica
El artículo de Xun et al. (2024) presenta el desarrollo y la implementación del checklist RIGHT-COI&F, diseñado específicamente para mejorar la transparencia en la declaración de conflictos de interés (COI) y financiamiento en las guías de atención médica. Este checklist surge como una extensión de la declaración RIGHT, con el objetivo de proporcionar directrices detalladas y estandarizadas para la presentación de estos elementos críticos en los documentos de políticas y guías individuales.
Desarrollo del RIGHT-COI&F
- Metodología Riguroso: El desarrollo del RIGHT-COI&F siguió las recomendaciones del EQUATOR (Enhancing the QUAlity and Transparency Of health Research) network. El proceso involucró la creación de grupos de trabajo internacionales, generación de una lista inicial de ítems, consenso sobre los ítems y pruebas del checklist final.
- Grupos de Trabajo: Se formaron tres grupos de trabajo: un equipo de coordinación, un grupo asesor y un panel de expertos. Los miembros fueron seleccionados por su experiencia en metodología de guías, desarrollo de checklists de reporte e investigación de COI. Este equipo incluyó expertos de 17 países y diversos campos de especialización.
Contenido del RIGHT-COI&F
- Estructura del Checklist: El checklist final consta de 27 ítems organizados en 9 temas bajo 2 secciones principales:
- COIs de los Contribuyentes: 18 ítems agrupados en 6 temas.
- Financiamiento del Proyecto de Guía: 9 ítems organizados en 3 temas.
- Clasificación de Ítems: Los ítems se clasifican como relacionados con políticas (16 ítems) o con la implementación (11 ítems). Los primeros describen cómo se deben reportar los principios de manejo de COI y financiamiento, mientras que los segundos se aplican al proyecto específico de la guía.
Aplicación y Beneficios
- Universalidad: El checklist RIGHT-COI&F es aplicable a cualquier tipo de guía, independientemente de la población objetivo o el entorno de atención médica. Complementa los ítems relacionados con COI y financiamiento en la declaración RIGHT principal (ítems 18a, 18b, 19a, y 19b).
- Transparencia y Credibilidad: Al estandarizar la presentación de COI y financiamiento, el RIGHT-COI&F mejora la transparencia y la credibilidad de las guías, facilitando su difusión e implementación.
- Pruebas Futuras: Aunque el RIGHT-COI&F ya ha sido adoptado, requerirá pruebas adicionales en el uso real para evaluar su viabilidad y fiabilidad.
Asociaciones de la Testosterona y Hormonas Relacionadas con la Mortalidad por Todas las Causas y Cardiovascular en Hombres
Introducción
La influencia de las hormonas sexuales en la mortalidad y el riesgo de enfermedad cardiovascular (ECV) en hombres mayores es un tema de debate. Este estudio, llevado a cabo por Yeap et al., investiga las asociaciones entre los niveles circulantes de hormonas sexuales (testosterona, globulina transportadora de hormonas sexuales (SHBG), hormona luteinizante (LH), dihidrotestosterona (DHT) y estradiol) y la mortalidad por todas las causas y la mortalidad cardiovascular, así como los eventos incidentes de ECV en hombres.
Diseño del Estudio
Este meta-análisis de datos de participantes individuales (IPD) incluyó estudios de cohortes prospectivos con un seguimiento de al menos 5 años. Los estudios incluidos midieron las hormonas sexuales utilizando espectrometría de masas, proporcionando estimaciones más precisas.
Metodología
- Participantes: 20,654 hombres para los análisis de mortalidad (255,830 años-persona) y 12,829 hombres para los eventos de ECV.
- Variables Independientes: Testosterona, SHBG, LH, DHT y estradiol.
- Covariables: Edad, índice de masa corporal (IMC), estado civil, consumo de alcohol, tabaquismo, actividad física, hipertensión, diabetes, creatinina, relación colesterol total a HDL y uso de medicamentos lipídicos.
- Resultados Primarios: Mortalidad por todas las causas, mortalidad por ECV y eventos incidentes de ECV.
Resultados Principales
- Mortalidad por Todas las Causas:
- Testosterona: Hombres con niveles <7.4 nmol/L (<213 ng/dL) tuvieron un riesgo mayor de mortalidad por todas las causas (HR 1.06; IC 95%, 0.97 a 1.15).
- SHBG: Niveles más altos se asociaron con un mayor riesgo de mortalidad (HR 0.85; IC 95%, 0.77 a 0.95 para el quintil más bajo vs. el más alto).
- LH: Niveles >10 IU/L se asociaron con un mayor riesgo de mortalidad (HR 1.13; IC 95%, 0.86 a 1.47).
- DHT: Niveles bajos (<0.69 nmol/L) y altos (>2.45 nmol/L) se asociaron con un mayor riesgo de mortalidad.
- Estradiol: Niveles muy bajos (<5.1 pmol/L) se asociaron con un mayor riesgo de mortalidad.
- Mortalidad Cardiovascular:
- Testosterona: Niveles <5.3 nmol/L (<153 ng/dL) se asociaron con un mayor riesgo de mortalidad cardiovascular (HR 1.13; IC 95%, 0.86 a 1.47).
- SHBG: Asociación marginal con menor riesgo de mortalidad cardiovascular (HR 0.81; IC 95%, 0.65 a 1.00).
- DHT: Niveles bajos (<0.59 nmol/L) se asociaron con un mayor riesgo de mortalidad cardiovascular.
- Eventos Incidentes de ECV:
- DHT: Niveles muy bajos se asociaron con un mayor riesgo de eventos incidentes de ECV.
Discusión
El estudio encontró que los hombres con niveles bajos de testosterona, DHT y estradiol tenían un mayor riesgo de mortalidad por todas las causas y cardiovascular. Además, niveles altos de SHBG se asociaron con un mayor riesgo de mortalidad por todas las causas. Estas asociaciones sugieren que los niveles hormonales pueden influir significativamente en la salud y la longevidad de los hombres mayores.
Limitaciones
El diseño observacional y la heterogeneidad entre los estudios limitan la capacidad de establecer causalidad. La imputación de datos faltantes también podría introducir sesgos.
Conclusión
Los resultados indican que las concentraciones bajas de testosterona, DHT y estradiol, así como las concentraciones altas de SHBG, están asociadas con un mayor riesgo de mortalidad en hombres mayores. Estos hallazgos destacan la importancia de monitorear y potencialmente intervenir en los niveles hormonales para mejorar la salud y la longevidad en esta población.
Beneficios y Riesgos de los Medicamentos Investigacionales para Tumores Sólidos en Ensayos Clínicos Aleatorizados
Introducción
El acceso a nuevos tratamientos en ensayos clínicos de cáncer es una motivación significativa para los pacientes. Este estudio, realizado por Iskander et al., busca cuantificar los beneficios y riesgos asociados con la asignación a grupos experimentales en ensayos aleatorizados de medicamentos investigacionales para seis tipos de tumores sólidos.
Objetivos del Estudio
- Objetivo Principal: Estimar la ventaja en la supervivencia libre de progresión (SLP) y la supervivencia global (SG) al asignar a los pacientes a grupos experimentales.
- Objetivo Secundario: Medir el riesgo relativo de eventos adversos graves (EAG).
Metodología
- Fuentes de Datos: ClinicalTrials.gov, con ensayos publicados entre 2017 y 2021.
- Selección de Estudios: Ensayos aleatorizados que evaluaron medicamentos no aprobados por la FDA para la indicación en estudio.
- Extracción de Datos: Realizada por dos revisores independientes, utilizando un modelo de efectos aleatorios para el análisis.
Resultados Principales
- Supervivencia Libre de Progresión (SLP):
- HR Ponderado: 0.80 (IC 95%, 0.75 a 0.85).
- Ventaja Mediana de SLP: 1.25 meses (IC 95%, 0.80 a 1.68 meses).
- Supervivencia Global (SG):
- HR Ponderado: 0.92 (IC 95%, 0.88 a 0.95).
- Ventaja Mediana de SG: 1.18 meses (IC 95%, 0.72 a 1.71 meses).
- Eventos Adversos Graves (EAG):
- Riesgo Absoluto en el Grupo Control: 29.56% (IC 95%, 26.64% a 32.65%).
- Incremento de Riesgo en el Grupo Experimental: 7.40% (IC 95%, 5.66% a 9.14%).
Análisis por Subgrupos
- Fase del Ensayo:
- Fase 3: HR para SLP de 0.72 y ventaja de 1.71 meses (IC 95%, 1.22 a 2.60).
- Fase 2: HR para SLP de 0.92 y ventaja de 0.43 meses (IC 95%, -0.07 a 0.86).
- Patrocinio:
- Grandes Compañías Farmacéuticas: HR para SLP de 0.74 y ventaja de 1.92 meses (IC 95%, 1.25 a 2.50).
- Selección de Biomarcadores:
- Con Biomarcadores: HR para SLP de 0.70 y ventaja de 2.37 meses (IC 95%, 1.49 a 3.34).
Conclusiones
La asignación a grupos experimentales en ensayos clínicos de tumores sólidos ofrece beneficios modestos pero estadísticamente significativos en SLP y SG. Sin embargo, estos beneficios son acompañados por un aumento significativo en el riesgo de EAG. Estos resultados son cruciales para informar decisiones clínicas y políticas de investigación, así como discusiones de consentimiento con los pacientes.
Limitaciones del Estudio
- Heterogeneidad de Ensayos: Diferencias en los medicamentos, comparadores y poblaciones estudiadas.
- Sesgo Potencial: Uso de comparadores que no reflejan el estándar de atención podría exagerar los beneficios.
- Modelo Exponencial: Suposiciones sobre la distribución de la supervivencia pueden no ser exactas.
Eficacia de la Litotricia Extracorpórea por Ondas de Choque y Endoscopia para el Tratamiento del Dolor en la Pancreatitis Crónica
Introducción
La pancreatitis crónica es una enfermedad debilitante, caracterizada por un dolor abdominal severo y persistente. Este estudio, llevado a cabo por Talukdar et al., evalúa la eficacia de la litotricia extracorpórea por ondas de choque (ESWL) combinada con la pancreatografía retrógrada endoscópica (ERP) en comparación con procedimientos simulados para el alivio del dolor en pacientes con pancreatitis crónica.
Diseño del Estudio
Se diseñó un ensayo controlado aleatorizado, simple ciego y controlado con placebo, llevado a cabo en el Asian Institute of Gastroenterology en India desde febrero de 2021 hasta julio de 2022. Se incluyeron 106 pacientes diagnosticados con pancreatitis crónica y obstrucción ductal debido a cálculos intraductales.
Metodología
- Participantes: 106 pacientes con pancreatitis crónica (52 en el grupo ESWL/ERP y 54 en el grupo de control simulado).
- Intervención: Litotricia extracorpórea por ondas de choque (ESWL) y pancreatografía retrógrada endoscópica (ERP) comparada con procedimientos simulados.
- Seguimiento: 24 semanas.
- Medición Principal: Alivio del dolor medido con una escala visual analógica (VAS) de 0 a 10 puntos a las 12 semanas.
- Mediciones Secundarias: Alivio del dolor al 30%, uso de opioides, días sin dolor, cuestionarios de calidad de vida y complicaciones.
Resultados Principales
- Alivio del Dolor a 12 Semanas:
- Grupo ESWL/ERP: Reducción media de 5.0 puntos en la escala VAS.
- Grupo Simulado: Reducción media de 4.3 puntos en la escala VAS.
- Diferencia Media: 0.7 puntos (IC 95%, -1.3 a 0; P=0.039).
- Otros Resultados Secundarios a 12 Semanas:
- Días sin dolor: Diferencia mediana de 16.2 días (IC 95%, 3.9 a 28.5 días) a favor del grupo ESWL/ERP.
- Uso de opioides: Reducción mediana de 5.4 días (IC 95%, -9.9 a -0.9 días) en el grupo ESWL/ERP.
- Hospitalizaciones: 28% en el grupo ESWL/ERP frente al 38% en el grupo simulado.
- Depresión: 17% en el grupo ESWL/ERP frente al 35% en el grupo simulado.
- Seguimiento a 24 Semanas:
- La diferencia en el alivio del dolor no se mantuvo significativa.
- Aumento en los días sin dolor y reducción en el uso de opioides se mantuvieron en el grupo ESWL/ERP.
- Sin diferencias significativas en otros puntos secundarios.
Discusión
El estudio demostró que la combinación de ESWL y ERP proporciona un alivio del dolor modesto a corto plazo en pacientes con pancreatitis crónica e intraductal. Sin embargo, la diferencia no se mantuvo a las 24 semanas, lo que sugiere que el beneficio podría ser temporal. Además, el uso de opioides se redujo significativamente en el grupo ESWL/ERP, lo que podría tener implicaciones importantes para el manejo del dolor en esta población.
Limitaciones
El estudio tuvo una duración de seguimiento limitada y se realizó en un solo centro especializado, lo que puede limitar la generalización de los resultados. Además, la necesidad de procedimientos adicionales para el manejo del dolor podría afectar la ceguera a largo plazo del estudio.
Conclusión
La ESWL combinada con ERP ofrece un alivio del dolor modesto y temporal en pacientes con pancreatitis crónica e intraductal. Estos resultados sugieren la necesidad de un seguimiento más prolongado y estudios adicionales para evaluar la efectividad a largo plazo y la generalización de los hallazgos a otros centros.
Eficacia de la Circuncisión Médica Masculina Voluntaria para Prevenir la Infección por VIH en Hombres que Tienen Sexo con Hombres
Introducción
La circuncisión médica masculina voluntaria (CMMV) ha demostrado reducir el riesgo de infección por VIH en hombres heterosexuales, pero su eficacia en hombres que tienen sexo con hombres (HSH) es menos clara. Este estudio, realizado por Gao et al., es un ensayo controlado aleatorizado (RCT) diseñado para evaluar la eficacia de la CMMV en la prevención de la infección por VIH entre HSH que practican predominantemente el sexo anal insertivo.
Diseño del Estudio
El estudio se llevó a cabo en 8 ciudades de China, involucrando a hombres no circuncidados, seronegativos para VIH, de 18 a 49 años, que reportaron practicar mayoritariamente sexo anal insertivo y tener dos o más parejas masculinas en los últimos seis meses.
Metodología
- Participantes: 247 hombres (124 en el grupo de intervención y 123 en el grupo de control).
- Intervención: CMMV realizada en hospitales locales.
- Seguimiento: 12 meses con pruebas rápidas de VIH al inicio, 3, 6, 9 y 12 meses. Cuestionarios y pruebas de ITS al inicio, 6 y 12 meses.
- Medición Principal: Seroconversión de VIH.
Resultados
- Seroconversiones de VIH:
- Grupo de intervención: 0 infecciones por 100 personas-año.
- Grupo de control: 4.1 infecciones por 100 personas-año.
- Reducción del riesgo: HR 0.09 (IC 95%, 0.00 a 0.81; P=0.029).
- Otras ITS:
- Incidencia de sífilis, HSV-2 y VPH no difirió significativamente entre los grupos.
- Compensación de riesgo:
- No se observó un aumento en comportamientos sexuales de alto riesgo en el grupo de intervención.
Discusión
La CMMV mostró una eficacia del 91% en la prevención de la infección por VIH en HSH que practican sexo anal insertivo. No se observó compensación de riesgo, y los resultados sugieren que la CMMV podría integrarse en las directrices de prevención del VIH para HSH. Sin embargo, se necesitan estudios a mayor escala y con seguimiento prolongado para confirmar estos hallazgos.
Limitaciones
- Pocas seroconversiones de VIH.
- Período de seguimiento limitado a 12 meses.
- Posibles sesgos de autoinforme y sociales.
Conclusión
La CMMV es una estrategia eficaz para reducir el riesgo de infección por VIH en HSH que practican sexo anal insertivo, apoyando su inclusión en programas de prevención del VIH.