Principal Otro Evaluación de la predicción de riesgos con curvas ROC

Evaluación de la predicción de riesgos con curvas ROC

Descripción general

Software

Descripción

Sitios web

Lecturas

os v. O'Brien

Cursos

Descripción general

Esta página describe brevemente los métodos para evaluar los modelos de predicción de riesgos utilizando curvas ROC.

Descripción

Al evaluar el rendimiento de una prueba de detección, un algoritmo o un modelo estadístico, como una regresión logística, para el que el resultado es dicotómico (p. Ej., Enfermo o no enfermo), normalmente consideramos la sensibilidad, la especificidad, el valor predictivo positivo (VPP ) y valor predictivo negativo (VPN). Estas son herramientas útiles, pero tienen la desventaja de hacer referencia a un único punto de corte y requieren una evaluación abstracta del equilibrio apropiado entre sensibilidad y especificidad, mientras que el VPP y el VPN están influenciados por la prevalencia de la población. Las curvas de características operativas del receptor (ROC) proporcionan una representación gráfica del rango de posibles puntos de corte con su sensibilidad asociada frente a la especificidad 1, (es decir, tasa de falsos positivos). Esto ilustra el mérito del predictor / modelo predictivo particular, lo que hace posible identificar diferentes puntos de corte para aplicaciones específicas, dependiendo del 'costo' de la clasificación errónea. Las estimaciones del área bajo la curva (AUC) proporcionan una indicación de la utilidad del predictor y un medio para comparar (probar) dos o más modelos predictivos.

El rendimiento diagnóstico de una prueba es la precisión de una prueba para discriminar los casos enfermos de los controles normales. Las curvas ROC también se pueden utilizar para comparar el rendimiento diagnóstico de dos o más pruebas de laboratorio.

Las curvas ROC trazan la tasa de verdaderos positivos (sensibilidad) frente a la tasa de falsos positivos (especificidad 1) para los diferentes puntos de corte posibles de una prueba de diagnóstico. Cada punto de la curva ROC representa un par de sensibilidad / especificidad.

  • Cuanto más se acerque la curva al borde del lado izquierdo y al borde superior, más precisa será la prueba.

  • Cuanto más cerca esté la curva de la diagonal de 45 grados, menos precisa será la prueba.

PARA comprender las curvas ROC, es útil comprender la sensibilidad, la especificidad, el valor preditivo positivo y el valor predictivo negativo:

Las diferentes fracciones (TP, FP, TN, FN) se representan en la siguiente tabla.

imperativo categórico de immanuel kant
  • TP = True Positive: casos con la enfermedad correctamente clasificada como positiva

  • FN = Falso Negativo: casos con la enfermedad clasificada incorrectamente como negativa

  • TN = True Negative: casos sin la enfermedad correctamente clasificados como negativos

  • FP = Falso Positivo: casos sin la enfermedad clasificados incorrectamente como positivos

Se pueden definir las siguientes estadísticas:

  • Sensibilidad: probabilidad de que el resultado de una prueba sea positivo cuando la enfermedad está presente (tasa de verdaderos positivos, expresada como porcentaje).
    = a / (a ​​+ b)

  • Especificidad: probabilidad de que el resultado de una prueba sea negativo cuando la enfermedad no está presente (tasa de verdaderos negativos, expresada como porcentaje).
    = d / (c + d)

    trucos de pixel gun 3d
  • Razón de probabilidad positiva: razón entre la probabilidad de un resultado positivo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado positivo de la prueba dada la ausencia de la enfermedad, es decir, = Tasa de verdaderos positivos / Tasa de falsos positivos = Sensibilidad / (1-Especificidad)

  • Razón de probabilidad negativa: razón entre la probabilidad de un resultado negativo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado negativo de la prueba dada la ausencia de la enfermedad, es decir, = tasa de falsos negativos / tasa de verdaderos negativos = (1-sensibilidad) / especificidad

  • Valor predictivo positivo: probabilidad de que la enfermedad esté presente cuando la prueba es positiva (expresada como porcentaje).
    = a / (a ​​+ c)

  • Valor predictivo negativo: probabilidad de que la enfermedad no esté presente cuando la prueba es negativa (expresada como porcentaje).
    = d / (b + d)

Lecturas

Libros de texto y capítulos

Gönen M. Análisis de las curvas características de funcionamiento del receptor con SAS. 2007, Cary: Carolina del Norte: SAS Publishing.
Como ocurre con la mayoría de los libros específicos de SAS, esta es una guía muy práctica. Tiene una buena cantidad de teoría / antecedentes, pero este no es su objetivo principal o su fortaleza. Dado que SAS no tenía un procedimiento ROC integrado, este libro proporciona las macros y el código necesarios y los enlaces a los conjuntos de datos disponibles en línea.

Hunink MGM, Glasziou PP, Siegel JE, Weeks JC, Pliskin J, Elstein A y Weinstein M. Toma de decisiones en salud y medicina: integración de pruebas y valores, capítulo 7. 2001, Cambridge, Reino Unido: Cambridge University Press.
Este capítulo proporciona una descripción general y una introducción a ROC con el fin de comparar varios resultados de pruebas para seleccionar el más beneficioso. Se centra en la medicina clínica (no en epi).

haría KH, Liu A, Bandos AI, Ohno-Machado L Y Rockette ÉL. Evaluación estadística del rendimiento diagnóstico: temas de análisis ROC. 2011, Londres: Serie de bioestadísticas de Chapman & Hall / CRC
Autor principal galardonado que ha publicado algunos artículos definitivos sobre este tema. A $ 74, esta es una buena fuente de referencia si realmente se toma en serio este tema.

Artículos metodológicos

  • Metz CE. Principios básicos del análisis ROC. Seminars in Nuclear Medicine, 1978, 8 (4): 283–298

  • Hanley JA y McNeil BJ. El significado y uso del área bajo una curva de característica operativa del receptor (ROC). Radiología 1982, 143: 29–36

  • Hanley JA y McNeil BJ. Un método para comparar las áreas bajo las curvas características operativas del receptor derivadas de los mismos casos. Radiology 1983, 148 (3): 839–843.

  • Obuchowski NA. Curvas características operativas del receptor y su uso en radiología. Radiology 2003; 229 (1): 3–8.

  • Obuchowski NA. Fundamentos de la investigación clínica para radiólogos: análisis ROC. American Journal of Roentgenology 2005, 184: 364–372

  • Fawcett T. Una introducción al análisis ROC. Cartas de reconocimiento de patrones 27. 2006, 861–874

  • Zou KH, O’Malley AJ & Mauri L. Análisis de características operativas del receptor para evaluar pruebas de diagnóstico y modelos predictivos. Circulation 2007, 115: 654–657

  • Cook N.Uso y mal uso de la curva característica de funcionamiento del receptor en la predicción de riesgos Circulation 2007, 115: 928-935

  • Vergara IA, Norambuena T, Ferrada E, Slater AW & Melo F. StAR: una herramienta sencilla para la comparación estadística de curvas ROC. BMC Bioinformatics 2008, 9: 265

  • Seshan VE, Gönen M. y Begg CB. Comparación de curvas ROC derivadas de modelos de regresión. Documento de trabajo del Memorial Sloan Kettering 20. 2011

  • Park SH, Goo JM, Jo C. Curva de característica operativa del receptor (ROC): Revisión práctica para radiólogos. Revista Coreana de Radiología 2004, 5 (1): 11-18.

    • Una buena revisión de la República de China en términos básicos. Sin embargo, no hay codificación ni un resumen confiable del software actual.

      efecto de la bomba nuclear
  • Eng J. Análisis de las características operativas del receptor: una introducción. Acad Radiol. 2005; 12: 909-916

    • Muy buena reseña de las curvas ROC, buenos gráficos incluidos.

  • Ejemplos ilustrativos de regresión logística usando PROC LOGISTIC: Nuevas características en SAS STAT 9.2

    • Código SAS, sin embargo, con una explicación mínima de la salida. Bueno para perfeccionar el aspecto de las figuras.

Artículos de aplicación

Partheen K, Kristjansdottir B & Sundfeldt K.Evaluación de los biomarcadores HE4 y CA-125 del cáncer de ovario en mujeres que presentan una masa ovárica quística sospechosa. J Gynecol Oncol 2011: 22 (4): 244-252.
Se evalúan los méritos relativos de dos pruebas de detección empleadas individualmente o en combinación y los puntos de corte óptimos para el uso clínico se determinan mediante curvas ROC entre una población de mujeres ya asignadas a la cirugía (a pesar de la validez predictiva históricamente pobre de las pruebas en las que se tomó esa decisión). se había basado!).

McBrien KA, Kleinman KP, Abrams AM y Prosser LA. Uso de resultados para evaluar sistemas de vigilancia de ataques bioterroristas. BMC Informática médica y toma de decisiones 2010, 10:25
http://www.biomedcentral.com/1472-6947/10/25
Este es un buen ejemplo de una aplicación de salud pública de los métodos ROC utilizando conjuntos de datos tanto observados (sistema de vigilancia) como simulados. Los autores demuestran tanto la ROC tradicional como las curvas ponderadas que incorporan un factor de costo. Contrastan los métodos trapezoidal, rectangular y truncado para calcular y comparar el área bajo la curva (AUC).

van Toorn R, Springer P, Laubscher JA y Schoeman JF. Valor de diferentes sistemas de estadificación para predecir el resultado neurológico en la meningitis tuberculosa infantil. Revista internacional de tuberculosis y enfermedades pulmonares 2012 16 (5): 628–632.
El análisis ROC se utiliza para comparar diferentes sistemas de estadificación para la meningitis tuberculosa en niños a partir de los cuales se pueden predecir los resultados neurológicos después de 6 meses de tratamiento. La discriminación entre los diferentes sistemas de puntuación se probó utilizando el área bajo las curvas de operación del receptor (AUC).

Sitios web

http://www.medcalc.org/features/roccurves.php?gclid=CKu_2aiJu68CFYRM4AodIVLTkQ
Software, disponible para una prueba gratuita, con el que realizar análisis, producir gráficos, obtener AUC mediante dos métodos y obtener intervalos de confianza para el AUC.

http://www.rad.jhmi.edu/jeng/javarad/roc/JROCFITi.html
Aquí hay una calculadora ROC interactiva en línea: ¡diviértase!

http://www.ats.ucla.edu/stat/stata/faq/roc.htm
UCLA proporciona un ejemplo trabajado que muestra cómo comparar dos AUC. Stata tiene comandos ROC integrados para facilitar la codificación.

http://www.ats.ucla.edu/stat/sas/seminars/whatsnew92/default.htm
SAS 9.2 introdujo algunas capacidades ROC demostradas aquí. Desplácese unas tres cuartas partes hacia abajo para ver el código y el gráfico de ejemplo de ROC.

http://www.mskcc.org/sites/www.mskcc.org/files/node/11749/documents/sas-code-macros.txt
Ejemplo de código SAS

Artículos De Interés

La Elección Del Editor

Maestría en Administración de la Salud
Maestría en Administración de la Salud
Nuestra Maestría en Administración de la Salud brinda a los estudiantes un conjunto único de habilidades y conocimientos para tener éxito en el mundo actual. Obtenga más información para comenzar hoy.
Blog del personal: Equidad fundamental en las condenas penales mediante la incorporación de la Sexta Enmienda
Blog del personal: Equidad fundamental en las condenas penales mediante la incorporación de la Sexta Enmienda
El ultimo latido
El ultimo latido
Se convertirían en leyendas: sus nombres grabados en los programas de estudios de las clases de literatura en todas partes, sus libros reimpresos y metidos en los bolsillos traseros de adolescentes maduros de pasión por los viajes, sus palabras devoradas, memorizadas, escuchadas e imitadas.
Christina D. Ponsa-Kraus
Christina D. Ponsa-Kraus
Christina D. Ponsa-Kraus se unió a la facultad de la Facultad de Derecho de Columbia en 2007. Una puertorriqueña criada en la isla, escribe sobre la historia constitucional de la expansión territorial estadounidense y la aplicación extraterritorial de la Constitución de los Estados Unidos, examinando sus implicaciones para el federalismo estadounidense, ciudadanía y nacionalidad. Ponsa-Kraus está especialmente interesado en las cuestiones legales que rodean el estatus político de Puerto Rico y otros territorios de los EE. UU. (Islas Vírgenes de EE. UU., Guam, CNMI y Samoa Estadounidense), y ha escrito sobre estos temas en los principales medios de comunicación, así como en en publicaciones académicas. Es coeditora de Foreign in a Domestic Sense: Puerto Rico, American Expansion, and the Constitution, un estudio pionero del experimento colonial inconcluso de los Estados Unidos. Ponsa-Kraus está trabajando actualmente en un estudio de desarrollos legales recientes que afectan el estado de los territorios de EE. UU. Antes de unirse a la Facultad de Derecho, Ponsa-Kraus trabajó para el juez José A. Cabranes de la Corte de Apelaciones de los Estados Unidos para el segundo circuito y para el juez Stephen G. Breyer en la Corte Suprema de los Estados Unidos. Es profesora afiliada del Centro para el Estudio de Razas y Etnias de la Universidad de Columbia.
Profesores Étienne Balibar y Bernard E. Harcourt
Profesores Étienne Balibar y Bernard E. Harcourt
Vaso Maeve
Vaso Maeve
Un historiador legal galardonado que se unió a la facultad en 2018, Maeve Glass ’09 se enfoca en los fundamentos legales y conceptuales de la Constitución de los Estados Unidos y las implicaciones para la actualidad. Su Ph.D. disertación sobre el tema, These United States: A History of the Fracturing of America, recibió el premio a la mejor disertación de la American Society for Legal History en 2017 y es la base de su próximo libro sobre los orígenes y la evolución de la Constitución de los EE. UU. Como abogada e historiadora capacitada en historia de América Latina y los nativos americanos, Glass aporta un enfoque interdisciplinario a su seminario, La historia legal de la esclavitud estadounidense, que examina la ley de la esclavitud desde una amplia gama de perspectivas, incluida la teoría crítica de la raza, el género. estudios, economía e historia social. En su clase de propiedad, Glass tiene una visión a largo plazo para examinar cómo las doctrinas han evolucionado durante siglos y se han mantenido relativamente estables. Como miembro académico de la Facultad de Derecho, Glass concibió la idea de Law and Its History: A Workshop on Methods, que reunió a estudiantes graduados y profesores de toda la Universidad de Columbia. Ha recibido becas de historia jurídica en la Facultad de Derecho de Harvard y la Facultad de Derecho de la Universidad de Nueva York, donde completó su trabajo de archivo y doctorado. Desarrolló su enfoque individualizado de la enseñanza mientras realizaba su doctorado. en historia en la Universidad de Princeton.
Asociación Austriaca para la Preservación, Fortalecimiento y Creación de una Propiedad Agrícola y Forestal Económicamente Saludable v. Austria
Asociación Austriaca para la Preservación, Fortalecimiento y Creación de una Propiedad Agrícola y Forestal Económicamente Saludable v. Austria
Columbia Global Freedom of Expression busca promover la comprensión de las normas e instituciones nacionales e internacionales que mejor protegen el libre flujo de información y expresión en una comunidad global interconectada con importantes desafíos comunes que abordar. Para lograr su misión, Global Freedom of Expression emprende y encarga proyectos de investigación y políticas, organiza eventos y conferencias, y participa y contribuye a los debates globales sobre la protección de la libertad de expresión e información en el siglo XXI.