Diferencia entre revisiones de «Matrices de confusión y otros valores estadí­sticos»

De Grupo de Inteligencia Computacional (GIC)
Sin resumen de edición
 
(No se muestran 38 ediciones intermedias del mismo usuario)
Línea 1: Línea 1:
'''Introducción'''
== '''Introducción''' ==
 


Hemos realizado esta página para resumir y concretar algunos coeficientes estadísticos que siempre aparecen en muchos de nuestros experimentos.  
Hemos realizado esta página para resumir y concretar algunos coeficientes estadísticos que siempre aparecen en muchos de nuestros experimentos.  
Línea 6: Línea 7:
El trabajo en el que se basa esta página es sobre evaluación de algunos resultados de segmentación de imágenes de resonancia magnética, entonces oiréis hablar sobre vóxeles, aunque estos coeficientes son aplicables a otras materias.
El trabajo en el que se basa esta página es sobre evaluación de algunos resultados de segmentación de imágenes de resonancia magnética, entonces oiréis hablar sobre vóxeles, aunque estos coeficientes son aplicables a otras materias.


---------------------------


'''Definiciones'''


'''N''' = número de vóxeles de las imágenes.
== '''Definiciones''' ==
 
In statistics, the terms Type I error (also, α error, or false positive) and type II error (β error, or a false negative) are used to describe possible errors made in a statistical decision process. In 1928, Jerzy Neyman (1894-1981) and Egon Pearson (1895-1980), both eminent statisticians, discussed the problems associated with "deciding whether or not a particular sample may be judged as likely to have been randomly drawn from a certain population" (1928/1967, p.1): and identified "two sources of error", namely:
 
    (α) the error of rejecting a "correct" null hypothesis, and
    (β) the error of not rejecting a "false" null hypothesis
 


La matriz de contingencia donde las filas corresponden a la verdad del terreno y las columnas a los resultados:  
La matriz de confusión donde las filas corresponden a la verdad del terreno y las columnas a los resultados:  


'''TP FP'''
'''TP FP'''
Línea 18: Línea 23:
'''FN TN'''
'''FN TN'''


En muchas referencias las columnas corresponden a la verdad del terreno y las filas a los resultados, entonces la matriz de contingencia es la traspuesta de la descrita arriba.
En muchas referencias las columnas corresponden a la verdad del terreno y las filas a los resultados, entonces la matriz de confusión es la traspuesta de la descrita arriba.
 
 
Por otro lado, nombraremos como '''N''' el número total de vóxeles de cada imagen.
 
'''N = número total de vóxeles de la imagen'''


== '''Valores estadísticos''' ==


'''Coeficientes'''


En principio tenemos que: TP + FP + FN + TN = N
En principio tenemos que: TP + FP + FN + TN = N




'''Misclassification Ratio:'''
'''Misclassification Ratio or Mean error:''' MCR = (FP + FN) / N
MCR = (FP + FN) / N
 
 
'''Jaccard Similarity:''' Jaccard = TP / (TP + FN + FP)
 


'''Dice's Coefficient:''' DC = (2*TP) / (2*TP + FN + FP)


'''The Jaccard Similarity:'''
Dice is similar to Jaccard but gives twice the weight to agreements.
Jaccard = TP / (TP + FN + FP)


It is also known as "overlap ratio" when used for segmentation validation. This sensitive measure varies in the range [0,1]...


'''True Positive Fraction and Sensitivity:'''
For medical images, values greater than 0.6 for smaller structures and 0.8 for larger structures are considered good by some authors [http://dx.doi.org/10.1016/j.media.2007.06.004 (Avants et al., 2007)].
TPF = TP / (TP + FN) = sensitivity 


Esta puede ser multiplicada por 100 para expresarlo como un porcentaje.


'''Precision''': is the proportion of the predicted positive cases that were correct, as calculated using the equation: '''precision''' =  TP / (TP+FP)




'''False Positive Fraction and Specificity'''
'''True Positive Rate or Sensitivity or Recall:''' TPF = TP / (TP + FN) = sensitivity 


FPF = FN / (FN + TN) = 1 - specificity
Puede ser multiplicada por 100 para expresarlo como un porcentaje.


Esta puede ser multiplicada por 100 para expresarlo como un porcentaje.


'''F-score:''' Precision x Recall




'''Specificity:'''
'''True Negative Rate or Specificity:''' TNF = TN / (TN + FP) = specificity
specificity = TN / (FN + TN)


Puede ser multiplicada por 100 para expresarlo como un porcentaje.


'''Segmentation Accuracy :'''
SA = (TP + TN) / N (x 100)




'''Mean Error:'''
'''False Positive Rate:''' FPF = FP / (FP + TN) = 1 - specificity
ERROR = (FP + FN) / N


Puede ser multiplicada por 100 para expresarlo como un porcentaje.


-----




The difference between ratio and fraction in the literature seems to be that the ratio is a value between 0 and 1, while the fraction seems to be a percentage (ratio x 100).
'''Segmentation Accuracy :''' SA = ((TP + TN) / N) (x 100)
 
 
'''Accurate Segmentation Ratio :'''


The ASR is only meaningful when we are dealing with multiple class problems: Gray Matter, White Matter and CSF.  
The ASR is only meaningful when we are dealing with multiple class problems: Gray Matter, White Matter and CSF.  
Then we will have specific contigency matrices, one for each class of the problem.
Then we will have specific contigency matrices, one for each class of the problem. So, in our problem we have three contingency matrices, one for each brain tissue class:
 
TP_c, FP_c, TN_c, FN_c, N_c where c = GM, WM or CSF
 
Then, ASR = (sum_c TP_c) / (sum_c (TP_c + FP_c ))
 
where sum_c means the sum over all different classes.


So, we have TP_c, FP_c, TN_c, FN_c, N_c where c = GM, WM or CSF
The ASR provides the overall evaluation based on the entire image volume, while TPF and FPF are used to measure the performance of different algorithm for a specific tissue.


Then,
== '''Nota''' ==


ASR = (sum_c TP_c) / (sum_c (TP_c + FP_c ))


where sum_c means the sum over all different classes.
The difference between ratio and fraction in the literature seems to be that the ratio is a value between 0 and 1, while the fraction seems to be a percentage (ratio x 100).
 




-----------------------------
== '''Otras referencias''' ==


'''Otras referencias:'''
http://en.wikipedia.org/wiki/Sensitivity_and_specificity


http://en.wikipedia.org/wiki/True_positive  
http://en.wikipedia.org/wiki/True_positive  
Línea 86: Línea 105:
http://en.wikipedia.org/wiki/Receiver_operating_characteristic
http://en.wikipedia.org/wiki/Receiver_operating_characteristic


-----------------------------
http://www.medcalc.be/manual/roc.php
 
http://www.fraudwiki.org/index.php/Measuring_Performance
 
http://people.revoledu.com/kardi/tutorial/Similarity/Jaccard.html
 
http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1283110


== '''Autores''' ==


Resumen hecho por Alexandre Savio de una comunicación por correo electrónico con Manuel Graña y Maite García-Sebastián.
Resumen hecho por Alexandre Savio de una comunicación por correo electrónico con Manuel Graña, Maite García-Sebastián, Jean-Luc Lor y Charlotte Rosak


Cualquier añadido, correción o comentario será bienvenido.
Cualquier añadido, correción o comentario será bienvenido.

Revisión actual - 13:28 27 jul 2010

Introducción

Hemos realizado esta página para resumir y concretar algunos coeficientes estadísticos que siempre aparecen en muchos de nuestros experimentos. Estos coeficientes nos ayudan a medir la calidad de nuestros resultados al compararlos con la verdad del terreno.

El trabajo en el que se basa esta página es sobre evaluación de algunos resultados de segmentación de imágenes de resonancia magnética, entonces oiréis hablar sobre vóxeles, aunque estos coeficientes son aplicables a otras materias.


Definiciones

In statistics, the terms Type I error (also, α error, or false positive) and type II error (β error, or a false negative) are used to describe possible errors made in a statistical decision process. In 1928, Jerzy Neyman (1894-1981) and Egon Pearson (1895-1980), both eminent statisticians, discussed the problems associated with "deciding whether or not a particular sample may be judged as likely to have been randomly drawn from a certain population" (1928/1967, p.1): and identified "two sources of error", namely: 

   (α) the error of rejecting a "correct" null hypothesis, and
   (β) the error of not rejecting a "false" null hypothesis


La matriz de confusión donde las filas corresponden a la verdad del terreno y las columnas a los resultados:

TP FP

FN TN

En muchas referencias las columnas corresponden a la verdad del terreno y las filas a los resultados, entonces la matriz de confusión es la traspuesta de la descrita arriba.


Por otro lado, nombraremos como N el número total de vóxeles de cada imagen.

N = número total de vóxeles de la imagen

Valores estadísticos

En principio tenemos que: TP + FP + FN + TN = N


Misclassification Ratio or Mean error: MCR = (FP + FN) / N


Jaccard Similarity: Jaccard = TP / (TP + FN + FP)


Dice's Coefficient: DC = (2*TP) / (2*TP + FN + FP)

Dice is similar to Jaccard but gives twice the weight to agreements.

It is also known as "overlap ratio" when used for segmentation validation. This sensitive measure varies in the range [0,1]...

For medical images, values greater than 0.6 for smaller structures and 0.8 for larger structures are considered good by some authors (Avants et al., 2007).


Precision: is the proportion of the predicted positive cases that were correct, as calculated using the equation: precision = TP / (TP+FP)


True Positive Rate or Sensitivity or Recall: TPF = TP / (TP + FN) = sensitivity

Puede ser multiplicada por 100 para expresarlo como un porcentaje.


F-score: Precision x Recall


True Negative Rate or Specificity: TNF = TN / (TN + FP) = specificity

Puede ser multiplicada por 100 para expresarlo como un porcentaje.


False Positive Rate: FPF = FP / (FP + TN) = 1 - specificity

Puede ser multiplicada por 100 para expresarlo como un porcentaje.


Segmentation Accuracy : SA = ((TP + TN) / N) (x 100)


Accurate Segmentation Ratio :

The ASR is only meaningful when we are dealing with multiple class problems: Gray Matter, White Matter and CSF. Then we will have specific contigency matrices, one for each class of the problem. So, in our problem we have three contingency matrices, one for each brain tissue class:

TP_c, FP_c, TN_c, FN_c, N_c where c = GM, WM or CSF

Then, ASR = (sum_c TP_c) / (sum_c (TP_c + FP_c ))

where sum_c means the sum over all different classes.

The ASR provides the overall evaluation based on the entire image volume, while TPF and FPF are used to measure the performance of different algorithm for a specific tissue.

Nota

The difference between ratio and fraction in the literature seems to be that the ratio is a value between 0 and 1, while the fraction seems to be a percentage (ratio x 100).


Otras referencias

http://en.wikipedia.org/wiki/Sensitivity_and_specificity

http://en.wikipedia.org/wiki/True_positive

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

http://www.medcalc.be/manual/roc.php

http://www.fraudwiki.org/index.php/Measuring_Performance

http://people.revoledu.com/kardi/tutorial/Similarity/Jaccard.html

http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1283110

Autores

Resumen hecho por Alexandre Savio de una comunicación por correo electrónico con Manuel Graña, Maite García-Sebastián, Jean-Luc Lor y Charlotte Rosak

Cualquier añadido, correción o comentario será bienvenido.

Obtenido de «http://ehu.eus/ccwintco/index.php?title=Matrices_de_confusión_y_otros_valores_estadí­sticos&oldid=6539»