Prueba de normalidad

Comprueba si una muestra es compatible con una distribución normal mediante las pruebas de Shapiro–Wilk, Kolmogórov–Smirnov (incluida la corrección de Lilliefors) y Anderson–Darling, y genera además un histograma y un gráfico Q–Q.

Esta calculadora en línea comprueba si una muestra es compatible con una distribución normal. Calcula las pruebas de Shapiro–Wilk, Kolmogórov–Smirnov (incluida la corrección de Lilliefors) y Anderson–Darling, y también genera un histograma con una curva normal y un gráfico Q–Q normal.

Debajo de la calculadora encontrará las fórmulas y algo de teoría.

PLANETCALC, Prueba de normalidad

Prueba de normalidad

Números separados por comas, punto y coma, espacios o saltos de línea. El separador decimal es el punto.
Si el valor p es menor que α, se rechaza la hipótesis de normalidad.
Cuando los parámetros se estiman a partir de la muestra, se utiliza la corrección de Lilliefors.
Media a priori utilizada solo para la prueba clásica de Kolmogórov–Smirnov.
Desviación estándar, no varianza; debe ser mayor que cero.
Tamaño de la muestra n
 
Media muestral x̄
 
Desviación estándar muestral s
 
Estimación de σ por máxima verosimilitud
 
Dígitos después del punto decimal: 6
Conclusión
 
El archivo es muy grande; La ralentización del navegador puede ocurrir durante la carga y creación.
Histograma y densidad normal
El archivo es muy grande; La ralentización del navegador puede ocurrir durante la carga y creación.
Gráfico Q–Q normal
El archivo es muy grande; La ralentización del navegador puede ocurrir durante la carga y creación.

Qué se comprueba exactamente

La distribución normal (ley normal, distribución gaussiana) es una distribución continua con la densidad

f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right),

donde \mu es la media, \sigma es la desviación estándar y \sigma>0. Su gráfica es una campana simétrica centrada en \mu. Aquí hay una calculadora independiente para la densidad y la función de distribución normal: Distribución normal.

Supongamos que pesamos veinte veces la misma pesa de calibración. Las lecturas de la balanza varían ligeramente: 999,8 g, 1000,1 g, 1000,0 g, etc. Podemos suponer que el error aleatorio de la balanza sigue una distribución normal. Pero veinte números no nos muestran la distribución en sí, solo permiten comprobar hasta qué punto las observaciones la contradicen.

Por eso formulamos la hipótesis nula H_0: la muestra procede de una distribución normal. La hipótesis alternativa H_1 afirma lo contrario. Para la prueba clásica de Kolmogórov–Smirnov con parámetros especificados, la hipótesis es más estrecha: comprueba la distribución concreta N(\mu_0,\sigma_0^2), no cualquier distribución normal.

Cada prueba produce un estadístico y un valor p. En otras palabras, el valor p es la probabilidad, suponiendo que H_0 sea cierta, de obtener una desviación de la normalidad tan grande o mayor que la observada en nuestra muestra. No es la probabilidad de que la hipótesis de normalidad sea cierta.

Pero ¿cómo obtenemos una probabilidad a partir de un solo número, el estadístico de la prueba? Necesitamos conocer la distribución nula del estadístico, es decir, la distribución de los valores que tendría si H_0 fuera cierta. Imagine que extraemos repetidamente nuevas muestras del mismo tamaño n de una distribución normal y calculamos el estadístico cada vez. Después determinamos la proporción de valores que contradicen la normalidad al menos con tanta fuerza como el valor de nuestra muestra. Esa proporción es el valor p.

La dirección de la desigualdad depende de la prueba: los valores pequeños de W son sospechosos en Shapiro–Wilk, mientras que los valores grandes de D y A^2 lo son en Kolmogórov–Smirnov y Anderson–Darling. Por tanto, no podemos tomar simplemente el área situada a la derecha de cada estadístico bajo una curva normal ordinaria. Cada estadístico tiene su propia distribución nula, que depende de n; en Kolmogórov–Smirnov también depende de si los parámetros se estimaron a partir de la muestra. En la práctica, la calculadora no simula miles de muestras: utiliza fórmulas exactas cuando están disponibles y aproximaciones publicadas de las distribuciones nulas cuando el cálculo exacto es demasiado difícil. Para cada prueba se indica abajo cómo se obtiene el valor p.

Después, el valor p se compara con el nivel de significación \alpha elegido:

  1. Si p<\alpha, se rechaza la hipótesis de normalidad. En las condiciones elegidas, la discrepancia es demasiado grande para considerarla una fluctuación aleatoria plausible.
  2. Si p\geq\alpha, la hipótesis de normalidad no se rechaza. Pero tampoco queda demostrada: puede existir una desviación y la muestra puede ser simplemente demasiado pequeña para detectarla.

¿Qué significa esto en la práctica? Si p=0{,}03 y \alpha=0{,}05, se rechaza la normalidad. Si p=0{,}91, esto no significa una probabilidad del 91 % de que la distribución sea normal. Solo significa que discrepancias como esta, o más pronunciadas, ocurren con bastante frecuencia cuando la hipótesis nula es cierta.

Media muestral y dos desviaciones estándar

Para una muestra x_1,\ldots,x_n, la calculadora calcula la media muestral

\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i

y la desviación estándar muestral corregida

s=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2},

donde n es el tamaño de la muestra. El divisor n-1 se utiliza en las pruebas de Lilliefors y Anderson–Darling.

Para dibujar la curva normal sobre el histograma, se utiliza la estimación de máxima verosimilitud de \sigma:

\hat{\sigma}=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2}.

Por tanto, s y \hat{\sigma} difieren en sus divisores: n-1 y n. La calculadora muestra ambos valores. Para n grande, la diferencia casi desaparece, pero para muestras pequeñas es mejor no barrerla bajo la alfombra.

Prueba de Shapiro–Wilk

La prueba de Shapiro–Wilk está diseñada específicamente para comprobar la normalidad. Primero se ordenan los valores de la muestra: x_{(1)}\leq x_{(2)}\leq\ldots\leq x_{(n)}. Después se calcula el siguiente estadístico1

W=\frac{\left(\sum_{i=1}^{n}a_i x_{(i)}\right)^2}{\sum_{i=1}^{n}(x_i-\bar{x})^2},

donde x_{(i)} son los valores ordenados de la muestra, \bar{x} es la media muestral y a_i son coeficientes que dependen del tamaño muestral y se derivan de las propiedades de los estadísticos de orden de una distribución normal.

El numerador compara la muestra ordenada con el patrón esperado para datos normales, mientras que el denominador mide su dispersión total. Los valores de W se encuentran entre cero y uno; los valores pequeños de W indican una desviación de la normalidad. Sin embargo, la decisión no se basa en un umbral arbitrario como «W>0{,}9 significa normal», sino en el valor p.

Como las desviaciones de la normalidad corresponden a valores pequeños de W, el valor p es aquí la cola izquierda de la distribución nula:

p=P(W\leq W_{\mathrm{obs}}\mid H_0),

donde W_{\mathrm{obs}} es el valor calculado para nuestra muestra. Por ejemplo, p=0{,}01 significa que, si H_0 es cierta, solo el 1 % de las muestras del mismo tamaño producirá un valor de W tan pequeño o menor.

La calculadora aplica esta prueba cuando 3\leq n\leq5000. La distribución nula exacta de W es muy engorrosa, por lo que se utiliza la aproximación de Royston: 1-W se transforma mediante un logaritmo y coeficientes dependientes de n a una escala normal, que se utiliza para calcular la probabilidad de la cola izquierda.2 Para n>5000, la fila de la prueba muestra un guion, mientras las demás comprobaciones siguen funcionando.

Prueba de Kolmogórov–Smirnov y corrección de Lilliefors

La función de distribución empírica es la proporción de observaciones que no superan x:

F_n(x)=\frac{1}{n}\sum_{i=1}^{n}I(x_i\leq x),

donde I(x_i\leq x) es igual a uno si la condición se cumple y a cero en caso contrario, y n es el tamaño de la muestra.

La prueba de Kolmogórov–Smirnov (KS) compara la función empírica F_n(x) con la función de distribución normal teórica F(x):

D=\sup_x\left|F_n(x)-F(x)\right|.

Aquí D es la mayor distancia vertical entre las dos funciones de distribución, y \sup significa que se toma el máximo sobre todos los valores posibles de x. Cuanto mayor es D, mayor es la discrepancia.

Y aquí hay un matiz importante. ¿De dónde proceden la media y la desviación estándar de F(x)?

  1. Los parámetros se conocen de antemano. Se utilizan los valores especificados \mu_0 y \sigma_0, lo que da lugar a la prueba clásica de Kolmogórov–Smirnov. Por ejemplo, la especificación técnica de un instrumento puede exigir un error con media 0 y desviación estándar 0,1 g. Comprobamos ese modelo concreto, no lo ajustamos a nuevas mediciones. Para n\leq100, la calculadora utiliza un valor p exacto; para muestras mayores, aproximaciones numéricas.
  2. Los parámetros se estiman a partir de la misma muestra. En lugar de \mu_0 y \sigma_0, sustituimos \bar{x} y s. En este caso se aplica la prueba de Lilliefors. El estadístico D tiene el mismo aspecto, pero su distribución bajo la hipótesis nula es diferente, y también lo es el valor p.3 El valor p ordinario de Kolmogórov–Smirnov no debe utilizarse después de ajustar los parámetros; ese cálculo sería demasiado indulgente con los datos.

En ambas versiones, los valores grandes de D son sospechosos, por lo que se utiliza la cola derecha de la distribución nula:

p=P(D\geq D_{\mathrm{obs}}\mid H_0),

donde D_{\mathrm{obs}} es la discrepancia máxima observada entre las funciones de distribución. Pero las distribuciones nulas son diferentes. En la prueba clásica, los parámetros \mu_0 y \sigma_0 son fijos. En la prueba de Lilliefors, los parámetros se estiman de nuevo para cada muestra normal hipotética, y la distancia D suele ser menor porque la curva se ajusta específicamente a esa muestra. Por tanto, el mismo valor numérico de D puede producir valores p diferentes en los dos modos.

En otras palabras, la corrección de Lilliefors no ajusta el propio número D, sino que corrige la forma de obtener una decisión a partir de ese número. En la calculadora, la prueba de Lilliefors se calcula para n\geq5, y su cola derecha y su valor p se obtienen mediante aproximaciones analíticas.

Prueba de Anderson–Darling

La prueba de Anderson–Darling también compara una muestra con una distribución teórica, pero da más peso a sus colas. Para una distribución normal con la media y la desviación estándar estimadas a partir de la muestra, el estadístico es

A^2=-n-\frac{1}{n}\sum_{i=1}^{n}(2i-1)\left[\ln F(x_{(i)})+\ln\left(1-F(x_{(n+1-i)})\right)\right],

donde x_{(i)} son los valores ordenados de la muestra, F es la función de distribución normal con parámetros \bar{x} y s, y n es el tamaño muestral.

Antes de calcular el valor p, el estadístico se corrige en función del tamaño de la muestra:

A^{2*}=A^2\left(1+\frac{0{,}75}{n}+\frac{2{,}25}{n^2}\right).

La calculadora muestra el A^2 original en la tabla, pero obtiene el valor p a partir del estadístico corregido. Los valores grandes de A^{2*} hablan en contra de la normalidad, por lo que de nuevo se necesita la cola derecha:

p=P(A^{2*}\geq A^{2*}_{\mathrm{obs}}\mid H_0).

La distribución nula de A^{2*} no es normal. Para ella se utiliza la aproximación por tramos de Stephens: según el intervalo que contenga A^{2*}_{\mathrm{obs}}, una de cinco fórmulas aproxima la probabilidad requerida.4 La prueba se calcula para n\geq8.

Histograma con curva normal

Un histograma muestra cómo se distribuyen las observaciones entre intervalos. La calculadora lo representa en unidades de densidad: la altura de cada barra es

\frac{k}{nh},

donde k es el número de observaciones en el intervalo, n es el tamaño muestral y h es la anchura del intervalo. Por tanto, el área de cada barra es igual a la proporción de observaciones que contiene, y el área total del histograma es igual a uno. Esto permite superponer la densidad de la distribución normal N(\bar{x},\hat{\sigma}^2): ambas magnitudes utilizan la misma escala.

Veamos un ejemplo. Si 4 de 20 mediciones caen en un intervalo de 0,4 g de anchura, la altura de la barra será 4/(20\cdot0{,}4)=0{,}5. Su área es 0{,}5\cdot0{,}4=0{,}2, por lo que el intervalo contiene el 20 % de la muestra.

La anchura de los intervalos se selecciona automáticamente mediante la regla de Freedman–Diaconis:

h=\frac{2\,IQR}{n^{1/3}},\qquad IQR=Q_3-Q_1,

donde IQR es el rango intercuartílico, y Q_1 y Q_3 son el primer y tercer cuartil de la muestra. Si esta anchura no puede obtenerse, por ejemplo cuando el rango intercuartílico es cero, el número de intervalos se elige como \lceil\sqrt{n}\rceil.5

¿En qué debe fijarse? En una asimetría notable, varios picos separados, grandes huecos y valores atípicos. Pero no exija una campana perfecta: una muestra pequeña procedente de una distribución estrictamente normal puede producir un histograma bastante torcido. El azar también tiene derecho a algunas irregularidades.

Gráfico Q–Q normal

Un gráfico Q–Q (gráfico cuantil-cuantil) compara los cuantiles de la muestra con los cuantiles de una distribución teórica. Para un gráfico Q–Q normal, la calculadora representa los puntos

\left(\Phi^{-1}(p_i),\;x_{(i)}\right),\qquad p_i=\frac{i-0{,}375}{n+0{,}25},\qquad i=1,\ldots,n,

donde \Phi^{-1} es la función inversa de la distribución normal estándar y x_{(i)} es la muestra ordenada. Las probabilidades p_i se denominan posiciones de representación (plotting positions): indican a qué cuantil teórico debe asociarse la i-ésima observación más pequeña.

Esta fórmula es la regla propuesta por el estadístico sueco Gunnar Blom.6 ¿Por qué los extraños números 0,375 y 0,25? La opción más sencilla, p_i=i/n, daría p_n=1 para la última observación, y el cuantil normal correspondiente \Phi^{-1}(1) sería infinito: un punto así no puede dibujarse. Las posiciones de Blom no llegan a cero ni a uno, son simétricas respecto a 1/2 y aproximan bien las posiciones esperadas de los estadísticos de orden de una muestra normal.

Por ejemplo, con n=4, obtenemos p_1\approx0{,}147, p_2\approx0{,}382, p_3\approx0{,}618 y p_4\approx0{,}853. Así, el mínimo se asocia aproximadamente con el cuantil del 14,7 % y el máximo con el del 85,3 %, en lugar de con un punto infinito al final de la distribución.

La recta de referencia pasa por los primeros y terceros cuartiles correspondientes de los cuantiles teóricos y muestrales. Esta elección es más resistente a los valores atípicos que una recta basada solo en la media y la desviación estándar.

Cómo leer el gráfico:

  1. Puntos cercanos a la recta — no hay contradicciones visuales graves con la normalidad. Por supuesto, no se exige una coincidencia exacta.
  2. Una curvatura suave — la distribución puede ser asimétrica.
  3. Una desviación en forma de S — las colas de la muestra difieren de las normales: son más pesadas o más ligeras.
  4. Puntos individuales alejados del patrón general — posibles valores atípicos.
  5. Escalones — los datos contienen muchos valores repetidos o la magnitud es discreta por naturaleza.

El gráfico Q–Q es especialmente útil cuando un histograma depende de la elección de los intervalos. No sustituye a las pruebas, pero ayuda a entender cómo exactamente difieren los datos de los normales.

Ejemplo de cálculo

Mantengamos los 20 valores predeterminados de la calculadora: mediciones hipotéticas de una magnitud cercana a 5. Seleccionemos \alpha=0{,}05 y el modo que estima los parámetros a partir de la muestra. Se obtienen los siguientes resultados:

Prueba Estadístico Valor p Decisión
Shapiro–Wilk W=0{,}978405 0.911875 No se rechaza la normalidad
Lilliefors D=0{,}102608 0.840087 No se rechaza la normalidad
Anderson–Darling A^2=0{,}216283 0.819790 No se rechaza la normalidad

Todos los valores p están muy por encima de 0,05. Por tanto, estos datos no dan motivos para rechazar la normalidad. Esto no equivale a afirmar que los números sean necesariamente normales. Los valores predeterminados pueden borrarse; solo sirven como ilustración.

¿Qué ocurre si una prueba rechaza la normalidad y las otras dos no? No es motivo para votar dos contra una. Las pruebas difieren en su sensibilidad a la asimetría, las colas y otras desviaciones, y además tienen diferentes restricciones de tamaño muestral. Observe el gráfico Q–Q, el histograma y la naturaleza de los datos. La fila de resumen de la calculadora solo indica si al menos una prueba aplicable rechaza la normalidad; es un resumen de resultados, no una cuarta prueba con su propio valor p.

Condiciones de aplicabilidad

  1. Las observaciones deben ser independientes. Si cada medición depende de la anterior, los valores p ordinarios pueden inducir a error. En el caso de series temporales, primero hay que tener en cuenta su estructura.
  2. El tamaño muestral importa. Con n pequeño, una prueba puede pasar por alto una desviación real de la normalidad. Con n muy grande, puede rechazar la normalidad debido a una desviación prácticamente insignificante para su tarea. Considere los valores p junto con los gráficos y el sentido común.
  3. Las pruebas tienen límites numéricos. En esta calculadora, Shapiro–Wilk se aplica para 3\leq n\leq5000, Lilliefors para n\geq5 y Anderson–Darling para n\geq8. La prueba clásica de Kolmogórov–Smirnov requiere que \mu_0 y \sigma_0>0 se especifiquen de antemano. Algunos valores p se calculan mediante aproximaciones, como se indica en las notas de la tabla de resultados.
  4. Los valores idénticos no son adecuados. Si toda la muestra consiste en un mismo número repetido, la desviación estándar es cero y no existe una distribución normal ajustada. La calculadora informa de un error en este caso.
  5. No elimine valores atípicos solo para obtener un valor p atractivo. Compruebe primero si un valor atípico es un error de medición o de entrada. Si la observación es auténtica, eliminarla cambia el problema original.
  6. Rechazar la normalidad no significa el fin del análisis. Puede ayudar una transformación de los datos, otro modelo de distribución o métodos no paramétricos. Para estimar una media con una muestra grande, a menudo ayuda el teorema central del límite. Su relación con los intervalos de confianza se explica en el artículo Construcción de intervalos de confianza.

  1. NIST/SEMATECH. e-Handbook of Statistical Methods. Sección «Anderson-Darling and Shapiro-Wilk tests». NIST ↩

  2. Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩

  3. Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩

  4. Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩

  5. Freedman D., Diaconis P. On the Histogram as a Density Estimator: L^2 Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩

  6. Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩

URL copiada al portapapeles
PLANETCALC, Prueba de normalidad

Comentarios