Entropía condicional

Esta calculadora online calcula la entropía de la variable aleatoria Y condicionada a la variable aleatoria X y de la variable aleatoria X condicionada a la variable aleatoria Y dada una tabla de distribución conjunta (X, Y) ~ p

La entropía condicional H(Y|X) es la cantidad de información necesaria para describir el resultado de una variable aleatoria Y dado que se conoce el valor de otra variable aleatoria X.

Para calcular la entropía condicional, necesitamos conocer la distribución conjunta de X y Y. A continuación se debe introducir la matriz en la que el valor de la celda de cualquier fila i y columna j representa la probabilidad del resultado {x_i, y_j}, p_{(x_i, y_j)}. Las filas representan los valores de la variable aleatoria X {x_1, x_2, ... x_n y las columnas - los valores de la variable aleatoria Y {y_1, y_2, ... y_m}.

Tenga en cuenta que puede hacer clic en "Mostrar detalles" para ver los detalles del cálculo. La fórmula utilizada en el cálculo se explica debajo de la calculadora.

PLANETCALC, Entropía condicional

Entropía condicional

Dígitos después del punto decimal: 2
H(Y|X)
 
H(X|Y)
 
El archivo es muy grande; La ralentización del navegador puede ocurrir durante la carga y creación.

Fórmula de la entropía condicional

La entropía condicional de Y dado X se define como

\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

Se supone que las expresiones 0\log 0 y 0\log \frac{c}{0} deben tratarse como iguales a cero.

p(x) para cada fila se calcula sumando los valores de las filas (es decir, sumando las celdas para cada valor de la variable aleatoria X), y p(x,y) ya vienen dadas por la matriz de entrada.

¿Cuál es el significado de esta fórmula?

En realidad, es la media ponderada de las entropías condicionales específicas sobre todos los valores posibles de X.

La entropía condicional específica de Y para X que toma el valor v es la entropía de Y entre solo aquellos resultados en los que X tiene el valor v. Es decir,

\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}

Así, la entropía condicional como suma ponderada de entropías condicionales específicas para cada valor posible de X, utilizando p(x) como pesos, es

\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)
=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}

URL copiada al portapapeles
PLANETCALC, Entropía condicional

Comentarios