Calculadora en línea: Entropía condicional

La entropía condicional H(Y|X) es la cantidad de información necesaria para describir el resultado de una variable aleatoria Y dado que se conoce el valor de otra variable aleatoria X.

Para calcular la entropía condicional, necesitamos conocer la distribución conjunta de X y Y. A continuación se debe introducir la matriz en la que el valor de la celda de cualquier fila i y columna j representa la probabilidad del resultado ${x_i, y_j}$ , $p_{(x_i, y_j)}$ . Las filas representan los valores de la variable aleatoria X ${x_1, x_2, ... x_n$ y las columnas - los valores de la variable aleatoria Y ${y_1, y_2, ... y_m}$ .

Tenga en cuenta que puede hacer clic en "Mostrar detalles" para ver los detalles del cálculo. La fórmula utilizada en el cálculo se explica debajo de la calculadora.

Entropía condicional

Distribución conjunta (X,Y) ~ p

Mostrar detalles

Cálculo preciso

Dígitos después del punto decimal: 2

H(Y|X)

H(X|Y)

El archivo es muy grande; La ralentización del navegador puede ocurrir durante la carga y creación.

Fórmula de la entropía condicional

La entropía condicional de Y dado X se define como

$\mathrm {H} (Y|X)\ =-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

Se supone que las expresiones $0\log 0$ y $0\log \frac{c}{0}$ deben tratarse como iguales a cero.

$p(x)$ para cada fila se calcula sumando los valores de las filas (es decir, sumando las celdas para cada valor de la variable aleatoria X), y $p(x,y)$ ya vienen dadas por la matriz de entrada.

¿Cuál es el significado de esta fórmula?

En realidad, es la media ponderada de las entropías condicionales específicas sobre todos los valores posibles de X.

La entropía condicional específica de Y para X que toma el valor v es la entropía de Y entre solo aquellos resultados en los que X tiene el valor v. Es decir,

$\mathrm {H} (Y|X=v)=-\sum _{y\in {\mathcal {Y}}}{P(Y=y|X=v)\log _{2}{P(Y=y|X=v)}}$

Así, la entropía condicional como suma ponderada de entropías condicionales específicas para cada valor posible de X, utilizando p(x) como pesos, es

$\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)}&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)$
$=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}$

PLANETCALC Calculadoras en línea

Entropía condicional

Entropía condicional

Fórmula de la entropía condicional

Calculadoras similares

Comentarios

PLANETCALC Calculadoras en línea

Entropía condicional

Fórmula de la entropía condicional

Calculadoras similares

Comentarios

Comparte esta página