homechevron_rightProfesionalchevron_rightComputadoras

Entropía de Shannon

Esta calculadora en Línea calcula la entropía de Shannon para una tabla de probabilidades de evento dada para un mensaje dado

En la teoría de información, la entropía es una medida de incertidumbre en una variable al azar. En este contexto, el término se refiere a la entropía de Shannon, la cual cuantifica el valor esperado de la información contenida en un mensaje.

La fórmula de la entropía fue introducida por Claude E. Shannon en su ensayo de 1948 "A Mathematical Theory of Communication".

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Se utiliza "menos" porque para valores menores de 1, el logaritmo es negativo, pero, como;

-\log a = \log \frac{1}{a},

La fórmula se puede expresar como;

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

La expresión

\log_b \frac{1}{p(x_i)}

También se conoce como "de incertidumbre" o "de sorpresa", para menores probabilidades p(x_i), e.j. p(x_i) → 0, mayor es la incertidubre o sorpresa, e.j. u_i → ∞, para el resultado x_i.

La fórmula, en este caso, expresa la esperanza matemática de incertidumbre y es por eso que la entropía de información e incertidumbre de información se pueden utilizar de manera intercambiable.

A continuación hay dos calculadoras - una calcula la entropía de Shannon para probabilidades de eventos dadas, y la segunda calcula la entropía de Shannon para frecuencias de símbolos dada para un mensaje dado.

Creada en PLANETCALC

Entropía de Shannon

Tabla de probabilidades de eventos

EventoProbabilidad
Articulos por pagina:

Dígitos después del punto decimal: 2
Entropía, bits
 

Creada en PLANETCALC

Entropía de Shannon

Dígitos después del punto decimal: 2
Entropía, bits
 

Comentarios