Entropía de Shannon

Esta calculadora en Línea calcula la entropía de Shannon para una tabla de probabilidades de evento dada para un mensaje dado

Esta página existe gracias a los esfuerzos de las siguientes personas:

Timur

Timur

Ernesto

Creado: 2013-12-26 18:52:59, Última actualización: 2020-11-03 14:19:30

En la teoría de información, la entropía es una medida de incertidumbre en una variable al azar. En este contexto, el término se refiere a la entropía de Shannon, la cual cuantifica el valor esperado de la información contenida en un mensaje.

La fórmula de la entropía fue introducida por Claude E. Shannon en su ensayo de 1948 "A Mathematical Theory of Communication".

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Se utiliza "menos" porque para valores menores de 1, el logaritmo es negativo, pero, como;

-\log a = \log \frac{1}{a},

La fórmula se puede expresar como;

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

La expresión

\log_b \frac{1}{p(x_i)}
También se conoce como "de incertidumbre" o "de sorpresa", para menores probabilidades p(x_i), e.j. p(x_i) → 0, mayor es la incertidubre o sorpresa, e.j. u_i → ∞, para el resultado x_i.

La fórmula, en este caso, expresa la esperanza matemática de incertidumbre y es por eso que la entropía de información e incertidumbre de información se pueden utilizar de manera intercambiable.

A continuación hay dos calculadoras - una calcula la entropía de Shannon para probabilidades de eventos dadas, y la segunda calcula la entropía de Shannon para frecuencias de símbolos dada para un mensaje dado.

PLANETCALC, Entropía de Shannon

Entropía de Shannon

Dígitos después del punto decimal: 2
Entropía, bits
 

PLANETCALC, Entropía de Shannon

Entropía de Shannon

Dígitos después del punto decimal: 2
Entropía, bits
 

URL copiada al portapapeles
PLANETCALC, Entropía de Shannon

Comentarios