Entropía de Shannon
Esta calculadora en Línea calcula la entropía de Shannon para una tabla de probabilidades de evento dada para un mensaje dado
En la teoría de información, la entropía es una medida de incertidumbre en una variable al azar. En este contexto, el término se refiere a la entropía de Shannon, la cual cuantifica el valor esperado de la información contenida en un mensaje.
La fórmula de la entropía fue introducida por Claude E. Shannon en su ensayo de 1948 "A Mathematical Theory of Communication".
Se utiliza "menos" porque para valores menores de 1, el logaritmo es negativo, pero, como;
,
La fórmula se puede expresar como;
La expresión
También se conoce como "de incertidumbre" o "de sorpresa", para menores probabilidades , e.j.
→ 0, mayor es la incertidubre o sorpresa, e.j.
→ ∞, para el resultado
.
La fórmula, en este caso, expresa la esperanza matemática de incertidumbre y es por eso que la entropía de información e incertidumbre de información se pueden utilizar de manera intercambiable.
A continuación hay dos calculadoras - una calcula la entropía de Shannon para probabilidades de eventos dadas, y la segunda calcula la entropía de Shannon para frecuencias de símbolos dada para un mensaje dado.
Entropía de Shannon
Comentarios