Entropía de Shannon
Esta calculadora en Línea calcula la entropía de Shannon para una tabla de probabilidades de evento dada para un mensaje dado
Esta página existe gracias a los esfuerzos de las siguientes personas:
 | Timur
|
Ernesto
|
Este contenido está bajo licencia de Creative Commons Attribution/Share-Alike License 3.0 (Unported). Esto significa que puedes redistribuirlo o modificar su contenido en forma libre bajo las mismas condiciones de licencia y debes mantener la atribución del mismo al autor original de este trabajo colocando un hipervínculo en tu sitio web a este trabajo https://es.planetcalc.com/2476/. Así mismo, por favor no modifiques o alteres ninguna de las referencias al trabajo original (si hubiera alguna) que se encuentre en este contenido.
En la teoría de información, la entropía es una medida de incertidumbre en una variable al azar. En este contexto, el término se refiere a la entropía de Shannon, la cual cuantifica el valor esperado de la información contenida en un mensaje.
La fórmula de la entropía fue introducida por Claude E. Shannon en su ensayo de 1948 "A Mathematical Theory of Communication".
Se utiliza "menos" porque para valores menores de 1, el logaritmo es negativo, pero, como;
,
La fórmula se puede expresar como;
La expresión
También se conoce como "de incertidumbre" o "de sorpresa", para menores probabilidades , e.j.
→ 0, mayor es la incertidubre o sorpresa, e.j.
→ ∞, para el resultado
.
La fórmula, en este caso, expresa la esperanza matemática de incertidumbre y es por eso que la entropía de información e incertidumbre de información se pueden utilizar de manera intercambiable.
A continuación hay dos calculadoras - una calcula la entropía de Shannon para probabilidades de eventos dadas, y la segunda calcula la entropía de Shannon para frecuencias de símbolos dada para un mensaje dado.
Entropía de Shannon
Comentarios