homechevron_rightProfesionalchevron_rightComputadoras

Entropía de Shannon

Esta calculadora en Línea calcula la entropía de Shannon para una tabla de probabilidades de evento dada para un mensaje dado

Creative Commons Attribution/Share-Alike License 3.0 (Unported)

Este contenido está bajo licencia de Creative Commons Attribution/Share-Alike License 3.0 (Unported). Esto significa que puedes redistribuirlo o modificar su contenido en forma libre bajo las mismas condiciones de licencia y debes mantener la atribución del mismo al autor original de este trabajo colocando un hipervínculo en tu sitio web a este trabajo https://es.planetcalc.com/2476/. Así mismo, por favor no modifiques o alteres ninguna de las referencias al trabajo original (si hubiera alguna) que se encuentre en este contenido.

En la teoría de información, la entropía es una medida de incertidumbre en una variable al azar. En este contexto, el término se refiere a la entropía de Shannon, la cual cuantifica el valor esperado de la información contenida en un mensaje.

La fórmula de la entropía fue introducida por Claude E. Shannon en su ensayo de 1948 "A Mathematical Theory of Communication".

H(X)= - \sum_{i=1}^np(x_i)\log_b p(x_i)

Se utiliza "menos" porque para valores menores de 1, el logaritmo es negativo, pero, como;

-\log a = \log \frac{1}{a},

La fórmula se puede expresar como;

H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}

La expresión

\log_b \frac{1}{p(x_i)}
También se conoce como "de incertidumbre" o "de sorpresa", para menores probabilidades p(x_i), e.j. p(x_i) → 0, mayor es la incertidubre o sorpresa, e.j. u_i → ∞, para el resultado x_i.

La fórmula, en este caso, expresa la esperanza matemática de incertidumbre y es por eso que la entropía de información e incertidumbre de información se pueden utilizar de manera intercambiable.

A continuación hay dos calculadoras - una calcula la entropía de Shannon para probabilidades de eventos dadas, y la segunda calcula la entropía de Shannon para frecuencias de símbolos dada para un mensaje dado.

PLANETCALC, Entropía de Shannon

Entropía de Shannon

Tabla de probabilidades de eventos

arrow_upwardarrow_downwardEventoarrow_upwardarrow_downwardProbabilidad
Articulos por pagina:

Dígitos después del punto decimal: 2
Entropía, bits
 

PLANETCALC, Entropía de Shannon

Entropía de Shannon

Dígitos después del punto decimal: 2
Entropía, bits
 

Creative Commons Attribution/Share-Alike License 3.0 (Unported) PLANETCALC, Entropía de Shannon

Comentarios