Entropia binarna

Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.

Jeśli ${\displaystyle X=1}$ zachodzi z prawdopodobieństwem ${\displaystyle Pr(X=1)=p,}$ a ${\displaystyle X=0}$ zachodzi z prawdopodobieństwem ${\displaystyle Pr(X=0)=1-p,}$ to entropia Shannona wynosi:

${\displaystyle H(X)=H_{b}(p)=p\log _{2}{p}+(1-p)\log _{2}(1-p),}$

gdzie:

${\displaystyle 0\log {0}}$ jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.

W przypadku kiedy ${\displaystyle p={\tfrac {1}{2}},}$ entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.

Funkcja entropii binarnej ${\displaystyle H_{b}(p),}$ w odróżnieniu od entropii Shannona ${\displaystyle H(X),}$ przyjmuje jako argument liczbę rzeczywistą ${\displaystyle p}$ zamiast rozkładu prawdopodobieństwa ${\displaystyle X.}$

Pochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:

${\displaystyle {\frac {d}{dp}}H_{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right).}$

• entropia (teoria informacji)

• David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1.