Informacija in entropija

Lastna informacija: opisuje dogodek, ki se je zgodil
Lastna verjetnost:

$$I_i=-lo{g}_b(p_i)$$

$b=\{2\to bit,3\to trit,...\}$ … uporabljena baza

Entropija: ocena količine informacije / povprečje vseh lastnih verjetnosti

$$H(X)=\sum _{i=1}^n{p}_i{I}_i$$

Lastnosti:

• zvezna
• simetrična $\to$ vrstni red parametrov ni pomemben
• nenegativna (ker je $p_i\ge 0$)
• navzgor omejena z $log(n)$
• $p_i=\frac{1}{n}⟹H(X)=log(n)$
• neodvisna dogodka $⟹H(X\ast Y)=H(X,Y)=H(X)+H(Y)$
  neodvisna dogodka $⟹H(X,Y)\le H(X)\ast H(Y)$