CABAC熵编码详解

信息熵是指信号源（信源）的信息量。设有一个离散信源，{$X_i$},i=1,2..,N，它产生消息的概率是已知的，记为，P({$X_i$})），$\sum_{i=1}^{N} P(X_i)=1 $，则信息量定义为：$I(X_i)=\log_{2}{\frac{1}{P(X_i)} } =-\log_{2}{P(X_i) } bit$

信息量仅反映了一个符号的信息量的大小，而信源都是由若干个符号所组成，如二进制信源由0和1两个符号，因此，用平均信息量，称

为“熵”（entropy）来表示由多个符号所组成信源所携带的信息量，定义为

$H=\sum_{i=1}^{N} P(X_i)I[P(X_i) ]=-\sum_{i=1}^{N} P(X_i)\log_{2}{P(X_i) }$

上式取以2为底的对数时，单位是比特：

$H=\sum_{i=1}^{N} P(X_i)I[P(X_i) ]=-\sum_{i=1}^{N} P(X_i)\log_{2}{P(X_i) }$  (比特/符号）（2）