扩频通信和信息熵

odyssey_2010

   信息理论的一个基本原理是用低熵（low-entropy）载波（不带有surprising msg.的载波）来承担高熵（high-entropy）的信息（充满了surprise）。
   熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。令香农惊讶的是，若要传输信息需要更高的熵或者更高的无序程度。熵越低，或无序程度越低，就意味着更高的一致性，则传输的信息就越少。因为事件的意外程度（surprise of an event）与事件发生的可能性（probability of an event）成反比，这意味着，如果某个事件发生的可能性很大，那么它的surprise就比较少，它携带的信息也比较少；如果某个事件发生和不发生的可能性是50%对50%，其中就包含了丰富的surprise或者信息。为此，香农提出了信息熵（information entropy）或者香农比特（shannon bit）的概念，如果下一个比特是0或者1的概率是50%对50%，则熵达到最大化，而下一个比特的information熵增加一个shannon bit。如果如果下一个比特是0概率大于是1的概率，则下一个比特的information熵小于一个shannon bit。如果连续传输N个比特是相互独立的，则总的信息熵是一个比特信息熵的N倍。
   上述内容用数学公式如下：
UNCERTAINTY = lg (1/PROBABILITY)
熵 = AVERAGE (UNCERTAINTY)
高的熵 = 好的保密性

   要提高数字信息系统的效率，不能提高发射功率，相反，要尽可能降低（只要能够被接收端识别）发射功率。如果你总共就收到了一个比特，不管它的声音有多大，一比特就是一比特。但是一个声音大的信号能淹没周围的其他信号，其目标不是在一段长距离上突出某一个特殊的信号——就像电视或收音机的节目——而是将这一地区所有无线电能传输并接受的比特所有量（即熵的总量）最大化。