1.證明熵的可加性

?2.假設(shè)一幀視頻圖像可以認為是由3*10的五次方個像素組成（每像素均獨立變化），如果每個像素可取128個不同的等概率亮度表示。請計算出每幀圖像含多少信息量？若有一口述者在約12000個漢字的字匯中選400個字來口述此電視圖像，試問口述者描述此圖像所需要的信息量是多少（假設(shè)漢字是等概率獨立分布）？若要恰當(dāng)?shù)孛枋龃藞D像，口述者在口述中至少需要用多少漢字？

?3.信源：產(chǎn)生要傳輸?shù)南ⅰ?/p>

4.信源編碼：對信源輸出進行變化（消除冗余，壓縮），提高信息傳輸?shù)挠行浴?/p>

5.信道編碼：對信源編碼輸出變換（加入冗余），提高抗干擾能力，提高信息傳輸?shù)目煽啃浴?/p>

6.加密編碼：提高傳輸?shù)陌踩浴?/p>

7.信道：信號傳輸?shù)慕橘|(zhì)。

8.信宿：接受信源傳輸?shù)南ⅰ?/p>

9.無失真信源編碼定理（香農(nóng)第一定理）

如果信源編碼碼率 R （編碼后傳送信源符號所需比特數(shù)）不小于信源的熵 H ( X )，就存在無失真編碼，反之不存在無失真編碼。

10.有噪信道編碼定理（香農(nóng)第二定理）

如果信息傳輸速率小于信道容量，則總可以找到一種編碼方式使得當(dāng)編碼序列足夠長時傳輸差錯任意小。反之不存在使差錯任意小的編碼。

11.限失真信源編碼定理（香農(nóng)第三定理）

只要碼字足夠長，總可以找到一種編碼，使得當(dāng)編碼碼率 R > R ( D ）時，碼的平均失真 D ;反之不存在平均失真 D 的編碼。在允許一定失真度 D 的情況下，信源輸出的信息率可以壓縮到 R ( D )。

?R ( D ）稱為信息率失真函數(shù)，是滿足失真準(zhǔn)則（平均失真 D ）下，每個信源符號所需最小編碼比特數(shù)。

12.平均錯誤概率不僅與信道本身的統(tǒng)計特性有關(guān)，還與編碼方法和譯碼準(zhǔn)則有關(guān)。

13.事件發(fā)生的概率越小，不確定性就越大。概率等于1的必然事件，不存在不確定性。

14.如果知道事件 Xi 已發(fā)生，則事件包含的自信息定義為：

15.自信息的含義

當(dāng)事件 Xi 發(fā)生以前表示事件 Xi 發(fā)生的不確定性；

當(dāng)事件 Xi 發(fā)生以后表示事件 X 所包含的信息量。

16.信源自信息量為非負值；當(dāng)事件發(fā)生概率為1時，自信息量為0；當(dāng)事件發(fā)生概率為0時，自信息量為無窮大；自信息量是事件發(fā)生概率的單調(diào)遞減函數(shù)。

5．聯(lián)合自信息量

當(dāng) X 和 Y 相互獨立時：?

?6.關(guān)于信道容量與信息的可靠傳輸

有噪信道編碼定理（香農(nóng)第二定理）是信道編碼的理論基礎(chǔ)，其內(nèi)容是：如果信息傳輸速率小于信道容量，則總可找到一種編碼方式使得當(dāng)編碼序列足夠長時傳輸差錯任意小，反之不存在使差錯任意小的編碼。

7.信息率失真理論（數(shù)據(jù)壓縮的理論基礎(chǔ)）

限失真信源編碼定理（香農(nóng)第三定理）的是有損壓縮編碼的理論基礎(chǔ)，其內(nèi)容是：只要碼字足夠長，總可找到一種編碼，使得當(dāng)信源編碼的碼率＞ R ( D ）時，碼的平均失真 D ；反之，如果信源編碼的碼率＜ R ( D )，就不存在平均失真 D 的編碼。可以簡述為：在允許一定失真度 D 的情況下，信源輸出的信息率可壓縮到 R ( D )

?R ( D ）稱為信息率失真函數(shù)，是滿足失真準(zhǔn)則（平均失真 D ）下，每信源符號所需最小編碼比特數(shù)。

8.

?9.熵的基本性質(zhì)和定理

?

?