1. 多媒體信息

1.1 多媒體信息的兩個主要特點：

1. 信息量很大
   • 標準語音：64Kbits(8KHz采樣，8位編碼)
   • 高質量音頻：3Mbps(100KHz采樣，12位編碼)
2. 在傳輸多媒體數(shù)據(jù)時，對時延和時延抖動均有較高要求

1.2 處理時延抖動：

緩存的方式在一定程度上消除了時延抖動，但是增加了時延，因為推遲播放了。

1.3 需要注意的問題

• 在傳送時延敏的實時數(shù)據(jù)時，不僅傳輸時延不能大，時延抖動也必須限制
• 傳送實時數(shù)據(jù)時，少量分組的丟失是可以容忍的
• 丟失容忍是實時數(shù)據(jù)的另一個重要特點。
• 發(fā)送多媒體數(shù)據(jù)時應當加一個序號，以按序還原和播放
• 增加一個時間戳，告訴接收端分組的產(chǎn)生時間。比如音頻要和字母順序對應上。

1.4 必須改造現(xiàn)有的互聯(lián)網(wǎng)

• 大量使用高速路由器和光纜
• 完全改造現(xiàn)有協(xié)議，為端到端帶寬預留，把無連接協(xié)議的互聯(lián)網(wǎng)轉變?yōu)槊嫦蜻B接的網(wǎng)絡
• 少量改造現(xiàn)有協(xié)議，使得能適配這種數(shù)據(jù)傳輸

2. 流式存儲音頻、視頻

存儲音頻/視頻不是實時產(chǎn)生的，而是已經(jīng)錄制好的，通常存儲在硬盤中。
第一種方式：
第二種方式：元文件

第三種方式：媒體服務器

2.1 下載時使用何種協(xié)議

采用UDP的缺點：

1. 網(wǎng)絡情況多變，接收端很難始終按照規(guī)定的速率播放
2. 很多單位的防火墻往往阻攔外部UDP分組的進入
3. 使用UDP傳送流媒體時，如果用戶希望控制媒體的播放，暫停、快進等，還需要單獨的RTP和RTSP協(xié)議

采用TCP的場景
現(xiàn)在，對流式存儲音頻/視頻的播放，如YouTube都是采用TCP來傳送。

采用UDP的場景：
如果是實時觀看實況轉播，應當首先考慮采用UDP來傳送。

2.2 實時流式協(xié)議RTSP

實時流式協(xié)議RTSP（Real-Time Streaming Protocol）

• 應用層的多媒體播放控制協(xié)議，不傳送數(shù)據(jù)
• 以客戶服務器方式工作
• 使用戶能對從互聯(lián)網(wǎng)下載的實時數(shù)據(jù)進行控制，如暫停，快進，跳躍
• 又稱為互聯(lián)網(wǎng)錄像機遙控協(xié)議
• RTSP 是有狀態(tài)的協(xié)議，它記錄客戶機所處的狀態(tài)（初始狀態(tài)，播放狀態(tài)）
• RTSP控制分組可在TCP上傳送，也可在UDP上傳送

3. 交互式音視頻

3.1 實時傳輸協(xié)議RTP

3.1.1 RTP的層次

3.1.2 RTP分組的首部

1. P：填充位flag
2. X：表示RTP首部后還有擴展首部
3. 參與源數(shù)：給出后面參與源標識符的數(shù)目
4. M：表示這個RTP分組是否有特殊意義。比如在傳送視頻流時用來表示每一幀的開始
5. 有效載荷類型：指出后面的RTP數(shù)據(jù)屬于何種格式的應用。收到RTP分組的應用層就根據(jù)此字段指出的類型進行相應的處理。
6. 序號：對每一個發(fā)送的RTP分組，其序號加1，在一次RTP會話開始時的初始序號是隨機選擇的。序號使接收端能發(fā)現(xiàn)丟失的分組。
7. 時間戳：反應當前RTP分組中數(shù)據(jù)的第一個字節(jié)的采樣時刻。在一次會話開始時時間戳是隨機選擇的，后續(xù)按偏移即可。接收端使用時間戳可以準確知道應當在什么時間還原哪個數(shù)據(jù)塊，從而消除時延的抖動，還可以用來使得視頻應用中聲音和圖像同步。
8. SSRC：用來標識RTP流的來源，類似于streamID.有多個RTP流復用同一個UDP用戶數(shù)據(jù)報時，使用SSRC可使得接收端的UDP能夠將收到的RTP流送到各自的終點。
9. CSRC：一個32位數(shù)，最多15個。用來標志來源于不同地點的RTP流。在多播環(huán)境中，可以使中間的一個站把發(fā)往同一個地點的多個RTP流混合成一個流，在目的站再根據(jù)CSRC的數(shù)值把不同的RTP流分開。

3.2 實時傳輸控制協(xié)議RTCP

RTCP(RTP control Protocol)是與RTP配合使用的協(xié)議，與RTP協(xié)議不可分割。
主要功能：

1. 服務質量的監(jiān)視和反饋
2. 媒體間的同步
3. 播組中成員的標識

3.2.1 RTCP分組

3.3 H.323

3.3.1 H.323的體系架構

3.3.2 H.323指明的四種構件

3.4 會話發(fā)起協(xié)議SIP

3.4.1 SIP系統(tǒng)的構件

3.4.2 SIP過程

3.4.2.1 SIP登記器

3.5 會話描述協(xié)議SDP