1. 多媒體信息

1.1 多媒體信息的兩個(gè)主要特點(diǎn)：

1. 信息量很大
   • 標(biāo)準(zhǔn)語(yǔ)音：64Kbits(8KHz采樣，8位編碼)
   • 高質(zhì)量音頻：3Mbps(100KHz采樣，12位編碼)
2. 在傳輸多媒體數(shù)據(jù)時(shí)，對(duì)時(shí)延和時(shí)延抖動(dòng)均有較高要求

1.2 處理時(shí)延抖動(dòng)：

緩存的方式在一定程度上消除了時(shí)延抖動(dòng)，但是增加了時(shí)延，因?yàn)橥七t播放了。

1.3 需要注意的問(wèn)題

• 在傳送時(shí)延敏的實(shí)時(shí)數(shù)據(jù)時(shí)，不僅傳輸時(shí)延不能大，時(shí)延抖動(dòng)也必須限制
• 傳送實(shí)時(shí)數(shù)據(jù)時(shí)，少量分組的丟失是可以容忍的
• 丟失容忍是實(shí)時(shí)數(shù)據(jù)的另一個(gè)重要特點(diǎn)。
• 發(fā)送多媒體數(shù)據(jù)時(shí)應(yīng)當(dāng)加一個(gè)序號(hào)，以按序還原和播放
• 增加一個(gè)時(shí)間戳，告訴接收端分組的產(chǎn)生時(shí)間。比如音頻要和字母順序?qū)?yīng)上。

1.4 必須改造現(xiàn)有的互聯(lián)網(wǎng)

• 大量使用高速路由器和光纜
• 完全改造現(xiàn)有協(xié)議，為端到端帶寬預(yù)留，把無(wú)連接協(xié)議的互聯(lián)網(wǎng)轉(zhuǎn)變?yōu)槊嫦蜻B接的網(wǎng)絡(luò)
• 少量改造現(xiàn)有協(xié)議，使得能適配這種數(shù)據(jù)傳輸

2. 流式存儲(chǔ)音頻、視頻

存儲(chǔ)音頻/視頻不是實(shí)時(shí)產(chǎn)生的，而是已經(jīng)錄制好的，通常存儲(chǔ)在硬盤中。
第一種方式：
第二種方式：元文件

第三種方式：媒體服務(wù)器

2.1 下載時(shí)使用何種協(xié)議

采用UDP的缺點(diǎn)：

1. 網(wǎng)絡(luò)情況多變，接收端很難始終按照規(guī)定的速率播放
2. 很多單位的防火墻往往阻攔外部UDP分組的進(jìn)入
3. 使用UDP傳送流媒體時(shí)，如果用戶希望控制媒體的播放，暫停、快進(jìn)等，還需要單獨(dú)的RTP和RTSP協(xié)議

采用TCP的場(chǎng)景
現(xiàn)在，對(duì)流式存儲(chǔ)音頻/視頻的播放，如YouTube都是采用TCP來(lái)傳送。

采用UDP的場(chǎng)景：
如果是實(shí)時(shí)觀看實(shí)況轉(zhuǎn)播，應(yīng)當(dāng)首先考慮采用UDP來(lái)傳送。

2.2 實(shí)時(shí)流式協(xié)議RTSP

實(shí)時(shí)流式協(xié)議RTSP（Real-Time Streaming Protocol）

• 應(yīng)用層的多媒體播放控制協(xié)議，不傳送數(shù)據(jù)
• 以客戶服務(wù)器方式工作
• 使用戶能對(duì)從互聯(lián)網(wǎng)下載的實(shí)時(shí)數(shù)據(jù)進(jìn)行控制，如暫停，快進(jìn)，跳躍
• 又稱為互聯(lián)網(wǎng)錄像機(jī)遙控協(xié)議
• RTSP 是有狀態(tài)的協(xié)議，它記錄客戶機(jī)所處的狀態(tài)（初始狀態(tài)，播放狀態(tài)）
• RTSP控制分組可在TCP上傳送，也可在UDP上傳送

3. 交互式音視頻

3.1 實(shí)時(shí)傳輸協(xié)議RTP

3.1.1 RTP的層次

3.1.2 RTP分組的首部

1. P：填充位flag
2. X：表示RTP首部后還有擴(kuò)展首部
3. 參與源數(shù)：給出后面參與源標(biāo)識(shí)符的數(shù)目
4. M：表示這個(gè)RTP分組是否有特殊意義。比如在傳送視頻流時(shí)用來(lái)表示每一幀的開始
5. 有效載荷類型：指出后面的RTP數(shù)據(jù)屬于何種格式的應(yīng)用。收到RTP分組的應(yīng)用層就根據(jù)此字段指出的類型進(jìn)行相應(yīng)的處理。
6. 序號(hào)：對(duì)每一個(gè)發(fā)送的RTP分組，其序號(hào)加1，在一次RTP會(huì)話開始時(shí)的初始序號(hào)是隨機(jī)選擇的。序號(hào)使接收端能發(fā)現(xiàn)丟失的分組。
7. 時(shí)間戳：反應(yīng)當(dāng)前RTP分組中數(shù)據(jù)的第一個(gè)字節(jié)的采樣時(shí)刻。在一次會(huì)話開始時(shí)時(shí)間戳是隨機(jī)選擇的，后續(xù)按偏移即可。接收端使用時(shí)間戳可以準(zhǔn)確知道應(yīng)當(dāng)在什么時(shí)間還原哪個(gè)數(shù)據(jù)塊，從而消除時(shí)延的抖動(dòng)，還可以用來(lái)使得視頻應(yīng)用中聲音和圖像同步。
8. SSRC：用來(lái)標(biāo)識(shí)RTP流的來(lái)源，類似于streamID.有多個(gè)RTP流復(fù)用同一個(gè)UDP用戶數(shù)據(jù)報(bào)時(shí)，使用SSRC可使得接收端的UDP能夠?qū)⑹盏降腞TP流送到各自的終點(diǎn)。
9. CSRC：一個(gè)32位數(shù)，最多15個(gè)。用來(lái)標(biāo)志來(lái)源于不同地點(diǎn)的RTP流。在多播環(huán)境中，可以使中間的一個(gè)站把發(fā)往同一個(gè)地點(diǎn)的多個(gè)RTP流混合成一個(gè)流，在目的站再根據(jù)CSRC的數(shù)值把不同的RTP流分開。

3.2 實(shí)時(shí)傳輸控制協(xié)議RTCP

RTCP(RTP control Protocol)是與RTP配合使用的協(xié)議，與RTP協(xié)議不可分割。
主要功能：

1. 服務(wù)質(zhì)量的監(jiān)視和反饋
2. 媒體間的同步
3. 播組中成員的標(biāo)識(shí)

3.2.1 RTCP分組

3.3 H.323

3.3.1 H.323的體系架構(gòu)

3.3.2 H.323指明的四種構(gòu)件

3.4 會(huì)話發(fā)起協(xié)議SIP

3.4.1 SIP系統(tǒng)的構(gòu)件

3.4.2 SIP過(guò)程

3.4.2.1 SIP登記器

3.5 會(huì)話描述協(xié)議SDP