基礎概念

● 實時音視頻應用環(huán)節(jié)
○ 采集、編碼、前后處理、傳輸、解碼、緩沖、渲染等很多環(huán)節(jié)。

主要內容

音頻

基礎概念

• 三要素：音調（音頻）、音量、音色
• 工具：ffmpeg、ffplay、flashplayer
• 聽覺范圍：20HZ~20KHZ，可以聽見的

音頻量化過程

• 音頻量化過程

  • 模擬信號（連續(xù)）

  • 采樣：在一段時間內等間隔地獲取模擬信號的幅度值，得到一系列采樣點。

    • 采樣率（Sample Rate）決定了每秒鐘對模擬信號進行采樣的次數(shù)，常見的采樣率有44.1 kHz、48 kHz等。較高的采樣率可以更準確地還原原始聲音，但也會增加數(shù)據(jù)量。
    • 采樣大?。杭床蓸拥目v坐標對應值，表示一個采樣用多少位存放。

  • 量化：為了更高效地保存和傳輸每個采樣點的數(shù)值，將這些振幅值進行規(guī)整，這一過程稱為量化。

    • 量化精度：量化的精度等于相鄰兩個整數(shù)所表示的實數(shù)的差值(標準)，如果兩個實數(shù)之間的差距小于這個差值，他們便會被量化為同一個整數(shù)。（圖像變化：連續(xù)的信號最后被轉變?yōu)榱穗A梯狀的圖像）
    • 量化的過程會損失一定的精度，按照精度可以將量化分為8位量化、16位量化、32位量化等。

  • 編碼

    • 將量化后離散整數(shù)序列轉化為計算機實際儲存所用的二進制字節(jié)序列的過程叫做音頻編碼。反之，將二進制字節(jié)恢復成音頻信號的過程稱為解碼。

  • 

  • 碼率（/音頻的比特率）
    - 指 每秒傳輸?shù)囊纛l的比特數(shù)。單位：bps。
    - 計算公式=采樣率 x 采樣大小 （位數(shù)）x 聲道數(shù)。

音頻壓縮技術

• 音頻壓縮技術基礎概念
  • 數(shù)字音頻信號中存在冗余信息，對這些冗余成份進行去除可以降低傳輸帶寬，提高效率。
  • 冗余信息：人耳聽覺范圍外的音頻信號以及被掩蔽掉的音頻信號等。
  • 人耳聽覺范圍之外：20Hz～20KHz之外。
  • 掩蔽效應：
    • 頻譜掩蔽效應：一個頻率的聲音能量小于某個閾值之后，人耳就會聽不到，這個閾值稱為最小可聞閾。當有另外能量較大的聲音出現(xiàn)的時候，該聲音頻率附近的閾值會提高很多，即所謂的掩蔽效應。
    • 時域掩蔽效應：當強音信號和弱音信號同時發(fā)生或發(fā)生時間很接近的時候，會發(fā)生掩蔽效應，分為前掩蔽、同時掩蔽和后掩蔽三部分。
      • 前掩蔽是指人耳在聽到強信號之前的短暫時間內，已經存在的弱信號會被掩蔽而聽不到。
      • 同時掩蔽是指當強信號與弱信號同時存在時，弱信號會被強信號所掩蔽而聽不到。
      • 后掩蔽是指當強信號消失后，需經過較長的一段時間才能重新聽見弱信號，稱為后掩蔽。這些被掩蔽的弱信號即可視為冗余信號。
• 壓縮類型
  • 有損壓縮(還原回來的數(shù)據(jù)和原數(shù)據(jù)不一樣)：消除冗余的數(shù)據(jù)
  • 無損壓縮：以哈夫曼無損編碼為代表。
• 壓縮編碼方式
  • 基本編碼思路
    •