隨著機器視覺，自動駕駛等顛覆性的技術(shù)逐步發(fā)展，采用 3D 相機進行物體識別，行為識別，場景 建模的相關(guān)應(yīng)用越來越多，可以說 3D 相機就是終端和機器人的眼睛。

3D 相機

3D 相機又稱之為深度相機，顧名思義，就是通過該相機能檢測出拍攝空間的景深距離，這也是與普 通攝像頭最大的區(qū)別。普通的彩色相機拍攝到的圖片能看到相機視角內(nèi)的所有物體并記錄下來，但是其 所記錄的數(shù)據(jù)不包含這些物體距離相機的距離。僅僅能通過圖像的語義分析來判斷哪些物體離我們比較 遠，哪些比較近，但是并沒有確切的數(shù)據(jù)。而 3D 相機則恰恰解決了該問題，通過 3D 相機獲取到的數(shù)據(jù)， 我們能準確知道圖像中每個點離攝像頭距離，這樣加上該點在 2d 圖像中的(x,y)坐標，就能獲取圖像中每 個點的三維空間坐標。通過三維坐標就能還原真實場景，實現(xiàn)場景建模等應(yīng)用。?

從上面描述可以看出，我們的眼睛就是一個天然的 3D 相機，這主要得益于偏光原理，當人眼在看 任何物體時，由于兩只眼睛在空間有一定間距約為 5cm，即存在兩個視角。這樣形成左右兩眼所看的圖 像不完全一樣，稱為視差。這種細微的視差通過視網(wǎng)膜傳遞到大腦里，就能顯示出物體的前后遠近，產(chǎn) 生強烈的立體感，這是 1839 年，英國科學家溫特斯頓發(fā)現(xiàn)的奇妙現(xiàn)象。自然的人類就想到通過兩個一 定距離的普通攝像頭來模擬人眼來獲取 3D 數(shù)據(jù)。這就是最初的雙目立體相機，鑒于雙目相機的一些缺 陷，后來人們又發(fā)明了結(jié)構(gòu)光和 TOF 的方法來獲取 3D 數(shù)據(jù)。目前市面上常有的 3D 相機方案就就是這 3 種：飛行時間（TOF），RGB雙目和結(jié)構(gòu)光法

(1)結(jié)構(gòu)光(Structured-light)，代表公司有奧比中光，蘋果(Prime Sense)，微軟 Kinect-1，英特爾 RealSense, Mantis Vision 等。

(2)雙目視覺(Stereo)，代表公司 Leap Motion， ZED， 大疆;

(3)光飛行時間法(TOF)，代表公司微軟 Kinect-2，PMD，SoftKinect， 聯(lián)想 Phab。

下圖是這三種方式的一個簡單而形象的圖片介紹
?

?

?

?

?

?

結(jié)構(gòu)光

結(jié)構(gòu)光，英文叫做 Structured light，通常采用特定波長的不可見的紅外激光作為光源，它發(fā)射出來的光經(jīng)過 一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。根 據(jù)編碼圖案不同一般有條紋結(jié)構(gòu)光---enshape ，編碼結(jié)構(gòu)光---Mantis Vision, Realsense(F200), 散斑結(jié)構(gòu)光 ---apple(primesense), 奧比中光。下圖是一個典型的結(jié)構(gòu)光相機的示意圖:
?

蘋果公司的 IphoneX 采用收購至 primesense 的技術(shù)，也是散斑結(jié)構(gòu)光，所謂散斑就是是激光照射到粗糙物 體或穿透毛玻璃后隨機形成的衍射斑點。這些散斑具有高度的隨機性，而且會隨著距離的不同而變換圖案。也就是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了 標記，把一個物體放進這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。當 然，在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源標定， 通過對比標定平面的光斑 分布，就能精確計算出當前物體距離相機的距離。
?

?

隨著結(jié)構(gòu)光三維測量技術(shù)不斷發(fā)展，實際應(yīng)用價值不斷提高。在工業(yè)測量領(lǐng)域中，上世紀九十年代，Dr.Steinbichler、Dr.Wolf 以及 Reinhold Ritter 教授等分別成立了Steinbichler GmbH、Dr. Wolf GmbH 和 GOM GmbH 公司標志著結(jié)構(gòu)光測量技
術(shù)的產(chǎn)品化。目前國外結(jié)構(gòu)光中代表性的 GOM 公司的 Atos 系列和 FARO 公司的Cobalt 系列結(jié)構(gòu)光三維測量產(chǎn)品廣泛應(yīng)用在汽車、航空和消費品行業(yè)中。近年來國內(nèi)結(jié)構(gòu)光工業(yè)產(chǎn)品也不斷發(fā)展，其中具有代表性的北京天遠 OKIO 系列產(chǎn)品也不斷涌入激烈的競爭市場之中，如圖 1.3 所示，圖中(a),(b),?分別表示 FARO、GOM 和北京天遠的結(jié)構(gòu)光產(chǎn)品。

?

娛樂消費領(lǐng)域中激光散斑結(jié)構(gòu)光作為一種空間編碼結(jié)構(gòu)光近年來其應(yīng)用尤為突出，2011 年 6 月，微軟發(fā)布了 Kinect V1，現(xiàn)早已應(yīng)用在體感游戲和機器人視覺等領(lǐng)域。2017 年 9 月，蘋果公司發(fā)布的 iPhone X 中也采用了 PrimeSense 提供的散斑結(jié)構(gòu)光，開啟了手機平臺上人臉的三維信息測量。國內(nèi)散斑結(jié)構(gòu)光代表公司奧比中光的 ASTRA 系列也運用在移動設(shè)備、3D 人臉識別、機器人視覺等領(lǐng)域，如圖 1.4 所示，圖中(a),(b),?分別表示蘋果公司、微軟公司和奧比中光的結(jié)構(gòu)光產(chǎn)品。

結(jié)構(gòu)光的雙目視覺技術(shù)是一種主動式測量的三維重建技術(shù)。將平面光束照射在物體表面形成與原光帶不一致的偏轉(zhuǎn)信息，通過解碼進行深度信息求解，從而精確快速地獲取三維深度信息。投影面結(jié)構(gòu)光，即投影一組平行的結(jié)構(gòu)光，同時將物體置于可旋轉(zhuǎn)任意角度工作臺上，分批進行處理不同平面上的三維信息，計算出深度信息和進行匹配融合，能重建物體整體的三維信息。

圖 1.5 所示的是一型號為 OKIO-H 的工業(yè)級三維掃描儀[23]，采用進口高精密工業(yè) 131 萬像素 CCD 傳感器，適用于航天航空、風電水電等精密裝備制造領(lǐng)域。

?

結(jié)構(gòu)光方法在工業(yè)上有重要的應(yīng)用，例如從傳送帶上檢測工件，工件的逆工
程；在圖形建模方面也有重要的應(yīng)用，如人體建模，包括頭部等軀體模型，雕塑物件造型的數(shù)字化，實際上三維掃描儀的基本原理也是在結(jié)構(gòu)光方法的基礎(chǔ)上進行改造的。投影的編碼圖案由投影儀投影至物體表面，而后相機進行采集。編碼圖案是否得當有效，將直接影響三維測量重建的精度和效率。圖 1.6 所示的雙模手持式三維激光掃描儀[24]極大地簡化了三維重建的過程。

?

結(jié)構(gòu)光深度相機的分類

? ? ? 主要分為單目結(jié)構(gòu)光和雙目結(jié)構(gòu)光相機。

? ? ? ?單目結(jié)構(gòu)光容易受光照的影響，在室外環(huán)境下，如果是晴天，激光器發(fā)出的編碼光斑容易太陽光淹沒掉。雙目結(jié)構(gòu)光可以在室內(nèi)環(huán)境下使用結(jié)構(gòu)光測量深度信息，在室外光照導致結(jié)構(gòu)光失效的情況下轉(zhuǎn)為純雙目的方式，其抗環(huán)境干擾能力、可靠性更強，深度圖質(zhì)量有更大提升空間。此外，結(jié)構(gòu)光方案中的激光器壽命較短，難以滿足7*24小時的長時間工作要求，其長時間連續(xù)工作很容易損壞。因為單目鏡頭和激光器需要進行精確的標定，一旦損壞，替換激光器時重新進行兩者的標定是非常困難的。

單目結(jié)構(gòu)光的原理?

? ? ? 通常采用特定波長的不可見的紅外激光作為光源，它發(fā)射出來的光經(jīng)過一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。 根據(jù)編碼圖案不同一般有條紋結(jié)構(gòu)光enshape ，編碼結(jié)構(gòu)光Mantis Vision, Realsense(F200), 散斑結(jié)構(gòu)光apple(primesense)。由于結(jié)構(gòu)光主動投射編碼光，因而非常適合在光照不足（甚至無光）、缺乏紋理的場景使用。結(jié)構(gòu)光投影圖案一般經(jīng)過精心設(shè)計，所以在一定范圍內(nèi)可以達到較高的測量精度。技術(shù)成熟，深度圖像可以做到相對較高的分辨率。

雙目結(jié)構(gòu)光的原理?

? ? ? 雙目結(jié)構(gòu)光，就是純雙目和單目結(jié)構(gòu)光結(jié)合的解決方案，結(jié)構(gòu)光等于是給物體加了紋理，計算深度依然采用視差的原理。

---

主要生產(chǎn)廠家

? ? ?國外結(jié)構(gòu)光方案開發(fā)的公司有Prime Sense(蘋果)、英特爾，以色列Mantis Vision（小米）；

? ? ?國內(nèi)結(jié)構(gòu)光方案開發(fā)的公司有深圳奧比中光科技有限公司（單目結(jié)構(gòu)光OPPO），南京華捷艾米軟件有限公司（單目結(jié)構(gòu)光），丘鈦科技，上海圖漾信息科技有限公司（雙目結(jié)構(gòu)光）。

?

?

結(jié)構(gòu)光（散斑）的優(yōu)點主要有：

1）方案成熟，相機基線可以做的比較小，方便小型化。

2）資源消耗較低，單幀 IR 圖就可計算出深度圖，功耗低。

3）主動光源，夜晚也可使用。

4）在一定范圍內(nèi)精度高，分辨率高，分辨率可達 1280x1024,幀率可達 60FPS

散斑結(jié)構(gòu)光的缺點與結(jié)構(gòu)光類似：

1）容易受環(huán)境光干擾，室外體驗差。

2）隨檢測距離增加，精度會變差。
?

?雙目視覺

雙目立體視覺(Binocular Stereo Vision)是機器視覺的一種重要形式，他是基于視差原理并利用成像設(shè)備 從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，來獲取物體三維幾何信息的 方法。目前有主動雙目，被動雙目之分，被動雙目就是采用可見光，好處是不需要額外光源，但是晚上無 法使用，主動雙目就是主動發(fā)射紅外激光做補光，這樣晚上也能使用。

雙目視覺僅僅依靠圖像進行特征匹配，對附加設(shè)備要求低，在使用雙目視覺相機前必須對雙目中兩個 攝像頭的位置進行精確標定。下面圖片很好的簡單闡述了雙目相機如何獲取物體的深度數(shù)據(jù)。同一直線上 的 3 個點在下端的相機都投影到 cmos 同一個點，因此單獨的這個相機沒法分辨三個點的距離，但是這 3 各 點在上端相機的投影位置不同，通過三角測量辦法和兩個相機基線距離 B，我們就可以計算出這 3 個點離相 機平面距離。
?

當然完整的雙目深度計算非常復雜，主要涉及到左右相機的特征匹配，計算會非常消耗資源。

雙目相機的主要優(yōu)點有：

1）硬件要求低，成本也低。普通 CMOS 相機即可。

2）室內(nèi)外都適用。只要光線合適，不要太昏暗。

但是雙目的缺點也是非常明顯：

1）對環(huán)境光照非常敏感。光線變化導致圖像偏差大，進而會導致匹配失敗或精度低。

2）不適用單調(diào)缺乏紋理的場景。雙目視覺根據(jù)視覺特征進行圖像匹配，沒有特征會導致匹配失敗。

3）計算復雜度高。該方法是純視覺的方法，對算法要求高，計算量較大。

4）基線限制了測量范圍。測量范圍和基線（兩個攝像頭間距）成正比，導致無法小型化

?

光飛行時間法(TOF)

顧名思義是測量光飛行時間來取得距離，具體而言就是通過給目標連續(xù)發(fā)射激光脈沖，然后用傳感器 接收從反射光線，通過探測光脈沖的飛行往返時間來得到確切的目標物距離。因為光速激光，通過直接測 光飛行時間實際不可行，一般通過檢測通過一定手段調(diào)制后的光波的相位偏移來實現(xiàn)。

TOF 法根據(jù)調(diào)制方法的不同，一般可以分為兩種：脈沖調(diào)制（Pulsed Modulation）和連續(xù)波調(diào)制 （Continuous Wave Modulation）。脈沖調(diào)制需要非常高精度時鐘進行測量，且需要發(fā)出高頻高強度激光，目前大多采用檢測相位偏移辦法來實現(xiàn) TOF 功能。

下面圖片描述了 TOF 相機（連續(xù)波）的基本原理，實際應(yīng)用中，通常采用的是正弦波調(diào)制。由于接收 端和發(fā)射端正弦波的相位偏移和物體距離攝像頭的距離成正比，因此可以利用相位偏移來測量距離。
?

因為 TOF 并非基于特征匹配，這樣在測試距離變遠時，精度也不會下降很快，目前無人駕駛以及一些高

端的消費類 Lidar 基本都是采用該方法來實現(xiàn)。

TOF 的優(yōu)點主要有：

1）檢測距離遠。在激光能量夠的情況下可達幾十米。

2）受環(huán)境光干擾比較小。

但是 TOF 也有一些顯而易見的問題：

1）對設(shè)備要求高，特別是時間測量模塊。

2）資源消耗大。 該方案在檢測相位偏移時需要多次采樣積分，運算量大。

3）邊緣精度低。

4）限于資源消耗和濾波，幀率和分辨率都沒辦法做到較高。目前消費類最大也就 VGA。

結(jié)論

從上面三種主流的 3D 相機成像方案來看，各有優(yōu)劣，但是從實際應(yīng)用場景來看，在非無人駕駛領(lǐng)域，結(jié)構(gòu) 光，特別是散斑結(jié)構(gòu)光的用途是最廣泛。因為從精度，分辨率，還有應(yīng)用場景的范圍來看雙目和 TOF 都沒 有辦法做到最大的平衡。而且對于結(jié)構(gòu)光容易受環(huán)境光干擾，特別是太陽光影響問題，鑒于此類相機都有 紅外激光發(fā)射模塊，非常容易改造為主動雙目來彌補該問題。 ? ??
?

?當然這三種方案在發(fā)展過程中也有一些互相融合趨勢，如主動雙目+結(jié)構(gòu)光，取長補短，使 3D 相機能適應(yīng) 更多的場景。也有一些同時使用，如手機前置基本確認會采用結(jié)構(gòu)光來做 FaceId，但是后置用來做 AR 應(yīng)用， 結(jié)構(gòu)光和 TOF 都有機會。雖然項目具體使用哪種方案，要結(jié)合當前硬件資源，對性能要求等來確定，但從 最廣泛的使用角度來看，散斑結(jié)構(gòu)光無疑是目前最佳的方案。
?

?

?

————————————————
?https://blog.csdn.net/weixin_44470443/article/details/94861813

車載雙目ADAS（六）：結(jié)構(gòu)光深度相機_bobuddy的博客-CSDN博客

結(jié)構(gòu)光三維掃描概述_江南又舊雨的博客-CSDN博客?

為什么要研究《雙目結(jié)構(gòu)光》？_Orange Wu的博客-CSDN博客