VIO三相性與世界觀室內(nèi)ALL IN ONE 首先以此鏈接先對近期工作的視頻做個正經(jīng)的引流，完成得這么好的效果，僅僅是因為知乎限流1分鐘以內(nèi)的視頻，導致整個瀏覽量不到300，讓人非常不爽。

這套系統(tǒng)已經(jīng)完成了，很快將正式發(fā)布，室外180米實測平移偏差也控制在了0.6%左右，最后1米上下徘徊，旋轉無偏。標題其實和今天的文章關系不大，主要是梳理下稠密和稀疏的重點落地與應用。

先列一下最近的一些工作背景上的思考：

在接下來的 10 年，機器人融合融態(tài)感知即將迎來劇烈的變化，尤其是以視覺為主的融合融態(tài)感知，隨著成本的降低與性能的提升，將廣泛應用于導航面與操作面，為社會帶來深遠的變化。想象一臺能為老年人完成 30+種養(yǎng)老服務任務并進行交流互動的 robots，在 5-10 年這個階段不再是科幻。接下來 1-5 年內(nèi)單任務/少任務/集群式機器人也將在我們的工業(yè)面和社會面廣泛的被使用，不僅僅是特斯拉，DJI等。

但是我國在機器人領域其實與北美差距仍然很大，看似供應鏈強大，但大量機器人仍然 停留在中低端領域，先不提具體操作和任務面(離全面通過機器人內(nèi)感知系統(tǒng)完成仍然有很大的距離)，就以最基本的導航和定位面(SLAM)仍然高度依賴線掃雷達與固態(tài)雷達。以 SKYDIO 為例，DJI 作為龍頭多年早已構筑了核心優(yōu)勢市場，但是 SKYDIO 仍然通過與 Nividia 與 CUDA 生態(tài)的深綁定，北美優(yōu)秀高校專業(yè)人才，通過強大的 VIO 與其機體世界觀構建技術開始了對 我國巨頭“彎道”超車之旅。

SLAM 面首先應該極致的完成，這樣各種機體才能真正進入任務面，進入自感知任務面后，我們才有機會真正在邊緣端大量完成自感知多任務 Robots 系統(tǒng)。而這一塊，將是未來真正的藍海，同時機會屬于中國。

目前我們的短板眾多，首先就是通核 SOC 整體設計水準的低下：

1. 高端通核 SOC 設計水準遠低于 Nividia 與 Intel，缺乏生態(tài)，國內(nèi)廠家普遍依賴 CUDA，高端通核在 V8.2 框架上的幾家優(yōu)秀廠家都有同類問題，部分普通廠家開始深卷 NPU 等整型矩陣乘法卷積器，天花板有限。

2. 中端通核 SOC 普遍設計閹割或存在VI/VO短板，CPU/NPU/GPU/DSP 等均存在相當?shù)脑O計缺陷， 僅適用于簡單落地及應用。

3. 低端 SOC/MCU 普遍缺乏 DSP 與 FPU 設計，離 STM32 等 MCU 中高端設計的距離較大， 系統(tǒng)整體耦合程度低效。

其次程序員平均水準雖然不錯，但是頂尖人才匱乏，普遍擅長面向對象，面向函數(shù)開發(fā)， 底層開發(fā)設計能力不足，ECS開發(fā)人才稀缺并集中在游戲公司(如米哈游)。

只有軟件/硬件/算法能力需全部拉通，我國的自感知多任務機器人才會得到真正蓬勃和廣泛 的發(fā)展。

這也就是我們這18個月以來工作的意義和目的，接下來聊聊稀疏與稠密：

稀疏篇：

1.稀疏最大的問題是沒有好的世界觀，所有的作業(yè)高度依賴重定位。

2.稀疏源自特征點法，稀疏的存在和能力的脆弱導致大量其他工作需要被耦合，如IMU緊耦合，輪速計耦合。

3.稀疏如果落具體作業(yè)面，還需要增加更多的內(nèi)感傳感器，如單點雷達，如大面陣i-TOF。

4.稀疏在常態(tài)化運作中還需要結合NPU或松耦合的深度相機的能力去除動態(tài)目標物，用起來非常麻煩。

5.稀疏并非一無是處，稀疏VIO能夠很好地控制和管理三相性：開銷/魯棒/精度，在外界干擾有限的情況下可以很好地工作，在特定場景下可以通過特征點向圖像的逆反饋反手進入NPU實現(xiàn)一系列有意思的識別和行為判斷。

6.稀疏可以進行收斂，成為半稠密/稠密系統(tǒng)的回環(huán)模塊，以空間重定位輔助半稠密/稠密系統(tǒng)的運行。

7.無論ORBSLAM還是VINS，均可以以稀疏為骨干，構建稠密，但是三相性被破壞，處理難以實時。

稠密篇：

1.真正的稠密開銷極高，三相性的第一條就不被滿足。通常以離線方式運行，也有做得比較好的通過Local和Global實現(xiàn)，全局系統(tǒng)上主機的處理能力極強。圖例是以稀疏構建稠密(來源于CSDN博主Darren_pty)

2.還有一種稠密是先以強力的裝置，如激光雷達構建先驗，再通過稀疏去匹配，在固定場景作業(yè)中，這是一種非常優(yōu)秀的做法，點云的數(shù)據(jù)結構與存儲調用的處理是一個難點。

3.第三種稠密，或者叫半稠密/半稀疏都可以，就是如下圖或開始的鏈接中的效果了

這個實現(xiàn)常見的來源有DSO/ORBSLAM/LSD各種暴力深化，實現(xiàn)過程非常復雜就不多bb了，為了保持魯棒性往往耦合IMU，這一類的方法具備幾個巨大的優(yōu)勢：

(1)首先相對激光雷達，系統(tǒng)有非常強勁的視覺紋理的連貫處理能力，尤其是對高度類似的地表信息，可以建立罕見的物體或地表爬紋能力，遠超激光雷達和深度相機。在草地，公里，石板甚至是有光的綜合管廊(或增加補光，雪地或光滑地表失效)，均存在著精確位姿定位的可能性，這是其他所有傳感器都無法達到和實現(xiàn)的能力。按照目前的開發(fā)與實驗經(jīng)驗，當單幀處理的點數(shù)量>1500個時，此類能力被很好的建立，數(shù)量壓倒質量。

(2)其次，此類半稠密點云本身就構建了和激光雷達類似的點云形態(tài)VIO三相性與世界觀室內(nèi)ALL IN ONE，可以直接用于規(guī)劃處理，擁有實時的世界觀，整個規(guī)劃工作變得更加類似自動駕駛，重定位的作用權重急劇下降。

(3)此類方法能夠更好地通過各類幾何方法構建更稠密的建圖，同時也沒有丟失深度信息向視覺信息的逆反饋能力。

(4)缺點是開銷仍然很高，有DSP和FPU依賴。