第5章相關(guān)內(nèi)容，還是CSDN的傳統(tǒng)Markdown編輯器好用。
視覺前段在14講課程中已經(jīng)講過，這里再簡單復習一下。

1. 前端工作的定性比較，分析

這一節(jié)講了很多關(guān)于前端的方法框架的對比討論，后面看完了相關(guān)的論文之后強烈建議再回來聽一聽本章的第一節(jié)課。

前端和后端不太一樣，前端沒辦法放在同一個框架中把不同方法進行對比(如光流法和特征匹配法)，因為可能不同方法在其特定的工況下都能正常工作。

前端實現(xiàn)上的現(xiàn)實問題

實際上那個，前端在SLAM最終精度上的影響比后端更大，體現(xiàn)出來的更直觀，比如某一段沒有跟蹤上之類的，可能就會影響整體的精度。

比如一次仿真中，假設數(shù)據(jù)和噪聲都服從Gaussian distribution，用UKF得到了較好的實驗結(jié)果，但是在實際情況中可能并不都符合Gaussian distribution，所以這個結(jié)論不一定是能夠很好地泛化的，overfitting了。

比如有l(wèi)ocal mapping，sliding window，理論上來說全局的marg會更好，到那時實際中全局的marg計算力量過大，不太易實現(xiàn)，具體看后端能夠有多大的算了和空間來做，如果沒有的話可能就用個EKF就行了。
不同數(shù)據(jù)集間精度的對比沒有什么意義，Kitti場景簡單，動的物體比較少，EUROC可能已經(jīng)做到頭了；TUM-Mono難一點，場景較多，有過門，過墻之類的。

前端因為方法不同（比如特征點法第一步提特征點，直接法第一步求梯度，這些方法都不同，很難在方法內(nèi)（范式內(nèi)，先這樣理解）進行對比，只能在整個系統(tǒng)之間（范式間）進行對比）。

直接法基于灰度不變假設，相對于PnP來說多了乘了個像素梯度，即若該店的梯度為0，則對T的估計無用，故傾向于選擇有梯度的點，且梯度越大貢獻越大。

很多地方直接法都比特征點法好，因為可能沒辦法提取到足夠多特征點且容易feature lost。（高翔的主觀感受，具體還是需要自己去跑一跑）

光流法：PTAM，Tango，現(xiàn)在比較成熟，但缺點也明顯；
FAST+光流，GFTT+光流：很實用，很快；
特征匹配：SIFT，FURF匹配的最好，但是計算量大；
特征匹配和光流都依賴角點，提不出來的場景無法使用。

DSO達到某個誤差（如小于3）所需的迭代次數(shù)，發(fā)現(xiàn)跟使用額KF數(shù)量和選點數(shù)量有關(guān)。

2. 前端介紹（以光流來展開）

上手可以用FAST+光流來做一個看看效果。

VIO的初始化需要討論一下，下一節(jié)討論。
有一個問題：對于前端，如何保證整體框架是最優(yōu)的？即第一步計算光流，第二部估計pose…每一步的操作可以保證是最優(yōu)的，但是沒辦法保證整體這個前端框架是最優(yōu)的，大多數(shù)是工程上的經(jīng)驗，只要這樣做就能得出還不錯的結(jié)果。你也可以直接搞一個神經(jīng)網(wǎng)絡，輸入imgs輸出一堆poses和landmarks，

特征提取方法在CV普及開來之前就已經(jīng)研究出來了，如角點主要看兩個方向的梯度分布，對矩陣進行特征值分解（奇異值分解，平方之后就是特征值？特征值體現(xiàn)的是在兩個方向上的分布情況）：

• 如果兩方向梯度都接近于0，傾向于是平坦區(qū)域(flat)。
• 如果兩個方向都比較大，傾向于角點(Corner)。
• 如果是一方向較大，另一方向較小，傾向于邊(Edge)。

具體實現(xiàn)：Harris提出了一個判斷方法，計算$S_{Harris}$指標，

• 如果兩個都小，則$S_{Harris}$接近0，
• 如果都很大，則整體很大，
• 如果一大一小，則結(jié)果不大不小，
  設置閾值來判斷是否為Corner

在Harris基礎上改進了評分方式，可以指定選點的個數(shù)，根據(jù)選點個數(shù)來確定比較的閾值。

warp光流：對于光流的改進。由于視角可能會發(fā)生變化，特征塊也會變化，所以要對特征塊進行變換使得變換之后的特征塊更像待追蹤的塊（常取仿射變換），在優(yōu)化過程中，變換的參數(shù)還可以調(diào)整，以在線估計最優(yōu)的變換參數(shù)。

還可以給Warp光流加上金字塔，對高速運動的場景效果更好

2. 不能遠距離track，一個具體例子：如果相機不動，有人從面前走過，期間過了100幀圖像，那么可能第1幀和第100幀就無法track上了。
   工程上的解決方法例如track with map，上面的方法是track weith last($I_k$和$I_{k?1}track$)或者是recent，當做完之后再跟地圖去比，把地圖中的一些點往投到$I_k$中投，發(fā)現(xiàn)能夠投過來，然后再把$I_k$和$I_1$進行對比，看改點能否被track。
3. 遠近這種場景比較常見，比如遠處是空白，但是近處發(fā)現(xiàn)有紋理。
4. 角點對效果好，邊效果不好
5. 稀疏光流約束差，可能存在outlier，如稠密光流約束附近的點的亮度差不多，但稀疏沒有。

3. 關(guān)鍵幀與三角化

3.1. 關(guān)鍵幀

1. 關(guān)鍵幀是為了減小問題規(guī)模，使得后端能夠計算得過來
2. 處理相機停止的情況，避免后端退化：如果不挑選KF，camera 不動會導致逆深度計算錯誤，逆深度變成不可觀的，有多個解。
   關(guān)鍵幀選擇：
3. 不能太近：太近可能退化，或者三角化算不出深度
4. 不能太遠：太遠可能共視點過少，丟掉中間的motion

非KF只算前端，不進后端。
插入KF的一個策略：在后端算力的允許的情況下，盡可能多地插入KF，因為KF對后端是友好的（光束法平差，誤差均攤，整體誤差變小）

ORB_SLAM2后端有個local mapping，只要該線程idle時就插KF，然后對于冗余的再刪掉。

DSO使用了sliding window，窗口內(nèi)保持5~7個KF，并保持一定的展開，老的幾幀，中等的幾幀，最新的幾幀，有以下策略

• 對于老的關(guān)鍵幀，將其中的landmark投到新的里面去，如果新的里面沒有觀測到這些landmark，則marg掉老的KF。
• 每個KF都有最小壽命，防止剛進來就被marg。

3.2. 三角化

三角化的條件和時間，有的方法只在KF上提Feature，有的每幀都提。前者計算量很小，但是可能導致三角化時點不夠，效果不好；后者計算量大但是效果好。

取(10)第3行，帶入(10)，取錢兩行可得(12)，這里說一下矩陣的維度，
$P_k$：3*4，每行系數(shù)都是1*4，即$P_{k,1}^T,P_{k,2}^T,P_{k,3}^T$都是4*1
$y$：4*1
(13)中D矩陣每行都是4*1，由于每次觀測會有u,v兩個方程，所以一次觀測就是$(2?1)?4$行的D，n此就是$2n?4$行。

求解

1. 作業(yè)待解：為什么取$y=u_4$
2. 由于系數(shù)矩陣容易滿秩，故尋求最小二乘的數(shù)值解，對$D^{T}D$進行奇異值分解(SVD)，分解出的奇異值一般是從大到小排列，$D^{T}D$是$4?4$的，4個奇異值，判斷該解是否有效（判斷三角化是否成立），看${\sigma }_4<<{\sigma }_3$(經(jīng)驗上取1e-2~1e-4算遠小于，也可以卡得更嚴一點更小一點)是否成立，${\sigma }_1{\sigma }_2{\sigma }_3$組成了一個三維的空間，${\sigma }_4$是零空間
3. D的數(shù)值可能不穩(wěn)定，數(shù)值過大的話會導致較小值的影響體現(xiàn)不出來，需要對D進行rescale，取值方法取為一個對角陣，取D最大元素之逆。
4. 還需要檢測深度是否滿足正確條件。