一. 簡述

原文:Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline
FAST BEV是一種高性能、快速推理和部署友好的解決方案，專為自動駕駛車載芯片設計。該框架主要包括以下五個部分：

Fast-Ray變換：這是一種輕量級的、部署友好的視圖變換，它將多視圖2D圖像特征沿著相機射線的體素投影到3D，從而快速獲得BEV（鳥瞰圖）表示。相較于傳統(tǒng)方法，這種變換方式顯著提升了推理速度，使得多尺度投影操作變得更為高效和實用。
多尺度圖像編碼器：利用多尺度信息來獲取更好的性能。通過多尺度投影操作，編碼器能夠充分利用不同尺度的圖像特征，從而增強BEV感知的準確性和魯棒性。
高效BEV編碼器：專為加速車載推理而設計。通過使用少量的原始殘差網(wǎng)絡作為基本BEV編碼器，該部分能夠在保證性能的同時，進一步降低計算復雜度和推理時間。
數(shù)據(jù)增強：針對圖像和BEV空間的強大數(shù)據(jù)增強策略，以避免過度擬合。通過引入各種數(shù)據(jù)變換和增強技術，可以提高模型的泛化能力，使其在面對不同場景和復雜環(huán)境時仍能保持良好的性能。
時間融合：利用時間信息的多幀特征融合機制。通過融合多幀圖像的特征信息，該部分能夠捕捉動態(tài)場景中物體的運動軌跡和狀態(tài)變化，從而進一步提升BEV感知的準確性和實時性。
FAST BEV的優(yōu)勢在于其能夠在保證高性能的同時，實現(xiàn)快速推理和方便部署。這使得它成為自動駕駛車載芯片上一種理想的解決方案。此外，相較于傳統(tǒng)方法，FAST BEV無需使用昂貴的視圖變換器或深度表示，從而降低了硬件成本和維護難度。

綜上所述，FAST BEV通過優(yōu)化視圖變換、編碼器設計、數(shù)據(jù)增強和時間融合等方面，實現(xiàn)了高性能、快速推理和部署友好的自動駕駛解決方案。隨著自動駕駛技術的不斷發(fā)展，FAST BEV有望在未來發(fā)揮更大的作用。

二. 輸入輸出

FAST BEV的輸入主要是多相機RGB圖像，
輸出則是預測的3D邊界框（包括速度）和地圖分割結果。

通過一系列的處理步驟，如Fast-Ray變換、多尺度圖像編碼、高效BEV編碼等，對輸入的RGB圖像進行特征提取、視圖變換和編碼，最終輸出3D邊界框和地圖分割結果。

三. github資源

源碼: https://github.com/Sense-GVT/Fast-BEV
使用CUDA和TensorRT進行Fast-BEV推理: https://github.com/Mandylove1993/CUDA-FastBEV
https://github.com/linClubs/FastBEV-ROS-TensorRT

Fast-BEV代碼復現(xiàn)實踐: https://blog.csdn.net/h904798869/article/details/130317240
Fast Bev在ubuntu上的復現(xiàn)過程以及error匯總: https://blog.csdn.net/qq_42704750/article/details/130280567
復現(xiàn)教程1 : https://zhuanlan.zhihu.com/p/631504194

四. 復現(xiàn)推理過程

4.1 cuda tensorrt 版

參考鏈接:https://github.com/Mandylove1993/CUDA-FastBEV

提供了PTQ和QAT的int8量化代碼,
PTQ （Post-Training Quantization）是在模型訓練完成后進行的量化,通過分析訓練好的模型的權重和激活的分布來確定量化參數(shù)（如縮放因子和零點偏移）。
QAT（Quantization Aware Training）通過在訓練過程中模擬量化操作來優(yōu)化模型的權重，以減少量化帶來的精度損失。
int8量化代碼: 將模型的權重從浮點數(shù)轉換為int8。在推理過程中，將模型的激活從浮點數(shù)轉換為int8。在計算層輸出時，將int8值轉換回浮點數(shù)以便進行后續(xù)計算。

問題1:
CUDA和TensorRT進行Fast-BEV推理
缺少的 在此下載NVIDIA-AI-IOT/Lidar_AI_Solution https://github.com/NVIDIA-AI-IOT/Lidar_AI_Solution/tree/master

 ../dependencies/stb../dependencies/pybind11/include../libraries/cuOSD/src../libraries/3DSparseConvolution/libspconv/include

問題2:
安裝mmcv mmdet mmdet3d 參考:https://blog.csdn.net/h904798869/article/details/130317240版本如下:

問題3:
安裝spconv:

pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.htmlgit clone https://github.com/traveller59/spconv.git 
cd spconv
git checkout v1.2.1
git submodule update --init --recursive 
python setup.py bdist_wheelcd ./dist
pip install spconv-.....python 
import spconv

問題5:https://blog.51cto.com/u_15906550/5921374