截止目前，按技術(shù)特點(diǎn)，自動駕駛技術(shù)大致經(jīng)歷了三代發(fā)展：第一代自動駕駛技術(shù)以后融合感知技術(shù)，高精度地圖，基于慣導(dǎo)、GPS定位系統(tǒng)，預(yù)測模塊，基于優(yōu)化、搜索的規(guī)控等組成。第一代比較成熟的自動駕駛技術(shù)的框架其實(shí)在2017年已經(jīng)很清晰了，博主本人在2017年參加京東JRC X機(jī)器人挑戰(zhàn)賽時(shí)即采用的當(dāng)下第一代自動駕駛技術(shù)架構(gòu)，即整體框架基于ros，增加了數(shù)據(jù)收發(fā)、任務(wù)收發(fā)和完成的確認(rèn)機(jī)制，感知硬件采用Kinect V2，使用YOLO做目標(biāo)識別、檢測，然后對檢測出目標(biāo)框做大數(shù)中值濾波，得到目標(biāo)物體上接近中心的位置分布，最后根據(jù)像素uv和深度d求目標(biāo)位置再將位置坐標(biāo)轉(zhuǎn)換到機(jī)械臂坐標(biāo)系下。定位模塊硬件上包括IMU和單線激光雷達(dá)，采用Gmapping模塊進(jìn)行定位，最后的將感知信息、定位信息輸入決策模塊，決策模塊通過狀態(tài)機(jī)進(jìn)行任務(wù)規(guī)劃，A*、D*算法進(jìn)行全局路徑規(guī)劃，基于貝塞爾曲線、粒子濾波等進(jìn)行局部路徑規(guī)劃。經(jīng)調(diào)研了和了解，目前技術(shù)棧主要基于后融合及感知、定位、預(yù)測、規(guī)控各模塊序貫架構(gòu)的公司有陜汽、千掛科技、慧拓、以及小米汽車等。

第二代自動駕駛系統(tǒng)在第一代自動駕駛方案基礎(chǔ)上，算法框架統(tǒng)一BEV框架，感知采用了基于共享主干網(wǎng)的Transformer多任務(wù)感知模型，在輸出目標(biāo)感知的同時(shí)，幾乎所有框架也都包含Occupancy預(yù)測，同時(shí)基于本地實(shí)時(shí)地圖生成方法降低了系統(tǒng)對高精度地圖的依賴，規(guī)控部分仍以搜索和優(yōu)化方法為主。第二代自動駕駛技術(shù)是當(dāng)前比較主流自動駕駛方案，最早以特斯拉AI Day上分享的基于共享主干網(wǎng)絡(luò)的多任務(wù)感知模型和基于動態(tài)交互樹的決策、軌跡優(yōu)化模型最為經(jīng)典，當(dāng)前包括小鵬的Xnet架構(gòu)，百度、華為、小馬智行、元戎啟行、贏徹、智加科技等都有相關(guān)的會議報(bào)告或公開資料展示其基于BEV的第二代自動駕駛技術(shù)方案。

第三代自動駕駛系統(tǒng)誕生于chatGPT大火之后，chatGPT相比于之前指令式聊天模型有了質(zhì)的飛躍，具備根據(jù)前后文進(jìn)行多輪推理，生成超長回答，支持多模態(tài)輸入，智力水平接近人類等特點(diǎn)，其背后代表性技術(shù)為基于Transformer的億級參數(shù)大模型和基于巨量網(wǎng)絡(luò)數(shù)據(jù)的RLHF（人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)。chatGPT主要用于自然語言領(lǐng)域，屬于時(shí)序建模方法，與自動駕駛技術(shù)有一定相似性，自動駕駛也需要基于當(dāng)前觀測和歷史觀測給出車輛當(dāng)前和未來一段時(shí)間控制信號或數(shù)據(jù)。因此，很快在自動駕駛領(lǐng)域得到應(yīng)用。第三代自動駕駛系統(tǒng)和第二代框架相同，均是基于BEV框架，但感知、規(guī)控算法開始采用端到端的方式，并在訓(xùn)練通用自動駕駛控制器的同時(shí)，利用大規(guī)模語料數(shù)據(jù)訓(xùn)練模型的自動駕駛場景描述能力，代表性工作如2023年CVPR Best Paper UniAD和毫末智行的DriveGPT。當(dāng)前毫末智行公布的涉及第三代自動駕駛方案資料最多，其構(gòu)建的DriverGPT，據(jù)PPT演示稱完成了實(shí)車城區(qū)自動駕駛，并能根據(jù)視覺數(shù)據(jù)用自然語言推理當(dāng)前自動駕駛系統(tǒng)規(guī)劃和決策的合理性。實(shí)際產(chǎn)品要等到2024年才會上市，具體第三代自動駕駛系統(tǒng)表現(xiàn)如何還得看實(shí)際測試效果。當(dāng)前，百度也在布局基于大模型、強(qiáng)化學(xué)習(xí)端到端的自動駕駛系統(tǒng)研究，并招募相關(guān)人才。

與自動駕駛技術(shù)發(fā)展相對應(yīng)的，硬件平臺與平臺算力也在同步發(fā)展，當(dāng)前感知模塊占用自動駕駛系統(tǒng)絕大部分算力，因此硬件平臺發(fā)展與當(dāng)下主要感知模型架構(gòu)密切相關(guān)。2018年感知模型以ResNet為代表，參數(shù)量大概百萬級。代表性的硬件芯片有TI TDA4、英偉達(dá)Xaiver、地平線J3，算力需求大概30TOPS。后面EfficientNet出現(xiàn)，其在ImageNet上的準(zhǔn)確率為84.3%，高于ResNet-200的79%，但其推理速度較ResNet在TPU上快6.1倍，在GPU上快3.3倍，其參數(shù)范圍達(dá)到千萬級，與其對應(yīng)的硬件平臺為地平線J5、英偉達(dá)Orin。當(dāng)前隨著transformer相關(guān)模型的上車加速，模型參數(shù)已經(jīng)到達(dá)億級，相應(yīng)的硬件也在積極適配transformer相關(guān)模型參數(shù)及算力需求，地平線J5也有相應(yīng)的工具鏈可以部署transformer相關(guān)模型，但完全適配transformer大模型的則是地平線BPU Nash架構(gòu)，可以部署大規(guī)模transformer&GPT大模型，并支持蒙特卡洛樹搜索（Alpha Go主要技術(shù)之一，可實(shí)現(xiàn)復(fù)雜、超大求解空間快速搜索）。硬件雖然更新速度較快，但目前還不能滿足自動駕駛系統(tǒng)移動端算力、架構(gòu)需求，當(dāng)前根據(jù)一眾大佬預(yù)測完全L4級RoboTaxi的算力需求大約在2000TOPS左右，與英偉達(dá)下一代自動駕駛SOC Thor算力相同。 作者：不優(yōu)秀博仕Hanker https://www.bilibili.com/read/cv27265402/?spm_id_from=333.999.0.0 出處：bilibili