自動(dòng)駕駛中的交通標(biāo)志識(shí)別原理及應(yīng)用

附贈(zèng)自動(dòng)駕駛學(xué)習(xí)資料和量產(chǎn)經(jīng)驗(yàn)：鏈接

概述

道路交通標(biāo)志和標(biāo)線(xiàn)時(shí)引導(dǎo)道路使用者有秩序使用道路，以促進(jìn)道路行車(chē)安全，而在駕駛輔助系統(tǒng)中對(duì)交通標(biāo)志的識(shí)別則可以不間斷的為整車(chē)控制提供相應(yīng)的幫助。比如禁止類(lèi)標(biāo)志可以幫助系統(tǒng)提前進(jìn)行危險(xiǎn)預(yù)判；警告類(lèi)標(biāo)志可以幫助系統(tǒng)提前進(jìn)行在某些情況下進(jìn)行提前避障處理；指示類(lèi)標(biāo)志可以幫助系統(tǒng)進(jìn)行控制預(yù)處理，以確保行車(chē)遵循道路指示。故對(duì)于交通標(biāo)示的正確識(shí)別及精準(zhǔn)應(yīng)用可以為駕駛輔助系統(tǒng)甚至自動(dòng)駕駛提供更加完美的助攻。本文將從兩方面進(jìn)行描述，分別詳述交通標(biāo)志識(shí)別的原理及應(yīng)用方法。

交通標(biāo)志識(shí)別原理

交通標(biāo)志識(shí)別又稱(chēng)為T(mén)SR（Traffic?Sign?Recognition）是指能夠在車(chē)輛行駛過(guò)程中對(duì)出現(xiàn)的道路交通標(biāo)志信息進(jìn)行采集和識(shí)別，及時(shí)向駕駛員做出指示或警告，亦或者直接控制車(chē)輛進(jìn)行操作，以保證交通通暢并預(yù)防事故的發(fā)生。在安裝有安全輔助駕駛系統(tǒng)的車(chē)輛中，如果車(chē)輛能夠提供高效的TSR系統(tǒng)，及時(shí)為駕駛員提供可靠地道路交通標(biāo)志信息，有效提高駕駛安全性和舒適性。

如下將介紹一種典型的道路交通標(biāo)志識(shí)別的方法。

TSR是根據(jù)人類(lèi)視覺(jué)系統(tǒng)辨識(shí)物體的特性，其識(shí)別原理是利用道路標(biāo)志豐富的顏色信息和固定的形狀信息進(jìn)行特征識(shí)別。具體可將識(shí)別過(guò)程分為“分隔”和“識(shí)別”兩個(gè)步驟。其中分隔是指在獲取的圖像中發(fā)現(xiàn)候選目標(biāo)，并進(jìn)行相應(yīng)的預(yù)處理，其次是交通標(biāo)志識(shí)別，包括特征提取和分類(lèi)等，最后進(jìn)一步判定目標(biāo)的真實(shí)性。

1、交通標(biāo)志分隔

交通標(biāo)志分隔實(shí)際是需要快速?gòu)膹?fù)雜的場(chǎng)景圖像中獲取可能是交通標(biāo)志的感興趣區(qū)域。然后采用模式識(shí)別的方法對(duì)感興趣區(qū)域進(jìn)行進(jìn)一步辨識(shí)，定位其具體位置。由于交通標(biāo)志功能是起到指示性、提示性和警示性等作用，他們?cè)O(shè)置都具有醒目、顏色鮮明、圖形簡(jiǎn)潔、意義明確等特點(diǎn)。因此感興趣區(qū)域通常是利用其顏色和形狀進(jìn)行的。

如下舉例說(shuō)明利用顏色如何進(jìn)行分隔。

交通標(biāo)志的顏色無(wú)疑具有顯著性特征，以顏色進(jìn)行檢測(cè)和識(shí)別的方法有很多，包括對(duì)顏色空間的各個(gè)通道或其組合進(jìn)行閾值分割或聚類(lèi)，區(qū)域分裂，顏色邊緣檢測(cè)等，用經(jīng)過(guò)訓(xùn)練的人工神經(jīng)網(wǎng)絡(luò)作為分類(lèi)器識(shí)別顏色，以顏色為索引，將目標(biāo)在直方圖與模板庫(kù)中圖像的直方圖進(jìn)行匹配，找出可能的若干模板，為下一步形狀分析做準(zhǔn)備。

目前，在交通標(biāo)志識(shí)別中常用的彩色空間包括RGB、HIS、CIE幾種，而RGB作為圖像處理中常用的三基色，是構(gòu)建其他各種顏色的基礎(chǔ)，其他顏色表示方式可以用RGB變換得到。

我們知道，對(duì)于交通標(biāo)志而言大都顏色比較單一、固定，比如紅色標(biāo)志一般表示禁令，藍(lán)色標(biāo)志一般表示指示類(lèi)，黃色標(biāo)志一般表示警告類(lèi)，這里正好利用RGB的三基色紅、黃、藍(lán)加以識(shí)別匹配來(lái)表示，但由于對(duì)于駕駛輔助系統(tǒng)功能TSR通常是一個(gè)動(dòng)態(tài)交互識(shí)別的過(guò)程，其對(duì)于光照、氣候以及陰影等干擾的影響反應(yīng)較為敏感，而RGB信息不僅代表色彩，也代表亮度，并且三基色之間存在著很大的相關(guān)性，因此，為了消除RGB顏色本身包含的亮度信息，可在RGB空間將顏色值R、G、B將在亮度上進(jìn)行歸一化，從而將一個(gè)三維空間降到二維空間表示的顏色信息，這樣RGB三基色顏色之間的亮度相關(guān)性就減小了。

由于顏色空間更多的還包含了飽和度等信息，故為了更好區(qū)分顏色與亮度信息，研究人員更多采用適合人類(lèi)視覺(jué)特性的色彩模型HSI模型來(lái)處理交通標(biāo)志識(shí)別，H表示不同顏色，S表示顏色深淺，I表示明暗程度，HSI其最大的特點(diǎn)是H、S、I之間相關(guān)性極小，在HSI空間中的每個(gè)彩色圖像都對(duì)應(yīng)著一個(gè)相對(duì)一致的色調(diào)H。

2、交通標(biāo)志識(shí)別

當(dāng)在試車(chē)環(huán)境中分割出來(lái)交通標(biāo)志信息的感興趣區(qū)域后，需要采用一定的算法對(duì)其進(jìn)行判別，以便確定它屬于哪一種具體的交通標(biāo)志，一般的判別方法包括模板匹配法、基于聚類(lèi)分析法、基于形狀分析方法、基于神經(jīng)網(wǎng)絡(luò)分析法、基于支持向量機(jī)的方法。

2.1?基于模板匹配法

模板匹配法是對(duì)交通標(biāo)志建立相應(yīng)的模板庫(kù)，當(dāng)系統(tǒng)分割出感興趣區(qū)域時(shí)，通過(guò)像素遍歷的方式與模板庫(kù)中的形狀進(jìn)行匹配，通過(guò)統(tǒng)計(jì)校驗(yàn)誤差值，選擇誤差值最小的模板庫(kù)中的標(biāo)志作為匹配到的實(shí)際交通標(biāo)志，該方法簡(jiǎn)單，但運(yùn)算量大、適應(yīng)能力差、效果不一定如預(yù)期。

2.2?基于聚類(lèi)分析法

聚類(lèi)算法是一種建立在統(tǒng)計(jì)基礎(chǔ)上的算法，抗噪聲能力強(qiáng)，適用于自然場(chǎng)景的圖像處理，聚類(lèi)算法檢測(cè)識(shí)別主要用在對(duì)顏色的識(shí)別上，由于交通標(biāo)志的顏色是固定的，因此初始聚類(lèi)中心是已知的，這就能達(dá)到很好的分類(lèi)效果。也可通過(guò)對(duì)已經(jīng)聚類(lèi)完成的區(qū)域進(jìn)行二次聚類(lèi)，這樣就能進(jìn)一步去除噪聲，達(dá)到更好的效果。

2.3?基于神經(jīng)網(wǎng)絡(luò)的方法

神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)細(xì)胞元的網(wǎng)絡(luò)結(jié)構(gòu)，由大量神經(jīng)元相互連接而成的非線(xiàn)性動(dòng)態(tài)系統(tǒng)，對(duì)于交通標(biāo)志認(rèn)知而言，利用該方法建議一個(gè)三層神經(jīng)網(wǎng)絡(luò)，分別對(duì)應(yīng)于RGB空間三通道，另外通過(guò)建立一個(gè)控制單元，網(wǎng)絡(luò)作為一個(gè)相關(guān)檢測(cè)器，如果目標(biāo)區(qū)域存在交通標(biāo)志，網(wǎng)絡(luò)輸出相應(yīng)的高頻信號(hào)，否則輸出低頻信號(hào)。

2.4?支持向量機(jī)的方法

支持向量機(jī)是一種典型的前饋神經(jīng)網(wǎng)絡(luò)方法，用于解決模式分類(lèi)和非線(xiàn)性問(wèn)題，其主要思想是建立一個(gè)最優(yōu)決策超平面，使得該平面兩側(cè)距平面最近的兩類(lèi)樣本之間的距離最大化，為分類(lèi)提供更好的泛化能力。對(duì)于非線(xiàn)性可分模式分類(lèi)問(wèn)題，需要將負(fù)責(zé)的模式分類(lèi)問(wèn)題非線(xiàn)性的投射到高維特征空間，因此只要變換是非線(xiàn)性的且特征空間維數(shù)夠高，則原始模式空間能變成一個(gè)新的高維特征空間，在該空間中，其模式以較高的概率變得線(xiàn)性可分。其中變換過(guò)程要求生成一個(gè)核函數(shù)進(jìn)行卷積，相應(yīng)典型的核函數(shù)表示如下：

高斯函數(shù)：

用于徑向集函數(shù)分類(lèi)器

內(nèi)積函數(shù)：

用于高階多項(xiàng)式集分類(lèi)器；

Sigmoid核函數(shù)：

用于實(shí)現(xiàn)一個(gè)單隱層感知器神經(jīng)網(wǎng)絡(luò)；

交通標(biāo)志識(shí)別應(yīng)用

目前交通標(biāo)志的識(shí)別技術(shù)還無(wú)法做到較高的靈敏、穩(wěn)定和準(zhǔn)確性，特別是針對(duì)受到不同季節(jié)、天氣條件影響下的光照條件有所不同導(dǎo)致采集到的圖像復(fù)雜多樣；而道路交通情況的復(fù)雜性可能造成交通標(biāo)志污損、顏色、形狀發(fā)生變化，而樹(shù)木、建筑物的遮擋又可能導(dǎo)致其無(wú)法被及時(shí)的識(shí)別到位，同時(shí)在高速駕駛過(guò)程中，由于車(chē)輛行駛抖動(dòng)等因素，可能造成圖像幀匹配過(guò)程中出現(xiàn)誤差，從而無(wú)法穩(wěn)定地識(shí)別出相應(yīng)的交通標(biāo)志。因此交通標(biāo)志識(shí)別目前在駕駛輔助領(lǐng)域還未能得到廣泛的應(yīng)用，較為成熟的應(yīng)用方案有如下幾種：

1、基于限速標(biāo)志的自動(dòng)限速

基于限速標(biāo)志的自動(dòng)限速主要是利用識(shí)別到的限速標(biāo)志顯示的限速值，自車(chē)提前進(jìn)行預(yù)判，這里我們?cè)O(shè)置幾種不同的速度值進(jìn)行比較。

VReal表示本車(chē)當(dāng)前實(shí)際巡航車(chē)速，Vtarget表示本車(chē)目標(biāo)巡航速度，Vlim表示限速值信息，Vfront表示識(shí)別到的前車(chē)車(chē)速。

根據(jù)自身車(chē)速這一敏感信息進(jìn)行如下不同程度的限速策略：

1.1?本車(chē)定速巡航：

• 當(dāng)檢測(cè)到本車(chē)VReal>Vlim且Vtarget<Vlim時(shí)，系統(tǒng)自動(dòng)根據(jù)目標(biāo)巡航車(chē)速進(jìn)行減速控制，此時(shí)需考慮限速值大小，發(fā)送較大的減速度確保本車(chē)減速到限速標(biāo)志時(shí)，其速度不大于限速標(biāo)志；

• 當(dāng)檢測(cè)到本車(chē)VReal<Vlim且Vtarget>=Vlim時(shí)，系統(tǒng)自動(dòng)根據(jù)識(shí)別到的限速值Vlim進(jìn)行減速；

• 當(dāng)檢測(cè)到本車(chē)VReal<Vlim<Vtarget時(shí),系統(tǒng)控制本車(chē)加速度斜率，確保本車(chē)通過(guò)限速牌時(shí)其速度值不大于限速值；

• 當(dāng)檢測(cè)到本車(chē)VReal<Vtarget<Vlim時(shí)，可按照正常的加速邏輯加速至目標(biāo)車(chē)速，此時(shí)需考慮加速度斜率不能出現(xiàn)加速過(guò)猛引起的駕駛恐慌；

1.2?本車(chē)跟隨前車(chē)行駛：

• 當(dāng)檢測(cè)到本車(chē)VReal>VFront>Vlim時(shí)，系統(tǒng)在確保本車(chē)不與前車(chē)碰撞的情況下進(jìn)行自動(dòng)減速控制；

• 當(dāng)檢測(cè)到本車(chē)VReal<Vlim<VFront時(shí)，系統(tǒng)在確保本車(chē)在識(shí)別距離內(nèi)不超過(guò)限速值的情況下進(jìn)行適當(dāng)加速控制；

• 當(dāng)檢測(cè)到本車(chē)Vlim<VReal<Vtarget時(shí),系統(tǒng)控制本車(chē)在一定識(shí)別距離內(nèi)減速到限速值，不跟隨前車(chē)進(jìn)行加速；

• 當(dāng)檢測(cè)到本車(chē)VFront<Vlim<VReal時(shí)，本車(chē)既可以按照目標(biāo)前車(chē)進(jìn)行減速控制，也可以按照限速值進(jìn)行控制，輸出的減速度值大小需確保在一定距離處自動(dòng)減速到限速值處；

1.3?通過(guò)限速牌后控制邏輯

以上本車(chē)進(jìn)行自動(dòng)限速后，當(dāng)車(chē)輛行駛通過(guò)限速牌，同時(shí)識(shí)別到新的限速牌時(shí)需要重新進(jìn)行速度控制，如新的限速牌限速值比當(dāng)前值小，則根據(jù)1）2）中的邏輯進(jìn)行進(jìn)一步限速，如新的限速牌限速值比當(dāng)前值大，則需要根據(jù)當(dāng)前更新后的本車(chē)實(shí)際車(chē)速、前車(chē)車(chē)速、本車(chē)目標(biāo)巡航車(chē)速進(jìn)行加速度重分配，確保限速和碰撞優(yōu)先考慮的同時(shí)進(jìn)行適當(dāng)控制。

2、?基于并道策略的提前并道

對(duì)于車(chē)輛行駛在高速路情況下來(lái)說(shuō)，駕駛車(chē)輛需要考慮在不同場(chǎng)景下進(jìn)行提前變道的問(wèn)題，目前有兩種可行方案：

• 其一，當(dāng)在一定距離前檢測(cè)到前方有并道標(biāo)志信息時(shí)，通過(guò)語(yǔ)音或儀表圖像提前提示駕駛員對(duì)車(chē)輛進(jìn)行變道控制將車(chē)輛變道至目標(biāo)車(chē)道；

• 其二，當(dāng)在一定距離前如果系統(tǒng)接收高精度地圖相關(guān)車(chē)道級(jí)別信息，則可以直接控制車(chē)輛變道至目標(biāo)車(chē)道，期間需要檢測(cè)目標(biāo)車(chē)道線(xiàn)是否為虛線(xiàn)，目標(biāo)車(chē)道是否變道安全等；

3、基于紅綠燈識(shí)別的提前剎車(chē)

基于紅綠燈標(biāo)志識(shí)別的駕駛輔助系統(tǒng)，要求在系統(tǒng)基于識(shí)別到的紅綠燈提前對(duì)車(chē)輛巡航及變道進(jìn)行控制。

主要有以下幾種控制場(chǎng)景策略：

3.1?識(shí)別到綠燈：

若本車(chē)處于跟隨前車(chē)行駛狀態(tài)，前車(chē)以較低速度行駛，本車(chē)在確保碰撞安全的前提下，繼續(xù)跟隨前車(chē)行駛，并同時(shí)實(shí)時(shí)監(jiān)控車(chē)燈變化，一旦變成黃燈，則立即停止跟隨策略，保持一定的減速至剎停；

若本車(chē)處于自車(chē)定速巡航模式，本車(chē)已達(dá)到定速值，則進(jìn)行勻速控制，若本車(chē)未達(dá)到定速值，則根據(jù)定速值進(jìn)行勻加速控制，期間需要實(shí)時(shí)監(jiān)控信號(hào)燈變化，同時(shí)控制加速斜率；

3.2?識(shí)別到黃燈：

若本車(chē)識(shí)別到黃燈，則不管本車(chē)是否處于跟車(chē)狀態(tài)，均需要控制本車(chē)減速之剎停，期間減速過(guò)程可進(jìn)行舒適性減速，由發(fā)動(dòng)機(jī)反拖轉(zhuǎn)換為制動(dòng)切入；

3.3?識(shí)別到紅燈：

若已經(jīng)識(shí)別到紅燈，則根據(jù)前車(chē)停止?fàn)顟B(tài)，確保避撞的前提下，控制本車(chē)急減速至剎停，保持本車(chē)剎停狀態(tài)下與前車(chē)1m以上的距離；

總結(jié)

自動(dòng)駕駛需要保證在道路行駛中充分遵守駕駛規(guī)則，保證系統(tǒng)控制的駕駛過(guò)程符合法律規(guī)定，交通標(biāo)志識(shí)別在自動(dòng)駕駛系統(tǒng)開(kāi)發(fā)過(guò)程中起著舉足輕重的作用，不僅能夠?yàn)橄到y(tǒng)提供各種引導(dǎo)和約束信息，如顯示當(dāng)前路段交通狀況，提示前方駕駛環(huán)境危險(xiǎn)和困難，為自動(dòng)駕駛系統(tǒng)做出警告，同時(shí)做出為駕駛安全提供相應(yīng)的指引策略。當(dāng)前交通標(biāo)志識(shí)別技術(shù)由于受到道路、環(huán)境、天氣、光照及駕駛穩(wěn)定性的影響，其識(shí)別效果魯棒性無(wú)法得到相應(yīng)的保證，這就使得該技術(shù)還無(wú)法大規(guī)模的市場(chǎng)普及應(yīng)用。當(dāng)然后續(xù)針對(duì)如上提到的對(duì)其性能的限制策略也可通過(guò)如下一些算法進(jìn)行前瞻性研究：

1. 開(kāi)展去除實(shí)際道路復(fù)雜環(huán)境干擾的預(yù)處理算法研究；如可采用圖像復(fù)原技術(shù)進(jìn)行處理運(yùn)動(dòng)模糊，采用圖像不變距理論分析處理圖像旋轉(zhuǎn)、扭曲等情況，利用幾何分析、推理及模糊理論等處理圖像遮掩問(wèn)題；

2. 發(fā)展多分辨率以及多分形技術(shù)；采用金字塔結(jié)構(gòu)的多分辨率分割算法盡心圖像分割；

3. 發(fā)展信息融合技術(shù)；利用除攝像頭這一直觀(guān)檢測(cè)的傳感器外，系統(tǒng)還可利用地圖信息，后續(xù)發(fā)展5G下的V2x信息仍舊可為本車(chē)交通標(biāo)志識(shí)別提供輔助；

4. 深入研究句法結(jié)構(gòu)模式識(shí)別技術(shù)；利用結(jié)合傳統(tǒng)統(tǒng)計(jì)學(xué)識(shí)別方法結(jié)合句法模式識(shí)別技術(shù)獲得圖像的結(jié)構(gòu)信息，進(jìn)一步深化對(duì)識(shí)別圖像標(biāo)志的理解。