華為提出適用于彎道的車道線檢測方法 CurveLane-NAS
本文來源:智車科技 作者:白墨
/ 導讀 /
車道線檢測,作為自動駕駛最基礎也最重要的任務之一。從傳統(tǒng)車道線檢測方法到使用深度學習的檢測方法,近年也一直是從業(yè)人員的熱門研究對象。華為諾亞方舟實驗室與中山大學近日發(fā)表了一個新方法CurveLane-NAS,旨在解決彎道車道線檢測問題。同時,還發(fā)布了一個車道檢測數(shù)據(jù)集CurveLanes,是目前最大也是最難的車道檢測數(shù)據(jù)集。
CurveLanes:車道檢測數(shù)據(jù)集
在車道線檢測領域,有很多可供使用數(shù)據(jù)集。作為參考,總結如下:
· TuSimple
· CULane
· Mapillry
· Caltech Lanes
· VPGNet
· BDD100K
· ApolloScape
· DIML
· Jiqing Expressway
· DET
· 3D Lane Synthetic Dataset
· Jiqing Expressway
· The Lane Marker Dataset
· A Dataset for Lane Instance Segmentation in Urban Environments
其中TuSimple和CULane是最常用的數(shù)據(jù)集。TuSimple數(shù)據(jù)集難度較低,場景多為高速公路;CULane數(shù)據(jù)集場景多為城區(qū),難度高于TuSimple。
但是,這些數(shù)據(jù)集中的車道大多為直線車道。TuSimple數(shù)據(jù)集中只有30%的圖像包含彎道,而CULane數(shù)據(jù)集中僅僅只有約2.1%的圖像包含彎道。直線車道的檢測任務相對簡單,彎道為車道線檢測工作提高了難度,尤其遠處的彎道很難被識別與檢測。而彎道的檢測卻尤為重要,對于后續(xù)工作(如軌跡規(guī)劃)提供了關鍵的基礎。
因此,此次華為發(fā)布的CurveLanes數(shù)據(jù)集中90%以上都是曲線車道,約包含13萬5000張圖像(共15萬張圖像)。為今后曲線車道檢測工作提供了一個更具挑戰(zhàn)性的基準。
該數(shù)據(jù)集采用三次樣條曲線手動標注所有車道線,包括很多較為復雜的場景,如S路、Y車道,還有夜間和多車道的場景。分為三個部分:訓練集10萬張,驗證集2萬張,測試集3萬張。分辨率為2650×1440。(下載地址見文末)
CurveLane-NAS:曲線車道檢測方法
車道線檢測一般基于單目攝像頭,檢測方法可以分為兩類:傳統(tǒng)圖像處理方法和深度學習方法。
傳統(tǒng)的圖像處理方法非常依賴人工提取特征來檢測車道線。其中最常用的是基于顏色和結構的特征,并與霍夫變換相結合,然后再對檢測到的線段進行擬合等后處理得到完整車道線。實際的場景會由于光照、陰影等因素而發(fā)生變化,引發(fā)魯棒性問題,因此存在許多挑戰(zhàn)。
隨著機器學習領域的發(fā)展,比起人工構建特征,通過數(shù)據(jù)自動提取特征的方式被證明效果會更好。其中,最常見是基于CNN的方法(例如SCNN和Line-CNN等)。SCNN等方法通常采用密集預測公式,即將車道檢測視為語義分割任務,圖像中的每個像素都分配有標簽以指示其是否屬于車道線,具有較重的編碼器-解碼器結構。但是有些方法通常需要事先預設好車道數(shù),或是一般使用較小的輸入圖像,這就導致這些方法很難預測曲線車道遠處的部分。Line-CNN等方法基于候選區(qū)域,通過預測多個候選錨點或線段可以擺脫低效的解碼器和事先預設的車道數(shù)。但是,由于基于候選區(qū)域,它們對曲率時刻變化的彎道捕捉不夠靈活。
在論文《CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending》中,華為與中大提出了一個名為CurveLane-NAS的新方法,是一種簡單而有效的多目標搜索算法,為每個特征層準確分配具有合理感受野和空間分辨率的計算,旨在高效性和準確性之間達到最佳平衡。
NAS(網(wǎng)絡結構搜索)簡單來講就是定義網(wǎng)絡結構參數(shù)的自動調(diào)優(yōu)。先定義搜索空間,然后通過搜索策略找出候選網(wǎng)絡結構,對它們進行評估,再根據(jù)反饋進行下一輪的搜索。網(wǎng)絡結構搜索策略有很多,包括基于強化學習的方法,基于進化算法的方法,基于梯度的方法等。CurveLane-NAS基于進化算法,設計了一個搜索空間和基于樣本的多目標搜索算法,來解決曲線車道的檢測問題。
該算法包括三個模塊:彈性骨干搜索模塊、特征融合搜索模塊和自適應點混合模塊,如上圖所示。彈性骨干搜索模塊用于在多尺寸特征圖上分配不同的計算量。該研究設計了“彈性”的搜索空間,在原來的ResNet18/50中,將通道大小塊加倍的位置固定在每個階段的開始。這樣在搜索過程中,無需使用預先訓練的ImageNet模型,即可從頭開始以大批量對模型進行良好的訓練。特征融合搜索模塊用于為更好得融合多級特征間的不同信息。對于車道線檢車來說,前期的特征通過其局部圖案包含更準確的短距離曲線信息,而后期的特征可以捕捉到遠距離的相干車道信息。自適應點混合模塊用于搜索新穎的多級后處理細化策略,以結合多級Head預測,并允許對形狀變化和遠方車道進行魯棒性更高的預測。在Line-NMS的基礎上,考慮多層次特征預測問題,使用點混合技術進行車道敏感的預測。
總結
雖然CurveLane-NAS是為曲線車道設計的算法,但在97%以上都直線車道的數(shù)據(jù)集CULane上表現(xiàn)依然非常良好。在華為發(fā)布的新數(shù)據(jù)集CurveLanes上,現(xiàn)有的算法如SCNN和SAD的性能卻有所下降,而CurveLane-NAS的表現(xiàn)十分優(yōu)秀,與現(xiàn)有的算法相比,實現(xiàn)了準確性和高效性的平衡。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
推薦專題
- 項目經(jīng)理(汽車內(nèi)飾&汽車電子) 伯恩光學(惠州)有限公司
- 結構工程師-汽車電子事業(yè)部(J10116) 深圳奧尼電子股份有限公司
- 產(chǎn)品工程師(汽車) 易思維(杭州)科技股份有限公司
- 銷售總監(jiān)-汽車電子方向 深圳市智立方自動化設備股份有限公司
- IE工程師(汽車智聯(lián)) 惠州碩貝德無線科技股份有限公司
- 銷售經(jīng)理(汽車新能源行業(yè)) 廣州瑞松智能科技股份有限公司
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市