相信很多大家對自動駕駛雨天也能平穩(wěn)規(guī)劃，北理港中文騰訊提出端到端學習道路幾何圖形還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

用幾何圖形來實時構(gòu)建高精地圖，真香!

就是雨天也不在話下~

我們都知道，實時高精地圖，能為自動駕駛汽車提供及時、緊湊且語義豐富的環(huán)境信息。但如何提高它的穩(wěn)健性、有效應對各種復雜場景，成為一大挑戰(zhàn)。

來自北理、港中文、騰訊AI Lab團隊引入一種新表征學習方法——GeMap，端到端學習地圖實例中的幾何形狀和關(guān)系。

結(jié)果在各種遮擋、路口轉(zhuǎn)彎的場景也能表現(xiàn)平穩(wěn)，并實現(xiàn)SOTA。該論文被ECCV2024收錄。

來看看這到底是如何做到的?

高精地圖的幾何表示

在線矢量化高清 （HD） 地圖的構(gòu)建對于下游預測和規(guī)劃至關(guān)重要。

然而，城市道路系統(tǒng)中實例的形狀和關(guān)系仍未得到充分探索，例如矩形、平行、垂直或特定車道寬度。

此外，當車輛前進或轉(zhuǎn)彎時，這些形狀和關(guān)系屬性將保持不變。以前的方法基于絕對坐標來格式化實例，在這種情況下，絕對坐標對平移和旋轉(zhuǎn)很敏感。

團隊提出了GeMap（幾何地圖），它以端到端的方式學習地圖實例的歐幾里得形狀和關(guān)系，超越了基本感知。

來看看具體框架。

首先，透視圖 （PV） 圖像被轉(zhuǎn)換為鳥瞰圖 (BEV) 特征，然后幾何解耦解碼器輸出矢量化高清地圖。

在解碼器的每個塊中，查詢首先通過歐幾里得形狀和關(guān)系注意力進行處理，重點關(guān)注幾何相關(guān)性。

最后，通過形狀和關(guān)系約束在 G-Representations 中增強預測。

幾何表示。

團隊引入了捕捉單個地圖實例的形狀（歐幾里得形狀線索）和不同實例之間的關(guān)系(歐幾里得關(guān)系線索)的幾何表示。

歐幾里得形狀線索。位移向量的長度和相鄰向量之間的角度構(gòu)成形狀線索，用于計算形狀損失。例如，矩形與90度角和兩個相等的邊相關(guān)。

歐幾里得關(guān)系線索。點對之間的距離和位移矢量對之間的角度表示關(guān)系線索。關(guān)系線索與歐幾里得關(guān)系幾何有更表面的聯(lián)系，例如平行或垂直。

幾何解耦注意力。

一種被MapTR，PivotNet等采用的架構(gòu)將地圖元素上的每一個點對應到Transformer的一個查詢。這一架構(gòu)的問題在于:對兩大類的幾何性質(zhì)（關(guān)系和形狀）不加區(qū)分。

在自注意力中，所有查詢（也就是“點”）之間都平等地相互作用。然而，地圖元素的形狀對應著一組一組的查詢。這些組之間的交互，在感知元素形狀時就成為了累贅。反之在感知元素之間關(guān)聯(lián)的時候，形狀亦成為了冗余因素。這意味著將形狀、關(guān)聯(lián)的感知解耦，可能帶來更好的結(jié)果。

他們提出了幾何解耦注意力（GDA）。GDA 將 vanilla 自注意力模塊解耦為歐幾里得形狀注意力(捕獲實例內(nèi)幾何)和歐幾里得關(guān)系注意力(捕獲實例間幾何)。

實驗結(jié)果

他們在nuScenes和Argoverse2兩個數(shù)據(jù)集上進行了大量實驗。

兩者都是常用的大規(guī)模自動駕駛數(shù)據(jù)集，且提供了地圖標注。

主要結(jié)果。

在nuScenes上，他們進行了三組實驗。

我們首先使用了一種比較純粹的目標函數(shù)組合，只包括幾何損失和其它必要的損失（如點到點距離、邊的方向、分類），這一組合是為了體現(xiàn)我們提出的幾何性質(zhì)的重要價值，而不過多追求SOTA的結(jié)果。

可以看到，在這種情況下，相比于MapTR，我們的方法能在mAP提升了4%。為了探索GeMap的極限，團隊還加上了一些輔助目標，包括分割和深度估計，在這種情況下實現(xiàn)了SOTA（mAP提升0.7%）。

值得注意的是，取得這樣的提升并不需要犧牲太多的推理速度。

最后，我們還嘗試了引入額外的LiDAR模態(tài)輸入，在額外模態(tài)輸入的加持下，GeMap的性能也能取得進一步提升。

同樣，在Argoverse2數(shù)據(jù)集上也取得了非常突出的效果。

消融實驗。

在nuScenes上進一步進行的消融實驗證明了幾何損失和幾何解耦注意力的價值。

有趣的是，正如團隊所預料的，直接使用幾何損失反而會帶來模型表現(xiàn)的下降。他們認為這是因為結(jié)構(gòu)上的對形狀和關(guān)聯(lián)處理的耦合，導致模型很難優(yōu)化幾何表示;而在與幾何解耦注意力結(jié)合之后，幾何損失就發(fā)揮了應有的作用。

更多結(jié)果。

此外，我們還在nuScenes上進行了可視化分析?？梢暬慕Y(jié)果表明，GeMap除了具有對旋轉(zhuǎn)和平移的魯棒性，在處理遮擋問題上也表現(xiàn)出了一定優(yōu)勢，如下圖。圖中有挑戰(zhàn)性的地圖元素使用橘色方框標出。

對于對遮擋的魯棒性，在雨天的實驗結(jié)果中也得到了定量驗證。

（因為雨水對相機有天然的遮擋）

這可以解釋為模型學到了幾何性質(zhì)，因此即使有遮擋，也能更好地猜出地圖元素。

例如，模型理解了車道線的形狀，那么只需要”看到“一部分，就能夠估計剩下的部分;模型理解了車道線之間的平行關(guān)系，或者車道的寬度特點，因此哪怕其中一條被遮擋，也能根據(jù)平行、寬度因素猜測被遮擋的部分。

在自動駕駛系統(tǒng)中，幾何性質(zhì)實際上廣泛存在。

例如，在3D目標檢測中，車輛的朝向在同車道上通常具有一致性;在運動預測中，軌跡本身具有形狀上的先驗;在3D車道線檢測中具有車道寬度先驗。

GeMap的建模幾何性質(zhì)的思路可以恰當?shù)財U展到上述更多的自動駕駛?cè)蝿罩?，從幾何角度增強整個自動駕駛系統(tǒng)的性能。

不過，GeMap本身的感知距離相對有限，可以對此進行針對性的改進以增強長距離的感知。

比較常見的思路包括增加時序融合模塊;將相機、激光雷達、毫米波雷達等多種傳感器輸入有機地融合，實現(xiàn)感知距離上的優(yōu)勢互補。

論文鏈接:https://arxiv.org/abs/2312.03341

項目主頁:https://invictus717.github.io/GeMap/

GitHub源代碼:https://github.com/cnzzx/GeMap

以上就是關(guān)于【自動駕駛雨天也能平穩(wěn)規(guī)劃，北理港中文騰訊提出端到端學習道路幾何圖形】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權(quán)請聯(lián)系刪除！