對象聚類驅(qū)動(dòng)車道圖提取：如何讓自動(dòng)駕駛在復(fù)雜路況中更精準(zhǔn)？

在自動(dòng)駕駛的世界里，車輛需要精確理解周圍環(huán)境才能安全行駛，而車道圖提取則是這一過程中的關(guān)鍵環(huán)節(jié)。傳統(tǒng)方法往往將物體檢測與車道圖提取視為兩個(gè)獨(dú)立任務(wù)，但這種隔離式處理方式忽略了它們之間的內(nèi)在聯(lián)系。想象一下，如果車輛能夠像人類駕駛員那樣，通過觀察其他車輛的位置來輔助識(shí)別車道，會(huì)發(fā)生什么？這正是本文要探討的創(chuàng)新方法——通過物體-車道聚類來提升車道圖提取的精度。當(dāng)?shù)缆窐?biāo)記模糊不清或被遮擋時(shí)，其他車輛的位置分布可能恰恰提供了理解道路結(jié)構(gòu)的關(guān)鍵線索。這種方法不僅在理論上合理，實(shí)驗(yàn)結(jié)果也證明它能顯著提升現(xiàn)有技術(shù)的表現(xiàn)，特別是在復(fù)雜路況如環(huán)島和十字路口等場景中。

道路視覺解析

自動(dòng)駕駛車輛要安全上路，必須能準(zhǔn)確理解周圍的道路環(huán)境。想象你駕駛在一條陌生的道路上，如果看不清道路標(biāo)線或不了解道路結(jié)構(gòu)，你會(huì)感到無所適從。自動(dòng)駕駛系統(tǒng)也面臨同樣的挑戰(zhàn)，只是它們通過攝像頭、雷達(dá)和激光雷達(dá)等傳感器來＂觀察＂世界。

目前，自動(dòng)駕駛的場景理解主要依賴兩大技術(shù)：物體檢測和車道圖提取。物體檢測負(fù)責(zé)識(shí)別周圍的車輛、行人和障礙物，確定它們的位置和運(yùn)動(dòng)方向；車道圖提取則負(fù)責(zé)理解道路結(jié)構(gòu)，包括車道線、行駛方向和連接關(guān)系等。這些信息對后續(xù)的路徑規(guī)劃和決策至關(guān)重要。

傳統(tǒng)的車道圖提取方法大多依賴高清地圖（HD-Maps），這些地圖由專業(yè)設(shè)備在離線狀態(tài)下生成，詳細(xì)記錄了道路的精確結(jié)構(gòu)。但這種方法有明顯缺陷：高清地圖覆蓋范圍有限，難以應(yīng)對道路施工、臨時(shí)封閉等動(dòng)態(tài)變化，且更新周期長。正如2022年NuScenes數(shù)據(jù)集的研究顯示，即使是頂級自動(dòng)駕駛公司的高清地圖，覆蓋率也僅限于少數(shù)城市的核心區(qū)域。

在線車道圖提取技術(shù)應(yīng)運(yùn)而生，試圖直接從車載攝像頭實(shí)時(shí)提取道路信息。早期的方法主要關(guān)注車道線檢測，如2018年提出的SCNN方法，通過卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像中的車道線。然而，單純的車道線檢測難以處理復(fù)雜路況，尤其是在十字路口、環(huán)島或車道線模糊的情況下。

更先進(jìn)的方法，如2021年提出的STSU和2023年的TPLR，嘗試直接從車載傳感器提取完整的車道圖。這些方法使用鳥瞰圖（BEV）表示，將車道表示為有向圖，節(jié)點(diǎn)是車道中心線，邊代表連接關(guān)系。這種表示方式更接近自動(dòng)駕駛決策所需的結(jié)構(gòu)化信息。

但這些方法仍存在局限：它們主要依賴道路標(biāo)記的視覺特征，在標(biāo)記不清、天氣惡劣或交通擁堵時(shí)表現(xiàn)不佳。更關(guān)鍵的是，它們沒有充分利用場景中的其他線索，特別是其他車輛的分布模式。

復(fù)雜路況給在線車道圖提取帶來嚴(yán)峻挑戰(zhàn)。在NuScenes數(shù)據(jù)集中，環(huán)島場景的車道識(shí)別準(zhǔn)確率比直道低約15%。十字路口的復(fù)雜連接關(guān)系也使得傳統(tǒng)方法難以準(zhǔn)確識(shí)別。此外，光照變化、天氣條件和道路遮擋也是主要障礙。例如，在陰雨天氣條件下，車道標(biāo)記識(shí)別的平均準(zhǔn)確率下降約20%。

人類駕駛員在面對模糊不清的路況時(shí)，往往會(huì)觀察其他車輛的行駛軌跡作為參考。這種直覺啟發(fā)了一個(gè)問題：我們能否讓自動(dòng)駕駛系統(tǒng)也學(xué)會(huì)利用其他車輛的位置分布來輔助理解道路結(jié)構(gòu)？

聚類思維革新

自動(dòng)駕駛系統(tǒng)需要像人類駕駛員那樣思考。當(dāng)我們遇到道路標(biāo)記不清的情況，我們會(huì)觀察前方車輛的行駛軌跡，從而推斷出正確的行駛路線。這種思路啟發(fā)了一種創(chuàng)新的車道圖提取方法——物體-車道聚類。

物體-車道聚類的核心思想是：將車道中心線視為聚類中心，將道路上的車輛視為數(shù)據(jù)點(diǎn)，每個(gè)車輛都屬于某個(gè)車道（聚類）。這種方法利用了一個(gè)簡單但強(qiáng)大的道路場景先驗(yàn)知識(shí)：大多數(shù)車輛都會(huì)沿著某條車道行駛。

從數(shù)學(xué)角度看，這個(gè)問題可以表述為：給定輸入圖像I和物體檢測結(jié)果B，我們希望最大化車道圖X的后驗(yàn)概率P（X|B， I）。應(yīng)用貝葉斯規(guī)則，我們得到：

P（X|B， I） ∝ P（B|X， I）P（X|I）

這里，P（X|I）是從圖像推斷車道圖的先驗(yàn)項(xiàng)，而P（B|X， I）是似然項(xiàng)，表示給定車道圖和圖像下觀察到當(dāng)前物體分布的概率。

這種表述與聚類算法中的期望最大化（EM）方法高度相似。在EM聚類中，我們交替執(zhí)行兩個(gè)步驟：E步驟計(jì)算數(shù)據(jù)點(diǎn)屬于各聚類的概率，M步驟更新聚類中心。在我們的方法中，E步驟對應(yīng)計(jì)算每個(gè)車輛屬于各車道的概率，M步驟對應(yīng)更新車道位置估計(jì)。

為了實(shí)現(xiàn)這一思路，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)成員函數(shù)Z，它為每個(gè)檢測到的物體分配一個(gè)屬于各車道的概率分布。具體來說，如果一個(gè)車輛的中心點(diǎn)距離某條車道中心線最近，且距離小于車輛寬度，那么該車輛被判定為屬于這條車道；否則，它被歸類為＂離群點(diǎn)＂（不屬于任何車道）。

這種成員函數(shù)的設(shè)計(jì)符合道路場景的實(shí)際情況：一輛車通常只會(huì)在一條車道上行駛，且其中心通常接近車道中心線。在訓(xùn)練過程中，模型學(xué)習(xí)預(yù)測每個(gè)物體屬于各車道的概率分布，并通過交叉熵?fù)p失與真實(shí)分布進(jìn)行比較。

為了處理估計(jì)的車道與真實(shí)車道之間的對應(yīng)關(guān)系，研究團(tuán)隊(duì)采用了匈牙利算法進(jìn)行雙向匹配。這確保了模型可以正確地將物體分配給估計(jì)的車道，即使估計(jì)的車道數(shù)量與真實(shí)車道數(shù)量不同。

這種物體-車道聚類方法具有多項(xiàng)優(yōu)勢。首先，它能利用其他交通參與者的位置信息來輔助識(shí)別車道，這在道路標(biāo)記不清或被遮擋的情況下尤為有效。其次，它不依賴物體檢測方法的中間表示，而是直接使用物體檢測的輸出，因此可以與任何物體檢測方法配合使用，無需重新訓(xùn)練。最后，它提供了一種自然的方式來關(guān)聯(lián)物體與車道，這對后續(xù)的移動(dòng)預(yù)測和規(guī)劃任務(wù)也很有幫助。

在NuScenes數(shù)據(jù)集上的實(shí)驗(yàn)表明，這種方法顯著提升了車道圖提取的性能，特別是對于有車輛的車道，準(zhǔn)確率提高了近10%。即使對于沒有車輛的車道，通過共同學(xué)習(xí)的效應(yīng)，準(zhǔn)確率也有所提高。這表明物體-車道聚類不僅直接改善了有車輛車道的識(shí)別，還通過網(wǎng)絡(luò)參數(shù)共享間接提升了整體性能。

物體-車道聚類方法為自動(dòng)駕駛場景理解開辟了一條新路徑，展示了如何通過整合場景中的不同元素來獲得更全面、更準(zhǔn)確的理解。這種思路也可以擴(kuò)展到其他道路元素，如行人與人行道的關(guān)系、自行車與自行車道的關(guān)系等，為構(gòu)建更完善的自動(dòng)駕駛感知系統(tǒng)提供了思路。

智能框架搭建

想象一下把樂高積木拼裝成復(fù)雜的機(jī)器人，自動(dòng)駕駛系統(tǒng)的構(gòu)建也需要精心設(shè)計(jì)各個(gè)組件并讓它們協(xié)同工作。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，能同時(shí)處理車載攝像頭圖像和3D物體檢測結(jié)果，輸出鳥瞰圖下的車道圖以及物體與車道的關(guān)聯(lián)關(guān)系。

這個(gè)網(wǎng)絡(luò)的輸入端接收兩種信息：前向攝像頭拍攝的圖像和已檢測到的3D物體信息。圖像通過一個(gè)名為Deeplab v3+的骨干網(wǎng)絡(luò)處理，這個(gè)網(wǎng)絡(luò)在城市道路場景理解方面表現(xiàn)出色。物體檢測信息則通過多層感知器（MLP）轉(zhuǎn)化為特征向量，包含物體的3D位置、邊界框角點(diǎn)位置和語義類別信息。

網(wǎng)絡(luò)的核心是一個(gè)變換器（Transformer）結(jié)構(gòu)，類似于DETR（DEtection TRansformer）的設(shè)計(jì)。變換器包含編碼器和解碼器兩部分。編碼器處理圖像特征，解碼器則同時(shí)處理編碼后的圖像特征和物體特征，并與學(xué)習(xí)到的車道查詢向量結(jié)合。

變換器解碼器的輸出經(jīng)過處理后產(chǎn)生三類信息：車道中心線存在的概率、貝塞爾曲線控制點(diǎn)位置和關(guān)聯(lián)特征。這些信息進(jìn)一步處理后形成完整的車道圖表示。同時(shí)，處理后的物體特征輸出一個(gè)概率分布，表示每個(gè)物體屬于各車道的可能性。

為了訓(xùn)練這個(gè)網(wǎng)絡(luò)，研究團(tuán)隊(duì)采用匈牙利算法將估計(jì)的車道與真實(shí)車道進(jìn)行匹配。基于這種匹配，他們生成了物體-車道成員關(guān)系的標(biāo)簽，用于監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)正確的關(guān)聯(lián)關(guān)系。總的損失函數(shù)包含兩部分：傳統(tǒng)的車道圖損失和物體聚類損失，通過一個(gè)權(quán)重參數(shù)α平衡兩者。

值得注意的是，這個(gè)架構(gòu)具有很好的靈活性。如果某個(gè)樣本中沒有檢測到物體，物體聚類損失自動(dòng)變?yōu)榱悖W(wǎng)絡(luò)仍能正常運(yùn)行。研究團(tuán)隊(duì)還嘗試了一個(gè)可選的物體中心位置細(xì)化模塊，通過額外的MLP預(yù)測物體中心的精確位置，進(jìn)一步提升性能。

該網(wǎng)絡(luò)在實(shí)現(xiàn)上相當(dāng)高效，在單個(gè)Titan RTX2080 GPU上能達(dá)到10幀/秒的處理速度。這個(gè)速度只考慮了從物體檢測結(jié)果到最終車道圖輸出的過程，整體性能足以滿足實(shí)時(shí)自動(dòng)駕駛的需求。

實(shí)現(xiàn)算法的核心步驟包括：首先，網(wǎng)絡(luò)推斷物體屬于各車道的概率分布和車道圖；接著，使用匈牙利算法匹配估計(jì)和真實(shí)的車道；計(jì)算物體與車道的距離，找出每個(gè)物體最接近的車道；根據(jù)距離判斷物體是否屬于某條車道；計(jì)算聚類損失和車道圖損失；最后更新網(wǎng)絡(luò)參數(shù)。這個(gè)過程不斷迭代，直到網(wǎng)絡(luò)收斂。

與傳統(tǒng)方法不同，該架構(gòu)不依賴物體檢測方法的中間表示，而是直接使用物體檢測的輸出結(jié)果。這種設(shè)計(jì)使得一個(gè)訓(xùn)練好的模型可以與任何物體檢測方法配合使用，無需重新訓(xùn)練，大大提高了系統(tǒng)的通用性和實(shí)用性。

精度飛躍驗(yàn)證

理論再美好，也需要數(shù)據(jù)說話。研究團(tuán)隊(duì)在兩個(gè)主流自動(dòng)駕駛數(shù)據(jù)集上對提出的方法進(jìn)行了廣泛測試：NuScenes和Argoverse。這兩個(gè)數(shù)據(jù)集收集于不同城市的真實(shí)道路環(huán)境，包含各種復(fù)雜場景，是評估自動(dòng)駕駛感知算法的權(quán)威標(biāo)準(zhǔn)。

在NuScenes數(shù)據(jù)集上，提出的方法與現(xiàn)有最先進(jìn)的STSU和TPLR方法進(jìn)行了對比。結(jié)果令人振奮：即使不使用物體聚類，僅憑新架構(gòu)，表現(xiàn)就已顯著超過現(xiàn)有方法。引入物體聚類后，性能進(jìn)一步提升。具體而言，在使用DeepInteraction物體檢測結(jié)果的情況下，新方法的平均F分?jǐn)?shù)（M-F）達(dá)到64.8%，比STSU高3.1個(gè)百分點(diǎn)，比TPLR高2.2個(gè)百分點(diǎn)。

更令人驚訝的是，當(dāng)引入物體中心位置細(xì)化模塊后，性能繼續(xù)提高，M-F分?jǐn)?shù)達(dá)到64.9%。這一結(jié)果優(yōu)于使用真實(shí)物體標(biāo)注（Ground Truth）訓(xùn)練的模型（64.2%），表明該方法不僅能有效利用物體檢測信息，還能在一定程度上補(bǔ)償物體檢測的誤差。

在Argoverse數(shù)據(jù)集上，結(jié)果同樣令人印象深刻。使用CBGS物體檢測結(jié)果并應(yīng)用物體聚類的方法，M-F分?jǐn)?shù)達(dá)到68.9%，比STSU高4.1個(gè)百分點(diǎn)，比TPLR高3.1個(gè)百分點(diǎn)。這種跨數(shù)據(jù)集的一致性表明，提出的方法具有良好的泛化能力。

為了深入了解物體聚類的效果，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)。他們將車道分為有物體的車道和無物體的車道兩類，分別評估性能。結(jié)果顯示，物體聚類對有物體的車道改善最為顯著，M-F分?jǐn)?shù)提高了近10個(gè)百分點(diǎn)。有趣的是，即使對于無物體的車道，性能也有所提升，這表明模型通過共同學(xué)習(xí)，將物體-車道關(guān)聯(lián)的知識(shí)泛化到了無物體的情況。

研究團(tuán)隊(duì)還測試了模型在不同物體檢測方法間的魯棒性。他們使用一種物體檢測方法訓(xùn)練模型，然后用另一種方法的結(jié)果測試。結(jié)果表明，模型在不同物體檢測方法間表現(xiàn)穩(wěn)定，M-F分?jǐn)?shù)變化不超過0.1個(gè)百分點(diǎn)。這驗(yàn)證了該方法不依賴特定物體檢測算法的設(shè)計(jì)理念。

在物體與車道的關(guān)聯(lián)準(zhǔn)確性方面，模型也表現(xiàn)出色。使用BEVFusion物體檢測結(jié)果訓(xùn)練的模型，在測試時(shí)正確分配物體到車道的準(zhǔn)確率高達(dá)90.3%。即使使用不同于訓(xùn)練時(shí)的物體檢測方法測試，準(zhǔn)確率仍保持在89.4%以上。這表明模型學(xué)到了物體與車道之間的本質(zhì)關(guān)聯(lián)，而非簡單記憶訓(xùn)練數(shù)據(jù)的模式。

視覺結(jié)果更直觀地展示了該方法的優(yōu)勢。在復(fù)雜場景如環(huán)島和十字路口，新方法能準(zhǔn)確識(shí)別車道結(jié)構(gòu)，而現(xiàn)有方法常出現(xiàn)混淆或遺漏。特別是在物體密集的區(qū)域，新方法的車道估計(jì)明顯更準(zhǔn)確，證實(shí)了物體-車道聚類的有效性。

值得一提的是，該方法在計(jì)算效率上也沒有明顯犧牲。盡管加入了物體信息處理和聚類計(jì)算，整體運(yùn)行速度仍達(dá)到10幀/秒，滿足實(shí)時(shí)自動(dòng)駕駛的要求。這得益于架構(gòu)的精心設(shè)計(jì)和計(jì)算優(yōu)化。

當(dāng)然，該方法也存在一些局限性。對于不遵循車道行駛的物體，如變道中的車輛或路邊停放的車輛，準(zhǔn)確分配到車道存在挑戰(zhàn)。這些情況需要在未來研究中進(jìn)一步探索。此外，該方法目前主要關(guān)注2D車道圖，未來可擴(kuò)展到3D車道估計(jì)任務(wù)。

總體而言，這項(xiàng)研究通過物體-車道聚類的創(chuàng)新方法，顯著提升了在線車道圖提取的精度，尤其在復(fù)雜路況下。這不僅推動(dòng)了自動(dòng)駕駛感知技術(shù)的發(fā)展，也為其他場景理解任務(wù)提供了新思路。

參考資料

1. Can， Y. B.， Liniger， A.， Paudel， D. P.， &； Van Gool， L. （2025）. Improving Online Lane Graph Extraction by Object-Lane Clustering. ICCV 2025.

2. NuScenes與Argoverse數(shù)據(jù)集研究資料

3. 自動(dòng)駕駛場景理解相關(guān)研究綜述