L4級(jí)自動(dòng)駕駛就能解放人類？

未必。

不久前，全球31家自動(dòng)駕駛公司接到了同一支科研團(tuán)隊(duì)的通知：

你們的L4，有重大缺陷。

缺陷集中在多傳感器融合方案，3D打印的路障，能騙過(guò)9成以上的激光雷達(dá)和ADS系統(tǒng)。

所謂多傳感器融合，其實(shí)融合了個(gè)寂寞。

主流L4方案，幾乎無(wú)一幸免。

這么嚴(yán)重的自動(dòng)駕駛算法漏洞，是由中美聯(lián)合團(tuán)隊(duì)發(fā)現(xiàn)，其中既有高校研究者，也有來(lái)自英偉達(dá)、百度、嬴徹科技的產(chǎn)業(yè)界大咖。

相關(guān)論文，不久前入選計(jì)算機(jī)安全頂會(huì)IEEE S&P 2021。

1 L4識(shí)別障礙物失敗率超九成

問(wèn)題就出在了融合方案上。

在自動(dòng)駕駛系統(tǒng)里，實(shí)時(shí)「感知」周圍物體，是所有重要駕駛決策的最基本前提。感知模塊負(fù)責(zé)實(shí)時(shí)檢測(cè)路上的障礙物，比如：周圍車輛，行人，交通錐 （雪糕筒）等等，

目前各個(gè)公司研制的高級(jí)別（L4）無(wú)人車系統(tǒng)，普遍采用多傳感器融合的設(shè)計(jì)，即融合不同的感知源，比如激光雷達(dá)（LiDAR）和攝像頭（camera），從而實(shí)現(xiàn)準(zhǔn)確并且高冗余的感知。

這樣的設(shè)計(jì)，前安全冗余的出發(fā)點(diǎn)是各個(gè)感知源不被同時(shí)攻擊，所以總是存在一種可能的多傳感器融合算法，依靠未被攻擊的傳感器來(lái)確保安全。

這個(gè)基本的安全設(shè)計(jì)假設(shè)在一般情況下是成立的，然而研究團(tuán)隊(duì)發(fā)現(xiàn)，出了實(shí)驗(yàn)室，在現(xiàn)實(shí)世界中，這種多傳感器融合的障礙物感知存在漏洞。

同時(shí)攻擊不同的感知源，或者攻擊單個(gè)感知源，都能使無(wú)人車無(wú)法識(shí)別障礙物并直接撞上去。

為了評(píng)估這一漏洞的嚴(yán)重性，團(tuán)隊(duì)設(shè)計(jì)了MSF-ADV攻擊，它可以在給定的基于多傳感器融合的無(wú)人車感知算法中自動(dòng)生成上述的惡意3D障礙。

這個(gè)系統(tǒng)的特點(diǎn)是有效性、魯棒性、隱蔽性，以及能在現(xiàn)實(shí)中實(shí)現(xiàn)。

測(cè)試結(jié)果顯示，在不同的障礙物類型和多傳感器融合算法中，攻擊實(shí)現(xiàn)了>=91%的成功率。

同時(shí)團(tuán)隊(duì)還發(fā)現(xiàn)，系統(tǒng)生成的惡意3D障礙物，從駕駛者的角度看是隱蔽的，完全模擬現(xiàn)實(shí)情況；此外，對(duì)不同的被攻擊車的位置和角度都有效，平均成功率>95%。

L4算法的失敗率超過(guò)九成，還敢用嗎？

2 為什么嚴(yán)重？

實(shí)驗(yàn)室里把L4系統(tǒng)“折磨”的焦頭爛額，有什么實(shí)際意義？

當(dāng)然有了。

研究團(tuán)隊(duì)設(shè)計(jì)實(shí)驗(yàn)的一個(gè)基本出發(fā)點(diǎn)就是能在現(xiàn)實(shí)世界中復(fù)現(xiàn)，實(shí)際上，團(tuán)隊(duì)也這么做了。

在安裝了激光雷達(dá)和攝像頭的實(shí)車測(cè)試中，系統(tǒng)對(duì)于3D打印、表面經(jīng)過(guò)處理的交通錐識(shí)別失敗率高達(dá)99.1%。

這種狀況的原因是人為處理的惡意障礙物，對(duì)于物體表面做了特殊處理，雷達(dá)回波信號(hào)發(fā)生了變化，系統(tǒng)無(wú)法識(shí)別。

而所謂多冗余的視覺(jué)系統(tǒng)，也沒(méi)能做出補(bǔ)救。

另外，在對(duì)百度Apollo自動(dòng)駕駛的測(cè)試中，出現(xiàn)了100%識(shí)別失敗的情況。

這個(gè)漏洞帶來(lái)的危害和隱患是巨大的。首先因?yàn)樗苋菀自谖锢硎澜缰袑?shí)現(xiàn)和部署。

攻擊者可以利用3D建模構(gòu)建這類障礙物，并進(jìn)行3D打印。目前市面上有很多在線3D打印服務(wù)，甚至不需要購(gòu)置3D打印設(shè)備。

其次它可以高仿合法出現(xiàn)在道路上的障礙物，比如交通錐。而攻擊者可以在物體中填充水泥、金屬等等，重量輕松超過(guò)100公斤，高度迷惑、又能造成嚴(yán)重的碰撞后果。

另外，攻擊者還可以利用道路障礙物的功能設(shè)計(jì)一種僅針對(duì)無(wú)人車的攻擊：將釘子或玻璃碎片放在生成的惡意障礙物后面，這樣，人類駕駛員能夠正常識(shí)別交通錐并繞行，而無(wú)人車則會(huì)忽視交通錐然后爆胎。

在這種情況下，惡意的障礙物體可以像普通交通錐體一樣小而輕，以使其更容易3D打印、攜帶和部署。

3 多感知融合不是萬(wàn)全之策

這項(xiàng)研究的主要價(jià)值在于讓大家意識(shí)到多傳感器融合感知同樣存在安全問(wèn)題。

自動(dòng)駕駛研發(fā)團(tuán)隊(duì)一直把多傳感器融合作為對(duì)抗單個(gè)傳感器攻擊的有效防御手段，但這篇文章證明傳感器“堆料”不能從根本上防御對(duì)自動(dòng)駕駛系統(tǒng)的攻擊。

一般車上都有的緊急剎車系統(tǒng)可以防御這種攻擊嗎？

可以減少風(fēng)險(xiǎn)，但不能完全防止。

自動(dòng)駕駛系統(tǒng)的存在意義，就在于自行處理盡可能多的安全隱患，而不是依賴緊急剎車系統(tǒng)。

緊急剎車系統(tǒng)永遠(yuǎn)也不應(yīng)該用來(lái)代替自動(dòng)駕駛本身的功能。

所以唯一的方法是自動(dòng)駕駛供應(yīng)商們要想辦法在系統(tǒng)層面上解決漏洞。

目前團(tuán)隊(duì)已經(jīng)聯(lián)系了31家自動(dòng)駕駛公司，其中大部分都表示將對(duì)自家的產(chǎn)品重新評(píng)估。

4 產(chǎn)業(yè)界學(xué)界聯(lián)合成果

本研究作者團(tuán)隊(duì)，一共有9名研究人員。

其中，四位同等貢獻(xiàn)第一作者來(lái)自加州大學(xué)爾灣分校，密西根大學(xué)安娜堡分校，亞利桑那州立大學(xué)和英偉達(dá)Research。分別是Ningfei Wang, Yulong Cao, Chaowei Xiao和Dawei Yang。

三位教授分別是Qi Alfred Chen, Mingyan Liu, Bo Li

此外還有兩位來(lái)自產(chǎn)業(yè)界的研究人員，分別是百度深度學(xué)習(xí)技術(shù)與應(yīng)用研究和國(guó)家工程實(shí)驗(yàn)室的Jin Fang和嬴徹科技CTO楊睿剛。