作者 | 張祥威? ?編輯 | 德新
落地城市NOA的第一關(guān)
落地城市NOA,是今年最重磅的自動駕駛大戰(zhàn)。而BEV感知,目前看來是通往城市NOA的必經(jīng)之路。
年內(nèi)落地BEV,已經(jīng)是國內(nèi)自動駕駛頭部玩家的共識。其實,BEV是很早就提出的算法,又稱鳥瞰圖或上帝視角。直到近幾年,特斯拉將其用于自動駕駛領(lǐng)域,國內(nèi)車企隨之布局,才受到更多關(guān)注。國內(nèi)涉足BEV的,造車新勢力有小鵬、蔚來、理想等,科技公司有百度、華為、毫末智行等。尤其今年4月,國內(nèi)新能源汽車龍頭比亞迪宣布年內(nèi)落地BEV,將大戲推向高潮。
為何要落地BEV?
主要是自動駕駛場景發(fā)生了變化。高速場景相對簡單,城市場景更為復(fù)雜,感知任務(wù)規(guī)模大幅增加,需要更多地利用深度學(xué)習(xí)。感知層面,傳統(tǒng)的2D檢測已經(jīng)力不從心,只有BEV能更好地完成城市場景感知任務(wù),并為下一環(huán)節(jié)的規(guī)劃、控制打好基礎(chǔ)。
落地BEV,最直觀的檢驗就是城市NOA功能能否在多個城市大規(guī)模推送。這場感知算法的重大轉(zhuǎn)變,考驗的是車企的算法自研功底。
進(jìn)入城市,BEV感知算法興起
故事從特斯拉重寫Autopilot軟件代碼開始。2019年,特斯拉推出高速場景下的NOA(Navigate on Autopilot),小鵬、蔚來等造車新勢力緊隨,興起了一小股高速NOA技術(shù)潮。
直到2020年8月,馬斯克透露,團(tuán)隊正在重寫Autopilot的底層代碼。又過了兩個月,特斯拉推出FSD Beta,可以支持在城市道路場景下的NOA。支撐城市NO功能的,便是全新的BEV感知算法。
為什么會出現(xiàn)這一變化?毫末智行技術(shù)副總裁艾銳告訴HiEV,“在特斯拉推出BEV之前,大家使用的是前視相機(jī),周視用的很少。高速上,車密度不大,側(cè)后方用一些雷達(dá)也夠了。進(jìn)入城市后,車流量開始密集,僅看正前方也不夠了。BEV的出現(xiàn),核心在于需要做360度的感知?!?/p>
特斯拉重寫代碼的同年,蔚來和小鵬也開始轉(zhuǎn)向。蔚來引入原Momenta研發(fā)總監(jiān)任少卿,任的背景是計算機(jī)視覺研發(fā),加入蔚來后負(fù)責(zé)算法團(tuán)隊,開始在Mobileye方案外啟動自動駕駛自研。小鵬也開始研發(fā)基于XNet的BEV感知架構(gòu)。
2021年的1024科技日上,吳新宙透露,在過去6個月里,每一個預(yù)測和規(guī)劃代碼全是重寫的。對于兩家重寫代碼這件事,均勝電子副總裁郭繼舜向HiEV表示,“周期性重寫代碼是對產(chǎn)品和系統(tǒng)認(rèn)知提升后的必然階段。
在工程化方面,該踩的坑基本都要踩一遍,大家都需要階段性更新代碼和架構(gòu)?!睆囊延行畔⒖矗贐EV研發(fā)全新算法,小鵬們的做法相似。大家均是從靜態(tài)BEV網(wǎng)絡(luò)算法、動態(tài)BEV網(wǎng)絡(luò)算法部署算法。靜態(tài)BEV解決的是道路結(jié)構(gòu)還原,感知對象是車道線、道路邊界、停止線,可以解決部分攝像頭被遮擋、車道線模糊等問題。動態(tài)BEV解決的是交通參與者的還原和預(yù)測,感知對象車輛位置、姿態(tài)、尺寸、速度,可以在車輛同時出現(xiàn)在多顆攝像頭視野內(nèi),可以穩(wěn)定地追蹤和感知出物體的距離和速度。
在BEV出現(xiàn)前,傳統(tǒng)2D檢測的好處是整個計算非常直觀,但整個投影過程都是使用軟件的方式,沒辦法形成端到端,會出現(xiàn)信息丟失、誤差等問題。BEV的到來,將讓小鵬們獲得更強(qiáng)的360度感知能力。不過,這里面的難度并不小。
復(fù)雜的代碼,以及昂貴的數(shù)據(jù)
標(biāo)注BEV,全稱Bird’s eye view,本質(zhì)上多個目標(biāo)前融合感知方案。簡單理解,它是將攝像頭等傳感器采集的2D為主的圖像數(shù)據(jù),轉(zhuǎn)化為3D坐標(biāo)空間下的數(shù)據(jù),從而實現(xiàn)對物理世界的真實還原。特斯拉的做法大致是:
基于純視覺,利用8個攝像頭采集數(shù)據(jù),通過深度學(xué)習(xí)的主干網(wǎng)絡(luò)Backbone對各個攝像頭進(jìn)行特征提取,再通過Transformer將2D圖像轉(zhuǎn)化為3D空間。應(yīng)用的技術(shù)并不新潮。Backbone的本意是人的脊梁骨,在深度學(xué)習(xí)中被引申為主干網(wǎng)絡(luò)的意思,其主要作用是就是提取圖像的特征。Transformer最早在2017年由谷歌提出,是利用注意力機(jī)制(Attention)來提升模型訓(xùn)練速度的模型。將Transformer發(fā)揚(yáng)光大的是GPT,也就是Generative Pre-trained Transformer。
通過BEV和Transformer,特斯拉開始獲得全新的“上帝視角”下的數(shù)據(jù)。并在此基礎(chǔ)上為數(shù)據(jù)加上了時間戳,形成了4D空間。以用于對目標(biāo)物測速,乃至對目標(biāo)物的運(yùn)動軌跡進(jìn)行預(yù)測??梢哉f,BEV改進(jìn)了自動駕駛看物理世界的視角,可以更高效、準(zhǔn)確地獲取感知數(shù)據(jù),這為后面的規(guī)劃和控制提供了基石。
國內(nèi)的自動駕駛玩家已經(jīng)認(rèn)可了這種方式,并且紛紛布局。與特斯拉不同的是,國內(nèi)玩家之前的方案中,在攝像頭之外增加了更多的傳感器和定位系統(tǒng),比如超聲波雷達(dá)、激光雷達(dá)、高精度地圖等。方法論相似,挑戰(zhàn)在于融合困難,以及更多的代碼量、數(shù)據(jù)標(biāo)注工作。寫代碼是一項繁重的任務(wù)。小鵬汽車自動駕駛副總裁吳新宙披露,城市NGP的代碼量是高速NGP的6倍、感知模型數(shù)量是4倍、預(yù)測、規(guī)劃、控制相關(guān)代碼量是88倍。
為BEV的數(shù)據(jù)進(jìn)行標(biāo)注,同樣需要大量的工作。舉個例子,要構(gòu)建實時語義地圖,需要對數(shù)據(jù)進(jìn)行結(jié)構(gòu)性訓(xùn)練,基于BEV模型做數(shù)據(jù)的標(biāo)注、分割、分類。僅標(biāo)注一項,根據(jù)毫末智行CEO顧維灝預(yù)測,BEV的模型大概需要標(biāo)注1億公里的數(shù)據(jù)。
智能駕駛數(shù)據(jù)服務(wù)商柏川方面告訴HiEV,數(shù)據(jù)標(biāo)注行業(yè)單人單月的綜合成本約為四千元,千人規(guī)模的標(biāo)注團(tuán)隊一年成本要達(dá)到1億元。另一位從事數(shù)據(jù)標(biāo)注的業(yè)內(nèi)人士向HiEV表示,“要標(biāo)注1億公里的數(shù)據(jù),實際上會有失效率,按照50%的失效率計算,假定都是簡單場景,每人每天標(biāo)注2km,需要一萬人的團(tuán)隊標(biāo)注至少四年的時間?!?/p>
好在,特斯拉已經(jīng)探了路。早前,特斯拉有一支千人規(guī)模的人工標(biāo)注團(tuán)隊,后來開始增加自動標(biāo)注和虛擬仿真等工具。對此,上述數(shù)據(jù)標(biāo)注從業(yè)人士表示,“特斯拉的自動標(biāo)注是行業(yè)風(fēng)向標(biāo),其預(yù)標(biāo)注技術(shù)目前行業(yè)最優(yōu)。加入自動化標(biāo)注模型后,假定可以提效80%,可以將1萬人團(tuán)隊的標(biāo)注時間縮減到一年?!毙※i、毫末智行等已經(jīng)感受過人工標(biāo)注的成本之昂貴,開始探索自動標(biāo)注。其他各家,也可以進(jìn)行借鑒。
BEV帶來的變化:方案“減配”,芯片合作更緊密
BEV帶來的第一個變化,是讓自動駕駛配置開始縮減。在沒有布局BEV之前,國內(nèi)車企是最早通過高精地圖來實現(xiàn)自身定位。車規(guī)級激光雷達(dá)成熟后,車企又加入了激光雷達(dá)。布局BEV算法后,一些車企們開始由原來的堆砌配置,轉(zhuǎn)為縮減配置。大家發(fā)現(xiàn),BEV可以實時生成語義地圖,進(jìn)而替代高精度地圖,甚至還可以去掉超聲波雷達(dá)。
事實上,小鵬早期并不打算去高精度地圖。吳新宙曾提到,對于城市場景,高精地圖的鮮度非常關(guān)鍵,小鵬汽車正在和高德地圖一起努力,希望發(fā)布的時候能夠做到天級更新高精度地圖的能力。不過,耗資幾千萬可以買下高速道路的高精度地圖,但要買下城市場景下的高精度地圖,費(fèi)用又是另一個級別。更何況,獲取地圖審批資質(zhì)的效率,也會耽誤自動駕駛向多個城市推送的進(jìn)程。最終,車企們不得不進(jìn)入自動駕駛的縱深地帶,利用技術(shù)甩掉高精度地圖的拐杖。這里面也有一定挑戰(zhàn)。
“BEV去高精度地圖,很多公司不一定能搞定,需要做大規(guī)模的云端場景重建、自動化的元素提取。另外,純拓?fù)涞娜蝿?wù)還是很難,很多時候會因為遮擋、車道線不清晰而難以實現(xiàn)?!焙昃爸邱{高級工程經(jīng)理柴可寧告訴HiEV。至于BEV是否會去掉激光雷達(dá)?特斯拉的答案是,利用Occupancy占用網(wǎng)絡(luò),以及4D毫米波雷達(dá)的點云信息,就能替代激光雷達(dá)。國內(nèi)是另一重景象。國內(nèi)目前尚未興起去激光雷達(dá)的苗頭。艾銳認(rèn)為,激光雷達(dá)不會由于BEV算法的出現(xiàn)而被替代?!霸谝归g,攝像頭根本看不見。激光雷達(dá)是一個物理傳感器,可以主動發(fā)射信號。對高端車型來說,可以讓車輛多一重安全性。對于中低端產(chǎn)品來說,成本相對較高,只有追求極致性價比,才會去傳感器?!彼忉尩?。
其實,基于純視覺還是多模態(tài),本質(zhì)上不是技術(shù)問題,而是一個商業(yè)成本問題。從技術(shù)角度,多模態(tài)的效果肯定更好,但從成本角度,多模態(tài)的上車搭載量會少。BEV帶來的第二個變化,是需要芯片廠商更好地適配,與車企形成深度合作。因為,BEV方案比較考驗芯片對于算子的支持能力。除了特斯拉采用自研FSD芯片外,頭部自動駕駛玩家更多地基于英偉達(dá)Orin X落地BEV方案,且以雙Orin X為主,算力高達(dá)508TOPS。對此,艾銳表示,“英偉達(dá)的芯片基礎(chǔ)計算單元是CUDA,非常小,也非常靈活,對算子的支持能力非常強(qiáng)。”而如果算力小了,要實現(xiàn)同樣的幀率,就需要做特別的算子優(yōu)化。事實上,一套標(biāo)準(zhǔn)的BEV算法,現(xiàn)在的很多芯片都不支持,大家在用各種各樣的算子去替換它們,這就需要芯片廠商和主機(jī)廠深度配合。
今年4月,比亞迪在上海車展宣布基于地平線征程5的自研BEV方案將在年內(nèi)量產(chǎn)。目前,地平線可以向車企提供BEV參考算法,且正在布局Occupancy占用網(wǎng)絡(luò)。雙方的合作,將是基于征程5落地BEV的首個案例。最后,BEV技術(shù)的強(qiáng)大感知能力,不僅吸引了乘用車競相布局,也在商用車?yán)锩骈_始應(yīng)用。比如,摯途科技的BEV方案,便針對商用車型車身長、檢測盲區(qū)較大的特點,向車企提供攝像頭選型和安裝位置方案,可以實現(xiàn)前方300米范圍的檢測,且增加了車身和近距離的感知冗余。頭部車企闖關(guān)BEV感知時,其他傳統(tǒng)車企會面臨更大的壓力。
后來者,自研還是外包?
對于BEV方案,發(fā)力較晚的車企其實有著更多選擇。
一種是自研。要做BEV方案,方向大致已定。需要選一套傳感器方案,基于大算力芯片進(jìn)行開發(fā)。另外,還需要自動標(biāo)注閉環(huán)系統(tǒng),以及用于數(shù)據(jù)訓(xùn)練的智算中心等等。時間上,做BEV的周期相對造車更短?!爸鳈C(jī)廠從傳統(tǒng)2D檢測轉(zhuǎn)到BEV感知,如果要把數(shù)據(jù)準(zhǔn)備都算上,快的話需要一年時間?!卑J說。投入事項明確,周期相對較短,這決定了車企可以進(jìn)行自研。我們也注意到,除上述幾家布局BEV的車企外,其他玩家也在準(zhǔn)備入局。今年1月,長安汽車智算中心GPU算力擴(kuò)容集成項目開始招標(biāo)。2月,吉利星睿智算中心在湖州長興揭牌。
另一種是與供應(yīng)商合作。如果看整個國內(nèi)汽車市場,會發(fā)現(xiàn)自動駕駛方案供應(yīng)商也有其存在價值。除了造車新勢力覆蓋的30萬以上的高端市場外,中低端市場十幾萬以上30萬以下的車,仍然是主流。
據(jù)HiEV了解,毫末智行將基于十幾TOPS的芯片運(yùn)行BEV算法,“硬件成本上,幾千塊錢就可以做到城市NOA,類似的產(chǎn)品很快也會出現(xiàn)?!币恍┲安季諰4的科技公司,比如小馬智行、元戎啟行、商湯絕影等,也在推出BEV的方案。
這些公司做BEV,優(yōu)勢在于之前的算法更易于遷移。理論上,這些公司不會面臨華為向車企提供解決方案時的“奪走靈魂”的質(zhì)疑?!叭A為太大了,它有能力做任何事,包括造車。我們很小,而且非常開放,車企不需要擔(dān)心失去靈魂?!币晃蛔詣玉{駛解決方案供應(yīng)商的高管表示。“在BEV上,我們愿意賦能車廠,是服務(wù)者的心態(tài)。
很多時候,車廠對我們感興趣的就是真值系統(tǒng),它一年有幾千萬的標(biāo)注預(yù)算,搭載真值系統(tǒng)后,可以降到幾百萬,肯定會感興趣。整體上,車企對我們的感知算法很感興趣?!辈窨蓪幷f?!皬募夹g(shù)演進(jìn)趨勢看,不是零和博弈。作為一個解決方案供應(yīng)商,我們的算法、云端中心還是有一定的領(lǐng)先性?!鄙虦^影量產(chǎn)行車智能駕駛研發(fā)負(fù)責(zé)人蔣沁宏表示。如果車企不想重復(fù)造輪子,至少在可見的一段時間,與解決方案供應(yīng)商合作,盡早進(jìn)入自動駕駛的賽道是一個好的選擇。
基于BEV的城市NOA,年內(nèi)將落地百城
還記得2020年下半年,蔚來推出基于Mobileye的高速NOP功能,小鵬則基于英偉達(dá)Xavier推出了高速NGP。如今,三年時間不到,大家又開始比拼基于BEV感知架構(gòu)落地城市NOA的效率。一個例子可以看出各家競爭的激烈。最近,小鵬發(fā)布了一項名為“通勤模式”的功能,又被稱為微縮版城市NGP,可以在無圖方案的四五線城市使用?!奥犝f我司預(yù)告城市通勤模式之后,有兩家友商已經(jīng)快速決策分別從宣傳和實際行動上致敬一下子?!毙※i汽車自動駕駛產(chǎn)品高級總監(jiān)劉毅林在社交平臺上發(fā)文表示。今年以來,各家陸續(xù)公布基于BEV的城市NOA落地計劃。
小鵬計劃今年下半年,將在大部分無圖城市開放變道、超車、左右轉(zhuǎn)能力;
蔚來已經(jīng)推送的Banyan2.0.0版本,切換為了BEV架構(gòu),下半年將推出帶有城區(qū)能力的NAD Beta版本;
理想的城市NOA將在第二季度內(nèi)開啟推送,并于年底前完成100個城市的落地推送;
其他玩家,毫末智行、華為、比亞迪,也將在今年落地BEV方案。
中國有600多個城市,按照各家計劃,年內(nèi)將有接近六分之一也就是近百家城市可以使用城市NOA功能。對于這些大力投入的玩家來說,有的需要維護(hù)一早立起的自動駕駛一哥的江湖地位,有的蓄勢通過城市NOA規(guī)模落地打一個后來居上的漂亮翻身仗,也有的要證明自己在自動駕駛領(lǐng)域也是遙遙領(lǐng)先,也有的要借助車企,為更大的市場立一個標(biāo)桿產(chǎn)品,一切都將在下半年出現(xiàn)定論。各家競逐城市NOA落地時,還有一家真正的巨頭正在候場。
目前,特斯拉FSD Beta已經(jīng)在海外城市范圍內(nèi)推送,進(jìn)入國內(nèi)只是時間問題。如王傳福所說,新能源汽車的上半場是電動化,下半場是智能化。在電動化競爭階段,大家還有傳統(tǒng)造車工藝可供依仗,智能化的競爭階段,將是包括BEV感知、規(guī)劃、控制,以及智能座艙等在內(nèi)的各個點位的全方位競賽,更加考驗車企的軟件研發(fā)能力。經(jīng)歷BEV算法落地大戰(zhàn)后,車企的核心技術(shù)將再次重塑。