蔚來(lái)智駕的大模型之路：自研芯片 + 世界模型 + 群體智能

作者 | 德新，編輯 | 王博

解密蔚來(lái)版端到端

本文是HiEV出品的#解密端到端自動(dòng)駕駛技術(shù)解讀系列的第七篇。

7月27日上周末，蔚來(lái)舉辦第二屆NIO IN。李斌說(shuō)，2023年的第一屆NIO IN像是一個(gè)大綱，第一次對(duì)外完整展示了蔚來(lái)布局的12大技術(shù)領(lǐng)域。而這屆，更像第一個(gè)交付的章節(jié)。它重點(diǎn)展示了5項(xiàng)階段性的進(jìn)展：

自研智駕芯片神璣NX9031流片成功；

整車操作系統(tǒng)天樞SkyOS全量上線

Banyan3.0今年將上線，推出多個(gè)NOMI智能體；

智駕世界模型NWM，將在四季度開始推進(jìn)量產(chǎn)工作；

二代NIO Phone發(fā)布。

在蔚來(lái)第二、第三品牌車型上市前，蔚來(lái)多年投入的自研，終于開始逐漸顯現(xiàn)出一些成果。其中，在智能駕駛領(lǐng)域，從模塊化的智駕方案，向端到端大模型的切換成為今年最重要的技術(shù)風(fēng)潮。未來(lái)一周內(nèi)，小鵬、理想等都將公布各自在端到端智駕上的進(jìn)展，蔚來(lái)率先出牌。蔚來(lái)CEO李斌、蔚來(lái)智能駕駛研發(fā)副總裁任少卿，向我們完整闡述了蔚來(lái)在智駕上做端到端的思考。

總地來(lái)說(shuō)，自研芯片加上世界模型，再加上群體智能，是蔚來(lái)智駕大模型的核心框架。

蔚來(lái)自研大算力智駕芯片神璣NX9031

開場(chǎng)不久，李斌就從兜里掏出已經(jīng)流片回的神璣NX9031，現(xiàn)場(chǎng)掌聲不斷。

蔚來(lái)稱，這是「全球首顆車規(guī)5nm高性能智駕芯片」。實(shí)際上，神璣NX9031幾個(gè)月前已經(jīng)流片回來(lái)，團(tuán)隊(duì)測(cè)試下來(lái)，「效果比預(yù)期的還要好」。蔚來(lái)此前曾經(jīng)提到神璣NX9031的定位是「一顆頂4顆（OrinX）」。這次，他們公布了更多9031的參數(shù)特征：

32核CPU，采用big.LITTLE大小核架構(gòu)，CPU算力達(dá)到615K DMIPS；

NPU加速單元，Transformer類算法性能提升6.5倍，LiDAR類算法性能提升4倍，BEV類算法性能提升4.3倍；

ISP最高可達(dá)6.5G Pixel每秒的圖像處理能力；

算力共享、車云結(jié)合。

現(xiàn)場(chǎng)，蔚來(lái)還「小試牛刀」，展示了一下神璣上自研ISP在惡劣光線條件下的處理能力。

9031上ISP的高處理位寬配合降噪算法，能提供很高的動(dòng)態(tài)處理范圍，從而使暗光下圖像細(xì)節(jié)更豐富，更容易看清幾百米外的標(biāo)識(shí)、細(xì)小物體。

蔚來(lái)提到的「一顆頂四顆」，是指從AI算力和ISP等主要指標(biāo)上，至少有4倍以上的性能提升。目前已經(jīng)官宣的第一款搭載神璣NX9031的車型將是ET9，ET9將在明年交付。不過(guò)，李斌也提到，「（芯片）它的作用，要明年的一季度才可以發(fā)揮出來(lái)。

即使芯片上車了，依托于新的架構(gòu)體驗(yàn)要落地也是需要時(shí)間，期望值要管理好。」這可能也意味著，在NT3這代平臺(tái)上，蔚來(lái)自研的神璣和第三方的計(jì)算芯片可能要并行一段時(shí)間，實(shí)現(xiàn)平滑過(guò)渡。

NWM世界模型，讓智駕系統(tǒng)學(xué)會(huì)想象

神璣NX9031是蔚來(lái)內(nèi)部的芯片團(tuán)隊(duì)與智駕團(tuán)隊(duì)花費(fèi)了幾年時(shí)間聯(lián)合定義的。它很重要的一項(xiàng)特性，就是為世界模型原生打造。世界模型是蔚來(lái)智駕研發(fā)的下一個(gè)主要方向。蔚來(lái)認(rèn)為，一個(gè)足夠聰明的智能體，應(yīng)當(dāng)具備想象重建（空間理解）和想象推演（時(shí)間理解）的能力，而端到端的模型，不必然具備這兩個(gè)核心能力。因此智駕有端到端的模型還不夠，核心是搭建世界模型。蔚來(lái)世界模型（NIO World Model，簡(jiǎn)稱NWM），去年已經(jīng)開始規(guī)劃，但當(dāng)時(shí)的NIO IN還不太成熟。目前，NWM具有生成2分鐘長(zhǎng)度視頻的能力，這已經(jīng)超過(guò)了目前業(yè)界大部分AIGC視頻生成軟件。2分鐘的視頻長(zhǎng)度，可以用來(lái)預(yù)測(cè)未來(lái)2分鐘內(nèi)將發(fā)生的駕駛場(chǎng)景；在軌跡規(guī)劃方面，MWM目前每0.1秒能生成216種可能的軌跡，而每0.1秒后再根據(jù)環(huán)境動(dòng)態(tài)重新生成216種軌跡，讓系統(tǒng)選出最佳的駕駛策略。李斌說(shuō)，NWM這幾個(gè)月的進(jìn)展非?？?，是「躍遷式的，幾個(gè)月前還只能生成幾十秒」。2分鐘意味著即使開得很慢（30公里/小時(shí)），也可以覆蓋到未來(lái)1公里將發(fā)生的各種駕駛情況。

NWM是一種多元自回歸生成模型。少卿總結(jié)，NWM和常見的端到端模型的差別包括：

空間理解能力，NWM通過(guò)生成模型重構(gòu)傳感器輸入泛化信息，而端到端模型學(xué)習(xí)任務(wù)單一、抽取信息有損失；

時(shí)間理解能力，NWM自回歸模型自動(dòng)建模長(zhǎng)時(shí)序環(huán)境，后者則沒(méi)有長(zhǎng)時(shí)序建模能力；

數(shù)據(jù)要求，NWM使用無(wú)標(biāo)注的數(shù)據(jù)進(jìn)行自監(jiān)督學(xué)習(xí)，后者依賴軌跡信號(hào)信息密度低、感知標(biāo)注輔助訓(xùn)練，成本高而效率低。

但訓(xùn)練一個(gè)理想的世界模型，挑戰(zhàn)也很大：需要千萬(wàn)級(jí)Clips以上的真實(shí)數(shù)據(jù)訓(xùn)練、數(shù)據(jù)要豐富，想象重建的時(shí)間軸要連貫，其他還有大量的工程工作。蔚來(lái)接下來(lái)的工作，是將NWM實(shí)現(xiàn)車端的部署。少卿透露，今年Q4會(huì)有機(jī)會(huì)「給大家一些體驗(yàn)」。與NWM配套，蔚來(lái)開發(fā)了仿真器NSim（NIO Simulation）。在整個(gè)數(shù)據(jù)鏈路上，車端的群體智能 + NSim理論上可以給NWM提供源源不斷的數(shù)據(jù)。

群體智能，智駕系統(tǒng)獨(dú)特的驗(yàn)證路徑

將智駕系統(tǒng)完全模型化，面臨兩個(gè)挑戰(zhàn)：

第一，世界模型需要千萬(wàn)級(jí)Clips的真實(shí)數(shù)據(jù)，從哪里獲得這些真實(shí)數(shù)據(jù)；

第二，過(guò)去智駕系統(tǒng)的bug，可能只需要定位問(wèn)題，驗(yàn)證1%的模塊，而現(xiàn)在隨著模型的迭代，測(cè)試驗(yàn)證的工作量暴增。

過(guò)去蔚來(lái)「豪橫」使用四顆OrinX的做法在業(yè)界頗有一些爭(zhēng)議。在大模型的時(shí)代，群體智能的設(shè)計(jì)，似乎開始發(fā)揮出更明顯的價(jià)值。以數(shù)據(jù)收集為例，如果沒(méi)有量產(chǎn)車隊(duì)，一般的智駕公司持有的測(cè)試車輛最多在幾百臺(tái)級(jí)別，而幾百臺(tái)真值采集車光持有成本就達(dá)到幾億元。

蔚來(lái)通過(guò)量產(chǎn)車隊(duì)收集數(shù)據(jù)，目前NT2平臺(tái)的車型總數(shù)在20多萬(wàn)臺(tái)。而群體智能，多用一塊OrinX的設(shè)計(jì)，使車輛不光在智駕狀態(tài)下，在非智駕狀態(tài)下也能獲取到有效數(shù)據(jù)。蔚來(lái)在Banyan 2.6.5版本中上線的端到端AEB，其從20億公里的數(shù)據(jù)中獲取到了1萬(wàn)個(gè)碰撞事故事件。

實(shí)際上，在NIO IN上公布的蔚來(lái)用戶智駕領(lǐng)航的總里程還只有11億公里（盡管已經(jīng)是目前各家中總里程最高的）。

AEB能力提升的核心挑戰(zhàn)是在大幅提升AEB場(chǎng)景覆蓋率的基礎(chǔ)上，不增加AEB的誤觸發(fā)，驗(yàn)證覆蓋是開發(fā)中的難點(diǎn)。端到端AEB的驗(yàn)證也使用了群體智能，4億公里分為10輪的里程驗(yàn)證。少卿說(shuō)，「群體智能和生成式模型是殺手锏，可以滿足上游訓(xùn)練數(shù)據(jù)的需求?！苟跍y(cè)試驗(yàn)證上，群體智能使得新的模型版本，可以對(duì)比人類駕駛的狀態(tài)，也可以對(duì)比過(guò)去的穩(wěn)態(tài)版本，形成反饋閉環(huán)。

蔚來(lái)智駕團(tuán)隊(duì)告訴我們，「群體智能的驗(yàn)證非常接近于實(shí)車驗(yàn)證，大幅好于仿真驗(yàn)證」。在過(guò)去的4年里，智能系統(tǒng)的架構(gòu)每年都在發(fā)生翻天覆地的變化。無(wú)論對(duì)電子電氣架構(gòu)、軟件架構(gòu)還是芯片設(shè)計(jì)，高度動(dòng)態(tài)的技術(shù)變化始終是巨大挑戰(zhàn)。

蔚來(lái)用長(zhǎng)期的投入淌出了一條獨(dú)特的路徑。