在上次透過2021全球自動駕駛成績單 -看哪家豪橫,勤奮,介入少,自動駕駛主要問題文章中,發(fā)現(xiàn)一個很有意思的現(xiàn)象,Cruise 在自動駕駛路試的車輛,里程以及每次介入可行駛里程排名都處于第二名,數(shù)據(jù)比較穩(wěn)定和一致。所以從各種指標上來推斷Cruise 在自動駕駛方面應(yīng)該是處于前茅。然后收到很多讀者的咨詢想了解一下Cruise到底是誰?他的技術(shù)有什么優(yōu)勢?等等一系列問題。
所以我找到相關(guān)視頻以及資料,來探討下:
- 誰是Cruise?自動駕駛方案是怎么樣的?
- Cruise自動駕駛技術(shù)
- Cruise 感知算法- Cruise 決策算法- Cruise 的自動駕駛元宇宙驗證開發(fā)- Cruise的自動駕駛工具鏈以及流程Cruise 未來方向
希望給大家一個全面的認識,也希望能給自動駕駛行業(yè)人員一些思考或者啟發(fā),Cruise比較有意思,文末有調(diào)研一起看看有多少人看好Cruise。
誰是CruiseCruise 是Kyle Vogt和Dan kan于2013年在美國舊金山聯(lián)合創(chuàng)辦,剛開始其實目標是開發(fā)自動駕駛高速自動駕駛套件RP-1然后推廣到更多量產(chǎn)車上(這個場景我之前文章自動駕駛的先啟之地-物流運輸行業(yè)講過),剛開始成功讓奧迪A4和S4擁有高速自動駕駛功能。之后他們進軍城市自動駕駛。隨后就是2016被通用汽車看上了。
一路看來,基本上算通用汽車慧眼,或者通用汽車資本的助推,后來本田,軟銀,微軟的加入,直接把市值現(xiàn)在推上了300億美金。在2022年通用21億購買了軟銀的股份,所以現(xiàn)在基本就是通用和本田絕對大股東,通用甚至在人事和資金上絕對主導(dǎo)。
所以現(xiàn)在Cruise在路上跑的測試車都來自于通用電動車bolt,技術(shù)方案是多種傳感器冗余(5個激光雷達,14個攝像頭,3個廣角雷達,8個長距雷達,10個超聲波)+高精地圖+AI處理器。
顯然從傳感器的種類和數(shù)量,這些放到中國來和新勢力的堆料拼參數(shù)有的一比(了解中國新勢力傳感器數(shù)量和種類可以點擊視覺為王-小鵬以及特斯拉的自動駕駛方案)。5個激光雷達也只有通過廣州車展-看自動駕駛激光雷達文中提到的長城機甲龍最多才4個,11個毫米波雷達,這種推料和拼參數(shù)的表現(xiàn)連中國新勢力都無人能比,所以Cruise表示接下來其自動駕駛工作重點是:
- 減少以及融合各種傳感器,以降低成本。減少對于高精地圖的依賴,甚至未來和特斯拉方案一樣不使用。為算法以及虛擬驗證,設(shè)計通用的工具以及流程,使自動駕駛開發(fā)迅速高效容易規(guī)?;?。
所以Cruise總結(jié)他的核心技術(shù)優(yōu)勢是軟件以及算法,工具流程容易規(guī)?;?,2023年拓展處理芯片自研裝配到其自動駕駛平臺車輛Origin。通過通用以及本田的合作,構(gòu)建自動駕駛成本優(yōu)勢的自動駕駛平臺例如其采用芯片到第四代時候成本減少10倍。
未來Cruise依托通用和本田合作Origin平臺來實現(xiàn)自動駕駛出行(包括運人,運貨)。
Cruise目前的計劃,就是通過其軟件算法,開發(fā)工具鏈容易規(guī)模的特征,降低自動駕駛車輛成本進行大規(guī)模拓展。
所以Cruise當前主要通過bolt進行商業(yè)化測試,未來的Robotaix 將會是其落地產(chǎn)品方向,當然Cruise的軟件算法工具鏈按照創(chuàng)始人Kyle的初心也是容易移植和應(yīng)用到其他車輛和公司。
大概了解Cruise公司之后,讓我深入其自動駕駛技術(shù),自動駕駛開發(fā)技術(shù)公司的評價,其實需要考慮到以下四個指標:
- 感知算法能力
- 決策算法能力
- 虛擬驗證能力
- 開發(fā)工具以及流程
所以接下來我們通過這四個方面進行分析探討
Cruise自動駕駛技術(shù)大概了解Cruise公司之后,讓我深入其自動駕駛技術(shù),自動駕駛開發(fā)技術(shù)公司的評價,其實需要考慮到以下四個指標:
- 感知算法能力
- 決策算法能力
- 虛擬驗證能力
- 開發(fā)工具以及流程
通過這四個能力,可以判斷當前算法的能力,未來是不是容易快速拓展,未來是不是容易不斷更新,所以接下來我們通過這四個方面進行分析探討。感知其實自動駕駛發(fā)展到現(xiàn)在,很多通用的感知都不是太大的問題,環(huán)境感知的難點都藏在現(xiàn)實生活場景的長尾理論中:
- 不明道路物體,例如路上躺著一只貓,拉貨超寬的車等不正常的駕駛,例如路上的特殊車輛警車,醫(yī)護車,占到停車等不是僅僅跟隨交通規(guī)則就好了,例如占到停車,借道行駛但是另外道路車輛匯入等。
雖然這些駕駛工況屬于長尾問題,但Cruise 計算了在舊金山這種繁忙的城市里面,雖然是長尾的駕駛工況但發(fā)生頻率卻不低例如自行車匆忙行駛大概一個小時發(fā)生一次,汽車的匆忙行駛大概20分鐘一次。所以對于自動駕駛這些長尾問題都是需要重點關(guān)注的,要不然安全隱患太多。Cruise當前感知的高級經(jīng)理是中國人,之前供職于滴滴自動駕駛的zhang yun,她介紹Cruise感知分為四部分:
- 攝像頭
- 激光雷達
- 毫米波雷達
- 聲音,這比較特殊國內(nèi)應(yīng)該沒有人提到這個感知方式。
以上四種環(huán)境感知傳感器感知輸入給AI主干算法處理。目前Cruise采用的算法除了主干算法還有分割,紋理分類,屬性理解,目標跟隨,預(yù)測,閉塞推理等
首先四種傳感器應(yīng)用相輔相成來覆蓋各種場景和特征,例如消防車輛,他的駕駛是非常不尋常也不遵守常理, 所以通過視像頭識別此類車輛的特征,通過激光雷達來檢測其門等的開啟(激光雷達能較好識別邊緣等特征具體點擊通過廣州車展-看自動駕駛激光雷達,所以這也造就城市自動駕駛大家都加激光雷達原因)
再通過聽覺識別其是否遠去和靠近,(這個其實和奔馳的觀點一樣,通過加入對聲音的識別來輔助識別目標物,了解點擊你想知道的奔馳的L3自動駕駛-功能和硬件)如果當雨霧天氣可以用雷達輔助識別。以上四種環(huán)境感知傳感器感知輸入給AI主干算法處理。然后分配給不同的算法任務(wù)例如
- 分割,用來識別物體例如垃圾桶。紋理分類,用來識別比較明顯的車輛。屬性理解,用來識別尾燈以及開關(guān)門。目標跟隨預(yù)測行為閉塞推理,用來推理看不到的地方,保持謹慎駕駛。
下面將對其中幾個Cruise認為其有亮點和特色的地方進行分享:
對于預(yù)測行為,采用深度學習的模型來實現(xiàn)目標物跟蹤而非采用傳統(tǒng)算法。通過深度學習算法,比卡爾曼濾波算法快0.7s識別物體,而且更好的預(yù)測運動。所以Cruise 給出一個例子,就是在路邊停著的車輛突然駛出泊車位,這個時候采用卡爾曼濾波算法的自動駕駛一般是選擇停止,讓行。但通過深度學習算法的自動駕駛可以不停避開行駛。
不但如此通過深度學習算法的自動駕駛還能更精準的預(yù)測駕駛行為,例如很多人在十字路口掉頭的時候,先會向右打方向盤,讓轉(zhuǎn)彎半徑變大,再左打方向掉頭。這個時候一般的算法就會預(yù)測他是右轉(zhuǎn)。
而這些主要基于以下Cruise的深度學習的預(yù)測神經(jīng)元結(jié)構(gòu)實現(xiàn),其預(yù)測神經(jīng)元結(jié)構(gòu)主要分為以下三部分:
- 編碼通過場景編碼,目標歷史編碼,目標對目標圖形, 通過Cruise“ Mixture of experts” gating(后文會介紹什么是Mixture of experts)解碼的主體為初始軌跡,長期軌跡的精細化,同時伴有輔助性任務(wù)例如交匯軌跡預(yù)測,占用預(yù)測,多模不確定性,交互識別以及不確定性。自我監(jiān)督,整個解碼和編碼如果成功就自我肯定,行為自我標簽,交互自我標簽。
這樣一個深度學習方法可以自我們訓(xùn)練學習。此類方法可以拓展到各類場景例如:城市駕駛行為,一個簡單的駕駛行為可以產(chǎn)生非常多的行為,所以Cruise將這些可能的行為編碼成“Mixture of experts” 輸入進入深度學習神經(jīng)網(wǎng)絡(luò)來識別所有可能的后續(xù)行為。例如,出泊車停車位,斜泊車位,有人倒出,水平泊車位,有人先倒車再前行。垂直泊車位一般先右轉(zhuǎn)一點再左轉(zhuǎn)出停車位。水平泊車的多次嘗試,k自行的倒車。等等。
例如。當前面有自行車共同行駛時候,采用深度學習,交匯預(yù)測,交互不確定以及識別,最后通過對此事件結(jié)果進行自我標簽進入深度學習下一次使用。
同理對于城市道路的人流繁忙的十字路口,同樣適用。當然Cruise對于城市的不確定性也有一個task通過算法建立評估多模態(tài)不確定性,然后通過自我學習進行標簽標注。
例如,一個人穿過路口,他是看到車子停在路中間還是直行。對于閉塞推理,識別不到的場景或者看不到的情況,采取閉塞推理各種場景,防御性駕駛方式
例如,汽車突然開門,大卡車盲區(qū),十字路口推理等。對于人工智能算法的優(yōu)化完善,必須要進行持續(xù)學習,所以Cruise設(shè)計位持續(xù)學習的機器,基于數(shù)據(jù)挖礦,通過對數(shù)據(jù)的挖掘可以顯著增加感知的精準和有效性。
例如對于自行車的掉頭, 類似于天真的搜尋持續(xù)學習保障對于自行車掉頭的精準預(yù)測。以上為Cruise的環(huán)境感知的技術(shù)細節(jié),主要亮點感知架構(gòu),預(yù)測架構(gòu)采用深度學習,通過閉塞推理等保持安全謹慎自動駕駛。決策當環(huán)境提供了感知,那么接下來教給自動駕駛的是決策,在談決策之前先要了解什么是一個好的決策?
Cruise 認為及時的,負責任的(對自己行為和他人),穩(wěn)健和可重復(fù)的,決策是好決策,他給自動駕駛行為產(chǎn)生的結(jié)果會是,安全的,舒適的,像一個老司機。
那當前自動駕駛決策有哪些挑戰(zhàn)呢?主要為以下兩個方面:
- 決策的密度,每個場景大概有100多次交互,5000個路徑的考慮。而這種場景發(fā)生是10-100次每秒。不確定性,縱使使用無盡精準的模型,我們依然難以精準預(yù)測路面上的情況,例如十字路口自行車人摔倒等。
所以針對難點,Cruise決策機制如下:
- 決策生成,自車結(jié)合所有交通參與者的預(yù)測信息生成自車初始動作信息,由于自車有多種可能性的動作,比如加速通行、停車、避讓等動作,會生成大量的備選軌跡,因此這里為了加速初解的計算效率,利用了機器學習的方法訓(xùn)練了一個模型,通過機器學習的方法加速選出最好的軌跡。
- 沖突解決,根據(jù)自車動作生成模塊生成的初始動作,然后結(jié)合交通場景中的所有交通參與者可能的運動信息進行軌跡采樣,并對軌跡進行評分,選出最好的運動軌跡,并經(jīng)過多次迭代做出最好的決策(3到4次)。其中軌跡評分會考慮安全性(碰撞、遠離騎行人和行人)、交通規(guī)則(停牌、紅綠燈)、舒適性(軌跡平滑)、不確定性以及全局規(guī)劃導(dǎo)航信息等。這里面還提到利用強化學習去解決不確定性問題。
- 計劃執(zhí)行,基于以上產(chǎn)生的路徑,考慮車輛動態(tài),現(xiàn)實環(huán)境控制干擾選擇最優(yōu)執(zhí)行控制。
而決策的最終目的和結(jié)果主要為以下八個:
1,運動未知的不確定性例如一個是前方停車的行人去打開車門(如果按照正常預(yù)測行人應(yīng)該是走向路外,如果按照預(yù)測進行決策則不安全),而這里考慮了運動學不確定性,自動駕駛車輛謹慎駕駛減速避讓。另外一個案例是走到自動駕駛前方的時候自行車突然變?yōu)橹毙?,從自車左方行駛過去,由于騎行人靈活,其預(yù)測一直是難點,而這里考慮了不確定性,提前反應(yīng)保證了安全。
2,已知的不確定性一般由于自動駕駛確實感知困難,例如自動駕駛車輛右前方的車輛不能觀測到,但自動駕駛車輛考慮右方有車往左方行駛,而謹慎駕駛,另外一個場景是,提前考慮到被遮擋的行人而緩慢行走。
3,3D不確定性,例如前方的路上是坡道,無法提前看到對向來車,cruise自動駕駛車輛會謹慎駕駛提前減速,這樣處理是因為cruise考慮了前方是坡道的感知不確定性,當然下圖屬于2D無法識別3D上下坡等地形變化。
4,360環(huán)繞交互博弈自動駕駛博弈交互是難點,首先Cruise在交互時候,會考慮我們的決策怎么影響他人,他人的決策怎么影響我們,例如十字路口時候,自動駕駛車輛猶豫,那么另外車輛堅持;自動駕駛車輛堅持,那么另外車輛猶豫,還有很多情況。
通過對自車行為對他車影響及他車對自車的影響進行交互博弈決策,因為我們的自動駕駛系統(tǒng)中不能只考慮自身的舒適性、安全性,而不去考慮其他交通參與者的體驗。我們的決策是需要在考慮整體的平衡時提高效率,所以設(shè)計評價指標時除了自車舒適性、效率、安全性等還需要考慮交互車輛的感受。這里舉了兩個例子,一個是讓行,一個是搶行。
5,建模誤差糾正一些場景沒有符合我們期待的預(yù)測,例如人行道上兩個人向右行走,但有一個人帽子掉了,很多種可能這人撿完帽子往左跑,撿完右跑,這里面的自由度非常大,所以Cruise采用強化學習的方法離線訓(xùn)練模型,進行仿真模擬確保多場景的考慮。
Cruise 用同樣的方法去訓(xùn)練兩臺車同時停相鄰?fù)\囄坏膱鼍埃_保停車運動最優(yōu)。
6,通過模仿學習決策
使用模仿學習的方法,并離線訓(xùn)練策略網(wǎng)絡(luò)生成模型進行決策,例如學習前車超過前方慢行左轉(zhuǎn)的車輛場景。
7,考慮滯后性
從自動駕駛車輛右方突然竄出一輛自行車,如果正常的決策流程的話很可能反應(yīng)延遲撞上去,因此這里cruise利用強化學習的方法離線訓(xùn)練類似場景,跳過預(yù)測,直接輸出決策給規(guī)劃和控制,及時剎車。這里有點類似AEB(緊急自動剎車),在自動駕駛系統(tǒng)設(shè)計中需要考慮應(yīng)急系統(tǒng)解決這樣的場景,生活當中比較常見的事故發(fā)生原因 。
8,考慮整車動態(tài)性能(什么是整車動態(tài)性能點擊干貨 | 整車敏捷性Agility 開發(fā)101)
通過設(shè)計一個高保真車輛和環(huán)境的動力學模型在規(guī)劃控制閉環(huán)系統(tǒng),保證了自動駕駛駕駛的舒適性和安全。
以上結(jié)論,Cruise表示很自豪的采用機器學習offline 來加速決策算法的優(yōu)化。
虛擬驗證
顯然從上文可以知道,自動駕駛主要是算法軟件架構(gòu)的競爭,而算法的完善需要大數(shù)據(jù)的挖掘,首先要有足夠的長尾場景,基于長尾場景的corner case逼近極端狀況重復(fù)測試學習得到最優(yōu)解。所以Cruise 建立Morpheus虛擬驗證開發(fā)系統(tǒng),減少路試,利用規(guī)?;臀磥硗卣?,這些同理類似于自動駕駛元宇宙的系統(tǒng),和我們之前講到Nvidia英偉達的 AI 智能汽車信仰中的Omniverse類似。
Morpheus提供了虛擬平臺,但使虛擬平臺需要構(gòu)建虛擬場景,如何構(gòu)建虛擬場景呢?Cruise 介紹其以下幾個方面進行:
- 道路到虛擬Road to SIM, 把現(xiàn)實場景轉(zhuǎn)化到可以編輯的虛擬場景。NPC(Non-player character) AI - 來自于游戲概念,把場景中的人,車輛賦予運動。World Gen 世界生成,規(guī)?;焖倩卣共煌鞘刑摂M世界,而且支持不同光線和時間天氣。其他同時包括對于汽車動態(tài)以及不同傳感器虛擬。
當然自動駕駛元宇宙的構(gòu)建并不意味著不需要測試,Cruise CEO在問題采訪時候表示,其實自動駕駛算法的建立的原則使需要用戶使用場景的定義輸入,那么用戶場景定義怎么來的呢?來自于三個方面:
1,路試以及數(shù)據(jù)采集
2,工程師的設(shè)計
3,根據(jù)路試采集的情況進行極端情況的虛擬
所以這里表示路試依然非常必要,他影響到最原始的需求定義,豐富的使用場景才能確保算法和接下來的工作正確。開發(fā)流程工具
自動駕駛的開發(fā),其實和整車開發(fā)一樣需要完善的流程和工具鏈才能確保眾多參與開發(fā)的人員高效(了解整車開發(fā)流程點擊整車開發(fā)流程-完結(jié)篇)。Cruise 宣稱其工具鏈全覆蓋從物理路試到云端代碼,整個工具鏈相互融合數(shù)據(jù)自動流轉(zhuǎn),可以讓路試數(shù)據(jù)實時傳送分析,供工程師算法學習虛擬驗證,可以在一周內(nèi)進行多次的算法更新部署到路試車輛。
他的工具鏈包括:
Starfleet,Drive用于路試端的數(shù)據(jù)以及場景,一天可以采集上千個自動生產(chǎn)進入Webviz平臺,logging,inspector,framework等工具自動提取高質(zhì)量數(shù)據(jù)。Simulation系統(tǒng)通過采用與谷歌合作的Hydra批量調(diào)度平臺進行虛擬,Galileo應(yīng)該是算法管理系統(tǒng). Cartographer 是 Cruise Maps 網(wǎng)絡(luò)平臺,允許用戶創(chuàng)建、可視化、編輯和試驗高清語義地圖,所有地圖創(chuàng)建和維護工作流程的中心。最后釋放到starfleet 部署路試車輛。
聽起來很美好,確實現(xiàn)代汽車開發(fā),特別是大數(shù)據(jù)時代,工具就是生產(chǎn)力,我曾經(jīng)見過各種因為工具和流程問題導(dǎo)致開發(fā)效率大大降低,縱使工程師沒日沒夜的加班也只是浪費精力降低創(chuàng)新度,這個在國內(nèi)企業(yè)非常普遍,工程師拼加班時間,這是最大的浪費,用戰(zhàn)術(shù)上的勤勞掩蓋了戰(zhàn)略上的懶惰。Cruise 未來方向當然通過上文看下來,如果問到Cruise的優(yōu)勢,應(yīng)該是背靠大樹北美的通用,日本的本田,能夠快速落地畢竟這兩家的汽車銷量都非常高,所以Cruise不缺錢也不怕落地問題。
目前最快落地的就是Origin Robotaxi可以用于出行以及短途物流行業(yè),依托通用以及本田的工程能力和供應(yīng)鏈。這個項目有點像現(xiàn)代起亞集團的Purpose build vehicle系列(KIA起亞汽車的2030戰(zhàn)略),也有點像咋們國內(nèi)搞得很火滑板底盤(什么是“滑板底盤”?什么商業(yè)模式?)。
所以Cruise 目前得技術(shù)儲備是大規(guī)?;赏卣?,構(gòu)建工具鏈,所以目前Cruise 在網(wǎng)上散步的信息也透露出對人才的饑渴,畢竟不缺錢,資本也希望看到接下來通過Origin的規(guī)?;踔翆νㄓ煤捅咎飪?nèi)部的自動駕駛技術(shù)反哺。
當然除了自動駕駛落地,內(nèi)部算法和工具鏈,Cruise也和特斯拉一樣,走自研芯片的道路,芯片包括AI車端芯片,用于傳感器,中央處理,也包括AI學習批量數(shù)據(jù)處理云端芯片。
所以總結(jié),Cruise的野心在通用汽車以及本田汽車的催生下,應(yīng)該是非常巨大,其商業(yè)模式以及算法工具鏈都為大規(guī)模鋪開而準備。
那么你會看好Cruise嗎?歡迎投票了解。
參考文章
通用Cruise 投資者報告 - Cruise
Autonomous Driving Moonshot Project with Quantum Leap from Hardware to Software & AI Focus - 德勤
Autonomous Vehicles: Navigating the legal and regulatory issues of a driverless world- MCCA
自動駕駛安全報告-通用
The autonomous car A consumer perspective- Capgemini
自動駕駛測試以及部署問題 - CRS
Cruise 高清地圖的三種方式為我們的自動駕駛提供優(yōu)勢- Cruise高級產(chǎn)品經(jīng)理ERIN
Cruise自動駕駛決策規(guī)劃技術(shù)解析 - 知乎自動駕駛拖拉機
Cruise under the hood視頻-Cruise
*未經(jīng)準許嚴禁轉(zhuǎn)載和摘錄