2648
作者?| 奚少華
在上一篇《詳解激光雷達點云數(shù)據(jù)的處理過程》一文中，筆者主要詳解了自動駕駛車輛上的激光雷達點云處理流程。
在與激光雷達公司和下游主機廠或者解決方案商的專家交流的過程中，筆者發(fā)現(xiàn)，當前激光點云的處理過程中，感知算法人員會遇到很多問題。比如，點云噪點的問題、點云的過多或者過少的問題、FOV的設計問題、點云重疊區(qū)域的問題、標定參數(shù)偏移的問題等。
本文將從技術層面和工程化層面兩個維度，分別來闡述點云處理環(huán)節(jié)中遇到的問題以及相應的對策。
01、技術層面的問題及對策
1.1 點云噪點的問題及對策
點云噪點是指激光雷達采集到的一些無效點，它容易造成目標檢測算法模型的誤檢。激光點云噪點的主要來源有兩方面：一方面是目標物表面造成的噪點。比如，目標物表面材質(zhì)的性質(zhì)（高反射率的表面材質(zhì)引起的點云反射能量過強，而使得目標物比實際大小更大）、粗糙程度（凹凸不平的表面使得點云的發(fā)射角度發(fā)生變化）等；另一方面是外部掃描環(huán)境造成的噪點，如雨雪霧塵等顆粒物遮擋了點云而無法反射回點云等。
上一篇《詳解激光雷達點云數(shù)據(jù)的處理過程》的文章中提到，點云噪點的處理主要集中在預處理階段的濾波處理環(huán)節(jié)。濾波處理是從算法應用的角度來處理噪點，但是有些噪點并不能簡單地通過濾波算法來處理。比如，大雨或者大雪等環(huán)境不能直接用濾波算法處理。再比如，對于某些電信號對激光雷達的影響，濾波算法也不能直接處理。
接下來，筆者梳理了幾個較為典型的噪點因素，并依次詳述它們各自的問題和對策。
（1）物體表面引起的噪點
激光點云掃描到一些特殊的目標物表面時，由于目標物反射回來的點云能量過高（高反射率）而造成了一些噪點。
對于高反射率的目標物表面，激光點云通常會出現(xiàn)高反“鬼影”和高反“膨脹”的現(xiàn)象。其中，高反“鬼影”指的是由于激光雷達對于高反射率目標物反射回來的高強度回波非常敏感，這促使目標物除了在原有真實坐標系下存在一個真實點云圖像外，在臨近的其它位置也會出現(xiàn)一個大小和形狀類似的點云圖像。例如，交通指示牌、車牌照、尾燈等。高反“膨脹”指的是激光掃描到高反射率的目標物表面后，點云圖像會出現(xiàn)向四周擴散的現(xiàn)象，使得原有的目標物點云圖像顯得更大。
?圖：點云圖像中的“鬼影”現(xiàn)象（數(shù)據(jù)來源：速騰聚創(chuàng)）
?圖：點云圖像中路牌的“高反”現(xiàn)象（數(shù)據(jù)來源：速騰聚創(chuàng)）
那么，無論是高反“鬼影”還是高反“膨脹”都會造成誤檢，兩者都可能會迫使車輛采取本來毫無必要的避障措施。
物體表面引起的點云噪點主要可以通過硬件層面和算法層面來解決。
在硬件層面，技術人員通過加強激光雷達產(chǎn)品的出廠測試環(huán)節(jié)，從而提升激光雷達對高反射率物體和低反射率物體的分辨能力。
在算法層面，主要靠濾波算法來處理?？v目科技感知算法工程師湯強說：“物體表面引起的噪點通過設置閾值條件來把異常點去掉?！?/p>
關于如何設置閾值的條件，某自動駕駛公司的感知算法工程師說：“舉例來說，算法模型會先定位到一片點云密集區(qū)域內(nèi)，計算該區(qū)域內(nèi)每個點到其中心點的平均距離，然后將這個平均距離設為初始閾值條件。若目標點云在這個初始閾值范圍外，該點云就是噪點。”
（2）惡劣天氣引起的噪點
惡劣天氣是自動駕駛系統(tǒng)較難應付的環(huán)境因素，尤其是雨雪霧塵，這些天氣環(huán)境會讓激光點云產(chǎn)生非常多的噪點。下文將依次分析這四種環(huán)境對激光雷達點云產(chǎn)生的影響。
首先是雨天環(huán)境。雨滴主要是晶體狀，激光打上去會損失一定的能量，因為水滴會讓部分激光束產(chǎn)生一定的鏡面折射。另外，隨著雨量增大后，降雨可能會由于地面溫差而形成團狀霧，這會讓自動駕駛系統(tǒng)誤以為前方是一個“障礙物”。
其次是雪天環(huán)境。雪是固體狀，并且容易形成體積更大的固體物。除了會堆積成團狀的障礙物外，大雪天還容易讓地面形成大面積的積雪，這將不利于在目標檢測環(huán)節(jié)中做地面點云分割處理。
再者是大霧環(huán)境。一般來說，在霧天不嚴重的情況下，如輕霧（能見度為1km-10km），霧天并不會影響激光雷達點云的處理效果，但是當霧天能見度越來越低后，激光點云的透過率會下降，車輛前方的點云圖像會形成類似團狀物體的假象，這就會造成誤檢。
最后是粉塵環(huán)境。相比于前面三者，粉塵或許會更難應付。一方面，粉塵會形成團狀物體，易導致激光雷達的誤識別；另一方面，粉塵不同于雨雪霧，它附著于激光雷達表面后，不會變干后自然消失，需要用清潔裝置立即進行清理。
那么，該如何去解決這些問題？
上汽高級經(jīng)理殷瑋說：“如果激光雷達只是用于識別障礙物的話，點云噪點的影響不會特別大；如果這些點云數(shù)據(jù)用于勾勒free space（即可行駛區(qū)域，其指的是自動駕駛車輛可以進行規(guī)劃控制的區(qū)域）的話，就需要考慮使用傳統(tǒng)的濾波算法進行處理，但濾波算法處理這些噪點的程度不一定能把控好。”
雖然傳統(tǒng)的濾波算法可以用于點云去噪，但是該方法的計算量非常大，其算法最終的效果還依賴于技術人員的技術水平。所以，在自動駕駛行業(yè)內(nèi)，技術人員也會采用神經(jīng)網(wǎng)絡模型來處理點云噪點。
某主機廠感知算法工程師說：“感知算法人員可直接利用深度學習模型去識別車輛前方的障礙物，將雨水等噪點直接忽略掉。”
總的來說，技術人員與其采用傳統(tǒng)方法來識別這些噪點，不如忽略這些噪點，直接采用神經(jīng)網(wǎng)絡模型來識別前方的障礙物，如車輛、行人等，畢竟這些障礙物才是需要重點去檢測的目標物，而雨雪霧塵（不嚴重的情況下）并不會影響正常的行車安全。
（3）電磁信號引起的噪點
如今，隨著5G網(wǎng)絡日益發(fā)達，各種手機、筆記本電腦等電子產(chǎn)品到處都是，而激光雷達作為一種精密器械，將會被這些電子產(chǎn)品產(chǎn)生的電磁波干擾，從而產(chǎn)生噪點。另外，當自動駕駛車輛經(jīng)過一些特定區(qū)域時，如機場、發(fā)電引起，這些區(qū)域也會產(chǎn)生電磁波的干擾。
關于電磁信號引起噪點的原因，圖達通系統(tǒng)及應用負責人Leon說：“主要是兩方面的原因：其一，電磁信號會影響激光雷達的整個電路，比如電容等等；其二，電磁信號將影響激光雷達的接收端，由于接收器的靈敏度非常高，意味著它更容易受到電磁信號的干擾。”
為了解釋電磁信號影響激光雷達內(nèi)部電路和接收器的原因，某激光雷達公司的專家說：“較強的電磁信號在透射進入激光雷達內(nèi)部后，對整個電路或者接收端的器件形成電壓變化（超過了激光雷達部內(nèi)的額定電壓），影響了激光雷達內(nèi)部的正常工作?！?/p>
結(jié)合上述原因來看，電磁信號引起的噪點，本質(zhì)上是因為激光雷達的硬件端受到了干擾。因此，這種噪點無法通過濾波算法來處理。若要正確解決電磁信號引起的噪點，關鍵是靠激光雷達自身硬件質(zhì)量是否過硬。
Leon說：“在前期研發(fā)階段，激光雷達廠商會做一些EMC測試（電磁兼容測試），需要在不同頻段上做屏蔽電路的測試?！?/p>
1.2 點云過多或者過少的問題及對策
點云過多的話，算法模型處理數(shù)據(jù)的難度和計算量會增加。比如，在點云分割過程中，由于點云數(shù)量過多，目標物之間的邊緣可能無法快速進行特征計算和分割，從而導致計算量增加。
某主機廠感知算法工程師說：“目前車端的算力并不是那么高，點云過多的話，最直接的解決措施就是采取降采樣——去除多余的點，但并不是隨意刪除，必須要最大程度地保留有用的信息（利用深度學習模型，提取目標物的主要特征）。舉例來說，降采樣方法會將90%的點云數(shù)據(jù)去除，但仍然保留了50%的有效信息?！?/p>
不過，目前行業(yè)內(nèi)的關注點更多的還是點云信息不足的問題。那么，為什么點云過少會更受到關注？
目前，在自動駕駛行業(yè)內(nèi)，點云在車端主要被用于感知，所以點云信息需要盡可能的多。
某主機廠的感知算法工程師說：“點云數(shù)據(jù)被用于目標檢測時，感知算法人員不知道被測物體具體是什么，所以他們希望信息量盡可能地多?！?/p>
總的來說，點云過少的話，目標障礙物表面掃描到的點云數(shù)量過少，這可能會導致漏檢。
縱目科技感知算法工程師湯強說：“點云過少的問題，主要有三種解決方案：第一，多幀疊加。舉例來說，在處理點云圖像時，感知算法人員會將當前幀點云前后各后5幀的pcd數(shù)據(jù)都投影到當前幀時刻上，這樣就形成了共11幀的pcd數(shù)據(jù)，讓點云顯得更密。
“第二，深度補全——常見的傳統(tǒng)方法主要是利用腐蝕和膨脹的形態(tài)學方法。比如，激光雷達掃描到一根鐵絲上時，可能就只顯示少量的點云，為了提升點云真值數(shù)據(jù)的準確性，就需要使用該方法將這根鐵絲變得更粗。行業(yè)內(nèi)也有很多通過深度學習來做深度補全的方案。
“第三，增加線束。一方面，使用性能更好的激光雷達產(chǎn)品，如32線的產(chǎn)品改用128線的產(chǎn)品；另一方面，技術人員通過堆激光雷達數(shù)量的方式，來增加感知區(qū)域的點云數(shù)量?！?/p>
1.3 不同技術路線引起的問題及對策
當前，由于車輛外觀造型和成本等因素，量產(chǎn)車主要是以半固態(tài)的激光雷達為主。該章節(jié)部分將重點介紹半固態(tài)激光雷達引起的點云問題和相關對策。
按照掃描方式的不同，ToF激光雷達可分為機械式、半固態(tài)、純固態(tài)三類。在實際的應用過程中，不同掃描技術路線的激光雷達會出現(xiàn)不同的點云問題。
一般來說，半固態(tài)激光雷達由于其掃描方式導致了點云中間密、兩邊稀疏的特點。除此以外，半固態(tài)激光雷達在面對低反射率物體時，存在識別能力較弱的問題。
某L4自動駕駛解決方案商技術專家說：“以對鐵絲網(wǎng)的檢測為例，半固態(tài)的激光雷達無論是轉(zhuǎn)鏡式、棱鏡式，還是MEMS，它們一般都有5-6個激光發(fā)射器，通過掃瞄鏡去分光，這種掃描方式造成了分光后激光點云的能量減少，致使掃描到的鐵絲網(wǎng)會出現(xiàn)大面積的漏空或者識別不出的情況?！?/p>
解決上述問題的主要對策就是增加感興趣區(qū)域的點云密度。比如，某些半固態(tài)激光雷達產(chǎn)品采取了角分辨率可調(diào)的方法，將原本激光雷達看得遠的優(yōu)勢轉(zhuǎn)化為角分辨率上的優(yōu)勢。根據(jù)不同的場景使用需求，自動駕駛的感知系統(tǒng)可直接根據(jù)場景需求來設置激光雷達在感興趣區(qū)域的點云密度。
02、工程化層面的問題及對策
2.1?安裝方式造成的問題及對策
在硬件性能固定的前提下，點云處理效果可能會與激光雷達安裝的位置和對應的角度有關。不正確的安裝可能會使得點云無法覆蓋重點感知區(qū)域。
某激光雷達廠商的技術專家舉例列出了三種可能會影響點云效果的不正確的激光雷達安裝方式：“第一種是非正向的安裝。比如，有些應用方可能會把激光雷達倒過來安裝，這會影響激光雷達原有的內(nèi)部結(jié)構。假設激光雷達里面有一根彈簧，在原本正向安裝和使用時，彈簧是被壓縮的，但倒過來安裝和使用時，彈簧就會被拉升，這會影響激光雷達內(nèi)部器件。
“第二種是激光雷達在垂直角度上安裝得過偏。一般情況下，激光雷達在垂直角度上都是平向安裝，而在水平角度上可根據(jù)具體需求來定，但有些時候車端的激光雷達在垂直角度上安裝的過偏。比如，激光雷達在垂直角度上安裝得過于朝上或者朝下，點云無法完全覆蓋重點感知區(qū)域。
“第三種是安裝得過低。激光雷達被安裝在較低的位置，激光束與地面的夾角會減小，導致了點云反射回來的能量就比較弱，不利于實際的探測。所以，激光雷達一般會被安裝在較高的位置。”
當然了，激光雷達具體怎么安裝仍取決于具體需要實現(xiàn)什么功能。
某主機廠的感知算法工程師說：“拋開功能去做傳感器的配置，這并不是正兒八經(jīng)地做產(chǎn)品。如果激光雷達用于Robotaxi，激光雷達需要安裝在車頂，這樣可以實現(xiàn)360°的水平FOV。如果激光雷達用于檢測盲區(qū)，激光雷達需要裝在車的前后左右側(cè)，這樣可以實現(xiàn)行駛時的換道。如果激光雷達用于實現(xiàn)pilot功能（高速領航輔助功能），激光雷達一般就是裝在車頂正前方。如果激光雷達用于交叉口的場景，激光雷達就需要在左右兩側(cè)的前端各裝一個?！?/p>
2.2 FOV設計引起的問題及對策
哪怕安裝方式?jīng)]問題，如果FOV設計有短板，那激光雷達仍然會存在感知盲區(qū)。那么，激光雷達的水平或垂直FOV具體設計多少才合適？在水平方向上，多臺激光雷達的FOV如何做拼接，才能將點云更有效地覆蓋盲區(qū)？
表：部分激光雷達產(chǎn)品的FOV情況
數(shù)據(jù)來源：各激光雷達廠商官網(wǎng)
首先，在水平FOV方面，大部分的應用方肯定都希望激光雷達的水平FOV能夠無死角的覆蓋，但考慮到成本因素，具體水平FOV設計多少度需要根據(jù)激光雷達所實現(xiàn)的功能而定。
某主機廠感知算法工程師說：“對于城區(qū)或者高速場景，一個水平FOV為120度的激光雷達已經(jīng)夠用了。對于泊車場景，激光雷達的水平FOV就需要達到360度?！?/p>
在城區(qū)或者高速場景，當前的量產(chǎn)車主要可實現(xiàn)的功能是輔助駕駛，激光雷達主要功能在于對前方目標物的識別檢測，所以單個水平FOV為120°的激光雷達即可實現(xiàn)。某些車企為了增加激光雷達前方的點云覆蓋面積，也會采用了兩顆主激光雷達方案，從而達到180°左右的FOV。還有些車企采用了1顆前向主雷達+2顆側(cè)向補盲激光雷達的方案（布置在車輛左右兩側(cè)），使得整個水平FOV達到320°以上。
在泊車場景，為了實現(xiàn)高級別自動駕駛的AVP功能，激光雷達部署需要采用水平FOV為360度的方案（1顆前向主激光雷達+2顆側(cè)向補盲激光雷達+1顆后向補盲激光雷達），可以讓點云全場景的覆蓋。
圖：不同激光雷達配置下的水平FOV
（來源：速騰聚創(chuàng)）
其次，在垂直FOV方面，主激光雷達為了獲得更多的前方信息，需要盡可能地減少垂直方向的FOV，從而增加車前方的點云數(shù)量，返回能量也能更多，所以垂直方向FOV一般僅為25°；而補盲激光雷達為了看清車身周圍的環(huán)境，需要其垂直FOV水平能更大，可達到近90°。
某主機廠感知算法工程師說：“面對小孩和寵物等體積小并且會“亂跑”的目標物，，就需要補盲激光雷達的垂直FOV更大一些，這樣可以更大程度地掃描到近距離的目標物，讓激光雷達掃在目標物上面的點云能夠更加完整?！?/p>
?圖：補盲激光雷達的垂直FOV（數(shù)據(jù)來源：速騰聚創(chuàng)）
2.3 多個激光雷達重疊區(qū)域的問題及對策
在設計多激光雷達部署方案時，多個激光雷達之間的水平FOV往往需要有重疊區(qū)域，而不是完美地無縫拼接在一起。設計點云重疊區(qū)域的理由主要是：
第一，激光雷達產(chǎn)品標注的官方FOV水平是一個較為理想的狀態(tài)，而在產(chǎn)品實際應用時，其FOV水平并不一定能達到該理想水平。
圖達通算法負責人許建博士說：“雖然激光雷達產(chǎn)品標稱了水平視場角，但實際上水平視場角邊緣的點云質(zhì)量容易退化，點云拼接時最好能夠有一定的重疊區(qū)域?！?/p>
第二，多個激光雷達的重疊區(qū)域主要覆蓋在車輛盲區(qū)位置。比如1個主雷達+2個補盲雷達的方案，相互之間的重疊區(qū)域主要是分布在車前側(cè)兩端的位置，這個區(qū)域增加點云的數(shù)據(jù)信息可以提高模型對車輛盲區(qū)的感知能力。再比如，車前方兩個主雷達的方案可以提高車前端感知區(qū)域的信息冗余安全。
某主機廠感知算法工程師說：“如果兩個激光雷達只是簡單地拼接在一起，當一個目標物處于它們各自的邊緣區(qū)域時，感知系統(tǒng)可能會很難檢測到該盲區(qū)位置的目標物。如果兩個激光雷達有一定的重疊區(qū)域時，系統(tǒng)至少有很大一部分點云能覆蓋到該目標物?！?/p>
所以，多個激光雷達的感知區(qū)域重疊是非常有必要的，重疊區(qū)域可以讓點云更密、信息冗余安全更高。那么，在水平FOV方向上，點云重疊區(qū)域到底需要交叉多少才合適呢？
Leon說：“以應用方的反饋來看，他們會要求多個激光雷達之間有一定的重疊部分，可以保證自動駕駛系統(tǒng)在識別檢測時不漏掉任何目標物。同時，他們也不希望重疊區(qū)域太多，這會造成資源的浪費?！?/p>
也就是說，點云重疊區(qū)域較小的話，由于某些半固態(tài)激光雷達掃描區(qū)域的邊緣部分點云較稀疏，這使得點云配準難度會加大。點云重疊區(qū)域較大的話，會造成傳感器硬件性能的浪費，使得最后多個激光雷達拼接成的整體水平FOV過小。
在與各專家的交流后，筆者整理出了多個激光雷達方案下點云重疊區(qū)域的大小范圍：
兩個前向主激光雷達方案：重疊部分分布在車頭蓋前面，重疊區(qū)域的度數(shù)約20-30度；
一個主雷達+兩個側(cè)向補盲雷達方案：重疊部分分布在車頭前向兩側(cè)，重疊區(qū)域的度數(shù)大概不小于5度。
當然，上述重疊區(qū)域的大小是一個理想范圍，而真正在車端應用時仍需要做嚴格的測試。
許建說：“多個激光雷達在部署時，關于重疊區(qū)域的度數(shù)，技術人員需要做一套嚴格的工程應用測試，而不會直接定一個確定的數(shù)值。首先，技術人員會按照給定的產(chǎn)品設計指標參數(shù)進行3D模擬測試。然后，他們會在模擬測試的基礎上，再進行實地測試。最后才會給出相應的重疊區(qū)域設置。”
在確定完重疊區(qū)域的度數(shù)后，接下來需要解決的是如何去使用重疊區(qū)域的目標物點云數(shù)據(jù)。
重疊區(qū)域的點云數(shù)據(jù)并不意味地拿來即用，其存在著一定的困難。許建說：“一方面，重疊區(qū)域的點云可能來自兩種不同技術路線的激光雷達，這兩種激光雷達不僅功率、視場角、角分辨率等參數(shù)指標都不同，而且，實際用法也不同。”
通常情況下，由于各家應用方的技術方案不同，所以針對點云重疊區(qū)域的處理方案也是不同的。筆者整理了三種可能的應對方案。
第一種方案是直接采用主激光雷達來檢測識別。
Leon說：“對于重疊區(qū)域，感知算法人員可以是通過多個激光雷達相互的信號補充，來增加識別的可信度，也可以只看主雷達的點云數(shù)據(jù)，畢竟相比側(cè)端的補盲激光雷達，主激光雷達在探測的精細度、距離等各個方面的性能更高?！?/p>
第二種方案是先采用主激光雷達的點云數(shù)據(jù)，再采用補盲激光雷達的點云數(shù)據(jù)。
某主機廠感知算法工程師說：“在很多時候，兩個不同性能指標的激光雷達點云重疊在一起，不可能將兩塊點云合成一個點云來使用，很多時候是主激光雷達去測一下，然后補盲激光雷達再去測一下?！?/p>
第三種方案是多激光雷達的點云融合。
禾賽某技術專家說：“為了降低算力消耗與提升算法效果，多激光雷達融合在主流方案里基本都是點云前融合然后進行后續(xù)處理。前融合的過程會將所有的點云都轉(zhuǎn)換到車身坐標系進行同一處理，最大程度地解決不同安裝位置帶來的點云數(shù)據(jù)差異?！?/p>
2.4 標定參數(shù)偏移的問題及對策
為了更好地融合激光雷達和相機的數(shù)據(jù)，自動駕駛車輛需要在出廠時就做好兩種傳感器的標定。感知算法人員通過求取其外參后，將兩種傳感器的三維信息轉(zhuǎn)換到統(tǒng)一坐標系下，進行融合定位建圖或者感知檢測。
已標定好的傳感器參數(shù)并不是一成不變的。事實上，在車輛的行駛過程中，由于車輛不斷地機械振動，使得激光雷達與相機之間的標定參數(shù)會發(fā)生偏移，這會影響點云的識別檢測以及激光雷達與相機的融合處理。
某主機廠感知算法工程師說：“激光雷達和相機之間的標定較難，雖然出廠時，車端傳感器的聯(lián)合標定是已經(jīng)做好的，但隨著時間的推移，它們之間的標定關系會慢慢發(fā)生改變，這個時候也不可能是讓車輛回廠后進行重新標定。
“對于量產(chǎn)車來說，車已經(jīng)賣出去了，不可能開回車廠再重新標定。自動駕駛車輛只能做在線標定，系統(tǒng)會根據(jù)已收集的數(shù)據(jù)，在車開至某個特定的場景后（比如線和面的特征較多的場景），讓自動駕駛系統(tǒng)重新標定。如果在高速公路上的話，自動駕駛車輛很難找到一個特定場景去重新標定，只能將車輛開至城區(qū)的特定位置后再標定。
“對于細分場景的低速車來說，由于大部分低速場景都是半封閉的場景，通常技術人員會在場景內(nèi)選擇一個容易標定的位置，把車開過去，再重新進行標定。最后，如果實在沒法解決問題，自動駕駛企業(yè)才會派人去現(xiàn)場?！?/p>
參考文獻
【1】自動駕駛發(fā)展面臨的惡劣天氣問題 https://mp.weixin.qq.com/s/oFjHLRX2c1y2eP00TRsBjg
【2】激光雷達，揭開面具下隱藏的“丑陋” https://mp.weixin.qq.com/s/XbUlUTr0jIDLcrquOleG6A
【3】補盲固態(tài) E1 登場，補全車載激光雷達新時代的最后拼圖 https://mp.weixin.qq.com/s/-bCgsSQBH89_tnmJmQGl1w
