揭開ADAS感知攝像頭 - 分辨率和幀率的神秘面紗

智能汽車AI 時代，攝像頭作為“汽車之眼”變得非常重要，我們之前文章《智能汽車要用多少個攝像頭？分別干啥？什么原理？》簡單的介紹了判斷汽車攝像頭的幾個指標(biāo)，當(dāng)時查找資料時候看到下面這篇分析汽車攝像頭分辨率（以 Mpixel 為單位）和幀速率 (fps) 的文章，寫的還不錯，簡單同時帶有數(shù)據(jù)分析，可以作為對智能駕駛愛好者對攝像頭參數(shù)理解或者從業(yè)工程人員對設(shè)計硬件選型參考。

在當(dāng)前智能駕駛中，基于攝像頭的 ADAS 因其應(yīng)用、更高的可靠性和對新要求的適應(yīng)性而被廣泛采用。ADAS 攝像頭通常部署在汽車的前部、側(cè)面和后部，提供駕駛和停車輔助。前置攝像頭系統(tǒng)最常安裝在汽車的前部，后視鏡后面。后置攝像頭安裝在靠近車牌的后側(cè)，而側(cè)面攝像頭安裝在汽車兩側(cè)靠近鏡子的位置《了解布置位置可以點擊視覺為王-小鵬以及特斯拉的自動駕駛方案》。

本文介紹了汽車攝像頭系統(tǒng)的分辨率（以 Mpixel 為單位）和幀速率 (fps) 選擇的見解，重點是單目前置攝像頭，當(dāng)然也可以用于后/側(cè)攝像頭選擇參考。

ADAS 前置攝像頭 (FC) 系統(tǒng)從現(xiàn)實世界中捕獲并識別感興趣的對象（例如行人、汽車和兩輪車）。如下圖所示，ADAS FC 系統(tǒng)由攝像頭模塊（鏡頭和傳感器）組成，用于將場景捕獲為一系列圖像（即視頻），然后在嵌入式處理器芯片上進(jìn)行分析以識別感興趣的對象。

ADAS 前視視像頭的關(guān)鍵功能是識別感興趣的對象以及與汽車的距離，并在正確的時間應(yīng)用緊急休息以避免碰撞。這些目標(biāo)必須在給定解決方案的高精度檢測、低成本、低功耗和小尺寸的嚴(yán)格限制下實現(xiàn)。該解決方案必須能夠在夜間或弱光駕駛等不同場景下工作。整體解決方案中的三個參與者相互交互以實現(xiàn) ADAS 系統(tǒng)的目標(biāo)：

1. 現(xiàn)實世界：這包括汽車和可能成為潛在事故目標(biāo)的感興趣對象（例如行人、車輛、兩輪車等）。
2. 攝像頭模塊：由鏡頭和傳感器組件組成。它以固定間隔 (fps) 將現(xiàn)實世界捕獲為圖像像素（分辨率）。
3. 算法：它通常會找到感興趣的對象（例如行人）并在可能的碰撞情況下提醒駕駛員。由于行人目標(biāo)可能存在于未知距離，它通常在一系列具有固定行人模型尺寸（例如 64×32 像素）的縮小圖像（稱為圖像金字塔）中搜索給定的行人。使用屬性（稱為從像素中提取的特征）而不是實際像素來執(zhí)行搜索，以獲得更好的魯棒性。一旦找到匹配的行人，就會計算到行人的距離和碰撞時間 (TTC)。這些算法屬于計算機視覺 (CV) 和機器學(xué)習(xí) (ML) 領(lǐng)域，并在嵌入式 SoC（片上系統(tǒng)）上運行。

下圖顯示了三個參與者以及實現(xiàn) ADAS 系統(tǒng)目標(biāo)的各種參數(shù)。

第 1 部分：揭秘分辨率/Mpixel通常，成像傳感器的 Mpixel (MP) 決定了可以檢測和識別給定對象的最遠(yuǎn)距離。下圖顯示了多種配置下與行人的距離與 Mpixel 的典型關(guān)系。

上圖中的曲線假設(shè)現(xiàn)實世界中行人的高度為 1.5m，圖像傳感器的物理尺寸為 1/3”（標(biāo)準(zhǔn)OF值計算方法是其實際對角線長度 1/3英寸大概就是6mm）。基本配置對應(yīng)于給定鏡頭的 450 FOV（視場）和行人高度，在捕獲的圖像中為 64 像素。如圖 3 所示，1MP 到行人的最大距離為 34 m，8 MP 增加到 101m。對于汽車圖像傳感器，目前使用 1 MP，在不久的將來會增加到 2 MP，并在較長時間內(nèi)達(dá)到 8 MP。

表 I 總結(jié)了增加 Mpixel（0.3 MP 到 8 MP）和最遠(yuǎn)行人距離（24m 到 101m）的影響以及假設(shè)和可能的權(quán)衡。隨著分辨率的提高，它帶來了下一組問題，例如低光性能差和計算/功率要求高。對于給定的分辨率（例如 2MP），有多種方法可以增加最遠(yuǎn)行人距離，總結(jié)如下。

1. 在圖像金字塔搜索過程中使用較小尺寸的行人模型：這導(dǎo)致距離增加 2 倍（51m 到 101m），因為模型尺寸減少了 2 倍（第 4 行）。通常，較小尺寸的行人模型會降低檢測的準(zhǔn)確性，并產(chǎn)生更多的誤報。
2. 使用更小的模型尺寸和復(fù)雜的特征：這會導(dǎo)致更高的距離和相似的檢測精度（第 5 行）。與從行人中提取的傳統(tǒng)特征（例如 Haar、HoG）相比，復(fù)雜的特征（例如 Co-Hog、卷積神經(jīng)網(wǎng)絡(luò) -CNN）需要更高的計算能力（以及成本）。
3. 使用窄 FOV（即更高的焦距）：這意味著在現(xiàn)實世界中跨越較低的正面區(qū)域，從而產(chǎn)生更高的距離（51m 到 59m）（第 6 行）。在 FOV 的極端減少（例如，達(dá)到 250 FOV）將導(dǎo)致需要額外的傳感器來覆蓋類似的正面區(qū)域。

在更高 MP（例如 8MP）的情況下，一種可能的折衷方案是使用更寬的 FOV 鏡頭來覆蓋前方和交叉路口。這消除了額外的傳感器，從而降低了成本（第 10 行）。

第 2 部分：揭秘幀率 (fps)通常，成像傳感器的幀率決定了避免物體碰撞的最大停止距離。下圖顯示了汽車的停車距離與停車距離的典型關(guān)系。汽車速度的多種配置的幀速率。

停車距離是在應(yīng)用中斷之前檢測行人期間覆蓋的距離和在中斷期間覆蓋的距離的相加。圖的假設(shè)是行人檢測期間的七幀延遲，其中包括大約三幀的處理延遲和大約四幀的跟蹤延遲，以提高檢測質(zhì)量。另一個假設(shè)是根據(jù)英國公路法規(guī)打破距離。如上圖所示，假設(shè)汽車速度為 80 Km/Hr，停車距離從 55m 減少到 45m，因為幀速率從 10fps 到 15fps（文章寫的時候）再到 30fps（現(xiàn)在基本都在30fps）。

表二顯示了增加車速（30Km/Hr 到 250Km/Hr）和對停車距離（8m 到 390m）的影響以及各種參數(shù)和假設(shè)。對于給定的汽車速度（例如 80 Km/Hr），有多種方法可以減少剎車距離，如下所示。

1. 使用更高的幀速率：隨著幀速率的增加（10 到 30 fps），這會降低延遲（750 毫秒到 284 毫秒）。這也提高了對象（例如行人）跟蹤的性能，但代價是更高的處理能力（第 4 行和第 5 行）。
2. 使用基于流和切片的架構(gòu)：這減少了延遲（750 毫秒到 210 毫秒），因為跨多個子組件的通信以較小的粒度發(fā)生，例如行/子圖片（第 6 行）。這種復(fù)雜的系統(tǒng)需要更多的時間來開發(fā)，并且可能存在算法框架級別的依賴挑戰(zhàn)。

其他挑戰(zhàn)

攝像頭ISP圖像信號處理流程圖

所以其實我們當(dāng)前看到國內(nèi)很多智能駕駛的方案都還在堆料階段，而汽車行業(yè)其實本質(zhì)是應(yīng)用產(chǎn)業(yè)，用最優(yōu)的成本達(dá)到可以拓展升級的配置才是最優(yōu)的方案。這些就值得我們主機廠產(chǎn)業(yè)應(yīng)用人士思考的核心競爭力。

參考文章以及圖片

原文-ADAS Front Camera: Demystifying Resolution and Frame-Rate - EE TIMES攝像頭以及圖像技術(shù)基礎(chǔ) pdf - Jon Chouinard pdf可下載Surround view camera system for ADAS on TI’s TDAx SoCs - TI  PDF 可下載 

*未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄