如何通過立體視覺構(gòu)建小巧輕便的深度感知系統(tǒng)

有多種 3D 傳感器方案來實現(xiàn)深度感知系統(tǒng)，包括立體視覺相機、激光雷達和TOF(飛行時間)相機。每個選擇都有其優(yōu)缺點，其中，嵌入式深度感知立體系統(tǒng)成本低，堅固耐用，適合戶外使用，并且能夠提供高分辨率的彩色點云。

目前市場上有各種現(xiàn)成的立體感知系統(tǒng)。有時系統(tǒng)工程師需求根據(jù)精度、基線(兩個相機間距)、視野和分辨率等因素，構(gòu)建定制系統(tǒng)來滿足特定的應用需求。

在本文中，我們首先介紹了立體視覺系統(tǒng)的主要部分，并提供了有關使用硬件組成和開源軟件制作定制立體相機的說明。由于此設置專注于嵌入式系統(tǒng)，因此它將實時計算任何場景的深度圖，而無需電腦主機。在另一篇文章中，我們將討論如何在空間較少的情況下構(gòu)建定制立體視覺系統(tǒng)，以便與電腦主機一起使用。

立體視覺概述
立體視覺是通過從兩個視角比較場景中的信息，從數(shù)字圖像中提取 3D 信息。物體在兩個圖像平面中的相對位置可提供關于物體距離相機的深度的信息。

立體視覺系統(tǒng)概述如圖 1 所示，包括以下關鍵步驟：

校準：相機校準包括內(nèi)部校準和外部校準。內(nèi)部校準確定圖像中心、焦距和失真參數(shù)，而外部校準確定相機的 3D 位置。這在許多計算機視覺應用中是至關重要的一步，尤其是在需要有關場景的計量信息（例如深度）時。我們將在下文第 5 節(jié)詳細討論校準步驟。

糾正：立體糾正是指將圖像平面重新投影到與相機中心之間的線平行的公共平面上的過程。糾正后，對應點位于同一行，大大降低了匹配的成本和模糊度。此步驟在提供的代碼中完成，用于構(gòu)建您自己的系統(tǒng)。

立體匹配：這是指在左右圖像之間匹配像素的過程，從而產(chǎn)生視差圖像。提供的代碼中將使用半全局匹配 (SGM) 算法來構(gòu)建您自己的系統(tǒng)。

三角測量：三角測量是指在給定 3D 空間中的點投影到兩個圖像上的情況下確定該點的過程。視差圖像將轉(zhuǎn)換為 3D 點云。
?

圖 1：立體視覺系統(tǒng)概述

設計示例
我們來看一個立體聲系統(tǒng)設計示例。以下是移動機器人在具有快速移動物體的動態(tài)環(huán)境中的應用要求。有關場景大小為 2 m，相機到場景的距離為 3 m，在 3 m 處所需的精度為 1 cm。

有關立體精度的更多詳細信息，請參閱本文。深度誤差由下式給出：ΔZ=Z2/Bf * Δd，這取決于以下因素：

Z 是范圍

B 是基線

f 是以像素為單位的焦距，與相機視野和圖像分辨率有關

有多種設計選項可以滿足這些要求。根據(jù)上述場景大小和距離要求，我們可以確定特定傳感器的鏡頭焦距。結(jié)合基線，我們可以使用上述公式計算 3 m 處的預期深度誤差，以驗證其是否滿足精度要求。

圖 2 顯示了兩個選項，使用基線較長的低分辨率相機或基線較短的高分辨率相機。第一個選項是較大的相機，但計算需求較低，而第二個選項是更緊湊的相機，但計算需求較高。對于此應用，我們選擇了第二個選項，因為緊湊的尺寸更適合移動機器人，我們可以使用適用于 TX2 的 Quartet 嵌入式解決方案，該解決方案具有強大的板載 GPU 來滿足處理需求。

圖 2：示例應用的立體聲系統(tǒng)設計選項

硬件要求
在本例中，我們使用 IMX273 Sony Pregius 全局快門傳感器將兩臺 Blackfly S 板級 160 萬像素相機安裝在 12 cm 基線處的 3D 印刷桿上。這兩臺相機都有類似的 6 mm S 接口鏡頭。相機使用兩條 FPC 電纜連接到“適用于 TX2 的 Quartet 嵌入式解決方案”定制載板。為了同步左右相機以同時捕捉圖像，制作了一條連接兩個相機的同步電纜。圖 3 顯示了我們定制的嵌入式立體聲系統(tǒng)的前后視圖。

圖 3：定制嵌入式立體聲系統(tǒng)的前后視圖

下表列出了所有硬件組件：

應調(diào)整兩個鏡頭，以將相機聚焦在您的應用所需的距離范圍內(nèi)。擰緊每個鏡頭上的螺釘（圖 4 中以紅色圈出）以保持對焦。

圖 4：顯示鏡頭螺釘?shù)牧Ⅲw聲系統(tǒng)側(cè)視圖

軟件要求
a. Spinnaker

Teledyne FLIR Spinnaker SDK 已預裝在適用于 TX2 的 Quartet 嵌入式解決方案中。Spinnaker 需要與相機進行通信。

b. 支持 CUDA 的 OpenCV 4.5.2

SGM（我們正在使用的立體匹配算法）需要 OpenCV 4.5.1 或更高版本。下載包含本文代碼的 zip 文件，并將其解壓縮到 StereoDepth 文件夾。安裝 OpenCV 的腳本是 OpenCVInstaller.sh。在終端中鍵入以下命令：

cd ~/StereoDepth

chmod +x OpenCVInstaller.sh

./OpenCVInstaller.sh

安裝程序?qū)⒁竽斎牍芾韱T密碼。安裝程序?qū)㈤_始安裝 OpenCV 4.5.2。下載和構(gòu)建 OpenCV 可能需要幾個小時。

校準
抓取和校準立體圖像的代碼可在 “Calibration” 文件夾中找到。使用 SpinView GUI 識別左右相機的序列號。在我們的設置中，右相機是主相機，左相機是從相機。將主從相機序列號復制到文件 grabStereoImages.cpp 第 60 和 61 行。在終端中使用以下命令構(gòu)建可執(zhí)行文件：

cd ~/StereoDepth/Calibration

mkdir build

mkdir -p images/{left, right}

cd build

cmake ..

make

從此鏈接打印出棋盤狀圖案，并將其貼在平面上用作校準目標。為了在校準時獲得最佳效果，在 SpinView 中將 Exposure Auto 設置為 Off 并調(diào)整曝光，使棋盤狀圖案清晰且白色方塊不會過度曝光，如圖 5 所示。收集校準圖像后，增益和曝光可在 SpinView 中設置為自動。

圖 5：SpinView GUI 設置

要開始收集圖像，請鍵入

./grabStereoImages

代碼應以大約 1 幀/秒的速度開始收集圖像。左側(cè)圖像存儲在 images/left 文件夾中，右側(cè)圖像存儲在 images/right 文件夾中。移動目標，使其出現(xiàn)在圖像的每個角落。您可以旋轉(zhuǎn)目標，從近處和遠處拍攝圖像。默認情況下，該程序捕獲 100 個圖像對，但可以使用命令行參數(shù)進行更改：

./grabStereoImages 20

這將僅收集 20 對圖像。請注意，這將覆蓋之前寫入文件夾中的所有圖像。部分示例校準圖像如圖 6 所示。

圖 6：示例校準圖像

收集圖像后，通過鍵入以下內(nèi)容運行校準 Python 代碼：

cd ~/StereoDepth/Calibration

python cameraCalibration.py

這將生成 2 個名為 “intrinsics.yml” 和 “extrinsics.yml” 的文件，其中包含立體聲系統(tǒng)的內(nèi)部和外部參數(shù)。該代碼默認采用 30mm 棋盤方格，但可以根據(jù)需要進行編輯。在校準結(jié)束時，它會顯示 RMS 誤差，表明校準的好壞。良好校準的典型 RMS 誤差應低于 0.5 像素。

實時深度圖
實時計算視差的代碼位于 “Depth” 文件夾中。將相機序列號復制到文件 live_disparity.cpp 第 230 和 231 行。在終端中使用以下命令構(gòu)建可執(zhí)行文件：

cd ~/StereoDepth/Depth

mkdir build

cd build

cmake ..

make

將校準步驟中獲得的 “intrinsics.yml” 和 “extrinsics.yml” 文件復制到此文件夾。要運行實時深度圖演示，請鍵入

./live_disparity

它將顯示左相機圖像（原始未糾正圖像）和深度圖（我們的最終輸出）。部分示例輸出如圖 7 所示。與相機的距離根據(jù)深度圖右側(cè)的圖例進行顏色編碼。深度圖中的黑色區(qū)域意味著在該區(qū)域中沒有發(fā)現(xiàn)視差數(shù)據(jù)。得益于 NVIDIA Jetson TX2 GPU，它在 1440 × 1080 的分辨率下可運行高達 5 幀/秒，在 720 × 540 的分辨率下可運行高達 13 幀/秒。

要查看特定點的深度，請在深度圖中單擊該點，深度將會顯示出來，如圖 7 中最后一個示例所示。

圖 7：對左相機圖像和相應的深度圖進行采樣。底部深度圖還會顯示特定點的深度。