如何克服邊緣視覺的帶寬限制？

解鎖視覺新境界！虹科HK-Gidel FantoVision 40小型計算機，解決邊緣視覺挑戰(zhàn)。多相機連接，高幀率高像素，實時處理，緊湊高效，無需高帶寬。壓縮預(yù)處理，開啟視覺新紀(jì)元！

在追求更高像素、幀率和空間分辨率的視覺行業(yè)，邊緣視覺與圖像采集面臨巨大挑戰(zhàn)。其中，1GigE相機輸出已不足，傳輸問題有待解決。與此同時，圖像傳感器的快速發(fā)展也使接口帶寬成為瓶頸。

虹科提出創(chuàng)新解決方案，通過圖像采集卡實現(xiàn)壓縮和預(yù)處理，滿足高帶寬、低延遲需求。開放的FPGA支持快速算法開發(fā)。虹科-Gidel FantoVision 40小型計算機是我們的杰作。這款產(chǎn)品連接多相機實現(xiàn)高效圖像采集和處理，將打開視覺應(yīng)用新篇章。

01 邊緣視覺與圖像采集挑戰(zhàn)

邊緣視覺是指將相機連接到邊緣計算機或嵌入式計算機，并在云端進行處理或存儲。此外，它也在一些機器控制方面發(fā)揮著重要作用。我們收到了客戶的反饋，對于1GigE相機的輸出已經(jīng)不足以滿足需求，因此只能將其連接到PLC。為了解決這一問題，我們需要相機的第二個1 GigE的輸出通道，以便能夠?qū)D像數(shù)據(jù)傳輸到云服務(wù)器。

（圖1 邊緣視覺的過程）

機器視覺行業(yè)開始不斷追求更多像素、更高幀率以及更高的空間和時間分辨率。正如圖中所示，你能看到許多圖像傳感器（棕色點）。它們通過連接線連接到典型的接口，藍線代表PCIe 3.0，紅線代表CoaXPress v2 x4。然而，當(dāng)圖像傳感器的帶寬超過某條線時，接口的帶寬已經(jīng)不足以傳輸數(shù)據(jù)。

（圖2 不同圖像傳感器的參數(shù)對比）

事實上，許多圖像傳感器的帶寬比10GigE和CoaXPress?v1更快，甚至比100GigE接口還要快。這表明圖像傳感器取得了巨大進步，能夠提供高幀率、高像素和快速傳輸。盡管我們在接口方面也取得了一些進步，帶寬速度不斷提高，但仍面臨挑戰(zhàn)，特別是要與傳感器的發(fā)展速度匹配，以及解決GPU和CPU性能不足的問題。

在面對高分辨率高速傳感器的解決方案時，我們同時面臨著多個瓶頸，例如攝像頭接口、GPU和CPU橋接接口，以及CPU的負載和處理能力。實際上，計算機上送云端的帶寬最好情況下也只有1G。

而如果有多個攝像頭，情況會變得更復(fù)雜。想象一下有多個10GigE、CoaXPress或100 GigE相機，以100 GigE相機為例，速度每秒96千兆比特乘以攝像機的數(shù)量。然而，大多數(shù)情況下，電腦最大帶寬接口PCIe 3.0只有48千兆比特每秒，這成為了一個關(guān)鍵的瓶頸。

02 解決方案

為了解決這些問題，我們提出了一種解決方案，即在多攝像頭和CPU架構(gòu)之間放置圖像采集卡，從而實現(xiàn)壓縮和預(yù)處理。圖像采集設(shè)備能夠提取感興趣區(qū)域（ROI），進而減少總數(shù)據(jù)帶寬。因此，我們需要滿足實際應(yīng)用的需求，包括高帶寬相機接口、多相機接口、超高精度同步和可定制的IOs用于控制外圍設(shè)備。在處理過程中，還需要低延遲、大DRAM以支持計算復(fù)雜的算法，因此需要多個千兆比特每秒的內(nèi)存訪問帶寬。實時壓縮和ROI選擇是解決這些問題的有效方法。

（圖3 圖像采集卡的作用）

（圖4 圖像采集卡的作用）

考慮到開發(fā)人員的需求，便捷的開發(fā)也是一個關(guān)鍵因素。我們采用了開放的FPGA，使得軟件工程師可以在圖像采集卡上放置特定的IP，并利用FPGA集成開發(fā)環(huán)境快速實現(xiàn)算法和方案開發(fā)。這要求圖像采集卡在靈活性和易用性方面也要表現(xiàn)出色。

最后，關(guān)于系統(tǒng)集成，我們考慮到若有PCI 3.0 x8或x16接口能夠獲得最大性能，并且具備小尺寸和被動冷卻性能，我們未來或許可以考慮將圖像采集卡和計算機合二為一。

03 虹科產(chǎn)品與解決方案

基于上文的發(fā)展背景，虹科推出了一款名為虹科-Gidel FantoVision 40的開創(chuàng)性小型計算機。這款計算機可以連接高達4臺10GigE Vision或4臺CoaXPress 2.0相機，從而實現(xiàn)圖像采集和處理。該計算機的創(chuàng)新架構(gòu)將高端圖像采集與實時圖像處理和/或壓縮相結(jié)合，采用了Nvidia JetsonTM嵌入式計算機，并在Intel Arria 10TM FPGA上進行可選的預(yù)處理/壓縮。

（圖5 虹科-Gidel FantoVision 40產(chǎn)品）

此外，虹科-Gidel FantoVision還有一個顯著特點，即其開放式體系結(jié)構(gòu)支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以利用CUDA C/C++和NVIDIA的庫在GPU上編寫他們的算法。此外，使用新穎的ProcVision套件，在FPGA上開發(fā)和部署可選的預(yù)處理塊既簡單又快速。

通過多個虹科-Gidel FantoVision單元的相互連接，我們可以提供獨特且可擴展的拓撲結(jié)構(gòu)。利用InfiniVision?開放式框架抓取器流程，我們可以處理多達100個傳感器的同步數(shù)據(jù)。

綜上所述，虹科-Gidel FantoVision為高帶寬、低延遲應(yīng)用提供了一種新型緊湊、經(jīng)濟高效、可擴展的視覺和成像解決方案。例如，在交通監(jiān)測和面板檢測等應(yīng)用中，它能夠提取和識別高分辨能夠提取和識別高分辨率圖像中的關(guān)鍵信息，如車牌號碼等。這些信息可以通過云端或其他設(shè)備進行傳輸，而不需要過多的帶寬。

（圖6 應(yīng)用案例）

部門介紹

虹科智能感知事業(yè)部專注于智能感知與機器視覺領(lǐng)域，已經(jīng)和IDS、Gidel、SOSLAB、Luxonis 等有著重要地位的國際公司展開深度的技術(shù)合作。我們提供的產(chǎn)品和服務(wù)包括工業(yè)相機、圖像采集卡、邊緣計算機、激光雷達、深度AI相機、視覺處理平臺、AI平臺及視覺系統(tǒng)集成等。虹科智能感知技術(shù)團隊師從德國、以色列、美國的機器識別和圖像處理等領(lǐng)域內(nèi)的專家培訓(xùn)和指導(dǎo)，目前已經(jīng)陸續(xù)在國內(nèi)完成了多家一線公司的原料體積監(jiān)測、高端機器人圖像處理、智能巡檢、工件質(zhì)量識別、汽車圖像采集、AOI、晶圓半導(dǎo)體檢測等項目。