VPU的春天

隨著5G、移動端視頻、云游戲、云桌面、VR/AR、元宇宙等行業(yè)的高速擴張，市場對專用視頻處理芯片的需求呈現(xiàn)爆發(fā)式增長。近日，騰訊宣布自研的視頻編解碼芯片“滄?！币呀?jīng)量產(chǎn)并投用數(shù)萬片。AMD則宣布推出采用5 納米工藝的視頻處理單元，以應對機器視覺識別時代的到來。還有消息稱，英特爾將在新推出的第14代酷睿處理器中集成VPU(Video Processing Unit，視頻處理單元）。在以機器視覺為基礎的人工智能時代，經(jīng)典計算結(jié)構(gòu)中的CPU+GPU體系越來越無法滿足海量視頻業(yè)務處理的需求，專用視頻處理芯片VPU將蓬勃發(fā)展。

眾多公司投注視頻處理芯片

互聯(lián)網(wǎng)內(nèi)容不斷更新迭代，直播、點播、短視頻等視頻應用正在“侵蝕”各個年齡層。據(jù)估算，視頻流媒體內(nèi)容將占到互聯(lián)網(wǎng)流量的80%。與此同時，用戶對超高清視頻的追求也越來越高。這些變化帶來了對編解碼算力的更多需求。

“傳統(tǒng)上，視頻流媒體業(yè)務主要由CPU和軟件提供支持。因為傳統(tǒng)的直播活動主要采取一對多的模式，視頻流數(shù)量比較少，時延相對可控，因而采用傳統(tǒng)方式是可以支持直播服務的?！盇MD視頻戰(zhàn)略與市場開發(fā)主管Sean Gardner表示，“但隨著時代的發(fā)展，越來越多的直播場景開始采用多對多模式，即每個人都是主播，他們既是數(shù)據(jù)源，也是接收器，衍生出連線觀賞、直播購物、在線拍賣和社交流媒體等復雜多樣的應用場景。繁復的應用場景要求數(shù)據(jù)的處理更加貼近用戶，原先的視頻處理方式已經(jīng)難以滿足需求，要求專用的視頻處理單元、更強的算力支持，以適應新的變化?！?/p>

已經(jīng)有越來越多的公司將目光投到視頻處理芯片VPU之上。近日，騰訊宣布其在2022年3月順利點亮的視頻編解碼芯片“滄海”已經(jīng)量產(chǎn)并投用數(shù)萬片，應用于云游戲、直點播等場景中。通過將視頻預分析計算單元卸載到硬件中，滄海芯片可以大幅減少高密度轉(zhuǎn)碼場景下任務對CPU的依賴，進一步提升轉(zhuǎn)碼性能。

英特爾也對視頻處理與機器視覺業(yè)務非常重視，去年進入獨立顯卡市場，推出高性能GPU。近日則有消息稱，在今年下半年推出的第14代酷睿Meteor Lake上，英特爾會首次使用多芯片整合封裝，同時增加一顆新的視覺計算單元VPU，以大幅提升視覺處理與AI性能，降低功耗。

AMD也于日前推出一款面向大規(guī)模直播互動流媒體的加速器Alveo MA35D，集成兩顆VPU，采用5納米工藝，可支持32路1080p60的轉(zhuǎn)碼密度。此外，谷歌、百度、騰訊等互聯(lián)網(wǎng)大廠均投身視頻處理芯片的自研。

對此，安謀科技（中國）有限公司VPU產(chǎn)品經(jīng)理董峰表示：“視頻應用越來越多，使得VPU的市場規(guī)模也不斷增長。目前除去部分傳感器與通用MCU之外，幾乎多數(shù)處理器芯片都具有視頻處理的功能?！绷頁?jù)市調(diào)機構(gòu)Yole預計，到2025年VPU市場規(guī)模將達18.5億美元。

人工智能與VPU將深度融合

ChatGPT正在全球范圍內(nèi)引發(fā)新一波的AI熱潮，然而大語言模型能夠直接驅(qū)動的算力增長實際上相對有限，未來70%～80%的AI計算任務將發(fā)生在機器視覺與多模態(tài)領域。這就使得專用的視頻處理單元與AI運算能力相結(jié)合成為發(fā)展的主要方向。

“我們在Alveo MA35D開發(fā)過程中引入了人工智能分析視頻的內(nèi)容，能夠更好地理解視頻特點，比如視頻的復雜程度如何、類型如何，是合成的電腦游戲，還是真實內(nèi)容。有了人工智能獲得的洞見，人們能以更高的效率把這些動態(tài)內(nèi)容傳導給編碼器。這樣的方式可以降低帶寬和存儲要求，提高效率?！盨ean Gardner說。

那么，現(xiàn)實當中應該如何實現(xiàn)AI與VPU兩種不同芯片技術的結(jié)合呢？根據(jù)董峰的介紹，業(yè)界通行的作法有兩個：一是集成專用的神經(jīng)網(wǎng)絡加速單元，另一種是將AI處理功能融入VPU當中。

“對于互聯(lián)網(wǎng)公司來說，芯片成本往往不是其關注的重點，重點多是放在降低碼率上面。因而互聯(lián)網(wǎng)公司一般會選擇在開發(fā)VPU時融入AI能力。如果是面向終端企業(yè)開發(fā)，AI能力融在VPU當中，這部分AI能力就不能被其他業(yè)務場景用到了，因而會更加傾向于單獨設計AI單元?！倍灞硎?。

Sean Gardner則提醒，人工智能和機器學習將扮演重要的角色，但互操作性導致對VPU的開發(fā)在短期內(nèi)不會全面轉(zhuǎn)向AI。同時AI的成本很高（是當前技術的5倍），因此還需要謹慎部署。

汽車市場成新增長點

目前，視頻業(yè)務場景大致可劃分為云端與終端兩個方向。由于VPU的應用領域與關聯(lián)場景密切聯(lián)系，因此VPU也基于云端與終端兩個應用場景發(fā)展。

具體來看，近年來，云端視頻的應用越來越普及，僅從實況直播市場來看，無論營收還是基礎設施的部署，增長都非常迅速，目前全球視頻市場超70%的份額由直播內(nèi)容主導。與此同時，終端對視頻處理能力的需求也在迅速爆發(fā)，越來越多的短視頻制作開始在終端設備上完成，智能手機越來越多地扮演內(nèi)容生產(chǎn)者的角色。這些均對視頻處理能力提出了新的需求。董峰表示：“一方面，在云端VPU越來越成為數(shù)據(jù)中心的一部分，以應對海量視頻數(shù)據(jù)的加速需求；另一方面，在終端VPU與手機、安防監(jiān)控、AR/VR設備相結(jié)合，目的是提高設備的視頻編解碼性能，降低視頻處理所需功耗與時延。”

對于互聯(lián)網(wǎng)廠商來說，必須適配不同的終端設備，以提供相對統(tǒng)一的用戶體驗。因為在直播場景中，人們希望看到的是具有相對統(tǒng)一的清晰度、分辨率和時延的畫面。高端手機與低端手機的解碼能力有差別。這就要求互聯(lián)網(wǎng)廠商能夠基于不同手機進行適配。對于終端設備廠商來說，要求能夠適應多種互聯(lián)網(wǎng)格式，VPU要具有更強的兼容性，更強調(diào)解碼能力，低成本、低功耗與小尺寸等?？傊?，視頻內(nèi)容越來越多樣化，不同場景、不同內(nèi)容對VPU的要求各不相同。這對VPU開發(fā)者來說是一個挑戰(zhàn)。

除上述云端與終端兩大市場之外，汽車端的應用需求正在迅速增長。汽車被認為是繼智能終端、AIoT、安防監(jiān)控之后，VPU最具潛力的終端應用場景。以自動駕駛技術為例，障礙物檢測、障礙物跟蹤、交通信號燈檢測、車道線檢測、可駕駛區(qū)域分割、特征跟蹤、行人行為預測都需要對視頻內(nèi)容進行處理，僅憑傳統(tǒng)PC/手機處理器已無法滿足機器視覺、深度學習的算力需求，需要專用VPU進行處理。此外，智能座艙的需求潛力也不容忽視，無論是座艙視覺DMS，還是息娛樂系統(tǒng)（IVI）、行車記錄儀DVR，都有著巨大的發(fā)展?jié)摿Α?/p>

從產(chǎn)品開發(fā)角度來看，車載VPU在性能上沒有太大的差別，但是其更加強調(diào)安全性?！叭绻前惭b在汽車上，必須符合各種車規(guī)芯片的檢測要求?！倍鍙娬{(diào)。

作者丨陳炳欣

編輯丨邱江勇

美編丨馬利亞

監(jiān)制丨趙晨