Imagination GPU為邊緣智能提供高效率的加速

作為奕斯偉計算的重要合作伙伴，Imagination 公司受邀出席了9月10日在北京亦莊舉辦的“2024奕斯偉計算開發(fā)者伙伴大會”，來自Imagination英國總部的專家在大會上發(fā)表了主題為《用RISC-V CPU + PowerVR GPU迎接邊緣生成式AI的到來》的演講。

在人工智能（AI）浪潮中成立的奕斯偉計算一直致力于研究和開發(fā)創(chuàng)新的計算架構(gòu)，并通過與Imagination這樣的全球領(lǐng)先處理器技術(shù)和IP產(chǎn)品提供商合作，針對多模態(tài)AI大模型技術(shù)帶動多元化人工智能應用加速涌現(xiàn)的新需求，開發(fā)了面向邊緣智能和AI PC等多種應用場景的EIC77系列芯片。這些AI SoC芯片利用了RISC-V計算架構(gòu)開放、靈活、精簡、可拓展的優(yōu)勢，結(jié)合了該公司自研的NPU以及Imagination的GPU，成為了全球首批可商用的基于RISC-V的高性能、低功耗的邊緣側(cè)、端側(cè)AI推理芯片。

大會中，Imagination公司專家介紹了與奕斯偉計算的合作成果：作為奕斯偉計算向全球發(fā)布的EIC77 系列邊緣智能SoC中的一款產(chǎn)品，全新的EIC7700X 器件基于 12nm 工藝，采用了 Imagination 的 IMG A 系列 GPU IP；該 GPU 擁有 128 寬 ALU 單元和專用 AI 處理通道，可提供 0.25 TFLOPS、1 TOPS 和 8 Gpixels 的性能。EIC7700X也搭載了奕斯偉自研的NPU單元，可提供19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16 算力。EIC7700X為邊緣智能提供了強勁的計算和圖形處理能力，可支持大語言模型，其在深度神經(jīng)網(wǎng)絡(luò)（DNN）推理上的算力高達13.3TOPS INT8，可滿足分類、檢測、分割、追蹤等各類需求。

談到邊緣計算的應用多元化與架構(gòu)創(chuàng)新，Imagination公司專家表示：首先，我們需要確保邊緣計算架構(gòu)能夠進行有效的、可持續(xù)的擴展，在系統(tǒng)資源、電能和帶寬等資源稀缺，以及不同應用場景對資源需求各不相同的情況下，這一點在邊緣計算領(lǐng)域更為重要。因此，靈活通用的異構(gòu)計算架構(gòu)才能確保我們的邊緣智能解決方案不會因為碎片化而無法實現(xiàn)，這要求我們擁有的模型也將是通用的、可持續(xù)的，同時才能保障邊緣系統(tǒng)中內(nèi)計算核的數(shù)量可以合理地縮減以滿足功耗要求。

為了確保足夠的通用性以運行目前的工作負載和未來的工作負載，就需要對邊緣智能SoC中計劃采用的處理器性能和需求進行充分的評估，大家往往首先看的是兩個潛在的選擇。一個選擇可以是 NPU或者在Imagination的產(chǎn)品組合中被稱為AI，這類硬件的每瓦最高性能非常出色，但為了達到更高的性能，使用NPU就需要犧牲一些靈活性。第二種選擇是 GPU，其優(yōu)點是可以提供可編程的、可擴展的硬件加速能力，并可根據(jù)應用方向上的需求來選擇相應的GPU去支持所需渲染和計算能力。

雖然這兩種器件類型各有優(yōu)勢，邊緣智能最終需要的是能夠完美適用于應用的、在高性能和可擴展性，定制化和通用化中做出最明智決策的系列解決方案。從我們已有的實踐和Richard Sutton的《苦澀的教訓》中大家可以看到，人們在邊緣人工智能中希望能夠利用通用的硬件和軟件解決方案，盡量避免使用特定的解決方案，因為人工智能一直在發(fā)展，所有的解決方案都要確保與時俱進。

在確定了要用更加通用的硬件和軟件來推動基礎(chǔ)模型的開發(fā)和應用這一方向之后，越來越多的計算技術(shù)正在加速諸如EIC77這樣的邊緣智能芯片走向更廣泛的應用：一方面，RISC-V正在向機器學習的核心領(lǐng)域進發(fā)，不僅是更多RISC-V CPU廠商在向此方向努力，而且RISC-V的相關(guān)標準也在進一步完善，使RISC-V成為進入AI領(lǐng)域的一條開銷最低的途徑。另一方面，邊緣人工智能軟件也在擺脫其他AI應用受制于CUDA生態(tài)的局限，越來越多諸如OneAPI這樣的應用程序接口可支持工作負載的開發(fā)和運行，以及諸如UXL等行業(yè)組織也提供了將CUDA上的AI工作負載轉(zhuǎn)化為SYCL為在 GPU 或 CPU 上運行的移植解決方案。

展望未來，Imagination將繼續(xù)支持奕斯偉計算倡導的RISC-V數(shù)字基礎(chǔ)設(shè)施（RISC-V Digital Infrastructure）生態(tài)，在GPU 被用于越來越多和越來越廣泛的工作負載，以及支持越來越多的基礎(chǔ)模型和算法的同時，與更多的合作伙伴在邊緣計算、AI PC和AI加速等領(lǐng)域中，共同打造更多高性能的智能產(chǎn)品。