云天勵飛發(fā)布大模型推理芯片：14nm Chiplet架構(gòu)，國內(nèi)首創(chuàng)！

11月15日，在第25界高交會上，云天勵飛重磅發(fā)布新一代自主可控的面向邊緣人工智能（AI）推理芯片DeepEdge10系列，最高算力可達48TOPS，支持D2D/C2C Mash互聯(lián)擴展，可以滿足千億參數(shù)的大模型部署需求。

大模型時代，AI推理芯片將是應(yīng)用落地的關(guān)鍵載體

自去年年底以來，隨著以ChatGPT為代表的AI大模型應(yīng)用的持續(xù)火爆，推動了AI全面進入了大模型時代，而且隨著邊緣算力的提升，AI大模型的部署也開始由云端進入到邊了緣端。

根據(jù)IDC的預(yù)測，到2023年底，全球的邊緣計算市場將達到2000億美金的規(guī)模；預(yù)計到2026年，邊緣計算市場將突破3000億美金。

目前很多AI大模型仍處于快速發(fā)展的階段，因此，對于AI訓(xùn)練芯片的需求仍在快速增長，但是當大模型訓(xùn)練完成，開始進入到了實際應(yīng)用之后，對于AI推理的需求將會更多。

根據(jù)IDC的數(shù)據(jù)顯示，2020年中國數(shù)據(jù)中心用于人工智能推理的芯片的市場份額已經(jīng)超過50%，預(yù)計到2025年，用于人工智能推理工作負載的芯片將達到60.8%。同樣，對于邊緣AI應(yīng)用來說，更需要的也將是AI推理芯片。

但是，邊緣計算的場景存在著算力碎片化、算法長尾化、產(chǎn)品非標化、規(guī)模碎片化的特征，傳統(tǒng)的算法開發(fā)和芯片都難以適應(yīng)新一代人工智能邊緣計算場景的產(chǎn)品化需求。而大模型的出現(xiàn)，開始為行業(yè)提供了算法層面的解決之道。但大模型在邊緣計算場景要面向?qū)崙?zhàn)發(fā)揮作用，則需要AI大模型推理芯片的支持。

云天勵飛董事長兼CEO陳寧表示：“從2015年開始，研發(fā)到今天的第三代的神經(jīng)網(wǎng)絡(luò)處理器，可以全兼容基于Transformer的計算范式。而Transformer是語言、視覺大模型的計算范式，云天勵飛2020年開始研究，到2021年就實現(xiàn)了全面兼容。今天發(fā)布的DeepEdge10系列芯片，正是基于最新的Transformer計算范式。”

對于AI芯片而言，大模型也帶來了全新的計算泛式和計算要求。芯片需要具備更大的算力、更大的內(nèi)存帶寬、更大的內(nèi)存容量，才能支持巨量參數(shù)的大模型在邊緣端運行。同時，AI邊緣推理芯片還承擔(dān)了“落地應(yīng)用最后一公里”的職責(zé)，這就意味著AI邊緣推理芯片不僅要支持大模型等AI計算任務(wù)，還需要具備較強的通用算力。

針對上述場景需求，云天勵飛也將DeepEdge10打造成為了一款面向邊緣AI大模型優(yōu)化的主控級SoC芯片！

14nm Chiplet架構(gòu)，最高算力可達48TOPS

據(jù)介紹，云天勵飛DeepEdge10是國內(nèi)首創(chuàng)的14nm Chiplet架構(gòu)的面向大模型AI推理的主控級SoC芯片。

具體來說，DeepEdge10集成了2大核＋8小核的國產(chǎn)RISC-V CPU內(nèi)核，最高主頻1.8GHz；還集成了性能可對標Arm Mali-G52的GC8000L GPU，主頻800MHz，支持最大8K@30fps的視頻編解碼能力和最大2億像素的JPEG編解碼能力，并且支持雙屏異顯（2K@60fps）；內(nèi)置云天勵飛最新一代自主知識產(chǎn)權(quán) NPU NNP400T，int8算力可達12Tops。同時，DeepEdge10還具備硬件級的安全特性，以及完備的高低速外圍接口。

正如前面所介紹的，DeepEdge10是面向大模型推理需求進行了針對性優(yōu)化，其內(nèi)部集成的?NNP400T?NPU是一款支持支持大模型新型計算范式的神經(jīng)網(wǎng)絡(luò)處理器，不僅支持FP16/INT16/INT8等數(shù)據(jù)格式，還支持多線程、支持Transformer網(wǎng)絡(luò)結(jié)構(gòu)模型。

在制造工藝方面，由于更為先進制程工藝獲取受限，DeepEdge10選擇基于國內(nèi)自主可控的14nm工藝。同時，采用了基于D2D（Die?to?Die）互聯(lián)的?Chiplet先進封裝架構(gòu)，可以支持算力靈活擴展，可滿足不同場景對算力和成本的多樣化需要。

比如通過D2D Chiplet先進封裝技術(shù)，在一顆封裝里面裝入更多的DeepEdge10的Die，就能夠?qū)崿F(xiàn)性能的成倍提升。當然，這對于先進封裝技術(shù)來說，需要保障Die與Die之間能夠?qū)崿F(xiàn)高速互聯(lián)、大帶寬、低功耗、低時延、傳輸?shù)母呖煽啃浴姶舐酚伞⒔y(tǒng)一內(nèi)存。

“14nm Chiplet D2D同樣可以實現(xiàn)的出色的計算能力，我們基于Chiplet D2D的技術(shù)可以實現(xiàn)一次設(shè)計流片、多次封裝，可推出多顆不同計算規(guī)格的AI推理芯片?！标悓庍M一步解釋道。

據(jù)介紹，基于Chiplet?D2D架構(gòu)，云天勵飛DeepEdge10系列演化出了DeepEdge10C、DeepEdge10標準版和DeepEdge10Max三款芯片。其中，DeepEdge10C算是精簡版，NPU算力為8TOPS。而DeepEdge10Max則是“PRO版”，CPU核心提升到了40核，NPU算力達到了48TOPS。

此外，DeepEdge10還支持C2C（Chip to Chip）Mesh Torus互聯(lián)擴展。這也意味著，多顆DeepEdge10芯片可以直接通過C2CMesh Torus互聯(lián)擴展來進一步提升整體的性能，可以實現(xiàn)高達512GB的統(tǒng)一內(nèi)存、高達192GB的統(tǒng)一內(nèi)存帶寬、實現(xiàn)各計算節(jié)點的最短傳輸延遲、Mesh可重構(gòu)特性可以支持2×2/3×3/4×4 Mesh。這足以滿足千億級大模型的部署需求。

據(jù)陳寧透露，云天勵飛下一代的邊緣AI推理芯片DeepEdge20將會采用第二代的Chiplet架構(gòu)，兼容國際標準/國產(chǎn)UCIE標準，內(nèi)核采用第三代的異構(gòu)多核架構(gòu)，并集成自研的第四代的神經(jīng)網(wǎng)絡(luò)處理器，屆時性能將會比DeepEdge10提升20倍。

在此次發(fā)布會上，云天勵飛還推出了三款基于DeepEdge10系列的推理加速卡，包括IPU X2000、IPU X5000和IPU X6000，算力分別為24TOPS、64TOPS和256TOPS。其中，IPU X5000推理卡，已適配并可承載SAM CV大模型、Llama2等百億級大模型運算。

根據(jù)云天勵飛公布的數(shù)據(jù)顯示，其最強的DeepEdge 10MAX芯片可以支持在端側(cè)運行70億參數(shù)的LLMs大模型，生成速度可達27 Token/s，并且可兼容運行130億參數(shù)的LLMs大模型。而基于DeepEdge10系列芯片的IPU加速卡，通過C2C Mesh互聯(lián)擴展，算力可達1024TOPS，運行700億參數(shù)的LLMs大模型，生成速度可達42Token/s，并可兼容運行千億參數(shù)的LLMs大模型。

為了讓合作伙伴能夠充分發(fā)揮DeepEdge10系列相關(guān)產(chǎn)品的AI算力，適應(yīng)D2D/C2C架構(gòu)下靈活算力擴展，云天勵飛也推出了一站式的開發(fā)工具鏈。

在產(chǎn)品出貨形態(tài)上，云天勵飛DeepEdge10系列除了可以直接出貨芯片和加速卡之外，還包括板卡、盒子、推理服務(wù)器等，可廣泛應(yīng)用于AIoT邊緣視頻、移動機器人等場景。

在生態(tài)合作方面，目前云天勵飛已經(jīng)向國內(nèi)頭部的AIoT芯片設(shè)計廠商、智慧汽車芯片設(shè)計廠商、服務(wù)機器人廠商、國家重點實驗室等提供神經(jīng)網(wǎng)絡(luò)處理器的IP授權(quán)，助力其芯片的AI能力提升；云天勵飛還有近30家算法芯片化合作伙伴，這些合作伙伴的需求將會被植入云天勵飛的下代芯片當中；在算法應(yīng)用生態(tài)方面，所有使用云天勵飛芯片產(chǎn)品的合作伙伴，均可在線下載更新云天勵飛的100＋種算法。

算法芯片化，云天勵飛打造AI芯片的核心“武器”

云天勵飛自2014年成立以來一直堅持自主研發(fā)芯片，沉淀“算法芯片化”的核心能力?！八惴ㄐ酒辈⒉皇呛唵蔚摹八惴ǎ酒?而是云天勵飛基于對場景的理解，以及對算法關(guān)鍵計算任務(wù)在應(yīng)用場景中的量化分析，將芯片設(shè)計者的理念、思想與算法相融合的AI芯片設(shè)計流程，能夠讓AI芯片在實際應(yīng)用中發(fā)揮更優(yōu)的效果。

在算法芯片化核心能力的支持下，云天勵飛目前已完成了三代指令集架構(gòu)、四代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的研發(fā)，且已陸續(xù)商用。更可貴的是，通過多年的投入，公司已建立起一支核心芯片團隊，設(shè)計經(jīng)驗平均超過14年。

在陳寧看來，云天勵飛的自主研發(fā)芯片，也是公司自進化城市智能體戰(zhàn)略的重要引擎。2020年，云天勵飛在高交會上正式發(fā)布自進化城市智能體戰(zhàn)略。驅(qū)動自進化城市智能體發(fā)展的核心邏輯，是打造“應(yīng)用生產(chǎn)數(shù)據(jù)、數(shù)據(jù)訓(xùn)練算法、算法定義芯片、芯片規(guī)?；x能應(yīng)用”的數(shù)據(jù)飛輪。芯片是決定AI應(yīng)用廣度與深度的關(guān)鍵載體，也是自進化城市智能體建設(shè)的重要算力支撐。

展望未來，陳寧認為，三年后，80%以上的企業(yè)將運行在大模型之上；五年后，機器人和數(shù)字人的數(shù)量將超過人類的數(shù)量；七年后，也就是到2030年，大模型的智慧程度將超過人腦，那個時候大模型可能將會具備超過1萬億的參數(shù)體量，相當于是人腦末梢神經(jīng)鏈接的數(shù)量，我們正在踏入第四次工業(yè)革命的開端。

“在這個過程中，云天勵飛也將堅持我們的初心，繼續(xù)加大自主研發(fā)力度，不斷的推進人工智能算法的技術(shù)、芯片的技術(shù)。同時，立足自主可控，以自研‘芯’，為自進化城市智能體發(fā)展提供強大引擎?！标悓幷f道。

編輯：芯智訊-浪客劍