2834
在最新MLPerf基準(zhǔn)測(cè)試中，NVIDIA H100和L4 GPU將生成式AI和所有其他工作負(fù)載帶到了新的水平，Jetson AGX Orin則在性能和效率方面都有所提升。
作為獨(dú)立的第三方基準(zhǔn)測(cè)試，MLPerf仍是衡量AI性能的權(quán)威標(biāo)準(zhǔn)。自MLPerf誕生以來(lái)，NVIDIA的AI平臺(tái)在訓(xùn)練和推理這兩個(gè)方面一直展現(xiàn)出領(lǐng)先優(yōu)勢(shì)，包括最新發(fā)布的MLPerf Inference 3.0基準(zhǔn)測(cè)試。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“三年前我們推出A100時(shí)，AI世界由計(jì)算機(jī)視覺(jué)主導(dǎo)。如今，生成式AI已經(jīng)到來(lái)?！?/p>
“這正是我們打造Hopper的原因，其通過(guò)Transformer 引擎專(zhuān)為GPT進(jìn)行了優(yōu)化。最新的MLPerf 3.0凸顯了Hopper的性能比A100高出4倍?！?/p>
“下一階段的生成式AI需要高能效的新的AI基礎(chǔ)設(shè)施，以訓(xùn)練大型語(yǔ)言模型。客戶(hù)正在大規(guī)模采用Hopper，以構(gòu)建由數(shù)萬(wàn)顆通過(guò)NVIDIA NVLink和InfiniBand連接的Hopper GPU組成的AI基礎(chǔ)設(shè)施?！?/p>
“業(yè)界正努力推動(dòng)安全、可信的生成式AI取得新的進(jìn)展。而Hopper正在推動(dòng)這項(xiàng)重要的工作?！?/p>
最新MLPerf結(jié)果顯示，NVIDIA將從云到邊緣的AI推理性能和效率帶到了一個(gè)新的水平。
具體而言，在DGX H100系統(tǒng)中運(yùn)行的NVIDIA H100 Tensor Core GPU在每項(xiàng)AI推理測(cè)試（即在生產(chǎn)中運(yùn)行神經(jīng)網(wǎng)絡(luò)）中均展現(xiàn)出最高的性能。得益于軟件優(yōu)化，該GPU在9月首次亮相時(shí)就實(shí)現(xiàn)了高達(dá)54%的性能提升。
針對(duì)醫(yī)療領(lǐng)域，H100 GPU在3D-UNet（MLPerf醫(yī)學(xué)影像基準(zhǔn)測(cè)試）中的性能相比9月提高了31%。
在Transformer引擎的加持下，基于Hopper架構(gòu)的H100 GPU在BERT上的表現(xiàn)十分優(yōu)異。BERT是一個(gè)基于transformer的大型語(yǔ)言模型，它為如今已經(jīng)得到廣泛應(yīng)用的生成式AI奠定了基礎(chǔ)。
生成式AI使用戶(hù)可以快速創(chuàng)建文本、圖像、3D模型等。從初創(chuàng)公司到云服務(wù)提供商，企業(yè)都在迅速采用這一能力，以實(shí)現(xiàn)新的業(yè)務(wù)模式和加速現(xiàn)有業(yè)務(wù)。
數(shù)億人現(xiàn)在正在使用ChatGPT（同樣是一個(gè)transformer模型）等生成式AI工具，以期得到即時(shí)響應(yīng)。
在這個(gè)AI的iPhone時(shí)刻，推理性能至關(guān)重要。深度學(xué)習(xí)的部署幾乎無(wú)處不在，這推動(dòng)了從工廠(chǎng)車(chē)間到在線(xiàn)推薦系統(tǒng)等對(duì)推理性能的無(wú)盡需求。
L4 GPU精彩亮相
NVIDIA L4 Tensor Core GPU在本次MLPerf測(cè)試中首次亮相，其速度是上一代T4 GPU的3倍以上。這些加速器具有扁平的外形，可在幾乎所有的服務(wù)器中提供高吞吐量和低延遲。
L4 GPU運(yùn)行了所有MLPerf工作負(fù)載。憑借對(duì)關(guān)鍵的FP8格式的支持，其在對(duì)性能要求很高的BERT模型上取得了非常驚人的結(jié)果。
除了出色的AI性能外，L4 GPU的圖像解碼速度快了10倍，視頻處理速度快了3.2倍，同時(shí)圖形和實(shí)時(shí)渲染性能提高了4倍以上。
這些加速器兩周前在GTC上發(fā)布并已通過(guò)各大系統(tǒng)制造商和云服務(wù)提供商提供。L4 GPU是NVIDIA在GTC上發(fā)布的AI推理平臺(tái)產(chǎn)品組合中的最新成員。
軟件和網(wǎng)絡(luò)在系統(tǒng)測(cè)試中大放異彩
NVIDIA的全棧式AI平臺(tái)在一項(xiàng)全新MLPerf測(cè)試中展現(xiàn)了其領(lǐng)先優(yōu)勢(shì)。
被稱(chēng)之為網(wǎng)絡(luò)劃分（network-division）的基準(zhǔn)測(cè)試將數(shù)據(jù)傳輸至一個(gè)遠(yuǎn)程推理服務(wù)器。它反映了企業(yè)用戶(hù)將數(shù)據(jù)存儲(chǔ)在企業(yè)防火墻后面、在云上運(yùn)行AI作業(yè)的熱門(mén)場(chǎng)景。
在BERT測(cè)試中，遠(yuǎn)程N(yùn)VIDIA DGX A100系統(tǒng)提供高達(dá)96%的最大本地性能，其性能下降的原因之一是因?yàn)樗鼈冃枰却?a class="article-link" target="_blank" href="/baike/1552575.html">CPU完成部分任務(wù)。在單純依靠GPU進(jìn)行處理的ResNet-50計(jì)算機(jī)視覺(jué)測(cè)試中，它們達(dá)到了100%的性能。
這兩個(gè)結(jié)果在很大程度上要?dú)w功于NVIDIA Quantum Infiniband網(wǎng)絡(luò)、NVIDIA ConnectX SmartNIC以及NVIDIA GPUDirect等軟件。
Orin在邊緣的性能提升3.2倍
另外，相較于一年前的結(jié)果，NVIDIA Jetson AGX Orin模塊化系統(tǒng)的能效提高了63%，性能提高了81%。Jetson AGX Orin可在需要AI的狹小空間內(nèi)以低功率進(jìn)行推理，包括在由電池供電的系統(tǒng)上。
專(zhuān)為需要更小模塊、更低功耗的應(yīng)用而開(kāi)發(fā)的Jetson Orin NX 16G在本次基準(zhǔn)測(cè)試中首次亮相便大放異彩。其性能是上一代Jetson Xavier NX處理器的3.2倍。
廣泛的NVIDIA AI生態(tài)
MLPerf結(jié)果顯示，NVIDIA AI得到了業(yè)內(nèi)最廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的支持。
在這一輪測(cè)試中，有十家公司在NVIDIA平臺(tái)上提交了結(jié)果，包括華碩、戴爾科技、技嘉、新華三、聯(lián)想、寧暢、超微和超聚變等系統(tǒng)制造商和微軟Azure云服務(wù)。
他們所提交的結(jié)果表明，無(wú)論是在云端還是在自己的數(shù)據(jù)中心運(yùn)行的服務(wù)器中，用戶(hù)都可以通過(guò)NVIDIA AI獲得出色的性能。
NVIDIA的眾多合作伙伴也參與了MLPerf，因?yàn)樗麄冎肋@是一個(gè)幫助客戶(hù)評(píng)估AI平臺(tái)和廠(chǎng)商的很有價(jià)值的工具。最新一輪結(jié)果表明，他們今天所提供的性能將隨著NVIDIA平臺(tái)的發(fā)展而不斷提升。
用戶(hù)需要的是“多面手”
NVIDIA AI是唯一能夠在數(shù)據(jù)中心和邊緣計(jì)算中運(yùn)行所有MLPerf推理工作負(fù)載和場(chǎng)景的平臺(tái)。其全面的性能和效率讓用戶(hù)能夠成為真正的贏家。
用戶(hù)在實(shí)際應(yīng)用中通常會(huì)采用許多不同類(lèi)型的神經(jīng)網(wǎng)絡(luò)，這些網(wǎng)絡(luò)往往需要實(shí)時(shí)提供答案。
例如，一個(gè)AI應(yīng)用可能需要先理解用戶(hù)的語(yǔ)音請(qǐng)求，對(duì)圖像進(jìn)行分類(lèi)、提出建議，然后以人聲作為語(yǔ)音來(lái)回答用戶(hù)。每個(gè)步驟都需要用到不同類(lèi)型的AI模型。
MLPerf基準(zhǔn)測(cè)試涵蓋了這些以及其他流行的AI工作負(fù)載，所以這些測(cè)試能夠確保IT決策者獲得可靠且可以靈活部署的性能。
用戶(hù)可以根據(jù)MLPerf的結(jié)果做出明智的購(gòu)買(mǎi)決定，因?yàn)檫@些測(cè)試是透明的、客觀的。該基準(zhǔn)測(cè)試得到了包括Arm、百度、Facebook AI、谷歌、哈佛大學(xué)、英特爾、微軟、斯坦福大學(xué)和多倫多大學(xué)在內(nèi)的廣泛支持。
可以使用的軟件
NVIDIA AI平臺(tái)的軟件層NVIDIA AI Enterprise確保用戶(hù)能夠從他們的基礎(chǔ)設(shè)施投資中獲得最佳的性能以及在企業(yè)數(shù)據(jù)中心運(yùn)行AI所需的企業(yè)級(jí)支持、安全性和可靠性。
這些測(cè)試所使用的所有軟件都可以從MLPerf庫(kù)中獲得，因此任何人都可以獲得這些領(lǐng)先的結(jié)果。
各項(xiàng)優(yōu)化措施不斷地被整合到NGC（NVIDIA的GPU加速軟件目錄）上的容器中。本輪測(cè)試中提交的每項(xiàng)工作均使用了該目錄中的NVIDIA TensorRT優(yōu)化AI推理性能。
