1145
本周內最新發(fā)布的MLPerf 基準測試結果，英偉達及其合作伙伴提供了亮眼的整體AI訓練性能。共有 16 家合作伙伴使用 NVIDIA AI 平臺提交了本輪結果，包括華碩、百度、中國科學院自動化研究所、戴爾科技、富士通、技嘉、新華三、慧與、浪潮、聯(lián)想、寧暢和超微。這一參賽陣容約占所有參賽生態(tài)伙伴的90%。
MLPerf作為行業(yè)標準AI基準測試，代表了流行的AI用例，包括語音識別、自然語言處理、推薦系統(tǒng)、目標檢測、圖像分類等。此次，英偉達AI平臺覆蓋了 MLPerf 訓練 2.0 版本的所有八項基準測試，這也是唯一一個運行了所有基準測試的加速平臺，突顯了平臺的通用性。
3年半內性能提高 23 倍
MLPerf基準測試誕生于2018年12月，英偉達也正是在這時向MLPerf提交了首輪測試結果。伴隨著MLPerf基準的演進，英偉達AI平臺在 3 年半時間內，通過跨GPU、軟件和大規(guī)模改進的全棧式創(chuàng)新，在基準測試中實現(xiàn)了 23 倍的性能提升。
也正是這種飛躍式的創(chuàng)新突破，給了用戶對其AI平臺提供持續(xù)服務和優(yōu)化能力的信心，使得用戶投資的AI平臺能夠持續(xù)服務3至5年，并持續(xù)推進以適配最先進的技術。預計英偉達于今年3月發(fā)布的Hopper架構，有望在未來的 MLPerf 基準測評中繼續(xù)實現(xiàn)性能飛躍。
領先的基準測試結果與可用性
在連續(xù)第四次 MLPerf 訓練提交結果中，基于Ampere架構的NVIDIA A100 Tensor Core GPU 依然表現(xiàn)出色，“優(yōu)勢周期”可以說非常長了。此外，A100在八項測試的六項中呈現(xiàn)了最快的速度，A100 還保持了單芯片性能的領導地位。
各個提交者平臺在每個網絡的“最快訓練時間”
Selene是英偉達內部的AI超級計算機，它基于模塊化的 NVIDIA DGX SuperPOD，并由A100 GPU、軟件堆棧和NVIDIA InfiniBand 網絡驅動，在八項大規(guī)模工作負載測試的四項中獲得 “最快訓練時間”。
?
注：為了計算單芯片性能，該圖表將每份提交結果歸一化到每個提交者最常見的尺度，檢測分數歸一化到速度最快的競爭者，最快競爭者顯示為 1倍。
為什么驅動AI應用需要平臺通用性？
英偉達AI平臺是此次唯一一個運行了MLPerf 訓練 2.0 版本的全部八項基準測試的加速平臺，據了解，這八項測試覆蓋了真實物理世界的多樣化應用案例，也從一定程度上說明了英偉達AI平臺的通用性。
為什么驅動AI應用需要平臺通用性？以下圖這個較為簡單的用例來看：AI應用可能需要理解用戶說出的要求，對圖像進行分類、提出建議并以語音信息的形式作出回應。而這些任務需要多種類型的 AI 模型按順序工作，用戶需要能夠快速且靈活地設計、訓練、部署和優(yōu)化這些模型。
如果平臺具備通用性，能夠在MLPerf 及其他版本中運行每個模型，則具備了將現(xiàn)實世界的AI引入入生產的關鍵。
對于客戶而言，在部署AI的總成本中，AI基礎設施本身的成本占比相對較少，而數據科學團隊的成本占比很重。也就是說，數據科學和工程團隊是當前最寶貴的資源，因為他們的生產力決定了 AI 基礎設施的投資回報。
對于AI 研究人員來說，他們的生產力取決于能否快速測試新的想法，而這需要通用性來訓練任何模型，以及大規(guī)模訓練模型所能提供的速度。正因如此，企業(yè)用戶應該關注單位成本的整體生產力，以確定最合適的 AI 平臺。
通過英偉達AI平臺，客戶可以在整個 AI 流程中使用相同的基礎設施，利用它來適配數據準備、訓練和推理之間的不同需求，這極大地提高了利用率，也實現(xiàn)了較高的投資回報率。
另一方面，盡可能延長AI 基礎設施使用壽命，也是有效較低總體擁有成本的關鍵。那么，如何能盡可能延長基礎設施的壽命？對于最新模型創(chuàng)新的支持是關鍵，這就對AI平臺的兼容性、擴展性提出了更高要求。英偉達AI 平臺兼容并適用于每個模型、可以擴展到任何規(guī)模，并加速從數據準備到訓練再到推理的端到端 AI 流程，能夠實現(xiàn)最高的單位成本生產力。
寫在最后
自MLPerf問世以來，英偉達持續(xù)跟進在訓練、推理、HPC等各方面的基準測試和評測。通過跨硬件、軟件和網絡的全棧改進，其AI平臺的性能在持續(xù)釋放。
除了硬件本身的升級，軟件的持續(xù)創(chuàng)新也是關鍵。例如，在提交結果中大量使用的 CUDA Graphs，該軟件可以最大限度地減少跨多個加速器上運行作業(yè)的啟動開銷。不同庫的內核優(yōu)化，如 cuDNN 和預處理庫 DALI，解鎖了額外的加速。英偉達Magnum IO 和 SHARP，通過將部分AI功能卸載到網絡中，可以獲得更好的性能，特別是在大規(guī)模情況中。
值得一提的是，英偉達所使用的所有軟件都可以從 MLPerf 資源庫中獲取，這種開放的成果共享也將為AI的發(fā)展和應用帶來推進作用。
