Supermicro推出三款可立即部署型生成式AI SuperCluster

全棧式SuperCluster包括氣冷、液冷訓(xùn)練與云端級推理機(jī)柜配置，并搭載全新NVIDIA Tensor Core GPU、網(wǎng)絡(luò)與NVIDIA AI Enterprise軟件

Supermicro, Inc.（納斯達(dá)克股票代碼：SMCI）作為AI、云端、儲存和5G/邊緣領(lǐng)域的全方位IT解決方案制造商，宣布推出其最新產(chǎn)品組合，加速生成式AI部署。Supermicro SuperCluster解決方案能為目前及未來大型語言模型（Large Language Model，LLM）硬件基礎(chǔ)設(shè)施提供核心建構(gòu)組件。

Supermicro三款強(qiáng)大的SuperCluster解決方案現(xiàn)已上市并可被用于生成式AI工作運(yùn)行。這些解決方案內(nèi)的4U液冷系統(tǒng)或8U氣冷系統(tǒng)是專為強(qiáng)大LLM訓(xùn)練性能以及高度批次大小且大量的LLM推理所設(shè)計。配備了1U氣冷Supermicro NVIDIA MGXTM系統(tǒng)的第三款SuperCluster超級集群則針對云端級推理進(jìn)行了優(yōu)化。

Supermicro總裁兼首席執(zhí)行官梁見后（Charles Liang）表示：“在AI時代，算力以集群來衡量，不再只用服務(wù)器數(shù)量作為依據(jù)。我們的全球制造產(chǎn)能已擴(kuò)大到每月5,000臺機(jī)柜，能比以往更快地為客戶提供完整生成式AI計算集群。只需通過我們采用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X Ethernet網(wǎng)絡(luò)技術(shù)的數(shù)個可擴(kuò)充型集群建構(gòu)組件，一個64節(jié)點(diǎn)的計算集群能支持具有72TB HBM3e的512個NVIDIA HGX H200 GPU。結(jié)合了NVIDIA AI Enterprise軟件的Supermicro SuperCluster解決方案非常適合用于針對現(xiàn)今企業(yè)與云端基礎(chǔ)架構(gòu)的LLM訓(xùn)練，且最高可達(dá)兆級參數(shù)?；ミB的GPU、CPU、內(nèi)存、儲存、以及網(wǎng)絡(luò)硬件在被部署至機(jī)柜內(nèi)的多個節(jié)點(diǎn)后形成現(xiàn)今AI技術(shù)的基礎(chǔ)。Supermicro的SuperCluster解決方案為快速發(fā)展的生成式AI與LLM提供了核心建構(gòu)組件?！?/p>

NVIDIA GPU產(chǎn)品管理副總裁Kaustubh Sanghani表示：“NVIDIA最新型GPU、CPU、網(wǎng)絡(luò)與軟件技術(shù)助力能讓系統(tǒng)制造者為全球市場內(nèi)不同類型的下一代AI工作運(yùn)行實(shí)現(xiàn)加速。通過結(jié)合基于Blackwell架構(gòu)產(chǎn)品的NVIDIA加速計算平臺，Supermicro能提供客戶所需要的前沿服務(wù)器系統(tǒng)，且這些系統(tǒng)可容易地被部署至數(shù)據(jù)中心。” Supermicro 4U NVIDIA HGX H100/H200 8-GPU系統(tǒng)通過液冷技術(shù)使8U氣冷系統(tǒng)計算密度加倍，同時降低功耗量與總體擁有成本（TCO）。這些系統(tǒng)旨在為了支持下一代NVIDIA的Blackwell架構(gòu)GPU。Supermicro冷卻分配單元（Cooling Distribution Unit，CDU）與冷卻分配分流管（Cooling Distribution Manifold，CDM）是主要冷卻液流動脈絡(luò)，可將冷卻液輸送至Supermicro定制的直達(dá)芯片（Direct-to-Chip，D2C）冷板，使GPU和CPU處于最佳運(yùn)行溫度，進(jìn)而實(shí)現(xiàn)效能最大化。此散熱技術(shù)可使一整座數(shù)據(jù)中心電力成本降低最多40%，同時節(jié)省數(shù)據(jù)中心占地空間。

搭載NVIDIA HGX H100/H200 8-GPU的系統(tǒng)非常適合用于訓(xùn)練生成式Al。通過NVIDIA? NVLink?技術(shù)高速互連的GPU，以及高GPU內(nèi)存帶寬與容量，將成為符合成本效益地運(yùn)行LLM的核心關(guān)鍵。Supermicro的SuperCluster具備龐大GPU共享資源，能作為一個AI超級計算機(jī)進(jìn)行計算作業(yè)。

無論是導(dǎo)入一個最初就以數(shù)兆級詞元（token）數(shù)據(jù)集進(jìn)行完整訓(xùn)練的大型基礎(chǔ)模型，或開發(fā)一個云端級LLM推理基礎(chǔ)架構(gòu)，具有無阻式400Gb/s網(wǎng)絡(luò)結(jié)構(gòu)的脊葉網(wǎng)絡(luò)拓?fù)?/a>（Spine and Leaf Network Topology）都能從32個計算節(jié)點(diǎn)順暢地擴(kuò)展至數(shù)千個節(jié)點(diǎn)。針對完全整合的液冷系統(tǒng)，Supermicro在產(chǎn)品出廠前會憑借經(jīng)認(rèn)證的測試流程徹底驗證與確保系統(tǒng)運(yùn)行有效性與效率。

• 單一可擴(kuò)充單元含256個NVIDIA H100/H200 Tensor Core GPU
• 液冷技術(shù)可支持512個GPU、64個節(jié)點(diǎn)，而其體積空間等同于搭載256個 GPU的氣冷式32節(jié)點(diǎn)解決方案
• 單一可擴(kuò)充單元含具有20TB HBM3的NVIDIA H100或具有36TB HBM3e的NVIDIA H200
• 一對一網(wǎng)絡(luò)傳輸結(jié)構(gòu)可為每個GPU提供最高400 Gbps帶寬，并支持 GPUDirect RDMA與GPUDirect Storage技術(shù)，實(shí)現(xiàn)最高兆級參數(shù)的LLM訓(xùn)練
• 400G InfiniBand或400GbE Ethernet網(wǎng)絡(luò)交換器結(jié)構(gòu)采用高度可擴(kuò)充型脊葉網(wǎng)絡(luò)拓?fù)浼夹g(shù)，包括NVIDIA Quantum-2 InfiniBand和NVIDIA Spectrum-X Ethernet網(wǎng)絡(luò)平臺
• 可定制化AI數(shù)據(jù)管道儲存結(jié)構(gòu)具有業(yè)界領(lǐng)先的平行文件系統(tǒng)選項技術(shù) ? 搭載NVIDIA AI Enterprise 5.0軟件，可支持可加速大規(guī)模AI 模型部署的新型NVIDIA NIM推理微服務(wù)

配置1U氣冷NVIDIA MGX系統(tǒng)的9組機(jī)柜型SuperCluster

• 單一可擴(kuò)充單元含256個GH200 Grace Hopper Superchips
• 最高可達(dá)144GB HBM3e加480GB LPDDR5X的統(tǒng)一內(nèi)存，適用于云端級、大量、低延遲和高批次推理，并能在單一計算節(jié)點(diǎn)中容納超過700億個參數(shù)規(guī)模的模型
• 400G InfiniBand或400GbE Ethernet網(wǎng)絡(luò)交換器結(jié)構(gòu)采用了高度可擴(kuò)充型脊葉網(wǎng)絡(luò)拓?fù)浼夹g(shù)
• 每節(jié)點(diǎn)最多含8個內(nèi)建E1.S NVMe儲存裝置
• 可定制化AI數(shù)據(jù)管道儲存結(jié)構(gòu)搭配NVIDIA BlueField?-3 DPU與領(lǐng)先業(yè)界的平行文件系統(tǒng)選項，能為每個GPU提供高傳輸量、低延遲的儲存裝置存取
• NVIDIA AI Enterprise 5.0軟件

通過GPU間可實(shí)現(xiàn)的優(yōu)異互連性能，Supermicro的SuperCluster解決方案針對LLM訓(xùn)練、深度學(xué)習(xí)，以及大量且高批次推理進(jìn)行了優(yōu)化。Supermicro的L11和L12驗證測試結(jié)合了現(xiàn)場部署服務(wù)，可為客戶提供無縫體驗。客戶收到即插即用的可擴(kuò)充單元后能實(shí)現(xiàn)數(shù)據(jù)中心內(nèi)的輕松部署，并可更快獲取成果。