百度智算峰會(huì)精彩回顧：應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)中心計(jì)算架構(gòu)演進(jìn)

在昨日舉行的“2022 百度云智峰會(huì)·智算峰會(huì)”上，NVIDIA解決方案工程中心高級(jí)技術(shù)經(jīng)理路川分享了以“應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)中心計(jì)算架構(gòu)演進(jìn)”為題的演講，探討GPU數(shù)據(jù)中心的發(fā)展趨勢(shì)，以及介紹NVIDIA在構(gòu)建以GPU為基礎(chǔ)的數(shù)據(jù)中心架構(gòu)方面的實(shí)踐經(jīng)驗(yàn)。以下為內(nèi)容概要。

應(yīng)用對(duì)算力需求的不斷增長(zhǎng)，以GPU為核心的分布式計(jì)算系統(tǒng)已經(jīng)成為大模型應(yīng)用重要的一環(huán)
數(shù)據(jù)中心的發(fā)展是由應(yīng)用驅(qū)動(dòng)的。隨著AI的興起、普及，AI大模型訓(xùn)練在各領(lǐng)域的逐步應(yīng)用，人們對(duì)數(shù)據(jù)中心的GPU算力、GPU集群的需求在飛速增長(zhǎng)。傳統(tǒng)的以CPU為基礎(chǔ)的數(shù)據(jù)中心架構(gòu)，已很難滿足AI應(yīng)用的發(fā)展需求，NVIDIA也一直在探索如何構(gòu)建一個(gè)高效的以GPU為基礎(chǔ)的數(shù)據(jù)中心架構(gòu)。

我將從三個(gè)方面跟大家一起探討這個(gè)話題：一，應(yīng)用驅(qū)動(dòng)；二，NVIDIA最新一代GPU SuperPOD的架構(gòu)設(shè)計(jì)；三，未來(lái)GPU數(shù)據(jù)中心、GPU集群的發(fā)展趨勢(shì) 。

我們首先看下近幾年AI應(yīng)用的發(fā)展趨勢(shì)?？傮w上來(lái)講，應(yīng)用業(yè)務(wù)對(duì)計(jì)算的需求是不斷飛速增長(zhǎng)。我們以目前最流行的三個(gè)業(yè)務(wù)方向?yàn)槔f(shuō)明。

第一個(gè)應(yīng)用場(chǎng)景，AI應(yīng)用。我們可以從最左邊的圖表中可以看到，近10年CV 和 NLP模型的變化，這兩類業(yè)務(wù)場(chǎng)景是AI領(lǐng)域最流行、最成功，也是應(yīng)用范圍最為廣泛的場(chǎng)景。在圖表中我們可以看到，CV從2012年的AlexNet 到最新的wav2vec，模型對(duì)計(jì)算的需求增長(zhǎng)了1,000倍。

NLP模型在引入Transformer 結(jié)構(gòu)后，模型規(guī)模呈指數(shù)級(jí)增長(zhǎng)，Transformer已成為大模型、大算力的代名詞。目前CV類的應(yīng)用也逐步引入Transformer結(jié)構(gòu)來(lái)構(gòu)建相關(guān)的AI模型，不斷提升應(yīng)用性能。數(shù)據(jù)顯示在最近兩年內(nèi)關(guān)于Transformer AI模型的論文增長(zhǎng)了150倍，而非Transformer結(jié)構(gòu)的AI模型相關(guān)論文增長(zhǎng)了大概8倍。

我們可以看到人們?cè)絹?lái)越意識(shí)到大模型在AI領(lǐng)域的重要性，和對(duì)應(yīng)用帶來(lái)的收益。同時(shí)大模型也意味著算力的需求的增長(zhǎng)，以及對(duì)數(shù)據(jù)中心計(jì)算集群需求的增長(zhǎng)。

第二個(gè)應(yīng)用場(chǎng)景，數(shù)字孿生、虛擬人等模擬場(chǎng)景與AI的結(jié)合也是最近兩年的應(yīng)用熱點(diǎn)。人們通過(guò)數(shù)字孿生、虛擬人可以更好地對(duì)企業(yè)生產(chǎn)流程進(jìn)行管控，線上虛擬交互有更好的體驗(yàn)，這背后都需要要巨大的算力資源來(lái)滿足渲染、實(shí)時(shí)交互等功能。

第三個(gè)應(yīng)用場(chǎng)景，量子計(jì)算，也是最近幾年我們計(jì)算熱點(diǎn)的技術(shù)。量子計(jì)算是利用量子力學(xué)，可以比傳統(tǒng)的計(jì)算機(jī)更快地解決復(fù)雜的問(wèn)題。量子計(jì)算機(jī)的發(fā)展還處在非常前期的階段，相關(guān)的量子算法的研究和應(yīng)用也需要大量的算力做模擬支撐。

前面我們提到了AI大模型的業(yè)務(wù)應(yīng)用，為什么要用到大模型，大模型可以給我們帶來(lái)什么樣的收益？

在右圖中我們可以看到1.5B GPT-2 和MT-NLG在150B-270B不同參數(shù)規(guī)模下對(duì)應(yīng)用精度的影響。

我們可以清楚地看到大模型對(duì)應(yīng)用精度的效果，尤其是對(duì)復(fù)雜、泛化的業(yè)務(wù)場(chǎng)景的表現(xiàn)尤為突出。同時(shí)大模型在預(yù)測(cè)（inference）端正在快速發(fā)展，優(yōu)化特定場(chǎng)景、特定行業(yè)的性能，優(yōu)化預(yù)測(cè)端計(jì)算資源使用等，相信在不久的將來(lái)會(huì)有更多像ChatGPT一樣令人驚嘆的應(yīng)用在行業(yè)落地。這都將會(huì)推動(dòng)大模型基礎(chǔ)研究，推動(dòng)對(duì)訓(xùn)練大模型所需算力的建設(shè)。一個(gè)以GPU為基礎(chǔ)的分布式計(jì)算系統(tǒng)也是大模型應(yīng)用所必須的。

AI大模型訓(xùn)練為什么要用到GPU集群，用到更大規(guī)模的GPU？它能給我們的訓(xùn)練帶來(lái)什么樣的收益？這邊我們用兩個(gè)實(shí)際的例子作為參考。

一個(gè)應(yīng)用是BERT 340M 參數(shù)規(guī)模，使用Selene A100 SuperPOD集群，訓(xùn)練完成則需要0.2分鐘，在使用1/2個(gè)集群規(guī)模，訓(xùn)練完成需要0.4分鐘，使用1/4個(gè)集群規(guī)模下訓(xùn)練完成則需要0.7分鐘。我們可以看到在小參數(shù)規(guī)模下，使用幾十臺(tái)DGX A100也可以快速完成整個(gè)訓(xùn)練任務(wù)，對(duì)于整個(gè)訓(xùn)練的迭代影響并不大。

另一個(gè)是Megatron 530B參數(shù)規(guī)模的NLP大模型，訓(xùn)練這個(gè)530B參數(shù)的大模型，使用整個(gè)Selene SuperPOD集群資源則需要3.5周、近一個(gè)月的時(shí)間才能完成，而使用1/2、1/4集群節(jié)點(diǎn)規(guī)模的情況下，則需要數(shù)月的訓(xùn)練時(shí)間才能完成整個(gè)訓(xùn)練，這對(duì)于大模型研發(fā)人員來(lái)說(shuō)是不可接受的。另外研發(fā)人員的時(shí)間成本是非常寶貴的，研究到產(chǎn)品化的時(shí)間也是非常關(guān)鍵的，我們不可能把時(shí)間浪費(fèi)在訓(xùn)練等待上。

在管理層面，構(gòu)建一個(gè)GPU集群，通過(guò)集群的作業(yè)調(diào)度和管理系統(tǒng)，可以優(yōu)化調(diào)度各種類型、各種需求的GPU任務(wù)，使用集群的GPU資源，以最大化利用GPU集群。在Facebook的一篇論文中提到，通過(guò)作業(yè)調(diào)度管理系統(tǒng)，F(xiàn)acebook AI超級(jí)計(jì)算系統(tǒng)上每天可以承載3.5萬(wàn)個(gè)獨(dú)立的訓(xùn)練任務(wù)。

因此，GPU規(guī)模和集群管理對(duì)于提升分布式任務(wù)的運(yùn)行效率非常關(guān)鍵。

集群的最關(guān)鍵的地方就是通信，集群任務(wù)的調(diào)試優(yōu)化重點(diǎn)也是在使用各種并行方式優(yōu)化通信策略。在GPU集群中，通信主要分為兩個(gè)部分，一個(gè)是節(jié)點(diǎn)內(nèi)通信，一個(gè)是節(jié)點(diǎn)間通信。

在左圖中我們可以看到節(jié)點(diǎn)間通信NVLink對(duì)于它的重要性。圖中示例使用tensor 并行的方式，在節(jié)點(diǎn)間分別采用NVLink和采用PCIe 4.0進(jìn)行通信的對(duì)比，我們可以看到，NVLink環(huán)境下程序的通信時(shí)間僅需70ms（毫秒），而PCIe環(huán)境下通信時(shí)間則需要656ms，當(dāng)用多個(gè)節(jié)點(diǎn)組成的集群環(huán)境下差距會(huì)更加明顯。

在右圖中，我們使用7.5B 的AI模型，采用TPS=4，PPS=1，數(shù)據(jù)并行DPS=64的情況下，在32個(gè)集群的節(jié)點(diǎn)規(guī)模下，不同網(wǎng)卡對(duì)分布式訓(xùn)練任務(wù)的影響。紫色部分代表了通信占比，綠色代表計(jì)算時(shí)間占比。我們可以清晰地看到網(wǎng)卡數(shù)量、網(wǎng)絡(luò)帶寬對(duì)分布式應(yīng)用的性能的影響。

GPU集群應(yīng)用于AI訓(xùn)練也是最近幾年才逐步在客戶中開(kāi)始應(yīng)用。在AI發(fā)展的早期，模型較小，大部分采單機(jī)多卡或是多機(jī)數(shù)據(jù)并行的方式進(jìn)行訓(xùn)練，所以對(duì)GPU集群的要求并不是很高。2018年11月，NVIDIA第一次推出基于DGX-2的SuperPOD架構(gòu)，也是看到AI發(fā)展的趨勢(shì)，看到了AI應(yīng)用對(duì)GPU分布式集群在AI訓(xùn)練中的需求。

SuperPOD的架構(gòu)也在不斷地演進(jìn)和優(yōu)化。通過(guò)NVIDIA實(shí)戰(zhàn)經(jīng)驗(yàn)和性能優(yōu)化驗(yàn)證，SuperPOD可以幫助客戶迅速構(gòu)建起屬于自己的高性能GPU分布式集群。

NVIDIA最新一代Hopper GPU架構(gòu)下SuperPod的集群拓?fù)?/strong>
下面我來(lái)簡(jiǎn)單介紹下，最新一代Hopper GPU架構(gòu)下SuperPOD的集群拓?fù)洹?/p>

計(jì)算節(jié)點(diǎn)采用Hopper最新的GPU，相比較與Ampere GPU性能提升2~3倍。計(jì)算性能的提升需要更強(qiáng)的網(wǎng)絡(luò)帶寬來(lái)支撐，所以外部的網(wǎng)絡(luò)也由原來(lái)的200Gb升級(jí)為400Gb，400Gb的網(wǎng)絡(luò)交換機(jī)可以最多支撐到64個(gè)400Gb網(wǎng)口，所以每個(gè)計(jì)算POD由原來(lái)的20個(gè)變?yōu)?2個(gè)。更高的計(jì)算密度，在一個(gè)POD內(nèi)GPU直接的通信效率要更高。