2472
液冷在數(shù)據(jù)中心行業(yè)屬于熱點技術(shù)，但并不是新技術(shù)。液冷技術(shù)在數(shù)據(jù)中心應(yīng)用較晚，2018年才被收錄到《計算機科學(xué)技術(shù)名詞》(第三版)中，其定義為“使用流動液體將計算機內(nèi)部元器件產(chǎn)生的熱量傳遞到計算機外，以保證計算機工作在安全溫度范圍內(nèi)的一種冷卻方法?！睌?shù)據(jù)中心冷卻系統(tǒng)分為一次冷卻（IT設(shè)備冷卻）和二次冷卻（熱量散熱過程），通常提到的液冷都用于一次冷卻過程，而二次冷卻過程多采用傳統(tǒng)風(fēng)冷模式。
數(shù)據(jù)中心傳統(tǒng)的風(fēng)冷模式，通過封閉冷熱通道，利用末端空調(diào)、列間空調(diào)等設(shè)施把IT設(shè)備產(chǎn)生的熱量通過風(fēng)帶走，確保IT設(shè)備處于最優(yōu)的工作環(huán)境。隨著AI、大模型等科技和產(chǎn)業(yè)技術(shù)不斷升級，以及IT設(shè)備計算能力和運算需求不斷提升，風(fēng)冷模式的弊端日益凸顯。液體導(dǎo)熱能力是空氣的25倍，液體代替空氣直接對IT設(shè)備進行冷卻，可以極大地提高散熱效率。
公開數(shù)據(jù)表明，液冷在冷卻效率方面要比風(fēng)冷至少提高15%～20%。液冷技術(shù)由于具有高效散熱等優(yōu)勢，在近幾年得到了快速發(fā)展，同時也將有力推動數(shù)據(jù)中心實現(xiàn)“雙碳”目標(biāo)。
液冷技術(shù)在數(shù)據(jù)中心應(yīng)用的機遇
積極的政策導(dǎo)向
1.正向傾斜
近兩年國家出臺的數(shù)據(jù)中心液冷相關(guān)政策如表1所示。
表1 2021年以來國家出臺的數(shù)據(jù)中心液冷相關(guān)政策（部分）
從2021年開始，國家一直持續(xù)鼓勵數(shù)據(jù)中心在研發(fā)、測試和應(yīng)用中，采用液冷相關(guān)技術(shù)，并將液冷等高效方案作為政府采購的優(yōu)先選項。
2.反向約束
國家出臺的相關(guān)政策表明，數(shù)據(jù)中心雖然是數(shù)字經(jīng)濟的基座，但電力資源的緊張、“雙碳”目標(biāo)的要求，以及整體用電量的快速提升，都使得數(shù)據(jù)中心運營難度越來越大，同時還要面臨節(jié)能審查和“碳能雙考”等多重壓力。以PUE為例，按照國家一體化數(shù)據(jù)中心建設(shè)要求，東部數(shù)據(jù)中心集群的PUE要小于1.25，西部要小于1.2。在2022年北京地區(qū)通過節(jié)能審查的13個數(shù)據(jù)中心項目中，PUE全部小于1.2，超過60%的項目小于1.15。如此低的PUE，采用傳統(tǒng)的風(fēng)冷技術(shù)很難實現(xiàn)，液冷技術(shù)已成為公認(rèn)的最佳實現(xiàn)路徑。
行業(yè)技術(shù)提升的必然
1.液冷服務(wù)器正快速迭代
作為數(shù)據(jù)中心上游企業(yè)，IT設(shè)備的發(fā)展與數(shù)據(jù)中心息息相關(guān)。比如浸沒式液冷需要密封艙體存儲冷卻液，IT設(shè)備為滿足對冷卻液的兼容，通常需要定制化。因此，液冷技術(shù)在數(shù)據(jù)中心的規(guī)?；涞兀厝恍枰狪T廠商的深度配合。公開數(shù)據(jù)顯示，我國過去3年液冷服務(wù)器出廠量不到服務(wù)器總量的5%。2022年至今，主流IT設(shè)備廠商均已公開表明將加大研發(fā)力度并加快產(chǎn)品迭代速度，這也將加速液冷在數(shù)據(jù)中心的規(guī)模化落地。
2.液冷比風(fēng)冷更適合IT設(shè)備
以浸沒式液冷為例，與風(fēng)冷技術(shù)相比，其不但可以大幅減小濕度、振動、塵埃粒子等對IT設(shè)備的影響，而且產(chǎn)生的噪聲比風(fēng)冷降低20～35分貝，生產(chǎn)環(huán)境將變得更加穩(wěn)定和更加舒適，IT設(shè)備的使用效率與穩(wěn)定性將得到有效提升。
大模型等業(yè)務(wù)需求驅(qū)動
CDCC發(fā)布的《2022年中國數(shù)據(jù)中心運營質(zhì)量分析發(fā)展報告》顯示，新一輪AI和大模型正處于史上最高速的發(fā)展期，我國數(shù)據(jù)中心在業(yè)務(wù)需求的加持下，繼續(xù)向高功率密度方向發(fā)展。相應(yīng)的芯片熱功率密度也在急劇上升，CPU已達到單芯片300W以上，GPU更是達到單芯片700W以上。如此高的功率，傳統(tǒng)的風(fēng)冷散熱已無法支撐。研究表明，采用風(fēng)冷方式的數(shù)據(jù)中心單機柜功率密度如果超過15kW，制冷效率將大幅下降，而AI和大模型的功率需求通常都在20kW以上，因此采用液冷將成為必然。
今年7月6日，在第六屆世界人工智能大會上，互聯(lián)網(wǎng)頭部企業(yè)和運營商合計發(fā)布了30多款大模型和10多款高算力智能芯片，其背后都有液冷數(shù)據(jù)中心的影子。隨著大模型時代的到來，能夠?qū)崿F(xiàn)超高密度IT設(shè)備散熱的液冷技術(shù)必將在數(shù)據(jù)中心領(lǐng)域得到高速發(fā)展。
企業(yè)持續(xù)發(fā)展的推動力
1.液冷助力實現(xiàn)碳中和
數(shù)據(jù)中心實質(zhì)上是將能源轉(zhuǎn)換為算力的載體，轉(zhuǎn)換效率越高，意味著數(shù)據(jù)中心實現(xiàn)相同算力付出的能源成本越低。CDCC發(fā)布的《2022年中國數(shù)據(jù)中心運營質(zhì)量分析發(fā)展報告》指出，能源成本在數(shù)據(jù)中心整體運營成本中占比最高，達到41%。液冷技術(shù)將有效提升轉(zhuǎn)換效率，不僅可以提高數(shù)據(jù)中心整體利潤，還可以降低碳排放，加快實現(xiàn)碳中和。
2.液冷助力實現(xiàn)余熱回收
在數(shù)據(jù)中心IT設(shè)備散熱的過程中，大量的熱能被帶走，在傳統(tǒng)風(fēng)冷技術(shù)的實現(xiàn)路徑中，產(chǎn)生的熱量過于分散且溫度不高，不利于集中回收與利用。液冷技術(shù)應(yīng)用后回收的液體的溫度和熱量密度比風(fēng)冷高很多，不僅便于收集，也便于進行二次交換，進而用于集中供暖、供熱水等場景中。在實際項目中，大量數(shù)據(jù)中心均將液冷系統(tǒng)與余熱回收系統(tǒng)結(jié)合在一起建設(shè)。如果將IT設(shè)備余熱的二次利用考慮到PUE的計算當(dāng)中，利用液冷技術(shù)實現(xiàn)余熱回收的系統(tǒng)，其等效PUE比常規(guī)算法下的PUE更低。
數(shù)據(jù)中心采用的主要液冷技術(shù)
數(shù)據(jù)中心液冷技術(shù)主要分為冷板式、浸沒式和噴淋式三種，主要區(qū)別體現(xiàn)在散熱方式的不同，國內(nèi)主要采用冷板式液冷、單相浸沒式液冷。
其一，冷板式液冷研發(fā)初衷是為了避免冷卻液與IT設(shè)備直接接觸，同時還可對高熱源進行精確冷卻，實現(xiàn)方式更像是風(fēng)冷和液冷的混合。該技術(shù)在機柜內(nèi)對CPU、GPU等高能耗部件采用液冷冷板散熱，通過冷板內(nèi)的流動液體將部件的熱量帶走，而對主板、存儲等其他部件依舊采用風(fēng)冷散熱。
由于傳統(tǒng)風(fēng)冷技術(shù)已經(jīng)非常成熟，冷板式液冷技術(shù)一般不會改變數(shù)據(jù)中心機房和機柜整體結(jié)構(gòu)，通常情況下不需要調(diào)整承重，IT設(shè)備也不需要做出相應(yīng)改變，仍然工作在空氣中。
其二，噴淋式液冷是將冷卻液通過噴淋的方式，帶走IT設(shè)備散熱元件上的熱量，這項技術(shù)在國內(nèi)應(yīng)用較少。
其三，浸沒式液冷是指將IT設(shè)備完全浸沒在冷卻液中，通過冷卻液的流動或相變帶走熱量，根據(jù)冷卻液散熱過程中形態(tài)的不同，分為單相液冷和相變液冷兩類。浸沒式液冷需要將IT設(shè)備的生產(chǎn)環(huán)境由空氣改為液體，因此在機房架構(gòu)上需要重新設(shè)計和優(yōu)化，IT設(shè)備也要與之匹配。
浸沒式液冷的冷卻液與IT設(shè)備直接接觸，具有較低的對流熱阻和超強的散熱效果，在大模型時代具有廣闊的應(yīng)用前景。傳統(tǒng)風(fēng)冷、冷板式液冷和浸沒式液冷的多維度對比如表2所示。
表2 數(shù)據(jù)中心傳統(tǒng)風(fēng)冷、冷板式液冷和浸沒式液冷對比
液冷技術(shù)在數(shù)據(jù)中心應(yīng)用面臨的挑戰(zhàn)
在政策、技術(shù)與市場的多重推動下，液冷技術(shù)在數(shù)據(jù)中心的應(yīng)用前景雖然被普遍看好，但實現(xiàn)規(guī)模化落地還需解決以下4個核心問題。
行業(yè)標(biāo)準(zhǔn)亟需完善
任何一個行業(yè)的高質(zhì)量發(fā)展，都離不開標(biāo)準(zhǔn)規(guī)范的引導(dǎo)，只有標(biāo)準(zhǔn)統(tǒng)一才能開展更多專業(yè)化服務(wù)。數(shù)據(jù)中心液冷系統(tǒng)的邏輯要比風(fēng)冷復(fù)雜，在各階段需要考慮的問題也更多，不僅要做好管道、冷卻液、密封件、閥門、線材、電氣等組件的浸泡測試、適配測試和可靠性測試，還要做好小分子材料長期的溶解性測試、兼容性測試，相關(guān)標(biāo)準(zhǔn)和規(guī)范缺失可能產(chǎn)生隱患甚至引發(fā)事故。
截至目前，我國尚未出臺液冷數(shù)據(jù)中心的相關(guān)國家標(biāo)準(zhǔn)，只有中國通信標(biāo)準(zhǔn)化協(xié)會出臺了8個行業(yè)標(biāo)準(zhǔn)，如表3所示。而已有行業(yè)標(biāo)準(zhǔn)更多是關(guān)于技術(shù)要求和測試方法的，無法覆蓋數(shù)據(jù)中心全生命周期中的設(shè)計、建設(shè)以及運維管理。此外，部分行業(yè)協(xié)會也在積極制定團體標(biāo)準(zhǔn)，但由于權(quán)威性等問題，在實際應(yīng)用中尚未被普遍認(rèn)同和實施。
表3 數(shù)據(jù)中心液冷相關(guān)行業(yè)標(biāo)準(zhǔn)匯總
多領(lǐng)域、多專業(yè)間仍需協(xié)同
液冷是一項跨專業(yè)的創(chuàng)新技術(shù)，基礎(chǔ)設(shè)施、IT設(shè)備需要多領(lǐng)域的協(xié)同，要具備整體思維模式。以PUE為例，液冷能將PUE做到極致的部分原因是其能夠?qū)⒃酗L(fēng)冷機柜中IT設(shè)備的風(fēng)扇能耗轉(zhuǎn)移到液冷機柜中的基礎(chǔ)設(shè)施上。
現(xiàn)階段，真正實現(xiàn)從土建到機電全部采用液冷的數(shù)據(jù)中心并不多，大部分是在原有基礎(chǔ)架構(gòu)上進行改造，或者在土建完工的框架上新建液冷設(shè)施，這不可避免地會遇到基礎(chǔ)設(shè)施和IT設(shè)備在液冷方面的協(xié)同問題。比如，樓板承重情況、消防系統(tǒng)改造、電氣系統(tǒng)兼容等。
IT設(shè)備的生命周期相對較短，而電氣和暖通系統(tǒng)的生命周期通常在10年以上。因此在規(guī)劃時，基礎(chǔ)設(shè)施如何匹配未來IT設(shè)備的需求，如何實現(xiàn)風(fēng)冷向液冷的混合過渡，是需要深入思考的問題。
運維模式需要轉(zhuǎn)變
液冷并不只是單一的技術(shù)，隨之而來的數(shù)據(jù)中心整體架構(gòu)的重構(gòu)，也為運維帶來了更大的挑戰(zhàn)。在風(fēng)冷模式下，冷凍、冷卻或末端系統(tǒng)出現(xiàn)問題時，影響到機房內(nèi)IT設(shè)備通常會有延時，也就是不會立刻對業(yè)務(wù)系統(tǒng)產(chǎn)生影響。而在液冷模式下，由于芯片和IT設(shè)備都是高功率運行，當(dāng)系統(tǒng)出現(xiàn)泄壓、漏液、氣阻等情況會立刻影響業(yè)務(wù)系統(tǒng)，因此需要將基礎(chǔ)設(shè)施和IT設(shè)備進行聯(lián)動控制以免引發(fā)故障。這就要求運維人員在運維方式、運維習(xí)慣、運維工具等方面都要做出相應(yīng)的調(diào)整。
安全風(fēng)險需做好把控
液冷架構(gòu)下整體散熱模式與風(fēng)冷也有一定差別，在風(fēng)冷模式下，維護的顆粒度較大，容錯性也較強。在液冷架構(gòu)下，任何一個部件發(fā)生損壞或者需要維修更換，都將對系統(tǒng)整體產(chǎn)生影響，因此液冷對各部件、IT設(shè)備的可靠性要求通常也更高。
同時，由于液冷數(shù)據(jù)中心的運行項目相對較少，運行時間相對較短，依靠現(xiàn)有運行數(shù)據(jù)無法全面評估存在和潛在的各種安全隱患以及風(fēng)險點，從安全的角度來看，暫時不足以支撐液冷規(guī)?；涞?。
進入2023年以來，隨著大模型系統(tǒng)、高算力芯片、超高功率密度機柜等快速發(fā)展，液冷技術(shù)對于現(xiàn)有數(shù)據(jù)中心來說，是巨大的機遇，也是巨大的挑戰(zhàn)。相信在標(biāo)準(zhǔn)、協(xié)同、安全等方面逐步完善后，液冷技術(shù)必將在數(shù)據(jù)中心占據(jù)更為重要的地位，為行業(yè)發(fā)展作出更大的貢獻。
作者：聯(lián)通數(shù)字科技有限公司?車凱
責(zé)編/版式：王鶴迦
審核：舒文瓊
監(jiān)制：劉啟誠
下載ECAD模型
