212
在人工智能（AI）和機(jī)器學(xué)習(xí)（ML）加持下的新一代數(shù)據(jù)中心正在對(duì)復(fù)雜的計(jì)算能力、巨大的存儲(chǔ)容量和無縫連接產(chǎn)生前所未有的需求。大型互聯(lián)網(wǎng)數(shù)據(jù)中心是光互連技術(shù)和創(chuàng)新增長極快的市場，由于機(jī)器對(duì)機(jī)器通信的增加，70%的互聯(lián)網(wǎng)流量幾乎都發(fā)生在數(shù)據(jù)中心內(nèi)部。
IDC預(yù)計(jì)到2025年全球的數(shù)據(jù)量將達(dá)到175ZB。為了支持我們對(duì)數(shù)據(jù)的不懈需求，超大規(guī)模數(shù)據(jù)中心正在轉(zhuǎn)向更快、更平坦、更具可擴(kuò)展性的網(wǎng)絡(luò)架構(gòu)，而不超過三層交換機(jī)的扁平架構(gòu)就成為了主流選擇。該架構(gòu)降低了延遲，但增加了對(duì)更高帶寬和長距離高效連接的需求。
長期以來，以太網(wǎng)高速接口被認(rèn)為是互聯(lián)網(wǎng)的數(shù)據(jù)連接骨干。隨之而來的是，每一代以太網(wǎng)標(biāo)準(zhǔn)都將速度提高了一倍，以此滿足日益增長的高速互連的需求，超大規(guī)模數(shù)據(jù)中心的發(fā)展甚至成為以太網(wǎng)標(biāo)準(zhǔn)演進(jìn)路線圖的重要影響因素。新一代的以太網(wǎng)標(biāo)準(zhǔn)可提供每通道224Gbps的數(shù)據(jù)速率，為支持800G和1.6T以太網(wǎng)奠定了基礎(chǔ)。
超大規(guī)模數(shù)據(jù)中心需要224Gbps傳輸技術(shù)
隨著數(shù)據(jù)中心處理的數(shù)據(jù)量持續(xù)增加，對(duì)更高帶寬和更高效數(shù)據(jù)傳輸的需求變得勢在必行。為了跟上不斷加速的性能要求，人工智能數(shù)據(jù)中心必須擴(kuò)展其系統(tǒng)結(jié)構(gòu)，開發(fā)強(qiáng)大且高性能的連接基礎(chǔ)設(shè)施，以極大限度地提高AI/ML的效用。800G技術(shù)為數(shù)據(jù)中心提供了一種前瞻性的解決方案，目前主要用于大型數(shù)據(jù)中心、云服務(wù)環(huán)境和需要高帶寬的應(yīng)用。
第一代800G以太網(wǎng)技術(shù)通過8個(gè)獨(dú)立的通道來傳輸數(shù)據(jù)，每個(gè)通道的傳輸速率達(dá)到112Gbps，相比上一代的速度翻了一番。接下來的第二代以太網(wǎng)技術(shù)再次將傳輸速率實(shí)現(xiàn)翻倍，為高達(dá)1.6T的鏈路引入了每通道224Gbps傳輸技術(shù)。然而，要實(shí)現(xiàn)224Gbps需要的不僅僅是“帶寬加倍”，相關(guān)的接口芯片、連接器等都需要性能改進(jìn)或新設(shè)計(jì)才能以更高的速度工作。
在數(shù)據(jù)中心應(yīng)用中，除了應(yīng)用程序中數(shù)據(jù)爆炸帶來的高帶寬需求，目前服務(wù)器前面板密度也產(chǎn)生了高帶寬的連接需求，只有在224Gbps PAM4架構(gòu)上構(gòu)建的下一代數(shù)據(jù)中心才能維持這種極其迅猛的擴(kuò)展。
除了海量數(shù)據(jù)的傳輸和處理，功耗是影響數(shù)據(jù)中心健康運(yùn)行的另一個(gè)重要因素。據(jù)估計(jì)，超過60%的數(shù)據(jù)中心功耗與以太網(wǎng)的連接有關(guān)。由224Gbps PAM4技術(shù)支撐的1.6T以太網(wǎng)的使用有望將連接功耗降低50%，延遲降低40%。
超大規(guī)模數(shù)據(jù)中心使用224G連接和1.6T以太網(wǎng)來支持AI/ML所需的高性能計(jì)算，其中涉及復(fù)雜的技術(shù)架構(gòu)和連接組件。具體使用從機(jī)架外開始，這些先進(jìn)的連接解決方案將數(shù)據(jù)中心的分解資源鏈接起來，并以O(shè)SFP、QSFP-DD、QSFP、夾層和背板連接器，以及近ASIC連接器到電纜系統(tǒng)的形式擴(kuò)展到服務(wù)器、存儲(chǔ)設(shè)備和機(jī)架。
在不斷縮小的空間中提供高速和高性能的連接，這個(gè)過程不是簡單地升級(jí)底層計(jì)算和連接能力以支持224Gbps速率的問題，而是如何更好地利用224G技術(shù)重新設(shè)計(jì)AI數(shù)據(jù)中心的問題，因此，需要整個(gè)生態(tài)系統(tǒng)的行業(yè)協(xié)作和共同開發(fā)才能達(dá)到新的水平，以確保組件、硬件、架構(gòu)、連接、機(jī)械完整性和信號(hào)完整性之間的互操作性。
224Gbps高速互連系統(tǒng)的設(shè)計(jì)考慮
每一代高速串行通信技術(shù)幾乎都會(huì)將信道數(shù)據(jù)速率推向新高，當(dāng)112Gbps PAM4信道引入數(shù)據(jù)中心環(huán)境時(shí)，通過加倍互連帶寬使支持的數(shù)據(jù)速率加倍。然而，從 112Gbps增加到224Gbps并不只是“讓速度提高一倍”那么簡單。采用224Gbps帶來了重大設(shè)計(jì)挑戰(zhàn)，尤其是如何在信號(hào)完整性與機(jī)械外形尺寸需求兩個(gè)方面取得平衡，需要物理層架構(gòu)的升級(jí)。
在數(shù)據(jù)中心中，224Gbps信道是通過專用芯片（ASIC）經(jīng)過PCB和背板進(jìn)行傳輸?shù)?，傳輸路徑上裝有用于網(wǎng)絡(luò)和計(jì)算設(shè)備之間通信的連接器、無源和有源電纜以及光纖。為了保證數(shù)據(jù)傳輸系統(tǒng)能夠按照設(shè)計(jì)要求正常運(yùn)行，與之相關(guān)的連接器和電纜系統(tǒng)，甚至用于制造PCB和半導(dǎo)體的基本材料都需要重新進(jìn)行評(píng)估和設(shè)計(jì)，設(shè)計(jì)人員必須平衡架構(gòu)中每個(gè)組件的信號(hào)完整性要求與機(jī)械外形尺寸要求，而連接器和電纜則是影響224Gbps信道信號(hào)完整性的關(guān)鍵元件。
在服務(wù)器和存儲(chǔ)設(shè)備中，224Gbps信道需要各種連接解決方案，包括近ASIC連接器到電纜系統(tǒng)、高性能夾層連接器、OSFP、QSFP-DD、QSFP和類似標(biāo)準(zhǔn)等（如圖2）。
圖2：224Gbps計(jì)算平臺(tái)需要各種連接解決方案，包括OSFP、QSFP-DD、QSFP、夾層連接器（Mirro Mezz增強(qiáng)型）、背板連接器（Inception）和近ASIC連接器到電纜系統(tǒng)（CX2-DS）。（圖源：Molex）
對(duì)于超大規(guī)模數(shù)據(jù)中心而言，銅互連依然很重要，比如OSFP、QSFP-DD和QSFP等接口就可以通過三種方式實(shí)現(xiàn)224Gbps信道的連接：
一是直連銅（DAC）電纜，該方式僅使用銅線，沒有電子器件，功耗為零，延遲和插入損耗極低，能在3.0米的距離內(nèi)提供超低的成本和功耗。
二是有源電纜（AEC），對(duì)于長達(dá)5.0米的連接，AEC支持多種電纜配置，同時(shí)提供低延遲，在性能和成本之間為數(shù)據(jù)中心高速互連方案提供了一個(gè)折中的選擇。
三是有源光纖布線，這種方式支持跨數(shù)據(jù)中心的多個(gè)224Gbps通道的連接，以實(shí)現(xiàn)長距離數(shù)據(jù)傳輸。
綜上，對(duì)于高速互連應(yīng)用，銅互連并沒有“死亡”——在需要覆蓋的距離不到3.0米時(shí)，DAC可以完美地工作，非常適合機(jī)架內(nèi)應(yīng)用。
比如，英偉達(dá)公司的GB200 NVL72機(jī)架級(jí)系統(tǒng)包括72個(gè)Blackwell GPU和36個(gè)Grace CPU，其中的GPU就采用了由Amphenol提供的高速直連銅（DAC）電纜方案實(shí)現(xiàn)電連接。不過，當(dāng)傳輸距離超過2.0米時(shí)，DAC因信號(hào)丟失嚴(yán)重將無法使用。此時(shí)，AEC為數(shù)據(jù)中心提供了一種彌補(bǔ)差距的方法，與光模塊方案相比，內(nèi)置的重定時(shí)器讓AEC能夠以更低的成本在7.0米的距離內(nèi)保持高速數(shù)據(jù)輸送和卓越的可維護(hù)性。
如何打造224Gbps整體解決方案？
在數(shù)據(jù)中心中，要實(shí)現(xiàn)高達(dá)224Gbp的數(shù)據(jù)傳輸率，需要采用具備多種芯片到芯片連接方案的全新系統(tǒng)架構(gòu)。2023年5月份，Molex莫仕推出了一個(gè)芯片對(duì)芯片224Gbps PAM4產(chǎn)品組合，用以支持下一代數(shù)據(jù)中心實(shí)現(xiàn)高速互連。這些適用于數(shù)據(jù)中心224Gbps架構(gòu)的連接器系列產(chǎn)品涵蓋了系統(tǒng)架構(gòu)的各個(gè)方面，而Inception、CX2 Dual Speed（CX2-DS）和Mirror Mezz增強(qiáng)型扣板連接器是新方案中的重要產(chǎn)品。
其中，Inception是Molex首款從電纜優(yōu)先角度設(shè)計(jì)的無公母端區(qū)別的背板連接系統(tǒng)，由于無插頭和插座的差異，因此它的接口兩端的信號(hào)完整性和機(jī)械完整性是一樣的。作為硬件通信架構(gòu)的骨干，Inception可實(shí)現(xiàn)高效的通信和數(shù)據(jù)交換；近ASIC連接器CX2-DS專為機(jī)械堅(jiān)固性而設(shè)計(jì)，具有配合后的螺釘接合功能，以確保在將配合力傳遞給螺釘?shù)耐瑫r(shí)完全就位，具有可靠的機(jī)械擦拭和完全保護(hù)的“防拇指觸碰”接口。
為了打造完整的光纖架構(gòu)，近ASIC連接器CX2-DS可在芯片和周圍的組件或外部連接之間實(shí)現(xiàn)高速低損耗連接；Mirror Mezz增強(qiáng)型扣板連接器是無公母端區(qū)別的中間層板對(duì)板連接器，它將Molex的夾層互連技術(shù)提升到能夠支持224Gbps PAM4的水平。通過向系統(tǒng)添加更多的Mirror Mezz增強(qiáng)型連接器配合PCB板級(jí)組件上的所支持互連拓?fù)浣Y(jié)構(gòu)，系統(tǒng)可以支持更多的計(jì)算模塊，從而實(shí)現(xiàn)計(jì)算能力的升級(jí)。以O(shè)CP開放加速卡基礎(chǔ)設(shè)施（OAI）系統(tǒng)為例，至多可以安裝多達(dá)8個(gè)GPU模組；在未來的高速互連架構(gòu)中，當(dāng)Mirror Mezz增強(qiáng)型連接器與Inception/CX2-DS結(jié)合使用時(shí)，像OAI這樣的系統(tǒng)也可以使用Inception高速背板連接器和電纜在單獨(dú)的機(jī)箱之間實(shí)現(xiàn)互連。
圖3：用于光纖架構(gòu)的Inception背板和CX2-DS（圖源：Molex）
OSFP 1600、QSFP 800和QSFP-DD 1600連接器和電纜這些堅(jiān)固的I/O連接器和電纜同樣是專為224Gbps PAM4而設(shè)計(jì)的互連解決方案，它們具有卓越的機(jī)械耐用性和出色的屏蔽性能，可極大限度地減少串?dāng)_，擁有更好的信號(hào)完整性性能。OSFP 1600與OSFP MSA標(biāo)準(zhǔn)兼容，適用于224Gbps應(yīng)用。不過，OSFP連接器不向后兼容QSFP-DD的接口形態(tài)，是一種替代QSFP-DD的接口形態(tài)，它可以支持更快的數(shù)據(jù)速率和更好的散熱性能。
圖4：堅(jiān)固耐用的I/O連接器OSFP（圖源：Molex）
總之，先進(jìn)的連接解決方案包括高速板對(duì)板連接器、下一代電纜、背板連接器，以及近ASIC連接器到電纜系統(tǒng)解決方案，這些支持224Gbps PAM4的互連組件對(duì)新的數(shù)據(jù)中心設(shè)計(jì)至關(guān)重要，224Gbps技術(shù)和1.6T鏈路使重新構(gòu)建數(shù)據(jù)中心成為可能。在實(shí)際應(yīng)用中，我們可以將上述支持224 Gbps-PAM4系列的組件整合為一個(gè)高速互連方案并部署在超大規(guī)模數(shù)據(jù)中心。
本文小結(jié)
生成式人工智能、邊緣計(jì)算和數(shù)字孿生建模等新技術(shù)正在重新定義數(shù)據(jù)中心的計(jì)算要求。數(shù)據(jù)中心互連不僅要應(yīng)對(duì)帶寬、延遲和安全性等諸多挑戰(zhàn)，而且隨著企業(yè)對(duì)數(shù)據(jù)處理速度和準(zhǔn)確性的要求越來越高，對(duì)高帶寬和低延遲的需求也在逐漸增長。通過實(shí)現(xiàn)GPU、加速器和其他組件之間的快速數(shù)據(jù)交換，高速板對(duì)板連接器大大提高了AI數(shù)據(jù)中心的效率。此外，連接器的高數(shù)據(jù)傳輸速率在AI訓(xùn)練和推理任務(wù)中尤其有益，在這些任務(wù)中，及時(shí)處理數(shù)據(jù)對(duì)AI算法的性能至關(guān)重要。
雖然400G以太網(wǎng)光收發(fā)器目前是大規(guī)模數(shù)據(jù)中心的主流選擇，也許很多企業(yè)仍在運(yùn)營中采用40G或100G技術(shù)，但數(shù)據(jù)中心互連技術(shù)的趨勢顯然正朝著800G發(fā)展，1.6T的應(yīng)用也在路上。
隨著數(shù)據(jù)密集型應(yīng)用程序的增加，數(shù)據(jù)速率翻倍的趨勢將繼續(xù)下去。計(jì)算模塊之間傳輸?shù)臄?shù)據(jù)速度和數(shù)量的增加亟需224Gbps互連解決方案的支持。而應(yīng)用于數(shù)據(jù)中心的高速連接組件的發(fā)展將迎來新一輪創(chuàng)新，其重點(diǎn)將是進(jìn)一步小型化、提高數(shù)據(jù)傳輸速率和提高能效。
該發(fā)布文章為獨(dú)家原創(chuàng)文章，轉(zhuǎn)載請(qǐng)注明來源。對(duì)于未經(jīng)許可的復(fù)制和不符合要求的轉(zhuǎn)載我們將保留依法追究法律責(zé)任的權(quán)利。
