AI時(shí)代的存力騰飛

作者：九林

在數(shù)字經(jīng)濟(jì)大潮下，數(shù)據(jù)已經(jīng)成為新型的生產(chǎn)資料。

目前數(shù)據(jù)中心有三大力量：計(jì)算的力量——算力、存儲(chǔ)的力量——存力、運(yùn)輸?shù)牧α俊\(yùn)力，即網(wǎng)絡(luò)的力量。算力產(chǎn)業(yè)鏈正在火熱發(fā)展的同時(shí)，存力的需求也大幅度提升。2023年上半年，我國(guó)存力規(guī)模增長(zhǎng)了23%，達(dá)到了1080EB。

為何存力越來(lái)越受到重視？因?yàn)椴徽?a class="article-link" target="_blank" href="/tag/%E5%A4%A7%E6%A8%A1%E5%9E%8B/">大模型演進(jìn)還是算力中心發(fā)展，都離不開(kāi)海量的數(shù)據(jù)基礎(chǔ)，和數(shù)據(jù)息息相關(guān)的存儲(chǔ)。

中國(guó)工程院院士倪光南曾指出：“各地都在建AI算力中心，往往大家關(guān)心的就是每秒多少次的運(yùn)算，這是算力，這顯然很重要。但是AI計(jì)算從科學(xué)的角度來(lái)看應(yīng)該用廣義的算力來(lái)表示，存力、算力和運(yùn)力三者合起來(lái)構(gòu)成廣義算力。”

?01、存力的定義

隨著智能世界的到來(lái)，數(shù)據(jù)量正在以驚人的速度增長(zhǎng)，預(yù)計(jì)到2030年，全球數(shù)據(jù)將進(jìn)入YB時(shí)代。有數(shù)據(jù)的地方就需要數(shù)據(jù)存儲(chǔ)，如何將數(shù)據(jù)進(jìn)行妥善、安全地存儲(chǔ)，就顯得尤為重要，有賴于數(shù)據(jù)存儲(chǔ)的綜合能力，即數(shù)據(jù)存力。

計(jì)算存儲(chǔ)能力的容量，采用單位GDP存儲(chǔ)容量來(lái)確保不同國(guó)家的可比性，即用數(shù)據(jù)存儲(chǔ)空間容量除以GDP規(guī)模。每一萬(wàn)美元GDP對(duì)應(yīng)的存力容量越高，表明該國(guó)的數(shù)據(jù)存力容量水平越高，該國(guó)數(shù)字經(jīng)濟(jì)在GDP中的滲透程度越高，能更好支撐經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展。

各國(guó)單位GDP存儲(chǔ)容量表現(xiàn)測(cè)算結(jié)果顯示，新加坡、捷克、美國(guó)等發(fā)達(dá)國(guó)家的單位GDP存儲(chǔ)容量較高，每一萬(wàn)美元的GDP對(duì)應(yīng)的存儲(chǔ)容量分別達(dá)46.7GB、33.4GB、33.3GB，存儲(chǔ)在經(jīng)濟(jì)發(fā)展中的支撐能力較為明顯。

南非、俄羅斯、中國(guó)等經(jīng)濟(jì)體量較大的發(fā)展中國(guó)家處于中間水平，每一萬(wàn)美元GDP對(duì)應(yīng)的存儲(chǔ)容量在23GB和31GB之間。

通過(guò)計(jì)算一國(guó)數(shù)據(jù)存儲(chǔ)容量除以一國(guó)數(shù)據(jù)總產(chǎn)量可以反映當(dāng)年一個(gè)國(guó)家或地區(qū)所生產(chǎn)的所有數(shù)據(jù)中，有多大占比可以被存儲(chǔ)，以反映存力的充足性可以衡量一個(gè)國(guó)家的數(shù)據(jù)存力是否足夠充足以支撐其經(jīng)濟(jì)社會(huì)高質(zhì)量的發(fā)展需求。

各國(guó)數(shù)據(jù)存力充足性表現(xiàn)全球范圍內(nèi)，每萬(wàn)億美元GDP匯聚的數(shù)據(jù)量均保持14.5%的快速增長(zhǎng)態(tài)勢(shì)，北美的美國(guó)、加拿大等發(fā)達(dá)國(guó)家更是達(dá)到16.8%，反映出數(shù)據(jù)量增長(zhǎng)的迅猛之勢(shì)。存力投資增長(zhǎng)率指標(biāo)使用2017年-2019年三年間各國(guó)的存儲(chǔ)投資的年復(fù)合增長(zhǎng)率來(lái)衡量各國(guó)增長(zhǎng)動(dòng)能。高增長(zhǎng)率體現(xiàn)的是在各國(guó)已有的數(shù)據(jù)存儲(chǔ)規(guī)模之上數(shù)據(jù)存儲(chǔ)的發(fā)展速度和潛力。

各國(guó)存力投資增長(zhǎng)率表現(xiàn)沙特、中國(guó)、俄羅斯等發(fā)展中國(guó)家的存儲(chǔ)市場(chǎng)增長(zhǎng)迅速2017-2019年復(fù)合存力投資增長(zhǎng)率均超過(guò)40%。存力作為算力的重要組成部分，隨著大模型對(duì)算力需求的爆發(fā)式增長(zhǎng)，行業(yè)對(duì)存儲(chǔ)能力提出了更高的需求，先進(jìn)存力也成為了算力高質(zhì)量發(fā)展的重要發(fā)展方向。

?02、AI時(shí)代，存力如何演進(jìn)？

AI時(shí)代對(duì)于存儲(chǔ)提出了更多的要求：高速數(shù)據(jù)處理：尤其是深度學(xué)習(xí)模型，AI需要快速處理和分析龐大數(shù)據(jù)集，這要求存儲(chǔ)系統(tǒng)必須具備高效的數(shù)據(jù)讀寫能力。

大容量存儲(chǔ)：隨著數(shù)據(jù)量的劇增，存儲(chǔ)系統(tǒng)需要更大的空間來(lái)容納訓(xùn)練數(shù)據(jù)、模型參數(shù)及推理結(jié)果。

低延遲訪問(wèn)：實(shí)時(shí)AI應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的響應(yīng)速度要求極高，低延遲的存儲(chǔ)解決方案能顯著提高處理速度和應(yīng)用響應(yīng)時(shí)間。

可擴(kuò)展性：存儲(chǔ)系統(tǒng)必須能夠隨著AI應(yīng)用的擴(kuò)展而靈活增長(zhǎng)，適應(yīng)日益增長(zhǎng)的存儲(chǔ)需求。按照調(diào)取速度的快慢和成本的高低，AI時(shí)代需要的內(nèi)存和存儲(chǔ)器可以分為四種。

最末的層級(jí)，處于金字塔的低端，對(duì)應(yīng)的是速度較慢的、成本較低的SSD存儲(chǔ)產(chǎn)品。SSD屬于數(shù)據(jù)存儲(chǔ)的底座，相較于DRAM解決的主要是計(jì)算時(shí)數(shù)據(jù)傳輸的問(wèn)題，巨量數(shù)據(jù)保存還是依靠NAND Flash制成的SSD、嵌入式存儲(chǔ)。

“SSD（固態(tài)硬盤）將成為AI的一部分。”?

花旗分析師Peter Lee日前發(fā)布報(bào)告，提醒投資者注意即將到來(lái)的“更換周期”，SSD可能會(huì)取代硬盤驅(qū)動(dòng)器用于AI。他指出，SSD“更適合AI訓(xùn)練應(yīng)用”，因?yàn)槠渌俣容^HDD快40倍。SSD的演進(jìn)主要通過(guò)兩方面：一方面是容量，另一方面是性能和功耗。

一方面，AI時(shí)代對(duì)于高容量的SSD需求正在快速上升。需要SSD不僅有更大的存儲(chǔ)容量，還要能夠在不犧牲性能的前提下，通過(guò)技術(shù)的改進(jìn)等提高NAND密度。隨著 TLC 閃存架構(gòu)開(kāi)始達(dá)到原始存儲(chǔ)容量的極限（就像之前的 SLC 和 MLC 一樣），QLC 代表了希望不斷突破主流消費(fèi) SSD 容量極限的 SSD 制造商的未來(lái)。目前，存儲(chǔ)廠商都已經(jīng)發(fā)布QLC閃存。

三星發(fā)布的新一代 QLC NAND 閃存，其面積密度極高，達(dá)到每平方毫米 28.5 Gbit。SK海力士的子公司，Solidigm推出了采用QLC閃存的61.44 TB D5-P5336 SSD產(chǎn)品。從最新的需求來(lái)看，TrendForce集邦咨詢表示，第二季AI服務(wù)器對(duì)大容量SSD的需求持續(xù)看漲，除了推升第二季Enterprise SSD合約價(jià)格續(xù)漲超過(guò)兩成，預(yù)估第二季Enterprise SSD營(yíng)收成長(zhǎng)幅度仍有機(jī)會(huì)續(xù)增20%，QLC大容量產(chǎn)品的需求動(dòng)能明顯優(yōu)于其他容量。

另一方面，在性能和功耗方面，隨著數(shù)據(jù)中心對(duì)于存儲(chǔ)設(shè)備速度要求的不斷提升，SSD需要提供更高的IOPS（每秒輸入輸出操作次數(shù)）和帶寬（GBPS），同時(shí)在保證高性能的同時(shí)必須有效控制功率消耗，實(shí)現(xiàn)單位性能所需的能耗降低。

協(xié)議接口和NAND接口速率是最大助力點(diǎn)。目前，為了追求高性能，NVMe/PCIe SSD是數(shù)據(jù)中心的高性能標(biāo)配。PCIe5.0的規(guī)范早在5年前就已經(jīng)發(fā)布，不過(guò)散熱、信號(hào)損耗等問(wèn)題一直是阻止PCIe5.0 SSD在PC市場(chǎng)推廣的重要原因。不過(guò)，隨著技術(shù)的普及，PCIe5.0的市場(chǎng)份額將不斷擴(kuò)大。三星半導(dǎo)體也預(yù)計(jì)，PCIe5.0很快會(huì)應(yīng)用于PC端的SSD產(chǎn)品。此外，目前PCIe 6.0已經(jīng)發(fā)布，將把數(shù)據(jù)傳輸速率從PCIe 5.0的32 GT/s和PCIe 4.0的16 GT/s提高到每引腳64 GT/s，PCIe 6.0 ×16通道單向理論數(shù)據(jù)傳輸速度達(dá)到了128 GB/s（雙向256 GB/s）。

第三層級(jí)，則是可以以更高性價(jià)比給大模型提供跟大容量的CXL的內(nèi)存擴(kuò)展方案。需要注意的是，PCLe是可擴(kuò)展且有層次的，帶有嵌入式交換機(jī)或交換機(jī)芯片，支持一個(gè)根端口與多個(gè)終端連接，例如多個(gè)存儲(chǔ)設(shè)備（以及以太網(wǎng)卡和顯示驅(qū)動(dòng)程序等其他終端）。然而，這種實(shí)現(xiàn)方式在一種帶有孤立內(nèi)存池的大型系統(tǒng)中存在局限，這種系統(tǒng)中的處理器和加速器在同一個(gè) 64 位地址空間內(nèi)共享相同的數(shù)據(jù)和內(nèi)存空間進(jìn)行異構(gòu)計(jì)算。

與使用 CXL 的替代實(shí)現(xiàn)方案相比，缺乏緩存一致性機(jī)制會(huì)導(dǎo)致這些應(yīng)用的內(nèi)存性能低下，延遲不可接受。因此，雖然 64GT/s 的 PCIe 6.0.1 的引入有助于增加存儲(chǔ)應(yīng)用程序的可用帶寬，而延遲增加很少或沒(méi)有增加，但一致性的缺乏仍然限制了 PCIe 應(yīng)用程序，如傳統(tǒng)的 SSD 這種塊存儲(chǔ)設(shè)備。對(duì)于這些存儲(chǔ)應(yīng)用，使用 PCIe 作為傳輸接口的 NVMe 已經(jīng)占據(jù)了 SSD 技術(shù)的主導(dǎo)地位。

正在開(kāi)發(fā)中的下一代 SSD，它們將使用 CXL 接口替代 PCIe。

從產(chǎn)品來(lái)看，三星有兩款CXL存儲(chǔ)模組用在數(shù)據(jù)存儲(chǔ)方面。一款是已經(jīng)推出的第一代基于SoC的CXL2.0產(chǎn)品CMM-D，三星半導(dǎo)體計(jì)劃在2025年發(fā)布搭載第二代控制器、容量為128GB的新產(chǎn)品。與此同時(shí)，三星還在不斷研發(fā)同時(shí)使用NAND和DRAM的混合式CXL存儲(chǔ)模組架構(gòu)CMM-H，該架構(gòu)針對(duì)AI和ML系統(tǒng)使用。美光推出了CZ120 CXL內(nèi)存擴(kuò)展方案，最多可以擴(kuò)展2TB內(nèi)存容量。此外，添加可擴(kuò)展內(nèi)存后，Llama2 LLM的推理性能提升了22%，可以更大程度釋放GPU性能。

第二層級(jí)，是速度更快，價(jià)格也更高的DDR內(nèi)存。

DDR、LPDDR、GDDR是基于DRAM的三種內(nèi)存規(guī)范或標(biāo)準(zhǔn)。DDR因其性能和成本優(yōu)勢(shì)成為目前PC和服務(wù)器端主流內(nèi)存。2020年，為解決從客戶端系統(tǒng)到高性能服務(wù)器的廣泛應(yīng)用所面臨的性能和功耗挑戰(zhàn)，JEDEC（固態(tài)技術(shù)協(xié)會(huì)）正式發(fā)布了下一代主流內(nèi)存標(biāo)準(zhǔn)DDR5 SDRAM的最終規(guī)范(JESD79-5)。JEDEC將DDR5描述為一種“具備革命意義”的內(nèi)存架構(gòu)。與DDR4相比，DDR5具備更高速度、更大容量和更低能耗等特點(diǎn)。DDR5內(nèi)存的最高傳輸速率達(dá)6.4Gbps，比DDR4高出一倍。如今，無(wú)論是 PC、筆記本電腦還是人工智能，各行業(yè)正在加速向 DDR5 新紀(jì)元邁進(jìn)。2024年年初DDR5供不應(yīng)求，缺口達(dá)3%。據(jù)市場(chǎng)消息人士預(yù)測(cè)，得益于生成式人工智能（GenAI）的需求，DDR5在內(nèi)存市場(chǎng)的滲透率將加速增加，預(yù)計(jì)將在2024年下半年達(dá)到兩位數(shù)百分比。目前在AI服務(wù)器中的另一個(gè)趨勢(shì)則是DDR轉(zhuǎn)向GDDR。DDR存儲(chǔ)器的設(shè)計(jì)延遲極低，它的目的是盡可能快地傳輸少量緩存數(shù)據(jù)，來(lái)配合CPU進(jìn)行串行計(jì)算。而顯卡多為并行任務(wù)，有大量重復(fù)存取需求，但它對(duì)于延時(shí)的要求沒(méi)有CPU那么高。于是，具有更大帶寬和更高頻率的GDDR出現(xiàn)了。今天GDDR的標(biāo)準(zhǔn)更新到了第七代，也就是GDDR7。美光已經(jīng)宣布了將用于顯示卡的新一代GDDR7顯示存儲(chǔ)器開(kāi)始送樣測(cè)試，相比前一代GDDR6顯示存儲(chǔ)器將可提升60%資料傳輸頻寬，同時(shí)也新增睡眠模式，將使待機(jī)能耗降低70%。

第一個(gè)層級(jí)處于金字塔頂端，對(duì)應(yīng)工作速度非?？?，但是成本非常昂貴的內(nèi)存，比如HBM。

作為內(nèi)存芯片，它可以將大量數(shù)據(jù)快速喂養(yǎng)給GPU。HBM是高帶寬存儲(chǔ)器，是基于3D堆棧工藝的高性能DRAM，其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量，高位寬的DDR組合陣列。HBM 解決了傳統(tǒng) GDDR 遇到的“內(nèi)存墻”問(wèn)題，采用了近存計(jì)算架構(gòu)，不通過(guò)外部連線的方式與 GPU/CPU/Soc 連接，而是通過(guò)中間介質(zhì)層緊湊快速地連接信號(hào)處理器芯片，極大的節(jié)省了數(shù)據(jù)傳輸所使用的時(shí)間與耗能。

HBM的技術(shù)方面已經(jīng)發(fā)展至第五代。分別是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）。對(duì)于規(guī)格更高的HBM4，可能在2026年推出。HBM的市場(chǎng)方面，在2023年的全球HBM市場(chǎng)，SK海力士市占率有望提升至53%，三星市占率為38%、美光市占率約為9%。不過(guò)，5日美光宣布預(yù)計(jì)2024會(huì)計(jì)年度將搶下HBM市場(chǎng)超過(guò)20%的份額。AMD 和 NVIDIA 兩家尖端的 GPU都陸續(xù)配備了 HBM。

?03、存儲(chǔ)的下一站：存算一體

到這里，我們已經(jīng)能看到存力不斷演進(jìn)的過(guò)程。從一開(kāi)始的數(shù)據(jù)存儲(chǔ)SSD，再到數(shù)據(jù)計(jì)算DDR5，再到進(jìn)一步解決數(shù)據(jù)傳輸問(wèn)題的HBM，存儲(chǔ)一直在解決數(shù)據(jù)存取的效率問(wèn)題。因此，存儲(chǔ)的下一步，關(guān)鍵還是在打破“存儲(chǔ)墻”。

存算一體的優(yōu)勢(shì)正是解決傳統(tǒng)馮·諾依曼架構(gòu)下的“存儲(chǔ)墻”和“功耗墻”問(wèn)題。消除不必要的數(shù)據(jù)搬移延遲和功耗，并使用存儲(chǔ)單元提升算力，成百上千倍的提高計(jì)算效率，降低成本。

AMD、特斯拉、三星、阿里巴巴等公司都曾在公開(kāi)場(chǎng)合表示，下一代技術(shù)的儲(chǔ)備和演進(jìn)的方向是在“存算一體”技術(shù)架構(gòu)中尋找新的發(fā)展動(dòng)能。例如，阿里達(dá)摩院就曾表示，相比傳統(tǒng)CPU計(jì)算系統(tǒng)，存算一體芯片的性能可以提升10倍以上，能效提升超過(guò)300倍。

目前，存算一體的技術(shù)路徑大致分為近存計(jì)算（PNM）、存內(nèi)處理（PIM）、存內(nèi)計(jì)算（CIM）。國(guó)際巨頭比如英特爾、IBM、特斯拉、三星、阿里等，探索磁性存儲(chǔ)器（MRAM）、憶阻器（RRAM）等產(chǎn)品相繼量產(chǎn)；國(guó)內(nèi)方面知存科技、億鑄科技、九天睿芯等初創(chuàng)公司都在押注PIM、CIM等“存”與“算”更親密的存算一體技術(shù)路線。