GH200 Grace Hopper超級芯片助力生成式AI

一、大語言模型和生成模型不斷融合，多家科技企業(yè)紛紛入局

2022年底，OpenAI推出了大型語言生成模型ChatGPT，該產(chǎn)品具備語言生成、語言理解、語言翻譯、自然語言處理、生成對抗網(wǎng)絡(luò)等功能，可以通過學(xué)習(xí)現(xiàn)有的數(shù)據(jù)并生成新的數(shù)據(jù)，從而實現(xiàn)類似人類創(chuàng)造力的功能。由于其獨特的技術(shù)創(chuàng)新、良好的用戶體驗，ChatGPT一經(jīng)推出便火爆網(wǎng)絡(luò)，進而拉開了大語言模型模型產(chǎn)業(yè)和生成式AI（AIGC）產(chǎn)業(yè)蓬勃發(fā)展的序幕，人機對話走向新高度。2023年前后大模型產(chǎn)品積極涌現(xiàn)，谷歌、百度、阿里等科技企業(yè)都在積極擁抱AIGC，不斷推出相關(guān)技術(shù)、平臺和應(yīng)用。

大語言模型的興起，為AIGC技術(shù)的地基——芯片帶來新的機遇與挑戰(zhàn)。ChatGPT算法模型從預(yù)訓(xùn)練模型的構(gòu)建，到監(jiān)督學(xué)習(xí)和人工干預(yù)學(xué)習(xí)的針對性訓(xùn)練，都需要耗費大量的數(shù)據(jù)和運算資源，這對人工智能芯片的算力提出非常高的要求。同時伴隨著大語言模型的更新迭代，大模型算法對芯片在算力、互聯(lián)、成本等方面的要求將不斷提高，因此AI芯片技術(shù)要持續(xù)在芯片架構(gòu)、算法優(yōu)化、功耗控制等方面實現(xiàn)創(chuàng)新與進步。

二、GH200 Grace Hopper超級芯片平臺首發(fā)，直面生成式AI產(chǎn)業(yè)痛點

8月8號，英偉達CEO黃仁勛在SIGGRAPH上發(fā)布最新GH200 Grace Hopper超級芯片平臺，該平臺結(jié)合了72核Grace CPU和Hopper GPU，在Grace Hopper處理器基礎(chǔ)上實現(xiàn)重大改進。Grace Hopper使用了全球最新款的HBM3e顯存，內(nèi)存容量高達141GB，是NVIDIA H100 GPU的1.7倍，有效提升了處理器存儲性能；Grace CPU與Hopper GPU通過NVLink進行高速連接，該鏈路具備緩存一致性和顯存一致性，其具備4 petaflops的Transformer引擎處理能力，HBM3e顯存的帶寬性能可達5TB/s。該超級芯片平臺不僅使數(shù)據(jù)推理成本下降，還能夠連接多個GPU以實現(xiàn)卓越的性能和易于擴展的服務(wù)器設(shè)計，同時可應(yīng)用于任何大語言模型。相對于x86 CPU芯片而言，該芯片平臺將使數(shù)據(jù)中心功耗降低20倍，成本減少12倍。目前，GH200 Grace Hopper已經(jīng)小規(guī)模生產(chǎn)，預(yù)計年底左右進行樣品測試，明年第二季度末即可投入量產(chǎn)。芯片量產(chǎn)后將為加速計算提供有力支撐，同時也為全球數(shù)據(jù)中心向加速計算轉(zhuǎn)型提供助力。

為進一步提升產(chǎn)業(yè)生態(tài)，英偉達還發(fā)布了NVIDIA AI Workbench、NVIDIA RTX及L40S等產(chǎn)品，并宣布更新基于快通用場景描述（OpenUSD）的NVIDIA Omniverse。NVIDIA AI Workbench是以幫助開發(fā)人員快速部署、開發(fā)生成式AI和大語言模型，其成功發(fā)布加速自定義生成式AI的應(yīng)用。桌面AI工作站GPU系列針對不同應(yīng)用場景推出4款新品，分別為RTX 6000、RTX 5000、RTX 4500和RTX 4000。針對數(shù)據(jù)中心市場，英偉達推出了最多可搭載8張L40S的OVX服務(wù)器。除了上述硬件產(chǎn)品外，黃仁勛還更新了應(yīng)用于多個領(lǐng)域的虛擬仿真平臺，對包括地理空間數(shù)據(jù)模型、指標(biāo)組裝和模擬就緒在內(nèi)的OpenUSD進行增強。

三、多個領(lǐng)域進入生成式AI時代，產(chǎn)業(yè)或?qū)l(fā)生顛覆性變革

生成式AI將所有人工智能技術(shù)進行了融合，使不同領(lǐng)域均能使用AI技術(shù)，生成式AI時代已經(jīng)到來。AI技術(shù)通過采用革命性Transformer模型，能夠從跨越時空的大數(shù)據(jù)中學(xué)習(xí)、尋找模式和關(guān)系，學(xué)習(xí)幾乎所有具有結(jié)構(gòu)的事物表征，進而使用數(shù)學(xué)表征和向量進行語言表達。AI技術(shù)通過學(xué)習(xí)具有結(jié)構(gòu)性的事物，如：音頻、動畫、3D、視頻、DNA、蛋白質(zhì)和化學(xué)品等，借助生成式模型和學(xué)習(xí)到的語言模型，幾乎可以生成所有內(nèi)容，生成式AI技術(shù)正在反哺現(xiàn)有產(chǎn)業(yè)應(yīng)用。

一是基礎(chǔ)辦公軟件革新，適用于辦公的生成式AI有望進一步普及。微軟已經(jīng)將GPT-4與ChatGPT能力融入了Office 365全棧生產(chǎn)力工具，可以根據(jù)辦公需求自動生成文章、報告等文檔，較大提升了數(shù)字化辦公的智能化水平，可有效解放重復(fù)性的基礎(chǔ)辦公勞動力。同時，谷歌的Workspace、金山辦公等辦公軟件企業(yè)也在積極圍繞AIGC領(lǐng)域進行類似產(chǎn)品的研發(fā)，適用于辦公的生成式AI有望得到進一步普及。

二是企業(yè)數(shù)字化轉(zhuǎn)型迫切，企業(yè)海量應(yīng)用需求待滿足。近年來，宏觀外部環(huán)境發(fā)生改變，企業(yè)所經(jīng)受的各種不確定性和波動性增加，迫切希望通過數(shù)字化轉(zhuǎn)型來提升企業(yè)韌性。云技術(shù)、數(shù)據(jù)、人工智能機器學(xué)習(xí)技術(shù)正在日趨成熟并不斷融合，企業(yè)更趨向于直接購買“模型及服務(wù)”使用生成式AI技術(shù)，實現(xiàn)知識檢索、數(shù)據(jù)分析、輔助編程、數(shù)字員工、交互硬件、數(shù)字人等應(yīng)用。未來企業(yè)將更多地利用自身數(shù)據(jù)對預(yù)訓(xùn)練模型微調(diào)，從而讓企業(yè)發(fā)展實現(xiàn)質(zhì)的飛躍。

三是泛娛樂行業(yè)蓬勃發(fā)展，生成式AI得到有效實踐。早在前些年影視劇中的AI換臉已經(jīng)屢見不鮮，前一陣國內(nèi)通過模型訓(xùn)練和后期處理AI生成模仿歌手聲音的翻唱歌曲。生成式AI的發(fā)展有效地推動新聞寫作、文學(xué)創(chuàng)作、音頻生成、圖像生成、視頻生成等泛娛樂產(chǎn)業(yè)的發(fā)展。生成式AI已經(jīng)可以實現(xiàn)通過現(xiàn)有草圖補全全部圖像的功能，也可以根據(jù)場景需求補充綠幕背景畫面。