加入星計劃,您可以享受以下權益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • ChatGPT們?nèi)憋@卡?缺的是英偉達
    • 英偉達的高端 GPU 離不開臺積電
    • 寫在最后
  • 推薦器件
  • 相關推薦
申請入駐 產(chǎn)業(yè)圖譜

臺積電,AI超級大贏家

2023/06/28
2465
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

來源:雷科技互聯(lián)網(wǎng)組?|?編輯:冬日果醬?|?排版:KT

1849 年,美國加州發(fā)現(xiàn)金礦的消息傳開后,淘金熱開始了。無數(shù)人涌入這片新土地,他們有的來自東海岸,有的來自歐洲大陸,還有來到美國的第一代華人移民,他們剛開始把這個地方稱為「金山」,后來又稱為「舊金山」。但不管如何,來到這片新土地的淘金者都需要衣食住行,當然最關鍵的還是淘金的裝備——鏟子。

正所謂「工欲善其事,必先利其器」,為了更高效地淘金,人們開始瘋狂地涌向賣鏟人,連帶著財富。

一百多年后,舊金山往南不遠,兩家硅谷公司掀起了新的淘金熱:OpenAI 第一個發(fā)現(xiàn)了 AI 時代的「金礦」,英偉達則成為了第一批「賣鏟人」。和過去一樣,無數(shù)人和公司開始涌入這片新的熱土,拿起新時代的「鏟子」開始淘金。不同的是,過去的鏟子幾乎不存在什么技術門檻,但今天英偉達的 GPU 卻是所有人的選擇。

今年以來,僅字節(jié)跳動一家就向英偉達訂購了超過 10 億美元的 GPU,包括 10 萬塊 A100 和 H800 加速卡。百度、谷歌、特斯拉、亞馬遜、微軟……這些大公司今年至少都向英偉達訂購了上萬塊 GPU。

但這依然不夠。曠視科技 CEO 印奇 3 月底在接受財新采訪的時候表示,中國只有大約 4 萬塊 A100 可用于大模型訓練。隨著 AI 熱潮的持續(xù),英偉達上一代高端 GPU A100 的閹割版——A800 在國內(nèi)一度也漲到了 10 萬元一塊。

6 月的一場非公開會議上,OpenAI CEO Sam Altman 再次表示,GPU 的嚴重短缺,導致了很多優(yōu)化 ChatGPT 的工作被迫推遲。按照技術咨詢機構 TrendForce 的測算,OpenAI 需要大約 3 萬塊 A100 才能支持對 ChatGPT 的持續(xù)優(yōu)化和商業(yè)化。就算從今年 1 月 ChatGPT 的新一輪爆發(fā)算起,AI 算力的短缺也持續(xù)了近半年,這些大公司為什么還缺 GPU 和算力?

ChatGPT們?nèi)憋@卡?缺的是英偉達

借用一句廣告語:不是所有 GPU 都是英偉達。GPU 的短缺,實質(zhì)是英偉達高端 GPU 的短缺。對 AI 大模型訓練而言,要么選擇英偉達 A100、H100 GPU,要么也是去年禁令后英偉達專門推出的減配版 A800、H800。

AI 的使用包括了訓練和推理兩個環(huán)節(jié),前者可以理解為造出模型,后者可以理解為使用模型。

而 AI 大模型的預訓練和微調(diào),尤其是預訓練環(huán)節(jié)需要消耗大量的算力,特別看重單塊 GPU 提供的性能和多卡間數(shù)據(jù)傳輸能力。但在今天能夠提供大模型預訓練計算效率的 AI 芯片(廣義的 AI 芯片僅指面向 AI 使用的芯片):不能說不多,只能說非常少。大模型很重要的一個特征是至少千億級別的參數(shù),背后需要巨量的算力用來訓練,多個 GPU 之間的數(shù)據(jù)傳輸、同步都會導致部分 GPU 算力閑置,所以單個 GPU 性能越高,數(shù)量越少,GPU 的利用效率就高,相應的成本則越低。

而英偉達 2020 年以來發(fā)布的 A100 、H100,一方面擁有單卡的高算力,另一方面又有高帶寬的優(yōu)勢。A100 的 FP32 算力達到 19.5 TFLOPS(每秒萬億次浮點運算),H100 更是高達 134 TFLOPS。同時在 NVLink 和 NVSwitch 等通信協(xié)議技術上的投入也幫助英偉達建立了更深的護城河。到 H100 上,第四代 NVLink 可以支持多大 18 個 NVLink 鏈接,總帶寬達 900GB/s,是 PCIe 5.0 帶寬的 7 倍。面向中國市場定制的 A800 和 H800,算力幾乎不變,主要是為了避開管制標準,帶寬分別削減了四分之一和一半左右。

按照彭博社的說法,同樣的 AI 任務,H800 要花比 H100 多 10% -30% 的時間。但即便如此,A800 和 H800 的計算效率依然超過其他 GPU 和 AI 芯片。這也是為什么在 AI 推理市場會出現(xiàn)「百花齊放」的想象,包括各大云計算公司自研的 AI 芯片和其他 GPU 公司都能占據(jù)一定的份額,到了對性能要求更高的 AI 訓練市場卻只有英偉達「一家獨大」。

H800「刀」了帶寬,圖/英偉達當然,在「一家獨大」的背后,軟件生態(tài)也是英偉達最核心的技術護城河。這方面有很多文章都有提及,但簡而言之,最重要的是英偉達從 2007 推出并堅持的 CUDA 統(tǒng)一計算平臺,時至今日已經(jīng)成為了 AI 世界的基礎設施,絕大部分 AI 開發(fā)者都是以 CUDA 為基礎進行開發(fā),就如同 Android、iOS 之于移動應用開發(fā)者。不過照理說,英偉達也明白自己的高端 GPU 非常搶手,春節(jié)后就有不少消息指出,英偉達正在追加晶圓代工訂單,滿足全球市場的旺盛需求,這幾個月時間理應能夠大幅提高代工產(chǎn)能,畢竟又不是臺積電最先進的 3nm 工藝。然而問題恰恰出在了代工環(huán)節(jié)。

英偉達的高端 GPU 離不開臺積電

眾所周知,消費電子的低潮以及還在繼續(xù)的去庫存,導致晶圓代工大廠的產(chǎn)能利用率普遍下滑,但臺積電的先進制程屬于例外。由于 ChatGPT 引發(fā)的 AI 熱潮,基于臺積電 7nm 工藝的 A100、4nm 的 H100 都在緊急追加訂單,其中臺積電 5/4nm 的產(chǎn)線已經(jīng)接近滿載。

供應鏈人士也預估,英偉達大量涌向臺積電的 SHR(最急件處理等級)訂單將持續(xù) 1 年。換言之,臺積電的產(chǎn)能并不足以應付英偉達短期內(nèi)的旺盛需求。不怪有分析師認為,由于 A100、H100 GPU 始終供不應求,不管從風險控制還是成本降低的角度,在臺積電之外尋找三星乃至英特爾進行代工都是題中應有之義。

但事實證明,英偉達至少在短期內(nèi)沒有這個想法,也沒有辦法離開臺積電。就在 Sam Altman 抱怨英偉達 GPU 不夠用之前,英偉達創(chuàng)始人兼 CEO 黃仁勛才在 COMPUTEX 上表示,英偉達下一代芯片還是會交由臺積電代工。

技術上最核心的原因是,從 V100、A100 到 H100,英偉達的高端加速卡都采用臺積電 CoWoS 先進封裝技術,用來解決高算力 AI 背景下芯片的存算一體。而 CoWoS 先進封裝核心技術:沒有臺積電不行。

2012 年,臺積電推出了獨家的 CoWoS 先進封裝技術,實現(xiàn)了從晶圓代工到終端封裝的一條龍服務,客戶包括英偉達、蘋果等多家芯片大廠在高端產(chǎn)品上都全線采用。為了滿足英偉達的緊急需求,臺積電甚至采用部分委外轉包的方法,但其中并不包括 CoWoS 制程,臺積電仍專注在最有價值的先進封裝部分。

按照野村證券預估,2022 年底臺積電 CoWoS 年化產(chǎn)能大概在 7-8 萬片晶圓,到 2023 年底有望增至 14-15 萬片晶圓,到 2024 年底有望挑戰(zhàn) 20 萬片產(chǎn)能。但遠水解不了近火,臺積電先進 CoWoS 封裝的產(chǎn)能嚴重供不應求,去年起臺積電 CoWoS 的訂單就在翻番,今年來自谷歌、AMD 的需求同樣強勁。即便是英偉達,也要通過黃仁勛與臺積電創(chuàng)始人張忠謀的私人關系,進一步爭取更高的優(yōu)先級。

寫在最后

過去幾年由于疫情和地緣政治的變化,所有人都意識到了一種建立在沙子之上的尖端技術——芯片是如此重要。ChatGPT 之后,AI 再度舉世矚目,而連帶對人工智能和加速算力的渴望,無數(shù)芯片訂單也紛至沓來。

高端 GPU 的設計和制造都需要很長研發(fā)投入和積累,需要面對難以逾越的硬件和軟件壁壘,這也導致了在這場「算力的盛宴」之中,英偉達和臺積電可以拿到大部分的蛋糕以及話語權。不管是今天關心生成式 AI,還是上一輪以圖像識別為主的深度學習浪潮,中國公司在 AI 軟件能力上的追趕速度都有目共睹。然而中國公司花費巨資,調(diào)轉船頭開向 AI 的時候,很少著眼于更底層的硬件。

但 AI 加速背后,最重要的四款 GPU 已經(jīng)有兩款在國內(nèi)受限,另外兩款閹割的 A800、H800 不僅拖慢了中國公司的追趕速度,同時也無法排除受限的風險。比起在大模型上的角逐,或許,我們更需要看到中國公司在更底層的競爭。

 

 

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
STM32F429IET6 1 STMicroelectronics High-performance advanced line, Arm Cortex-M4 core with DSP and FPU, 512 Kbytes of Flash memory, 180 MHz CPU, ART Accelerateur, Chrom-ART Accelerator, FMC with SDRAM, TFT

ECAD模型

下載ECAD模型
$23.92 查看

相關推薦