邊緣AI還不夠，如何讓AI真正融入邊緣？

Gartner數(shù)據(jù)顯示，半導(dǎo)體市場(chǎng)規(guī)模在2021年首次突破5000億美元。預(yù)計(jì)到2030年，半導(dǎo)體市場(chǎng)規(guī)模將翻一番，達(dá)到1萬億美元，這背后的主要驅(qū)動(dòng)力是全球數(shù)字化轉(zhuǎn)型與人工智能結(jié)合的新機(jī)會(huì)。

日前，在第十七屆英特爾網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會(huì)上，英特爾高級(jí)副總裁兼網(wǎng)絡(luò)與邊緣事業(yè)部總經(jīng)理Sachin Katti分享了AI將如何深刻影響全球企業(yè)業(yè)務(wù)模式的觀點(diǎn)。他指出，當(dāng)前的關(guān)鍵在于簡(jiǎn)化PC、邊緣和數(shù)據(jù)中心部署AI的復(fù)雜流程，以實(shí)現(xiàn)廣泛的AI部署，而這離不開三大支柱：強(qiáng)大的芯片基礎(chǔ)、軟件定義的簡(jiǎn)便性以及開放多元的生態(tài)系統(tǒng)。

如何讓AI真正融入邊緣？

英特爾副總裁兼網(wǎng)絡(luò)與邊緣解決方案事業(yè)部總經(jīng)理Dan Rodriguez，英特爾市場(chǎng)營銷集團(tuán)副總裁、英特爾中國網(wǎng)絡(luò)與邊緣及渠道數(shù)據(jù)中心事業(yè)部總經(jīng)理郭威，在接受<與非網(wǎng)>等媒體采訪中強(qiáng)調(diào)了讓AI融入企業(yè)現(xiàn)有工作流的重要性、以及構(gòu)建一個(gè)開放生態(tài)鏈的必要性。

數(shù)據(jù)顯示，中國生成式AI投資的年增長率預(yù)計(jì)達(dá)到86.2%，到2026年，全球80%的企業(yè)將使用生成式AI，50%的邊緣部署將包含AI。這意味著，變革即將到來，如何能讓企業(yè)快速、便捷地采用AI尤為重要。不僅如此，只有讓AI真正融入企業(yè)工作流中進(jìn)行改善，才能更好地創(chuàng)造價(jià)值。

Dan Rodriguez指出，當(dāng)前，企業(yè)普遍尋求利用AI解決各種問題，特別是在邊緣計(jì)算環(huán)境中，AI推理可以被廣泛部署和使用。但是，只有將AI真正融入企業(yè)的工作流中進(jìn)行改善，才能幫助企業(yè)更好的創(chuàng)造價(jià)值，比如在自助結(jié)賬、醫(yī)療、員工培訓(xùn)等實(shí)際場(chǎng)景中發(fā)揮作用。

在這個(gè)過程中，如何滿足各行各業(yè)千差萬別的需求？他表示，AI套件的構(gòu)建非常重要。其中，視覺是關(guān)鍵的應(yīng)用案例，包括智能停車場(chǎng)、智能社區(qū)以及AI增強(qiáng)的結(jié)賬系統(tǒng)等。視覺分析AI套件提供了微服務(wù)，集成流程管理、傳感器融合、攝像頭管理、特征匹配等功能，可以理解、分析不同的情況，從而能夠不斷地追蹤這些物體。此外，還包括生命科學(xué)、媒體和娛樂、制造業(yè)等AI套件，能夠利用AI技術(shù)進(jìn)行物體追蹤、數(shù)據(jù)分析、視頻處理、缺陷檢測(cè)等任務(wù)，以提高效率和創(chuàng)造價(jià)值。

Dan Rodriguez強(qiáng)調(diào)，構(gòu)建開放平臺(tái)是市場(chǎng)發(fā)展的關(guān)鍵。一方面，開放系統(tǒng)為客戶提供了選擇權(quán)，能夠?yàn)橛脩羝ヅ浜线m的合作伙伴；另一方面，開放系統(tǒng)鼓勵(lì)所有人參與并貢獻(xiàn)，形成創(chuàng)新的良性循環(huán)。通過開放和標(biāo)準(zhǔn)化，最終促進(jìn)創(chuàng)新和效率的提升。

邊緣AI大模型的應(yīng)用趨勢(shì)？

隨著AI大模型越來越深入到垂直行業(yè)，在邊緣主要有哪些應(yīng)用趨勢(shì)？

郭威認(rèn)為，大模型落地有三大趨勢(shì)：首先，解決實(shí)際行業(yè)問題不僅需要模型訓(xùn)練，推理能力的提升在今年尤為明顯，這意味著除了訓(xùn)練出有效的模型外，還需要模型能夠在實(shí)際應(yīng)用中快速準(zhǔn)確地進(jìn)行推理；其次，行業(yè)落地必然涉及到從端到邊緣再到云端的算力平衡分布，垂直大模型的標(biāo)準(zhǔn)應(yīng)用主要部署在云端，但由于行業(yè)落地的需要，AI算力將向邊緣和端側(cè)擴(kuò)展，以滿足不同場(chǎng)景的需求；第三，中國市場(chǎng)的大模型落地方面，大模型和實(shí)際應(yīng)用的結(jié)合可能會(huì)更快，能夠較快探索出解決行業(yè)痛點(diǎn)的有效途徑。

從邊緣應(yīng)用的大模型自身來看，有三大特征，首先模型參數(shù)通常較小，主流應(yīng)用的模型大小為7B（70億參數(shù)），而模型大小的選擇主要考慮數(shù)據(jù)安全性、網(wǎng)絡(luò)時(shí)延和帶寬消耗。其次，隨著AI技術(shù)深入行業(yè)應(yīng)用，通用型大模型將逐漸轉(zhuǎn)變?yōu)樾袠I(yè)專用型大模型，這些專用模型將針對(duì)特定問題進(jìn)行深入研究，與通用模型的百科全書式覆蓋不同。第三，在邊緣側(cè)AI大模型的調(diào)用方式多樣，包括API調(diào)用和從底層開始的自定義開發(fā)。國內(nèi)業(yè)態(tài)變化多樣，客戶可能會(huì)使用云服務(wù)廠商的大模型進(jìn)行自定義更改，或者完全使用開源模型。

同時(shí)，AI大模型也驅(qū)動(dòng)了算力集群化的趨勢(shì)，隨之帶來了網(wǎng)絡(luò)設(shè)計(jì)、內(nèi)存資源訪問和算力資源利用等挑戰(zhàn)。

郭威強(qiáng)調(diào)，算力集群化趨勢(shì)下，同時(shí)存在算力集群化和算力分散化兩個(gè)方向。集群化主要發(fā)生在數(shù)據(jù)中心，而分散化則在邊緣設(shè)備上。英特爾致力于提供支持不同產(chǎn)業(yè)的系統(tǒng)，滿足邊緣和云之間的平衡需求，以及科研等領(lǐng)域?qū)λ懔瓦吘壍撵`活應(yīng)用。

應(yīng)對(duì)算力集群化對(duì)網(wǎng)絡(luò)互連要求的提高，英特爾加入了超級(jí)以太網(wǎng)聯(lián)盟（UEC），并計(jì)劃推出專門針對(duì)AI的智能網(wǎng)卡（AI NIC），同時(shí)支持Smart NIC和RDMA技術(shù)，以及其他配套產(chǎn)品，以滿足客戶需求。

Dan Rodriguez強(qiáng)調(diào)了在網(wǎng)絡(luò)與邊緣計(jì)算方面為開發(fā)者打造靈活、易用的平臺(tái)的重要性。他表示，網(wǎng)絡(luò)與邊緣計(jì)算是基于標(biāo)準(zhǔn)化的技術(shù)，而且是服務(wù)器風(fēng)格的解決方案和平臺(tái)。他本人在通信領(lǐng)域從業(yè)多年，對(duì)該領(lǐng)域固定的功能深有體會(huì)。英特爾作為供應(yīng)商，最核心的關(guān)注點(diǎn)就是通過網(wǎng)絡(luò)使相關(guān)應(yīng)用能夠可視化，在邊緣系統(tǒng)基礎(chǔ)上創(chuàng)造更加廣泛、開放的生態(tài)系統(tǒng)，整合更多資源，提供靈活的平臺(tái)服務(wù)。

打造靈活、易用邊緣AI應(yīng)用實(shí)踐

正如Dan Rodriguez所說，英特爾在本次大會(huì)上展示的兩個(gè)邊緣AI的應(yīng)用實(shí)踐：成都工廠缺陷檢測(cè)方案，和虛擬數(shù)智人“小英”，就是英特爾在邊緣打造靈活易用AI的體現(xiàn)。

成都工廠的缺陷檢測(cè)方案目前已經(jīng)正式部署到產(chǎn)線，并逐步推廣到美國和馬來西亞工廠。通過英特爾在現(xiàn)場(chǎng)的實(shí)時(shí)視頻連線可以看到，晶圓減薄工藝中的實(shí)時(shí)切片檢測(cè)技術(shù)，能夠在極小的晶圓切片上進(jìn)行高精度檢測(cè)，解決了人工肉眼檢測(cè)的局限性和漏檢風(fēng)險(xiǎn)。據(jù)介紹，該方案正是基于英特爾邊緣控制平臺(tái)，開發(fā)了一套軟件定義自動(dòng)化的檢測(cè)工具，檢測(cè)精度高達(dá)95%，每小時(shí)可檢測(cè)200片托盤。

下一步，成都工廠對(duì)AI大模型在工廠應(yīng)用的潛力持樂觀態(tài)度，認(rèn)為它們可以為設(shè)備故障排除，提供多維度的數(shù)據(jù)查詢和分析協(xié)助。

另一個(gè)邊緣AI應(yīng)用“小英”，是一個(gè)基于英特爾酷睿處理器與英特爾銳炫獨(dú)立顯卡（ARC770）技術(shù)的“3D”虛擬數(shù)智人。它可以完全部署在邊緣測(cè)，除實(shí)現(xiàn)4K 60幀的高清渲染，還在本地集成了大語言模型和RAG技術(shù)。

基于英特爾CPU和獨(dú)立顯卡技術(shù)，以及在邊緣側(cè)部署的大模型和RAG，像小英這樣的數(shù)字人能夠勝任多種工作角色，比如，在營業(yè)廳擔(dān)任客服代表，為顧客提供咨詢與服務(wù)；在商場(chǎng)擔(dān)任導(dǎo)購，引導(dǎo)顧客發(fā)現(xiàn)心儀的商品；或者在博物館擔(dān)任講解員，為訪客帶來生動(dòng)有趣的歷史與文化解讀。數(shù)智人不僅是靜態(tài)的展示，還能為各行各業(yè)增添新的活力與創(chuàng)意，展示出巨大的應(yīng)用潛力。

應(yīng)對(duì)未來網(wǎng)絡(luò)發(fā)展需求

隨著AI技術(shù)的發(fā)展，特別是智能計(jì)算中心的建設(shè)，對(duì)高速網(wǎng)絡(luò)產(chǎn)品如光模塊的需求迅速增長，市場(chǎng)上已經(jīng)出現(xiàn)了400G、800G的高速光模塊產(chǎn)品。英特爾如何布局未來的網(wǎng)絡(luò)產(chǎn)品？

郭威談到，在AI技術(shù)出現(xiàn)之前，SmartNIC就已顯示出巨大潛力，因?yàn)樗軐?shù)據(jù)處理從CPU卸載到SmartNIC上，減輕CPU的負(fù)擔(dān)。國內(nèi)主流的SmartNIC方案通常是結(jié)合FPGA和英特爾至強(qiáng)D處理器，從去年下半年開始，SmartNIC在云服務(wù)提供商（CSP）中的使用量明顯增加。

“隨著技術(shù)發(fā)展，從400G到800G，自行開發(fā)SmartNIC卡可能不再是最合理的選擇，完整的SmartNIC方案可能更符合技術(shù)發(fā)展路徑”，郭威補(bǔ)充，“英特爾的SmartNIC方案最初服務(wù)于北美客戶，現(xiàn)在正逐漸擴(kuò)展到其他客戶。CSP客戶主要集中在美國和中國，英特爾正在與國內(nèi)頭部CSP合作，預(yù)計(jì)不久將有應(yīng)用消息發(fā)布。”

從AI協(xié)同走向AI助手時(shí)代

Sachin Katti談到，我們目前正處在AI協(xié)同時(shí)代，但要步入AI助手時(shí)代，還需要解決一些問題。首先，現(xiàn)在的企業(yè)數(shù)據(jù)依然是存儲(chǔ)在本地的，并非公開透明的數(shù)據(jù)。因此，現(xiàn)有的大型語言模型并沒有針對(duì)這些本地?cái)?shù)據(jù)進(jìn)行過結(jié)構(gòu)化訓(xùn)練，需要在這些數(shù)據(jù)中融入現(xiàn)有工作流程，為企業(yè)提供定制化的解決方案。

英特爾專注于數(shù)據(jù)處理和分析，知道如何確保數(shù)據(jù)安全并以高速高效的方式解讀數(shù)據(jù)。并且，英特爾支持企業(yè)進(jìn)行本地數(shù)據(jù)存儲(chǔ)，無需將數(shù)據(jù)遷移到云端，有助于企業(yè)更好地利用AI智能體。

“實(shí)際上，這個(gè)轉(zhuǎn)變已經(jīng)開始。全球許多企業(yè)都已經(jīng)進(jìn)行了嘗試，預(yù)計(jì)在未來一到兩年內(nèi)會(huì)看到更多智能體的出現(xiàn)”， Sachin Katti表示。