金磊 夢晨 發(fā)自 凹非寺,量子位 | 公眾號 QbitAI
隨著生成式AI的火速發(fā)展,AI應(yīng)用開始與各種信息設(shè)備“嫁接”,AI手機、AI PC,甚至AI汽車都變得越發(fā)司空見慣。
一方面,人們正在生活中享受著AI,尤其是大模型帶來的便捷,可以隨時隨地向終端設(shè)備提出問題來答疑解惑,內(nèi)容可能是日常生活中遇到的麻煩,也可能是單純跟AI聊聊天解解悶,順手拍個大模型給你解說人生雞湯的視頻發(fā)出來炫一下。
但另一方面,生成式AI上終端設(shè)備之后,更多地在向AI生產(chǎn)力的方向發(fā)展。
換言之,人們在工作上也越發(fā)地開始依賴大模型,例如直接把文檔、表格、圖片丟給設(shè)備來解析、處理。
這就引發(fā)了一個不知不覺中發(fā)生,也不可避免的話題——安全性。
因為不論AI應(yīng)用在何種信息設(shè)備上集成,在使用過程中都會收集和產(chǎn)生大量用戶數(shù)據(jù),如個人信息、通信記錄、瀏覽歷史、生物特征數(shù)據(jù)等,這些數(shù)據(jù)對于用戶來說具有高度的敏感性。
就好比之前的推薦模型僅僅是根據(jù)用戶的瀏覽歷史、搜索記錄、購買行為等數(shù)據(jù),就可以讓用戶身陷信息繭房,只推薦用戶可能感興趣的內(nèi)容,限制了視野的拓展,再從電商角度“殺個熟”。
而大模型加持的這些AI終端設(shè)備,涉及到用戶生活的更多方面,包括通信、工作、娛樂、金融等,甚至將來某一天它與汽車結(jié)合成為你的“副駕”,或與家務(wù)機器人結(jié)合后成為你的管家或護(hù)工時,還可能會把你家里家外的事兒摸個底兒掉。
所以它一旦出現(xiàn)安全問題,其影響范圍將遠(yuǎn)遠(yuǎn)超過推薦模型,可能導(dǎo)致用戶的財產(chǎn)損失、身份被盜用、工作中斷等嚴(yán)重后果。
或許有人會說了,很多AI終端廠商在做宣傳的時候都在強調(diào)斷網(wǎng)運行,由此可以保障本地文件或信息的安全性。
但事實真是如此嗎?
非也非也。
AIGC應(yīng)用,需要端云協(xié)同
AIGC應(yīng)用在終端使用的過程中,一個明顯的趨勢是這樣的——
能力越強的AIGC應(yīng)用都應(yīng)當(dāng)是端云協(xié)同,這才是數(shù)據(jù)處理模式的未來趨勢。
之所以如此,是因為在大模型的應(yīng)用過程中,充沛的算力和海量高質(zhì)量的數(shù)據(jù)都是關(guān)鍵中的關(guān)鍵,直接影響用戶在終端的體感。
尤其在眾多面向終端部署的個人化應(yīng)用里,一旦訓(xùn)練或推理過程有大規(guī)模計算資源參與其中,算力相對較弱的終端便會顯得力不從心;一旦用戶探求的信息或答案需要專門的數(shù)據(jù)庫甚至高度組織的知識庫的支持,都會成為阻礙AIGC應(yīng)用進(jìn)一步拓展的瓶頸。
那么端云協(xié)同又是如何破局的呢?
在端云協(xié)同的這一模式下,終端設(shè)備主要承擔(dān)起與使用者直接相關(guān)的各類數(shù)據(jù)的采集與預(yù)處理工作。
它如同一個敏銳的觀察者,時刻感知著周圍的環(huán)境變化,將各種原始數(shù)據(jù)收集起來,并進(jìn)行初步的整理和篩選。
而那些復(fù)雜的計算任務(wù),以及對更多數(shù)據(jù)的訪問則交由強大的云端算力來完成。云端就像是一個更有智慧的大腦,擁有著龐大的計算資源和先進(jìn)的算法或更大參數(shù)量的復(fù)雜模型,還有個人用戶難以企及的超大規(guī)模數(shù)據(jù)來供其訓(xùn)練或訪問,可以更快速、更準(zhǔn)確地給出答案或輔助處理需求。
這樣一來,即使終端設(shè)備本身的算力和數(shù)據(jù)有限,也能夠借助云端強勁的AI算力和數(shù)據(jù)積蓄來實現(xiàn)更加復(fù)雜的功能和服務(wù)。
比如,在圖像識別領(lǐng)域,終端設(shè)備可以快速拍攝照片并進(jìn)行簡單的圖像裁剪和調(diào)整,然后將圖像數(shù)據(jù)上傳至云端。
云端利用其強大的計算能力和深度學(xué)習(xí)算法,對圖像進(jìn)行高精度的識別和分析,最后將結(jié)果返回給終端設(shè)備,為用戶提供詳細(xì)的圖像信息和相關(guān)的服務(wù)建議。
在語音處理方面,終端設(shè)備可以采集用戶的語音信號并進(jìn)行降噪等預(yù)處理,云端則負(fù)責(zé)對語音進(jìn)行識別、翻譯和語義理解等復(fù)雜的處理任務(wù),從而實現(xiàn)智能語音助手的強大功能。
這種模式雖好,但當(dāng)客戶端各類數(shù)據(jù)需要傳輸至云端進(jìn)行處理的時候,云端可信環(huán)境的重要性便立刻凸顯出來。
所謂云端可信環(huán)境,指的是在云端能夠確保終端傳來的隱私數(shù)據(jù)以及自身存儲的各類關(guān)鍵數(shù)據(jù)在處理和交互時,都能被更好地保護(hù),不被非法訪問、篡改或者泄露。在這個數(shù)據(jù)驅(qū)動的時代,尤其是面向企業(yè)級應(yīng)用,這樣的環(huán)境至關(guān)重要,其意義不言而喻。
一方面,云端可信環(huán)境直接關(guān)系到用戶信任度的高低。
用戶在使用各種基于AI技術(shù)的應(yīng)用時,會將大量的個人數(shù)據(jù)上傳至云端進(jìn)行處理;如果云端環(huán)境不可信,用戶的隱私數(shù)據(jù)隨時可能面臨被竊取、濫用的風(fēng)險,這無疑會讓用戶對這些應(yīng)用產(chǎn)生極大的擔(dān)憂和不信任。
另一方面,云端可信環(huán)境還將影響到AI技術(shù)與應(yīng)用的長期發(fā)展和社會接受度。
如果云端的安全性無法得到保障,頻繁出現(xiàn)數(shù)據(jù)泄露等問題,不僅會損害用戶的利益,還會引發(fā)社會對AI技術(shù)的質(zhì)疑和擔(dān)憂。這也將極大地阻礙AI技術(shù)的進(jìn)一步發(fā)展和推廣。
那么何以解憂?CPU,了解一下。
或許在很多人的固有認(rèn)知里,在云上或數(shù)據(jù)中心里,與AI數(shù)據(jù)處理相關(guān)的硬件更多應(yīng)當(dāng)向GPU或者專用加速器靠攏;但實際上,CPU作為系統(tǒng)的中央處理器,它才具備對整個系統(tǒng)的全面控制能力。
例如在云端協(xié)同的數(shù)據(jù)處理中,CPU能夠?qū)?shù)據(jù)的傳輸、存儲和處理進(jìn)行全面的監(jiān)控和管理,如訪問控制、身份驗證、數(shù)據(jù)加密等。
相比之下,GPU和專用加速器主要專注于特定的計算任務(wù),缺乏對系統(tǒng)的全面控制能力,難以有效地執(zhí)行安全策略。
至于CPU具體是如何在這個過程中發(fā)揮作用的,我們繼續(xù)往下看。
基于CPU的可信執(zhí)行環(huán)境
說到構(gòu)建云端可信環(huán)境,離不開一個關(guān)鍵技術(shù)——可信執(zhí)行環(huán)境(TEE)。
它通過在硬件中創(chuàng)建隔離區(qū)域,保護(hù)內(nèi)存中的敏感數(shù)據(jù)不被非法訪問、篡改或泄露。可信執(zhí)行環(huán)境能夠為敏感數(shù)據(jù)和代碼提供獨立于操作系統(tǒng)和硬件配置的增強安全防護(hù)。
想要在“端云協(xié)同”模式下構(gòu)建可信執(zhí)行環(huán)境,還可以從以下幾個方面入手:
采用硬件級安全技術(shù):
目前這方面的技術(shù),成熟且應(yīng)用較多的,當(dāng)屬英特爾??軟件防護(hù)擴展(Intel??SGX)和英特爾??信任域擴展(Intel??TDX),它們或在內(nèi)存中構(gòu)建被稱為“飛地”(Enclave)的安全區(qū)域,能做到應(yīng)用隔離,來保護(hù)最關(guān)鍵的敏感應(yīng)用和關(guān)鍵數(shù)據(jù),或?qū)EE環(huán)境擴展到虛擬機層面,實現(xiàn)虛擬機隔離,來保護(hù)某個虛擬機環(huán)境中的數(shù)據(jù)和應(yīng)用程序免遭未經(jīng)授權(quán)的訪問。
構(gòu)建遠(yuǎn)程認(rèn)證和密鑰管理體系:
引入英特爾??數(shù)據(jù)中心驗真原語(Intel??DCAP)等技術(shù),構(gòu)建遠(yuǎn)程認(rèn)證服務(wù)和密鑰分發(fā)服務(wù)。確保只有經(jīng)過驗證的用戶和設(shè)備才能訪問云端資源,來更好地保護(hù)數(shù)據(jù)免受未授權(quán)的訪問和泄露。
采用可信的運行環(huán)境和工具:
利用開源的輕量級操作系統(tǒng),如Gramine,確??尚胚\行實例的創(chuàng)建、加載與運行。Gramine支持對網(wǎng)絡(luò)通信進(jìn)行加密,并可將遠(yuǎn)程認(rèn)證協(xié)議(RA-TLS)下沉,實現(xiàn)對應(yīng)用程序透明的加密網(wǎng)絡(luò)通信。
基于SGX、TDX構(gòu)建的云端TEE環(huán)境,再配合遠(yuǎn)程證明等配套服務(wù),就構(gòu)成了一套完整的面向AI任務(wù)的云端可信方案,可以為數(shù)據(jù)提供全方位的保護(hù)。
數(shù)據(jù)可信計算:通過云平臺機密容器的構(gòu)建和部署,構(gòu)筑了基于TEE的雙路可信AI沙箱,將AI應(yīng)用的處理流程放入其中,讓用戶隱私數(shù)據(jù)在云端“可用不可見”。
數(shù)據(jù)可信傳輸:業(yè)務(wù)側(cè)對用戶隱私數(shù)據(jù)進(jìn)行加密傳輸,同時借助遠(yuǎn)程認(rèn)證服務(wù),使業(yè)務(wù)開發(fā)或運維人員也無法獲取明文數(shù)據(jù),確保數(shù)據(jù)在傳輸過程中的安全性。
數(shù)據(jù)可信存儲:業(yè)務(wù)側(cè)對用戶隱私數(shù)據(jù)進(jìn)行加密存儲,相關(guān)憑據(jù)類敏感數(shù)據(jù)也基于"飛地"加密存儲,防止未經(jīng)授權(quán)的訪問。
由此可見,這套架構(gòu)不僅可以保護(hù)靜態(tài)數(shù)據(jù),更是補齊了數(shù)據(jù)在處理和交互中的安全防護(hù)能力,做到在全流程中更好地”保駕護(hù)航”。
在大家熟悉的英特爾??至強??處理器上,相關(guān)安全技術(shù)的探索,早在幾年前AI應(yīng)用還處于訓(xùn)練為主的時代就已經(jīng)有過成功用例。
例如阿里云企業(yè)級ECS實例g8i方案,就通過引入第五代英特爾??至強??可擴展處理器,構(gòu)建了有彈性可信邊界、且易于將應(yīng)用程序部署在其中的分級機密計算新方案。
基于此,阿里云提供了機密虛擬機和機密容器兩種使用模式,并推出了采用英特爾??TDX的BigDL大模型隱私保護(hù)方案。
不僅能保障AI推理階段,在預(yù)處理、數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練等階段都可以對使用中的數(shù)據(jù)進(jìn)行保護(hù),更好地保證數(shù)據(jù)、模型的隱私機密性。這不僅加強了對用戶隱私的保護(hù),也保護(hù)了寶貴的模型資產(chǎn)不被竊取。
還有金融業(yè)的平安科技和其他行業(yè)一些AI應(yīng)用的先鋒,更早時就曾探索基于SGX技術(shù)來實現(xiàn)更安全、更可信的聯(lián)邦學(xué)習(xí),或者隱私保護(hù)的機器學(xué)習(xí)應(yīng)用,當(dāng)然這些應(yīng)用也都屬于訓(xùn)練類型,也都是面向那些愿意提供自家數(shù)據(jù)來訓(xùn)練一個共有模型的多家企業(yè)或機構(gòu),讓他們的數(shù)據(jù)在這一過程中得到更好的保護(hù)。
再來回顧至強CPU安全能力的進(jìn)化史。英特爾在這條道路上從未止步。
在至強??處理器中,SGX首次作為附加功能出現(xiàn)在第二代英特爾??至強? ?可擴展處理器中,并在第三代至強??可擴展處理器中成為標(biāo)準(zhǔn)功能。
而TDX首次在2023年隨第四代英特爾??至強??可擴展處理器(代號Sapphire Rapids)引入。第五代至強??可擴展處理器進(jìn)一步推廣了TDX技術(shù),使其在市場上更廣泛可用。
隨著AI技術(shù)的不斷發(fā)展和應(yīng)用場景的不斷擴大,加強數(shù)據(jù)隱私和安全的需求將日益凸顯。構(gòu)建云端可信環(huán)境,不僅為云上用戶數(shù)據(jù)提供全方位的保護(hù),也為大模型、生成式AI的個人化落地,以及“端云協(xié)同”模式下的數(shù)據(jù)安全與隱私保護(hù)提供了有價值的參考。
而這一切,都有英特爾??至強??這款服務(wù)器CPU在背后默默發(fā)力和支持。
而今,在最新一代至強??6處理器產(chǎn)品上,不論是6月發(fā)布的能效核(E-core)產(chǎn)品,還是剛剛官宣的,擁有更強單核性能、更高核心/計算密度、更高能效表現(xiàn)、以及更強內(nèi)存和IO支持的性能核產(chǎn)品——至強6900P系列身上,SGX和TDX都未缺席,正是它們?yōu)檫@些CPU產(chǎn)品增添了“更安全可靠”的定語,也為AI應(yīng)用和數(shù)據(jù)的安全保障帶來更加可行、可用,易用,好用的保障。
為了科普CPU在AI推理新時代的玩法,量子位開設(shè)了《最“in”AI》專欄,將從技術(shù)科普、行業(yè)案例、實戰(zhàn)優(yōu)化等多個角度全面解讀。
我們希望通過這個專欄,讓更多的人了解CPU在AI推理加速,甚至是整個AI平臺或全流程加速上的實踐成果,重點就是如何更好地利用CPU來提升大模型應(yīng)用的性能和效率。