隨著AI在產(chǎn)業(yè)中的普及應(yīng)用,各類型場景對人工智能算力的需求不斷被釋放,提供訓練、推理能力的AI芯片產(chǎn)品百花齊放。而芯片算力的有效利用,需要與成熟的深度學習框架適配協(xié)同。
近日,人工智能計算領(lǐng)域的引領(lǐng)者NVIDIA召開了全球開發(fā)者大會GTC 2023,GPU芯片與百度飛槳深度學習平臺的合作持續(xù)深入,百度技術(shù)專家特別分享了飛槳如何支持大模型生產(chǎn)和應(yīng)用、大規(guī)模圖學習訓練技術(shù)PGLBox、端到端大模型開發(fā)套件PaddleFleetX、全場景高性能AI部署工具FastDeploy等前沿內(nèi)容。
深度學習框架是連接軟硬件的關(guān)鍵軟件平臺,框架與AI芯片、計算系統(tǒng)的聯(lián)合優(yōu)化是充分釋放算力、實現(xiàn)AI基礎(chǔ)設(shè)施極致優(yōu)化的重點。飛槳作為中國首個自主研發(fā)、開源開放的產(chǎn)業(yè)級深度學習平臺,已發(fā)展成為中國市場應(yīng)用規(guī)模第一的深度學習框架和賦能平臺,技術(shù)和生態(tài)實力深受廣大硬件廠商認可,合作日趨緊密,由此也為開發(fā)者提供了軟硬一體的便捷體驗。
圖:百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍在GTC 2023演講
硬件廠商與飛槳的合作經(jīng)歷了“共聚”“共研”“共創(chuàng)”三個階段,且逐年深入。基于AI基礎(chǔ)軟硬件協(xié)同發(fā)展趨勢的判斷,飛槳于2020年,率先與國內(nèi)外領(lǐng)先的硬件廠商開展對接,獲得積極響應(yīng)和支持。2021年,飛槳與硬件伙伴攜手共研解決適配技術(shù)方案復雜、成本高等問題,飛槳推出了多層次、低成本的硬件適配統(tǒng)一方案,包括自定義算子庫接入、自定義通信庫等多項基礎(chǔ)軟件改造,硬件伙伴可以根據(jù)硬件特性靈活選擇,極大降低適配成本。截至目前,超過40家硬件廠商與飛槳深度融合優(yōu)化,基本全適配國產(chǎn)芯片。
2022年,飛槳與硬件伙伴從適配優(yōu)化進一步發(fā)展到協(xié)同創(chuàng)新的“共創(chuàng)”階段。硬件伙伴希望通過定制版的飛槳框架、模型庫等來豐富其自身的AI軟件棧。飛槳也能通過硬件底層開發(fā)體驗的提升,幫助更多開發(fā)者低門檻實現(xiàn)AI應(yīng)用創(chuàng)新。
NVIDIA與飛槳率先完成了聯(lián)創(chuàng)工作。以NVIDIA合作為范例,飛槳與國內(nèi)外更多硬件伙伴聯(lián)合發(fā)布了基于飛槳開源版的廠商定制版飛槳框架和模型庫等。
據(jù)介紹,NVIDIA將飛槳列為全球前三的深度學習框架合作伙伴,在中國設(shè)立了專門的工程團隊支持,賦能飛槳。雙方聯(lián)合開發(fā)了三大主要產(chǎn)品:基于NVIDIA?GPU定制優(yōu)化的飛槳容器NGC,包含了最新的NVIDIA工具包(CUDA、DALI等)和優(yōu)化的飛槳版本,為開發(fā)者提供最佳開發(fā)環(huán)境;NVIDIA Deep Learning Examples向用戶提供易于訓練和部署的飛槳模型示例;在NVIDIA深度學習培訓中心(DLI)打造系列免費課程及聯(lián)名認證證書,幫助開發(fā)者提高訓推性能并簡化代碼,并給予權(quán)威認可。
百度AI技術(shù)生態(tài)總經(jīng)理馬艷軍在GTC演講中表示,人工智能應(yīng)用的發(fā)展離不開硬件合作伙伴的共同努力。我們聯(lián)合NVIDIA、Intel和Arm等13家合作伙伴共同發(fā)布了飛槳生態(tài)發(fā)行版,實現(xiàn)軟硬件協(xié)同深度優(yōu)化。飛槳“硬件生態(tài)共創(chuàng)計劃”伙伴數(shù)量已達29家,聚生態(tài)之力,共同打造軟硬一體的全棧式AI平臺,促進人工智能產(chǎn)業(yè)鏈高質(zhì)量發(fā)展。
飛槳“硬件生態(tài)共創(chuàng)計劃”主要包含聯(lián)合研發(fā)、資源共享、聯(lián)合授權(quán)、培訓賦能四項重點工作,旨在協(xié)同戰(zhàn)略合作伙伴軟硬一體全面共創(chuàng),以更好地服務(wù)開發(fā)者。
在聯(lián)合研發(fā)方面,飛槳與硬件伙伴成立技術(shù)研發(fā)虛擬聯(lián)合團隊,共建聯(lián)合研發(fā)基礎(chǔ)設(shè)施,并對模型進行性能優(yōu)化,推出廠商定制版飛槳框架,大大提升飛槳模型在各類AI硬件上的訓練推理性能,為開發(fā)者提供更多更好選擇。
在資源共享方面,飛槳與硬件伙伴共享推廣宣傳資源,合作打磨飛槳+硬件廠商特色營銷工具包,并通過品牌活動、賽事、閉門會、數(shù)字化展廳等提供展示平臺,幫助業(yè)務(wù)拓展。
在聯(lián)合授權(quán)方面,飛槳會將與硬件伙伴聯(lián)合優(yōu)化的方案和飛槳的特色能力優(yōu)先推薦給生態(tài)伙伴。飛槳還基于硬件平臺聯(lián)合開發(fā)飛槳一體機,為企業(yè)提供功能全面、便捷高效、穩(wěn)定可靠的一站式人工智能服務(wù)。
在培訓賦能方面,飛槳與硬件伙伴聯(lián)合開發(fā)飛槳+硬件使用開發(fā)教程,并在雙方的學習與實訓社區(qū)提供系列課程及聯(lián)名認證證書。其中,飛槳AI Studio已經(jīng)是全國最大的人工智能學習與實訓社區(qū),擁有超過300萬注冊用戶。飛槳AI Studio還開設(shè)了硬件廠商專區(qū),為開發(fā)者提供體驗更多AI硬件的機會。
隨著人工智能技術(shù)在各行業(yè)的廣泛應(yīng)用,業(yè)界已從各自獨立的硬件算力驅(qū)動和算法創(chuàng)新驅(qū)動進入到算法和硬件協(xié)同創(chuàng)新階段。飛槳將通過硬件生態(tài)共創(chuàng)計劃,結(jié)合伙伴自有軟硬件基礎(chǔ)開發(fā)棧特色,真正實現(xiàn)軟硬件互聯(lián)互通、創(chuàng)新發(fā)展。
飛槳秉持AI時代操作系統(tǒng)的產(chǎn)業(yè)鏈定位,開放擁抱所有硬件廠商。通過技術(shù)聯(lián)合研發(fā)和生態(tài)共享共創(chuàng),飛槳將攜手硬件伙伴一起開拓更多軟硬件協(xié)同的產(chǎn)品和服務(wù),加速人工智能的應(yīng)用落地,推動AI工業(yè)大生產(chǎn)實現(xiàn)進程。