日前,在“Wave Summit 2022深度學(xué)習(xí)開發(fā)者峰會”上,英特爾與百度分享了人工智能在各領(lǐng)域應(yīng)用的創(chuàng)新突破,并展現(xiàn)了如何通過oneAPI、OpenVINO等軟件優(yōu)化及人工智能全棧硬件產(chǎn)品組合,助力最新版飛槳框架v2.3版本實現(xiàn)模型性能的優(yōu)化升級和在多個垂直領(lǐng)域的實踐應(yīng)用。同時,英特爾聯(lián)合百度發(fā)布了“飛槳硬件生態(tài)伙伴共創(chuàng)計劃”,共同打造軟硬一體人工智能生態(tài)。
會后,英特爾高級首席工程師、物聯(lián)網(wǎng)事業(yè)部中國區(qū)首席技術(shù)官張宇,百度飛槳總架構(gòu)師于佃海,接受了<與非網(wǎng)>等媒體專訪。
解決AI三大環(huán)節(jié)痛點問題
據(jù)了解,今年3月,英特爾OpenVINO2022.1版本進(jìn)行了近三年半以來的最大升級,將以更新和更簡潔的API、更廣泛的模型支持、出色的可移植性與性能,與飛槳共同為開發(fā)者帶來更好的體驗,雙方將通過全方位的合作,涵蓋完整的AI模型開發(fā)和優(yōu)化部署階段,解決開發(fā)者在不同階段所面臨的痛點問題。
最新的OpenVINO 2022.1版本進(jìn)一步加大了對飛槳的支持力度。之前飛槳模型需要經(jīng)過ONNX轉(zhuǎn)化才可以被OpenVINO識別和使用,現(xiàn)在則可以直接把飛槳模型轉(zhuǎn)變?yōu)镺penVINO內(nèi)部的中間表示,再部署到硬件平臺上。從而幫助開發(fā)者減少中間環(huán)節(jié)、避免了精度下降的風(fēng)險,能夠為開發(fā)者帶來更準(zhǔn)確、更高效的結(jié)果。
大模型支持也是一個痛點,張宇指出,尤其是在邊緣部署人工智能的情況下。由于邊緣設(shè)備的算力和存儲相對有限,因此在邊緣進(jìn)行大模型支持時,通常需要進(jìn)行網(wǎng)絡(luò)壓縮,盡可能在保證精度的情況下,對網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行簡化。針對剪枝、量化、低精度等技術(shù),OpenVINO提供越來越豐富、完備的支持,可以使一些大模型部署在邊緣進(jìn)行推理操作。
于佃海談到,百度在大模型領(lǐng)域已經(jīng)形成了從開發(fā)、訓(xùn)練到部署的全流程技術(shù)體系和解決方案。在訓(xùn)練階段,大模型計算量非常大,所以需要高效的分布式訓(xùn)練支撐。百度飛槳采用端到端自適應(yīng)的分布式架構(gòu),能夠自動感知硬件平臺的特性,并兼容處理廣泛的模型結(jié)構(gòu),實現(xiàn)高效訓(xùn)練。在部署環(huán)節(jié),則首先運用模型壓縮技術(shù),解耦訓(xùn)練代碼,實現(xiàn)硬件自動感知能力,達(dá)到更好的量化和剪枝等壓縮效果;由于大模型的范疇比較廣,有的大模型壓縮之后單機(jī)就可以處理,有的超大模型對單機(jī)挑戰(zhàn)比較大,因此需要通過自適應(yīng)分布式計算遷移到推理環(huán)節(jié),實現(xiàn)更好的推理部署。
談及百度和英特爾在大模型方面的合作,于佃海指出,首先是基于oneAPI在英特爾CPU上的基礎(chǔ)性能優(yōu)化工作,英特爾至強(qiáng)可擴(kuò)展處理器,是唯一具有內(nèi)置AI加速功能的數(shù)據(jù)中心級CPU,飛槳充分利用其搭載的“高級矢量擴(kuò)展指令集AVX-512、深度學(xué)習(xí)加速技術(shù)DL-Boost等來實現(xiàn)計算加速。其次在推理方面,充分發(fā)揮英特爾產(chǎn)品在低精度計算、量化計算方面的特色能力來提升推理速度,以及通過飛槳+OpenVINO來共建部署生態(tài)。此外,安全加密相關(guān)的SGX、有助于構(gòu)建多級參數(shù)存儲機(jī)制的持久內(nèi)存AEP,都將有助于大模型的訓(xùn)練和部署應(yīng)用。
分子動力學(xué)領(lǐng)域合作,AI+科學(xué)的創(chuàng)新探索
在AI科學(xué)領(lǐng)域,英特爾和百度在分子動力學(xué)領(lǐng)域共同展開研發(fā)。雙方工程師基于飛槳框架從零到一打通了訓(xùn)練推理完整流程,并基于英特爾oneAPI和第三代至強(qiáng)可擴(kuò)展處理器,利用深度學(xué)習(xí)加速技術(shù)AVX512指令集優(yōu)化了分子動力學(xué)模型的性能,同時支持傳統(tǒng)仿真軟件LAMMPS,全面滿足研究實驗需求。
于佃海表示,分子動力學(xué)是AI+科學(xué)取得突破的一個領(lǐng)域,雙方希望共同打造世界領(lǐng)先的高性能解決方案,讓計算大幅度提速、性能更加優(yōu)化。
他進(jìn)一步解釋,相對于傳統(tǒng)AI應(yīng)用領(lǐng)域,AI+科學(xué)面臨的挑戰(zhàn)差異較大。主要體現(xiàn)在以下三方面:
一是AI技術(shù)與科學(xué)原理或物理模型有機(jī)結(jié)合的挑戰(zhàn)。即:如何在深度學(xué)習(xí)中實現(xiàn)與科學(xué)規(guī)律的更好融合?因為以深度學(xué)習(xí)為代表的AI方法主要是數(shù)據(jù)驅(qū)動,而AI+科學(xué),并不只是包括數(shù)據(jù)驅(qū)動的方法。純數(shù)據(jù)驅(qū)動更適合定義比較清晰的、數(shù)據(jù)積累比較豐富的領(lǐng)域,比如AlphaFold蛋白質(zhì)折疊預(yù)測等領(lǐng)域,當(dāng)然即使這種領(lǐng)域也要深度融合對應(yīng)科學(xué)知識。而科學(xué)更追求基本原理的突破,如果只考慮數(shù)據(jù)驅(qū)動是有一定局限的。于佃海表示,雙方希望將數(shù)據(jù)驅(qū)動方法和模型驅(qū)動方法進(jìn)行更深度的融合。
二是對通用計算平臺和深度學(xué)習(xí)框架的挑戰(zhàn),只有平臺化才能真正發(fā)揮AI+科學(xué)的優(yōu)勢。于佃海指出,原有的深度學(xué)習(xí)框架多是面向傳統(tǒng)AI任務(wù)而設(shè)計的,但AI科學(xué)需要框架具備更高階的自動微分機(jī)制。自動微分是深度學(xué)習(xí)框架的核心功能,普通范疇的AI方法只需要一階導(dǎo)數(shù),而科學(xué)計算中微分方程會遇到高階導(dǎo)數(shù),因此框架需要具備高階自動微分的能力,同時還要保持計算的高性能。同時,也需要AI框架和傳統(tǒng)科學(xué)計算仿真軟件進(jìn)行打通,比如飛槳和英特爾的合作工作就包括與傳統(tǒng)的分子動力學(xué)模擬軟件LAMMPS的打通。
第三是產(chǎn)學(xué)研用的打通。AI科學(xué)涉及理論研究、實驗研究以及實際產(chǎn)業(yè)的應(yīng)用,涵蓋了AI對復(fù)雜計算的處理能力,科學(xué)原理研究以及和超算能力的結(jié)合,綜合挑戰(zhàn)較大。因此需要匯集各方力量,充分建立高校、科研院所和企業(yè)的合作關(guān)系,通過軟硬協(xié)同打造高性能計算平臺,打通理論實驗和產(chǎn)業(yè)應(yīng)用的通路。
張宇表示,英特爾始終秉持科技向善的發(fā)展理念,在人工智能領(lǐng)域也是如此。分子動力學(xué)有著廣泛應(yīng)用,除了像材料研發(fā),還有一個重要的應(yīng)用場景是在制藥領(lǐng)域,在這一方向的持續(xù)研究,無疑會為人類長期的健康帶來福祉。他坦言,挑戰(zhàn)確實存在,比如模型分析、數(shù)據(jù)處理等工作,對平臺的要求是綜合的,不僅要求算力,存儲也受到很大挑戰(zhàn)。不過,這些正是英特爾的優(yōu)勢所在,產(chǎn)品組合涵蓋計算、存儲和通訊等多方面,可以搭建一個綜合平臺滿足項目需求。
他強(qiáng)調(diào),整體項目的成功,最終離不開產(chǎn)業(yè)鏈各環(huán)節(jié)合作伙伴的共同努力。百度在人工智能框架、以及對垂直行業(yè)的理解和認(rèn)知方面有優(yōu)勢,雙方甚至多方強(qiáng)強(qiáng)聯(lián)合,才有望解決業(yè)界當(dāng)前所面臨的多重挑戰(zhàn)。
據(jù)了解,雙方在分子動力學(xué)領(lǐng)域合作的產(chǎn)品已開放測試,以期用于材料研發(fā)工作,助力深度學(xué)習(xí)技術(shù)在人工智能+科學(xué)計算領(lǐng)域的應(yīng)用,并為人工智能框架與傳統(tǒng)科學(xué)計算相結(jié)合的持續(xù)創(chuàng)新探索奠定基礎(chǔ)。
加速推動人工智能普及
深度學(xué)習(xí)框架和芯片共同構(gòu)成了人工智能的基礎(chǔ)設(shè)施。百度飛槳是國內(nèi)首個自主研發(fā)、功能豐富的產(chǎn)業(yè)級開源開放深度學(xué)習(xí)平臺,英特爾致力于通過一系列跨計算的CPU、FPGA、GPU及專用的人工智能加速器(Habana Gaudi)提供技術(shù)基礎(chǔ),并通過全棧式硬件產(chǎn)品組合來滿足用戶不同場景的使用需要。近年來,百度飛槳與包括英特爾在內(nèi)的主流芯片廠商進(jìn)行深度適配和融合創(chuàng)新,形成了軟硬協(xié)同的優(yōu)勢。
萬物智能化時代,人工智能正在深刻地變革各行各業(yè),并有望在未來改善每個人的生活?;陂L期深度合作的基礎(chǔ),英特爾和百度將繼續(xù)深耕產(chǎn)品技術(shù)創(chuàng)新,豐富軟件優(yōu)化方案,助力開發(fā)者更便捷地開發(fā)和部署人工智能,大幅降低人工智能技術(shù)的應(yīng)用門檻,加速人工智能在傳統(tǒng)行業(yè)和新興行業(yè)的創(chuàng)新與落地。