人工智能內(nèi)容生成(AIGC)技術(shù)在近一年來(lái)引起了科技界的廣泛關(guān)注,因?yàn)樗鼘?duì)各個(gè)行業(yè)有著顛覆性的影響。但是,要支持AIGC技術(shù),需要消耗很大的功率和算力,隨著摩爾定律接近極限,新的計(jì)算架構(gòu)和信息器件成為了學(xué)術(shù)界和產(chǎn)業(yè)界的研究重點(diǎn)。
高精尖創(chuàng)新中心由北京市教委支持,依托清華建,現(xiàn)為第二期,與北大共建,有眾多設(shè)備和工作人員,有一百多人的工程師隊(duì)伍,包括芯片設(shè)計(jì)、測(cè)試及其他支撐人員。除研發(fā)高端芯片外,還為北京市提供測(cè)試平臺(tái),服務(wù)清華各院系,也滿足周邊中關(guān)村芯片相關(guān)企業(yè)的測(cè)試需求。
清華大學(xué)吳華強(qiáng)、高濱團(tuán)隊(duì)在氧化物憶阻器的科研領(lǐng)域有著十多年的積累,更重要的是,他們?cè)谶吘壎说娜斯ぶ悄苡?xùn)練和推理方面實(shí)現(xiàn)了領(lǐng)先的突破,為未來(lái)大模型的架構(gòu)提供了全新的研究范式。在本次采訪中,高濱老師分享了自己團(tuán)隊(duì)最新的研究成果,并深入分析了在大模型中的潛在應(yīng)用。
此外,他還就器件的刻畫(huà)和驗(yàn)證提出了發(fā)展性、建設(shè)性的意見(jiàn)。這對(duì)于從事憶阻器、類腦計(jì)算等領(lǐng)域的科研工作者來(lái)說(shuō),是一種不同的思路、一種先進(jìn)的系統(tǒng)和器件協(xié)同的測(cè)試、表征方法,可以助力科研、加快科研進(jìn)展。
新型器件創(chuàng)新支持大模型
張欣:您去年參加了 IEDM2023 會(huì)議,能否分享下感受。
高老師:IEDM 是集成電路領(lǐng)域三大緊急會(huì)議之一,因疫情前兩年線上開(kāi),去年終于現(xiàn)場(chǎng)開(kāi)。感覺(jué)國(guó)際學(xué)術(shù)領(lǐng)域有變化,摩爾定律下行難度增大。國(guó)際上雖有大公司論文研究更先進(jìn)工藝,如堆疊三維基層晶體管,但門檻高,只有少數(shù)公司如 imac 能做。新器件工藝方面,看到新方向單片三維集層,與較熱的 chiplet 平行,在一個(gè)襯底上盡量將多器件三維堆疊,器件間帶寬更高,是新趨勢(shì),可用新型 TFT 材料、薄膜氧化物、二維材料等嘗試做成后端兼容器件。去年 IEDM 還有專門討論大模型的 專題環(huán)節(jié),因大模型很火,國(guó)際上幾個(gè)大公司都在研究如何用新器件、新工藝去支持大模型,技術(shù)路線各不相同,有傳統(tǒng)的,也有嘗試新器件新工藝的。
張欣:現(xiàn)在科研領(lǐng)域都這么卷了,大模型更多是商業(yè)行為,都卷到器件新型器件創(chuàng)新去支持大模型了。
高老師:沒(méi)錯(cuò),大模型不僅在算法和應(yīng)用上,底層算力支撐也非常重要,這兩年 IEDM 特別關(guān)注提高算力、存儲(chǔ)帶寬和權(quán)重密度。我們組 2023 年在 IEDM 上有四篇文章、四個(gè)報(bào)告,都與憶阻器方向相關(guān),也涉及將憶阻器與其他器件進(jìn)行單片集成。
張欣:距上次專訪大概兩年半,這期間您肯定有很多科研成果和進(jìn)步,能否介紹下這期間工作的突破。
高老師:這兩年我們盡量將存算一體技術(shù)往應(yīng)用推進(jìn),尋找應(yīng)用牽引,主要布局三件事。一是與企業(yè)合作,如海迪士,嘗試在實(shí)際邊緣智能場(chǎng)景做芯片設(shè)計(jì),除芯片設(shè)計(jì),還研究在實(shí)際場(chǎng)景下的可靠性,發(fā)現(xiàn)器件電阻狀態(tài)保持在很多實(shí)際場(chǎng)景中存在隨機(jī)漂移的 relaxation 效應(yīng),需投入精力抑制隨機(jī)漂移,以滿足未來(lái)應(yīng)用需求。二是我們需要大模型,要設(shè)法提高密度,因?yàn)橹靶【矸e網(wǎng)絡(luò)加速不需要高密度,但大模型確實(shí)需要,這是工藝上的研究。三是做更前沿、創(chuàng)新的內(nèi)腦學(xué)習(xí),去年十月我們?cè)?Science 上發(fā)過(guò)一篇相關(guān)論文,還布局了幾個(gè)難度更大的學(xué)習(xí)。
看整體算法效果,要關(guān)注整體而非器件個(gè)體
張欣:希望未來(lái)一兩年能看到高老師的進(jìn)展,一方面往產(chǎn)業(yè)化走要解決可靠性、集升度問(wèn)題,同時(shí)布局新型真正類腦計(jì)算的前沿方向。
高老師:摩爾經(jīng)濟(jì)黃金時(shí)代,不太注重器件與系統(tǒng)協(xié)同,只要把器件做快做小,芯片性能就上去了,但后摩爾時(shí)代要將器件與系統(tǒng)做協(xié)同設(shè)計(jì),根據(jù)系統(tǒng)需求優(yōu)化器件。典型的是存算一體,最終目的是人工智能加速,而人工智能對(duì)器件性能要求復(fù)雜,不是單純把器件組織調(diào)穩(wěn)就能達(dá)到系統(tǒng)要求。如加速深度神經(jīng)網(wǎng)絡(luò),其中卷積層、連接層等各種層對(duì)器件要求都不同,很難抽象出器件指標(biāo)來(lái)確保做出的芯片很好,更多是做成陣列或有一定功能的簡(jiǎn)單電路,通過(guò)這個(gè)去測(cè)試,最終測(cè)的還是器件特性,反饋成電路甚至系統(tǒng),將算法神經(jīng)網(wǎng)絡(luò)算法直接運(yùn)行在陣列上??凑w算法效果,關(guān)注整體而非器件個(gè)體,最后落實(shí)在器件上做優(yōu)化,調(diào)節(jié)器件中電子離子的輸運(yùn)。
張欣:這是全新概念,對(duì)于產(chǎn)業(yè)界落地有挑戰(zhàn),產(chǎn)業(yè)界要求器件種類越少越好,參數(shù)越集中越好,以便大規(guī)模降低成本和提高良率,擔(dān)心實(shí)際商業(yè)應(yīng)用的路還很遠(yuǎn)。
高老師:也沒(méi)有那么遠(yuǎn),可以先找到較容易的場(chǎng)景,將各種指標(biāo)和可靠性清晰拆解,在小地方先用起來(lái),讓商業(yè)之路走起來(lái),一是可以反饋給學(xué)術(shù)界下一步研究方向,二是在一些地方用起來(lái)后,讓產(chǎn)業(yè)界和學(xué)術(shù)界更有信心,這也是這兩年開(kāi)始考慮與幾個(gè)企業(yè)一起往產(chǎn)業(yè)化推的原因。高精尖中心的定位是把學(xué)校高精尖技術(shù)往產(chǎn)業(yè)化推,學(xué)校與企業(yè)中間有很大差距,希望高精尖中心能在產(chǎn)業(yè)創(chuàng)新方面盡量填平這個(gè)差距。
張欣:您團(tuán)隊(duì)是國(guó)內(nèi)做主機(jī)憶阻器或氧化物憶阻器的頂尖團(tuán)隊(duì),想了解未來(lái)氧化物憶阻器的突破點(diǎn)及器件本身性能指標(biāo)細(xì)節(jié)方向有無(wú)可能突破。
高老師:未來(lái)有好幾個(gè)突破點(diǎn),一是可靠性,希望器件能實(shí)現(xiàn)多比特存儲(chǔ)提高計(jì)算效率,但中間組態(tài)穩(wěn)定性限制其應(yīng)用,對(duì)測(cè)試是挑戰(zhàn);二是密度,需與 M3D 高密存儲(chǔ)器拼密度,嘗試做成 HBM 方式堆多片阻阻器,還需在片內(nèi)把憶阻器尺寸做小,涉及憶阻器與晶體管的匹配及共同優(yōu)化工藝,需與很多公司合作。大模型對(duì)功耗和成本需求高,預(yù)計(jì)憶阻器用到大模型里能效比有數(shù)量級(jí)提升,端測(cè)中憶阻器高能效有很多優(yōu)勢(shì)。
張欣:國(guó)內(nèi)有很多研究者做神經(jīng)形態(tài)計(jì)算方面研究,感覺(jué)與憶阻器像,最初認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò),仔細(xì)研究是脈沖神經(jīng)網(wǎng)絡(luò),詢問(wèn)兩種體系關(guān)系及未來(lái)是否融合或演化出不同應(yīng)用和產(chǎn)品。
高老師:憶阻器有三個(gè)階段,做存儲(chǔ)、存算一體加速人工神經(jīng)網(wǎng)絡(luò)、類腦計(jì)算,本質(zhì)是利用其動(dòng)力學(xué)特性,可能產(chǎn)生更高階智能和更復(fù)雜學(xué)習(xí)推理功能,在學(xué)術(shù)界值得探索,但短期落地難,因大規(guī)模實(shí)現(xiàn)無(wú)論工藝還是算法都有很多挑戰(zhàn),學(xué)校做探索是好方向。
張欣:提到憶阻器離子輸運(yùn)的動(dòng)力學(xué)過(guò)程,想起曾有老師對(duì)憶阻器時(shí)間參數(shù)特性要求高,其氧控位控制精細(xì),形成和消除導(dǎo)電吸絲快,測(cè)試要求高,需皮秒級(jí)脈沖激勵(lì)和電流讀取,說(shuō)不定未來(lái)可用于高速器件和高速場(chǎng)景。
高老師:還在做更成熟的高速存儲(chǔ)方向,用憶阻器研究憶阻器,其讀寫速度更快,可多值存儲(chǔ),帶寬和速度提高,應(yīng)用空間充滿期待。
測(cè)試測(cè)量設(shè)備未來(lái)與時(shí)俱進(jìn),充滿想象力
張欣:談測(cè)試方面的挑戰(zhàn)和需求,提到憶阻器測(cè)試的幾個(gè)轉(zhuǎn)變,從單器件到小陣列,測(cè)試精度從低到高,涉及頻繁讀寫操作,AC 和 DC 頻繁切換,請(qǐng)高老師詳細(xì)剖析一下測(cè)試需求。
高老師:希望監(jiān)控電阻狀態(tài),需高精度測(cè)量,以前 memory只關(guān)注兩個(gè)窗口,現(xiàn)在要關(guān)注絕對(duì)電阻數(shù)值。動(dòng)態(tài)方面要調(diào)電阻值,加寫脈沖讀取一段時(shí)間狀態(tài),涉及很多讀寫切換,速度越快越好,習(xí)慣在幾納秒時(shí)鐘周期內(nèi)完成切換。用傳統(tǒng)毫秒量級(jí)切換,器件測(cè)試結(jié)果無(wú)法直接轉(zhuǎn)化到芯片中,所以器件測(cè)試時(shí)要模擬芯片實(shí)際工作狀態(tài)。
張欣:作為測(cè)試測(cè)量?jī)x器公司,我們還有很長(zhǎng)路要走,您能給我們提些如何更好服務(wù)中國(guó)科研行業(yè)和市場(chǎng)的建議嗎?
高老師:我能想到的就是兩件事吧,一是多與中國(guó)高校、研究院所交流,了解更多需求,有助于開(kāi)發(fā)更好產(chǎn)品;二是與時(shí)俱進(jìn),有沒(méi)有可能將 AI 技術(shù)融入測(cè)試設(shè)備,使交互更方便,做出更多新功能,這是所有電子設(shè)備大趨勢(shì)。或許將來(lái)一臺(tái)測(cè)試設(shè)備就是一臺(tái)智能設(shè)備,測(cè)試設(shè)備里用到的憶阻器的邊緣訓(xùn)練和學(xué)習(xí)能很快實(shí)現(xiàn)。
上述為本次訪談內(nèi)容,針對(duì)憶阻器領(lǐng)域,后續(xù)高濱老師還有關(guān)于大模型時(shí)代的存算一體芯片專題的相關(guān)詳細(xì)課程,敬請(qǐng)期待:
? 背景:大模型與存儲(chǔ)墻
? 概念:存算一體芯片技術(shù)
? 進(jìn)展:存算一體器件、工藝與芯片
? 展望:存算器件的發(fā)展及測(cè)試需求