來源:雷科技AI硬件組?|?編輯:冬日果醬?|?排版:JAY
超級分辨率(以下簡稱「超分」),對很多追求畫質(zhì)的重度游戲玩家來說,可能都不陌生。經(jīng)過這幾年的發(fā)展,超分技術(shù)在 PC 已經(jīng)獲得了比較廣泛的支持和認(rèn)可,在移動平臺上也成為了手機(jī)發(fā)布會上的常客。
現(xiàn)在,Arm 也要「超分」了。
就在最近,Arm 官方在社區(qū)發(fā)布了一篇文章,宣布推出 Arm ASR(Accuracy Super Resolution)超級分辨率技術(shù),在提升游戲畫面分辨率和幀數(shù)的同時,還降低了手機(jī)的功耗。
眾所周知,現(xiàn)代電子游戲的畫面一直在往更加擬真的方向發(fā)展,玩家對于畫質(zhì)、幀率、光照等方面的追求永遠(yuǎn)沒有終點。但幀率就像是魚、畫質(zhì)就像熊掌,GPU 在巨大負(fù)擔(dān)的情況下很難兼得。
具體到實際體驗中,我們會發(fā)現(xiàn)許多手機(jī)在運(yùn)行那些游戲大作時,在高畫質(zhì)模式下往往會遇到過熱、掉幀等問題,并且還更耗電,對用戶體驗會有不小的影響。
在這種矛盾下,AI 計算成為了一個重要的突破口。
「DLSS 是 AI 驅(qū)動圖形領(lǐng)域的革命性突破」,圖/英偉達(dá)
2018 年,英偉達(dá)率先推出了 DLSS 技術(shù),通過 GPU 中 Tensor Core 的神經(jīng)網(wǎng)絡(luò)運(yùn)算來提高游戲性能,隨后掀起了一場圖形處理革命,AMD、英特爾也都在后續(xù)推出了類似 FSR 以及 XeSS 超分技術(shù)。
在手機(jī)領(lǐng)域,Arm 不是第一家推出超分技術(shù)的芯片廠商。2022 年聯(lián)發(fā)科就推出了自己的游戲超分技術(shù)—— Game AI-SR,蘋果也在同年 WWDC 上推出了 MetaFX 超分技術(shù),高通則是去年正式推出了驍龍游戲超級分辨率(Game Super Resolution)技術(shù),簡稱驍龍 GSR。
在 Arm 推出 ASR 的當(dāng)下,手機(jī)超分技術(shù)正在進(jìn)入一個新的發(fā)展階段。與此同時,過去幾年盛行的外掛顯示芯片,也將面臨「英雄無用武之地」的尷尬局面。
ASR 官方實測,比 AMD、高通都強(qiáng)?
根據(jù) Arm 官方表示,其ASR 超分技術(shù)是基于 AMD FSR 2 進(jìn)行開發(fā),所以也基于 MIT 許可證開源。
按照官方的測試,Arm ASR 在移動平臺有著比AMD FSR 2 更高的幀率提升,而比驍龍 GSR 有著更好的畫面渲染質(zhì)量。
在配備 Arm Immortalis-G720 GPU 和 2800 x 1260 顯示屏的設(shè)備上,ASR 技術(shù)可以將幀率提高 38%-53%。相比之下AMD FSR 2 在 2x 倍率下只能將幀率提升 36%。
另外官方測試還顯示,驍龍 GSR 可在 1.3x 的倍率下將幀數(shù)提升 47%。
需要指出的是,相比驍龍 GSR 基于空域的處理方式,ASR 基于時域的處理方式在圖像質(zhì)量上有更好的保證。Arm 官方表示,相比基于空域的超分方案,ASR 在處理動態(tài)場景時表現(xiàn)更加出色,減少了畫面撕裂和延遲的問題。
基于空域和時域到底意味著什么?要解釋二者之間區(qū)別,AMD FSR 是最好的例子:
作為 AMD 的第一代超分方案,F(xiàn)SR 1 基于空域,通過提升單幀圖像的空間細(xì)節(jié)來提高分辨率,核心是在單一圖像幀內(nèi)利用現(xiàn)有的像素信息,插值或重建出更高分辨率的圖像。
作為第二代,F(xiàn)SR 2 則轉(zhuǎn)為基于時域,通過綜合多幀圖像的信息來提高分辨率,不僅利用空間信息,還結(jié)合時間信息,即相鄰幀之間的運(yùn)動和變化來進(jìn)行圖像重建。
相比AMD FSR 1,AMD FSR 2 在畫面質(zhì)量好上太多,甚至可以做到和原生渲染畫面相差無幾,至少肉眼很難分辨。
理論上,基于空域的超分技術(shù),在快速移動的畫面中往往會出現(xiàn)模糊和拖影現(xiàn)象。但基于時域處理的 ASR 在動態(tài)場景中會有更加出色的表現(xiàn),通過結(jié)合時間幀的信息,可以有效減少模糊、拖影等問題,提供更清晰和流暢的畫面。
在處理高對比度場景時,基于時域的超分方案也能更好地保留細(xì)節(jié)和層次感,提升整體的視覺效果。
另外,ASR 的功耗表現(xiàn)也值得期待。基于天璣 9300 芯片的機(jī)型,Arm 表示與原生 1080p 運(yùn)行游戲相比,540p 超分到 1080p 的過程中,ASR 顯著降低了電量消耗。
對于長時間游戲和高性能需求的用戶來說,功耗無疑是一個巨大的優(yōu)勢。減少電量消耗不僅延長了設(shè)備的使用時間,還減少了設(shè)備的發(fā)熱問題,提高了整體的使用體驗。
ASR 的功耗優(yōu)勢,得益于其高效的算法和優(yōu)化的處理流程。
根據(jù) Arm 介紹,通過智能調(diào)度和資源管理,ASR 能夠在保證圖像質(zhì)量的前提下,最大限度地降低處理器和 GPU 的負(fù)載,這不僅減少了電量消耗,還避免了因高負(fù)載帶來的過熱問題,從而提升了游戲的穩(wěn)定性和設(shè)備的使用壽命。
手機(jī)超分進(jìn)化論:從 Pixelworks 到 ASR
時至今日,英偉達(dá) DLSS、AMD FSR 已強(qiáng)有力地證明了超分技術(shù)對于游戲畫面渲染的革命性改變。就算最頂級的顯卡,也能通過超分技術(shù)獲得更好的體驗。
數(shù)毛社(Digital Foundry)之前就在 RTX 4090 這張卡上將《漫威蜘蛛俠》開啟 4K 畫質(zhì)+ DLSS 3,發(fā)現(xiàn)性能表現(xiàn)可達(dá)到關(guān)閉 DLSS 的 203.6%,并且可將畫面劣化程度控制在用戶肉眼基本無法感知的范疇內(nèi)。
一言以蔽之,超分技術(shù)的核心在于,通過復(fù)雜的算法和強(qiáng)大的計算能力,將低分辨率的圖像提升到接近高分辨率的水平,從而在不顯著增加硬件負(fù)擔(dān)的情況下提升用戶體驗。
從這個角度看,手機(jī)其實是更需要超分技術(shù)的設(shè)備,而事實上,這幾年芯片廠商也的確都在嘗試將超分技術(shù)帶到手機(jī)上。
1、Pixelworks:手機(jī)廠商偏愛的“外掛”獨顯。
曾幾何時,從榮耀、OPPO、vivo、小米到 ROG,不少主打游戲體驗的機(jī)型都采用了外掛 Pixelworks 顯示芯片的策略來實現(xiàn)游戲的超分體驗。其中 OPPO 和 vivo,一度是 Pixelworks 收入占比超過 10%的客戶。
Pixelworks X7「獨顯」芯片,也出現(xiàn)在了很多廠商的新品發(fā)布會上,被視為一大賣點,相信不少人還記憶深刻,就連最新發(fā)布的一加 Ace 3 Pro,就搭載了最新的 Pixelworks X7 Gen 2。
根據(jù)官方介紹,Pixelworks X7 Gen 2 集成了超低延時 MotionEngine 技術(shù)和高效 AI 游戲超分技術(shù),手機(jī)只需要渲染低至 1/4 的游戲幀數(shù)和 1/4 的圖像分辨率,即可在顯示端獲得至高 120 幀和 1.5K 分辨率的沉浸視覺體驗。
2、聯(lián)發(fā)科:率先將超分技術(shù)應(yīng)用到核心芯片的大廠。
聯(lián)發(fā)科則是比較早嘗試將超分技術(shù)應(yīng)用到手機(jī)游戲場景的芯片大廠。
在天璣 9000 上,聯(lián)發(fā)科率先發(fā)布了 Game AI-SR 技術(shù),該技術(shù)基于 APU(AI 處理單元)和 AI 模型,通過復(fù)雜的計算提升游戲圖像分辨率。
按照聯(lián)發(fā)科的介紹,Game AI-SR 通過對游戲場景的智能分析,優(yōu)化了圖像處理流程,使得在高負(fù)載情況下也能保持良好的圖像質(zhì)量。同時在降低功耗和提升處理效率方面,聯(lián)發(fā)科 Game AI-SR 也有著出色表現(xiàn)。
可惜的是,聯(lián)發(fā)科 Game AI-SR 一直沒有公布太多的技術(shù)細(xì)節(jié)。同時,也沒看到支持 Game AI-SR 的游戲出現(xiàn)。
3、高通:將發(fā)力點放在了超分生態(tài)的構(gòu)建上。
去年初高通宣布推出驍龍 GSR 技術(shù),官方介紹,這是一種針對 Snapdragon Adreno 圖形處理單元 (GPU) 進(jìn)行優(yōu)化的單通道空間升級技術(shù)。
高通這一技術(shù)很快得到了多款熱門游戲的站臺,包括動視《使命召喚:戰(zhàn)爭地帶》、騰訊《重返帝國》、網(wǎng)易《逆水寒》手游、《永劫無間》手游以及完美世界《誅仙》手游等都將支持驍龍 GSR 技術(shù)。
不過正如前文所說,驍龍 GSR 在幀率提升上的表現(xiàn)可以期待,但在保證圖像質(zhì)量這一點上還有較大優(yōu)化空間。事實上,官方在新聞稿中也更強(qiáng)調(diào)驍龍 GSR 延遲和功耗方面的優(yōu)勢,而非畫面質(zhì)量。
4、蘋果:打通軟硬件生態(tài)的MetalFX綜合實力強(qiáng)悍。
與 Arm ASR 一樣,蘋果 MetalFX 也是基于 AMD FSR 2 開發(fā)的超分技術(shù)。而作為蘋果 Metal 圖形框架的一部分,MetalFX 旨在為開發(fā)者提供更高效的圖像處理能力。
通過 MetalFX,蘋果設(shè)備可在保持較低功耗的同時,實現(xiàn)高分辨率的圖像輸出。而且不同于聯(lián)發(fā)科和高通,蘋果在真正意義上打通軟硬件,除了 Mac,還應(yīng)用在了 iPad 以及 iPhone 上,代表就是《生化危機(jī):村莊》《死亡擱淺》等游戲。
事實上,如果沒有 MetalFX,幾乎不可能在蘋果設(shè)備上流暢運(yùn)行《生化危機(jī):村莊》和《死亡擱淺》,尤其是 iPhone 15 Pro。
至于 Arm ASR,則是手機(jī)超分技術(shù)最新的一位玩家。
超分技術(shù)趨向原生,手機(jī)「獨顯」走向沒落
如果說 PC 上超分技術(shù)的目標(biāo)是實現(xiàn)更高的游戲幀率,那移動端超分技術(shù)的核心可能就是在保證提供接近原生畫質(zhì)的前提下,降低芯片功耗。而外掛芯片,相比集成芯片始終存在功耗上的劣勢。
這可能為什么在搭載「電競級游戲獨顯芯片」的一加 Ace 3 Pro 上,一加閉口不談 Pixelworks。
不過更重要的是,外掛第三方顯示芯片,確實變得越來越?jīng)]必要。
一方面是,當(dāng)下手機(jī) GPU 在游戲性能上的突飛猛進(jìn),不管是驍龍 8 Gen 3 上的 Adreno 750 GPU,還是天璣 9300 上的 Immortalis-G720 GPU(Arm 公版),甚至是蘋果的 A17 Pro,都讓手游的畫面體驗有了大幅度的升級。
就拿曾經(jīng)的「手機(jī)顯卡殺手」《原神》來說,現(xiàn)如今各家旗艦 SoC 都能在原生最高畫質(zhì)下跑到接近滿幀。
另一方面,從高通到聯(lián)發(fā)科再到 Arm,隨著各大主流芯片廠商對超分技術(shù)的原生支持,通過優(yōu)化硬件和軟件的協(xié)同工作,理論上可以實現(xiàn)更加出色超分效果,不僅能簡化了開發(fā)者的工作,還能提升整體的游戲體驗。
而據(jù)爆料,今年 10 月發(fā)布的驍龍 8 Gen 4 就將搭載 GSR 超分技術(shù),支持原生的游戲畫面超分和插幀,甚至還會適配驍龍 8 Gen 3 以及驍龍 8s Gen 3。正如@數(shù)碼閑聊站所說:
「我在想有些主打雙芯平臺的旗艦怎么辦,如果游戲啟用獨顯補(bǔ)幀,延遲控制又不如高通原生方案,有點尷尬?!?/strong>
相比外掛芯片,主流芯片廠商都是直接通過芯片內(nèi) GPU 與 NPU/APU 的協(xié)同,更好地利用芯片的計算資源和能效優(yōu)化,提供更穩(wěn)定和高效的圖像處理能力。無論是在動態(tài)場景還是高負(fù)載情況下,原生支持的超分技術(shù)都能夠提供更一致的表現(xiàn),避免了外掛芯片可能帶來的兼容性和穩(wěn)定性問題。
相比之下,Pixelworks 等外掛顯示芯片的局限性正在凸顯,大概率將被手機(jī)廠商逐漸拋棄,甚至退出歷史舞臺。
但對于手機(jī)超分來說,這只是一個新的開始。