解讀手機光線追蹤

2018年，還不是AI之光的英偉達已經(jīng)在“挖礦”與“游戲”之間反復橫跳許久。那年老黃帶著Geforce RTX20系顯卡來了。當時消費者關注的焦點除了能不能買到原價顯卡外，還有一項技術引人注目，那就是光線追蹤。

光線追蹤技術的問世，直接讓玩家的游戲體驗躍升了一個層級。逼真，逼真，還是逼真！這是游戲應用光追技術之后玩家發(fā)出的最多感嘆。

光線追蹤原理 ?圖源：英偉達

彼時光追之驚嘆，更多的還是在于其對硬件要求的苛刻。

初代光線追可謂是“硬件殺手”。只要開啟這項功能，從2090到2060所有顯卡的游戲幀數(shù)均暴降半數(shù)以上，眾生平等。直到一年之后，英偉達推出RTX30系列顯卡，讓光線追蹤技術更新到下一時代，同時搭配了DLSS2.0技術，才讓光追真正成為人人用得上的功能。

這個“殺手”其實是一種算法，一般的GPU就可以運行它來渲染圖像。不過正如同ASIC性能對比普通CPU一樣，將算法刻錄成硬件能夠極大的提升程序運行速度，“專人辦專事”才能提升效率。20系顯卡搭載的光線追蹤專用核心RT-Core，讓顯卡渲染光追圖像不再局限于“單張圖片”領域，更快的處理速度讓顯卡擁有了渲染高幀率游戲的能力。AMD則“摸著英偉達過河”，在RX6000系列中推出AMD自己的光線追蹤技術，其效果與初代英偉達光追持平（不怎么好用）。

如今的英偉達RTX40系顯卡，雖然性能較上代有了大幅度提升，但“光線追蹤”這項功能仍舊像是顯卡中居住的怪獸，瘋狂吞噬著有限的顯卡算力。在滿足算力提升的同時，RTX4090顯卡的功耗也達到了恐怖的450W，網(wǎng)友戲稱“花2萬買電暖氣”。

如果基于電腦的光追情況，有人提出：“我要實現(xiàn)在移動端的硬件光追！”，怕不是所有人都以為他瘋了！在手上抱一臺“電暖氣”可不是什么有趣的事情。但事實上，在手機上用光線追蹤，已經(jīng)成為現(xiàn)實。

光線追蹤很難嗎？

什么是光線追蹤？光線追蹤（Ray-tracing）是一項在視頻或游戲中繪制逼真圖形的復雜技術。它利用算法對光線進行建模，模擬它從射出到多次反射后的全部路徑，來實現(xiàn)對真實世界的模仿。

看到對光線模擬，你大概就能明白了，只有模擬數(shù)量龐大的光線路徑，才能達到與現(xiàn)實世界類似的效果，也意味著對GPU算力需求的爆炸增長。也正是由于完整運算所有路徑十分消耗運算資源，因此現(xiàn)有光線追蹤技術僅運算“目所能及”的光線路徑。

其實光線追蹤的概念出現(xiàn)的很早。1968年光線追蹤的概念就被提出，起初它是為了幫助美國國防部研究伽馬射線輻射。1979 年，計算機學家、電氣工程師Turner Whitted在貝爾實驗室擔任工程師時制作了一部名為The Compleat Angler的遞歸光線追蹤電影，讓他成為了第一個展示遞歸光線追蹤的鏡面反射和半透明物體折射的人。后來，他的論文引導了更多人從事光線追蹤研究，讓計算機圖像更加真實。

時間到了2000年前后，光線追蹤開始被用于電影特效的制作，就是那個時候，英偉達與AMD的顯卡開始被用來硬件加速光線追蹤的渲染。為什么電影行業(yè)能這樣做，原因不外乎有兩個：一是時間，特效公司會采用離線光線追蹤，可以一幀一幀渲染圖像；二是錢，特效工作室會使用到渲染農(nóng)場，相當于一個個渲染集群服務器在協(xié)同工作。彼時的渲染，需要花費上百臺服務器專用GPU同時工作半小時以上才能渲染好1幀畫面。如果將光線追蹤應用到游戲上，就需要至少每秒執(zhí)行這個渲染30-60次，這對硬件算力的需求量簡直不可想象。

在應用光線追蹤之前，GPU中的圖形算法都依靠“光柵化”實現(xiàn)。光柵化將圖形和基元從三個維度轉換為顯示器像素的二維網(wǎng)格。它依賴于著色器來描繪真實世界的光照，游戲開發(fā)者不得不使用光照計算算法來加強場景中的視覺效果。

CPU將圖形生成數(shù)據(jù)交付GPU后，流處理器會將所需要的模型依次進行光柵化，圖像生成之前GPU只會調(diào)用一次模型數(shù)據(jù)。這種方法能以最低的計算成本將3D圖像構建出來，但在局部效果中，例如反射、陰影的生成上效果不佳。關鍵的一點，它沒法和其他物體交互，不會在鏡子或者地板上反射，也不會在玻璃上穿透。該方法幾乎無法模擬不同物體之間的光效折射，這也是此前游戲畫面無法媲美真實場景的關鍵原因。

光線追蹤的方法則是通過對光線進行并行化處理，除光線外的任何物體都需要在光線追蹤算法中遞歸運算。這種算法，讓光線從相機射出而不是進入相機，它似乎是違反直覺的，但采用這種方法可以讓計算效率提升很多數(shù)量級，因為只有進入眼鏡的光線才能被觀測到。

光柵化與光線追蹤對比 ?圖源：英偉達

應用光線追蹤之后，畫面效果好了，但這也意味著算法復雜度呈現(xiàn)指數(shù)級增長。這是因為GPU模擬折射、散射等場景時需要重新計算各個場景每一個部分的效果。

英偉達在RTX20系列顯卡中，加入了一組特定的向量流水線單元，也就是RT-Core。它可以以固定流程計算光線路徑，在輸入光線的起始位置后，模塊直接獲得該條光線路徑上的所有碰撞信息，不需要再對模型進行光柵化處理，實現(xiàn)了快速計算光追。

如今，RT-Core已經(jīng)更新到了第三代，還加入了Opacity Micromap (OMM) 引擎和 Displaced Micro-Mesh (DMM) 引擎，英偉達稱這將提升光線與三角形求交性能以及RT-TFLOP 峰值性能，解決了此前在樹葉、顆粒、圍欄界面上顯示性能較弱的問題。

英偉達Ampere架構 ?圖源：英偉達

當然，高級光線追蹤技術需要計算同一場景中數(shù)百萬條光線照射在諸多不同類型材質(zhì)上的效果，這就使得著色器只能低效地處理一系列截然不同的工作負載。如今的GPU中還有著色器執(zhí)行重排序（SER）技術，能夠動態(tài)調(diào)整這些工作負載的順序，讓原本低效的流程變得異常高效。

據(jù)業(yè)內(nèi)專家解釋，目前英偉達在光線追蹤領域已經(jīng)遠遠領先競爭對手AMD。AMD是在并行計算單元中集成了光追單元，但由于不是專用電路，因此在性能上要差英偉達的RT-Core一大截。從另一個角度看，英偉達是光線技術的引領者，在推出自己的光追模塊之前早已進行了很長時間的技術積淀，AMD的光追則是在英偉達發(fā)布該技術后才開始投入的，短時間做到“能用”已經(jīng)實屬不易，但仍與行業(yè)龍頭有所差距。

手機怎么光線追蹤？

上文中極大篇幅都是在講英偉達光線追蹤技術的先進性與復雜性，以及光線追蹤對硬件的極高要求。最近一年，聯(lián)發(fā)科、高通發(fā)布的新SoC，均聲稱已將光線追蹤搬到了移動場景上。將PC端的光線追蹤模塊移植過來，怎么優(yōu)化與適配？功耗與算力能撐得住嗎？

Imagination曾將光線追蹤技術分為了6個層級：

Level 0：傳統(tǒng)解決方案

Level 1：傳統(tǒng)GPU上的軟件

Level 2：硬件中的光線/方框和光線/三角形測試器

Level 3：硬件中的邊界體積層次結構（Bounding Volume Hierarchy，BVH）處理功能

Level 4：硬件中的BVH處理和一致性排序功能

Level 5：硬件中帶有場景層次生成器（Scene Hierarchy Generation，SHG）的一致性BVH處理功能

可以看到，光線追蹤的效果，關鍵在于GPU中集成的諸多光線追蹤模塊。早在2021年，Arm的Mali-G710已經(jīng)支持基于軟件的光線追蹤，并應用在了聯(lián)發(fā)科的天璣9000移動SoC中，但沒有硬件支持，光線追蹤還只是個“概念”。目前市面上已經(jīng)推出的具有硬件光線追蹤功能的SoC僅有聯(lián)發(fā)科9200、9200+與高通驍龍8gen2。據(jù)官網(wǎng)資料顯示，聯(lián)發(fā)科9200與谷歌芯片搭載的GPU來自ARM ?Immortalis-G715，驍龍8gen2搭載的GPU是AMD Adreno。最近，ARM又推出了Immortalis-G720，再次“大秀肌肉”。ARM還表示要推動光線追蹤在移動平臺的普及。

然而如前文所說，光線追蹤對硬件性能的要求極為苛刻，所需要的功耗對于手機來說也是難以承受的。因此，手機光線追蹤需要采用與PC端不同的策略。這個不同點首先就在于，手機在功耗墻的限制下僅會展現(xiàn)部分光線追蹤效果。且對于移動端而言，光線追蹤算法的優(yōu)化水平是制約特效落地的最大瓶頸。

在2019年，網(wǎng)易利用自己開發(fā)的《遇見逆水寒》手游進行了光線追蹤演示，要知道，這時英偉達才推出光線追蹤技術一年多。彼時的演示畫面還比較“粗糙”，在開啟光追后，游戲在軟陰影、鏡面反射、粗糙反射等情景中的視覺效果都有了提升，但與PC端開啟光追后呈現(xiàn)出的震撼效果還有差距。此外在特殊場景下，開啟光線追蹤的手機耗電量要比沒有開啟高了3倍有余。展示中并沒有給出芯片發(fā)熱表現(xiàn)，不過估計那時候手機已經(jīng)能達到“燙手”的狀態(tài)了。

如今在擁有更高畫質(zhì)的手游，例如《原神》上（大概？），開啟光線追蹤后手機GPU怕不是會原地融化。因此，要想讓手機能用光線追蹤，第一步就是給移動GPU減少任務量，但不同廠商給出的光線追蹤解決辦法也不盡相同。

聯(lián)發(fā)科：

聯(lián)發(fā)科針對游戲開發(fā)者需要的特效，以及玩家沉浸式游戲體驗的關鍵視覺需求，開發(fā)出移動端光線追蹤的“三要素”，即軟陰影、鏡面反射與折射，讓移動設備上的虛擬世界看起來不再那么“假”。

1、光線追蹤軟陰影：真實世界的陰影會因為與光源距離的遠近或者光線的強弱而形成不同的軟硬度，聯(lián)發(fā)科依托移動端光線追蹤技術相對真實地計算出場景物體所對應的反射角度和位置，從而形成更真實的軟陰影，反映出光線強弱和不同的距離。2、光線追蹤鏡面反射：9200可以根據(jù)不同光源強度反射出強弱不同的倒影，地面的材質(zhì)和紋路也會影響反射效果，因此能更真實地計算出場景中不同物體相對應鏡面反射的角度和位置。玻璃物體的光線追蹤折射：不同材質(zhì)的物體折射呈現(xiàn)的畫面不同。3、折射渲染技術可為畫面增加不同角度的折射細節(jié)，更真實地還原物理現(xiàn)象。

此外，聯(lián)發(fā)科與ARM攜手，共同推出了自適應調(diào)控技術（MediaTek Adaptive Game Technology, 簡稱MAGT），可降低高幀率游戲的功耗和終端設備的溫度；變速率渲染技術（VRS），可動態(tài)調(diào)整不同視覺區(qū)域渲染倍率；最后是HyperEngine 6.0游戲引擎，可根據(jù)溫度預測決定系統(tǒng)模塊的調(diào)度等；延遲頂點著色 (DVS)，減少了內(nèi)存帶寬的使用，節(jié)省了最重要的 DRAM 功耗，也降低了整體功耗。

高通：

高通為Adreno GPU 的光線追蹤單元加入了驍龍陰影降噪器，以此解決噪點問題。高通表示該技術專門面向 Adreno GPU 開發(fā)和優(yōu)化的，與目前其他端游級解決方案相比，速度快4倍。

陰影降噪 ?圖源：高通

此外，高通還研發(fā)了專門用于提升移動端游戲體驗的 Snapdragon Elite Gaming 解決方案。它可以基于物理的渲染技術，通過優(yōu)化模型表面的光反射機制，實現(xiàn)更接近現(xiàn)實的光照效果和紋理質(zhì)感；引入正向渲染模式，多重景深、多動態(tài)光源、運動模糊、平面反射等方面對游戲畫質(zhì)進行深度優(yōu)化處理，從而帶來更真實更有沉浸感的畫面品質(zhì)等。

有了硬件支持，軟件優(yōu)化或方案優(yōu)化也很重要。

首先就是模型優(yōu)化。光線追蹤影響性能的關鍵一點就是光線的反射次數(shù)與模型的面數(shù)量，也就是場景的復雜性和模型的復雜性。

游戲研發(fā)人員表示，在建模時，首先要保持更低的多邊形數(shù)量，管理拓撲結構使其干凈平衡；更多使用平滑模型，讓低多邊形的邊緣有正確的法線投影；合理分割紋理資源，防止顏色滲出。在需要的情形下，可以通過多紋理疊加來降低紋理尺寸。有了以上要點，再適當使用精細模型，就可以制作出高質(zhì)量的資源，渲染出完美的畫質(zhì)。

其次是繼續(xù)深入研究功能技術實現(xiàn)，例如加強光線追蹤在過場動畫中的應用。因為光線追蹤陰影渲染和反射的去噪器需要與模型進行擬合，動畫往往意味著攝像機移動緩慢，畫面中的模型位移小，因此光線追蹤環(huán)境在這種情況下效果更好。

手機真的需要光追嗎？

作為一名PC游戲玩家，記者認為手機游戲應該加速應用光線追蹤技術。

2018年英偉達剛剛推出光線追蹤技術的時候，很多人只是被宣傳畫面呈現(xiàn)出的效果震撼，然而當自己購買顯卡體驗后，發(fā)現(xiàn)開啟光線追蹤往往意味著游戲幀數(shù)的大幅下降。但是隨著30系、40系顯卡推出，以及DLSS技術等AI插幀技術成熟后，光線追蹤逐漸成為默認開啟的選項。

在手機游戲上，光線追蹤的大規(guī)模普后，手機功耗增加、卡頓等問題不可避免。隨著PC市場下行趨勢持續(xù)增大，越來越多的新生代玩家開始轉戰(zhàn)移動平臺。即使移動端在功耗上有天然劣勢，但玩家對游戲的要求始終沒有上限，所有人都期待未來移動端能夠完美復刻PC游戲，這其中就包括畫面表現(xiàn)。

好在目前摩爾定律仍然在艱難前行，手機芯片性能還在持續(xù)增長，這也代表未來移動端游戲?qū)Ξ嬅娴闹С至Χ冗€有上升空間。記者認為，未來手機芯片在光線追蹤功能上的競賽，也許會復刻英偉達和AMD的競爭故事。

更重要的是，光線追蹤能夠?qū)崿F(xiàn)的特性并不僅限于游戲，更高階的應用是VR、AR，甚至是元宇宙。

2021年元宇宙盛行之時，英偉達創(chuàng)始人黃仁勛認為，未來隨著科技不斷發(fā)展，虛擬世界與現(xiàn)實世界將產(chǎn)生交叉融合，現(xiàn)在正是元宇宙世界的風口浪尖，英偉達也將在其中扮演重要角色。

如今元宇宙的熱度已過，龍頭企業(yè)Meta也在大規(guī)模裁員。但在總結元宇宙沒有成功的原因時，很多專家都歸結為VR設備很不方便，而移動版VR設備畫面質(zhì)量差，會導致容易暈眩等問題。

當手機光線追蹤技術成熟后，便可更快銜接到移動AR、VR技術設備上。這將極大的提升此類設備的畫面質(zhì)量，提升佩戴觀感，也能讓VR設備普及度更高。或許元宇宙并沒有消亡，當有更多與手機光線追蹤一樣的技術成熟并應用后，元宇宙的時代才會真正開啟。

寫在最后

光線追蹤技術的發(fā)展歷程和其在手機領域的應用，為廣大玩家?guī)砹肆钊梭@嘆的視覺體驗。通過光線追蹤技術，手機用戶也能夠享受到更加逼真和沉浸式的游戲、影音甚至增強現(xiàn)實體驗。目前高通和聯(lián)發(fā)科作為行業(yè)領先的半導體公司，都提供了各自的解決方案，以滿足市場對于光線追蹤技術的需求，更有消息稱三星、谷歌等大廠也紛紛入局，未來手機光追或許將成為標配。

然而，手機光線追蹤技術的應用僅僅只是一個開始。隨著技術的不斷演進和市場的發(fā)展，我們可以想象，光線追蹤將在更廣泛的領域得到應用。一個令人激動的前景是，光線追蹤技術有望在元宇宙的建設中扮演重要角色。

未來，一定是光與影交織，虛擬與現(xiàn)實融合的世界。手機光線追蹤，或許只是起點。