XR邁過「奇點」后，元宇宙如何生長？

作者 | 姚勇喆

編輯 | 包永剛

‘眼前’的XR后，AI和5G正在耕種元宇宙的‘遠(yuǎn)方’。

2016年也被稱為XR元年。這一年XR賽道風(fēng)起云涌，面向個人用戶的XR設(shè)備如雨后春筍般涌現(xiàn)。

元年之后的XR幾經(jīng)浮沉，終于在元宇宙概念的助力下再次爆發(fā)。經(jīng)過數(shù)年發(fā)展，XR設(shè)備已經(jīng)邁過了元宇宙大爆炸的“奇點”，足夠承載元宇宙宏大構(gòu)想的落地。但元宇宙遠(yuǎn)不僅僅是XR，“奇點”之后，元宇宙還在繼續(xù)生長。

2022世界人工智能大會（WAIC 2022）上，高通展示的最新無界XR技術(shù)和產(chǎn)品被評為鎮(zhèn)館之寶，三名玩家能夠同時在5G連接的無線條件下以1832×1920@90Hz的顯示效果實現(xiàn)沉浸式游戲體驗。使高通的無界XR技術(shù)成為“鎮(zhèn)館之寶”的不僅是XR終端設(shè)備的性能，還有人工智能和5G連接的“助攻”。

01XR設(shè)備跨過元宇宙大門

在誕生元宇宙概念的小說《雪崩》中，人們使用虛擬現(xiàn)實設(shè)備連入元宇宙世界，并在其間生活。而在現(xiàn)實中，XR設(shè)備也是真實世界通往元宇宙世界的大門。在元宇宙的概念掀起熱潮后，許多廠商紛紛制定了自己的元宇宙戰(zhàn)略。許多廠商的路徑選擇中，極重要的一步就是XR設(shè)備。

早在被稱作“VR元年”的2016年，虛擬現(xiàn)實設(shè)備就曾火熱一時。Oculus、HTC、索尼等品牌都在那時發(fā)布了消費級VR設(shè)備。資本也紛紛入場，2016年招商證券研報預(yù)計2020年全球VR/AR市場規(guī)模將超過1500億美元。但很長一段時間內(nèi)，XR設(shè)備的發(fā)展并不順利。

根據(jù)IDC數(shù)據(jù)，2016年全球XR設(shè)備出貨量曾一度同比增長383%，達(dá)到904萬部。但這股XR熱潮也迅速消退，2018年全球VR頭顯出貨量由375萬臺下滑至350萬臺，AR眼鏡的出貨量則由45萬臺暴跌至26萬臺，幾乎腰斬，2020年XR市場規(guī)模千億美元的目標(biāo)也沒有達(dá)成。造成這種現(xiàn)象的一部分原因是這些XR設(shè)備昂貴且笨重，續(xù)航能力不足，加上顯示效果不能令人滿意，內(nèi)容也十分匱乏，最終導(dǎo)致初代XR設(shè)備們曇花一現(xiàn)。

在這諸多的挑戰(zhàn)之中，芯片是一個核心的問題。當(dāng)時的XR設(shè)備只能“蹭”手機(jī)芯片用，但手機(jī)與XR設(shè)備在使用場景存在著比較大的差別，手機(jī)芯片并不能很好的覆蓋XR芯片的使用場景。作為移動領(lǐng)域的芯片龍頭，高通2015年便在XR領(lǐng)域布局，2018年推出了首款專用于XR領(lǐng)域的芯片XR1，隨后又推出了首款支持5G的XR芯片XR2。

圖 搭載了驍龍XR2平臺的Quest2頭顯

驍龍XR2方案支持七路并行攝像頭并且具備計算機(jī)視覺專用處理器的XR平臺，顯示單元支持3k×3k@90Hz的單眼分辨率，并支持流傳輸或本地播放8k@60Hz的360度視頻或4K@120Hz視頻，且支持HDR10/HDR10+。驍龍XR2平臺解決了之前XR設(shè)備延遲高、移動性差、分辨率差等問題，使得XR設(shè)備性能跨過了元宇宙的準(zhǔn)入門檻，并引領(lǐng)了XR設(shè)備的普及化。

2020年FaceBook發(fā)布基于驍龍XR2平臺的Oculus Quest2，成為了XR領(lǐng)域第一款現(xiàn)象級的爆品，該設(shè)備在2021年的銷量超過了Xbox，XR設(shè)備再次迎來快速增長。

目前Pico、Meta等元宇宙頭部玩家都已經(jīng)在XR設(shè)備均采用了驍龍XR2芯片。HTC也被爆料即將推出基于驍龍XR2平臺的Vive頭顯。高通基于XR2芯片的參考設(shè)計，也讓更多廠商能夠更輕松地基于XR2芯片打造自己的XR設(shè)備。隨著XR設(shè)備的進(jìn)步和普及，我們已經(jīng)跨過了元宇宙的準(zhǔn)入門檻。但這對于元宇宙來說，僅僅是大爆炸的“奇點”，要實現(xiàn)元宇宙最終的宏大愿景，還需要在內(nèi)容和交互上繼續(xù)建設(shè)。

02“奇點”之后，AI播種生機(jī)

高通公司總裁兼CEO安蒙曾在WAIC 2022的主題演講上表示，元宇宙是互聯(lián)網(wǎng)的未來，即空間互聯(lián)網(wǎng)?？臻g互聯(lián)網(wǎng)與當(dāng)前的互聯(lián)網(wǎng)最大的不同是能夠提供更具沉浸感的體驗。在當(dāng)前的2D互聯(lián)網(wǎng)時代主要的互動方式是2D平面的文字、圖片和視頻內(nèi)容，而元宇宙則能讓人們親身參與其中。

元宇宙將視覺體驗從第三人稱平面升級到第一人稱3D視角，讓人們獲得更豐富的信息，并且擴(kuò)寬了交互的邊界，提供了觸覺等新的交互方式。為了支撐新的交互方式，更高精度的環(huán)境模型，更逼真的虛擬形象，更真實的互動反饋都必不可少。

為了讓更多的開發(fā)者參與進(jìn)來，利用人工智能構(gòu)建場景更豐富，讓用戶體驗更好的元宇宙世界，高通已經(jīng)建立了Snapdragon Spaces XR開發(fā)者平臺。Snapdragon Spaces XR開發(fā)者平臺為開發(fā)者提供了一套獨立于設(shè)備制造商的AR功能規(guī)范，并且與2017年制定的Khronos OpenXR標(biāo)準(zhǔn)兼容，讓開發(fā)者能夠輕松完成可移植性應(yīng)用程序開發(fā)。

除此之外，在創(chuàng)造元宇宙內(nèi)容的過程中，人工智能在多個領(lǐng)域發(fā)揮著重要作用：元宇宙需要學(xué)習(xí)并適應(yīng)不斷變化的環(huán)境和用戶偏好，以提高用戶在元宇宙虛擬環(huán)境中的體驗感；支持深度感知的計算攝影和計算機(jī)視覺技術(shù)將完成對手部、眼球和位置的追蹤，并擁有理解和感知情境的能力，為虛擬形象與環(huán)境的互動提供技術(shù)支持。

如今，已經(jīng)跨過元宇宙XR設(shè)備門檻的廠商們也已經(jīng)將注意力放到了人工智能上。但要想在元宇宙中利用人工智能，開發(fā)者們需要投入更多精力。對AI開發(fā)者們來說，元宇宙是一個全新的場景。不同場景下，人工智能設(shè)備的功耗需求、人工智能模型類型、模型部署方式都有所不同。對模型的準(zhǔn)確性、功耗和延時的要求也不盡相同，在某個領(lǐng)域中人工智能的部署經(jīng)驗并不能簡單復(fù)用到另一領(lǐng)域。

元宇宙中大量新場景的出現(xiàn)，對開發(fā)者來說意味著更加繁雜的工作。高通在手機(jī)芯片領(lǐng)域深耕多年，歷經(jīng)十多年研究并不斷開發(fā)人工智能相關(guān)產(chǎn)品，已經(jīng)成為了終端智能領(lǐng)域的領(lǐng)軍者。為了將開發(fā)者從反復(fù)的適配工作中解放出來，高通建立了讓人工智能開發(fā)工作“書同軌，車同文”的AI軟件棧。

基于高通的AI軟件棧，開發(fā)者們不再需要為不同場景“量體裁衣”，而是只需要一次開發(fā)，就可以將成果部署到各個領(lǐng)域，這大大減少了開發(fā)者的工作量，加速人工智能在元宇宙新場景中的部署。為了推進(jìn)元宇宙的發(fā)展，高通還設(shè)立了1億美元驍龍元宇宙基金，用于投資打造與XR體驗相關(guān)AI核心技術(shù)的開發(fā)者和企業(yè)。人工智能要在元宇宙中落地，還需要一座連接用戶、邊緣和云端的橋梁。

035G建起“數(shù)字高架”，AI從云端走向萬物

AI的作用在元宇宙中，不止于“無所不能”，還要“無處不在”。一方面，元宇宙運行中會產(chǎn)生海量數(shù)據(jù)，而云端則無法承受如此龐大的數(shù)據(jù)量。依賴部署在云端的人工智能處理這些數(shù)據(jù)的方案可行性不高。另一方面，元宇宙作為交互程度更高的下一代互聯(lián)網(wǎng)，人們在元宇宙中遨游的同時，個人隱私和信息安全也十分重要。

端、邊云協(xié)同的分布式結(jié)構(gòu)能夠解決元宇宙當(dāng)前面臨的這些痛點。

首先，在元宇宙中，大量情境豐富的數(shù)據(jù)由邊緣產(chǎn)生，擴(kuò)展至邊緣的AI能夠在邊緣“就近處理”，無需將數(shù)據(jù)集中至云端，這大大減輕了云端的壓力。

圖 5G支持下實現(xiàn)的分布式智能

其次，在終端側(cè)部署人工智能可以讓用戶在終端處理敏感數(shù)據(jù)，而不必將這些數(shù)據(jù)發(fā)送至云端，從而更好地保護(hù)使用者隱私。并且部署在終端的人工智能還能夠偵測惡意軟件和可疑行為，為用戶的信息安全提供保障。部署在終端的人工智能還能夠利用聯(lián)邦學(xué)習(xí)等新技術(shù)更高效地利用有限的網(wǎng)絡(luò)資源和帶寬，提高數(shù)據(jù)處理的效果。

分布式AI對元宇宙來說必不可少，而5G則是其不可缺少的助推器。一份來自Gartner的報告曾指出，5G是推動分布式人工智能發(fā)展的重要因素。5G與分布式部署的人工智能、功能強大的XR設(shè)備結(jié)合，誕生了目前XR用戶體驗的無界XR。

無界XR的頭顯終端執(zhí)行節(jié)能的優(yōu)化時延算法以及眼球追蹤、手勢追蹤、頭部追蹤等工作，更復(fù)雜的工作通過5G網(wǎng)絡(luò)傳輸至邊緣處理。這讓XR設(shè)備的設(shè)計不再受功耗、散熱等方面的限制，設(shè)計者可以將XR設(shè)備設(shè)計的更加輕便易用，邊緣比終端更強大的算力也能夠為更豐富的內(nèi)容提供算力支持。

實現(xiàn)無界XR運行的難點在于延時和吞吐量這兩個關(guān)鍵性能指標(biāo)?；谀壳暗腣R頭顯硬件能力，要實現(xiàn)單目2Kx2K@90fps的VR頭顯實現(xiàn)5G無界XR的規(guī)?；渴?，“動作-渲染-顯示”的延時需要低于70毫秒，其中5G在終端和邊緣端的往返時延需低于20毫秒。

吞吐量上，則需要網(wǎng)絡(luò)連接支持70~90Mbs的穩(wěn)定下行吞吐量。高通作為5G的領(lǐng)軍企業(yè)之一，已經(jīng)成功將自身在5G方案上的經(jīng)驗與XR設(shè)備、AI上的優(yōu)勢相結(jié)合，實現(xiàn)了無界XR優(yōu)質(zhì)的用戶體驗。而WAIC 2022期間，高通公司、中國移動和中赫集團(tuán)合作展示的無界XR技術(shù)被評為鎮(zhèn)館之寶。

演示現(xiàn)場用當(dāng)紅齊天提供的互動內(nèi)容展示了在端到端的分離渲染架構(gòu)下，無界XR利用5G提供的高速率低延時傳輸協(xié)同邊緣云側(cè)進(jìn)行實時渲染，并結(jié)合XR終端側(cè)的本地優(yōu)化渲染來提供低延時的沉浸體驗。該演示采用了基于高通驍龍VR2平臺的愛奇藝奇遇 Dream Pro VR一體機(jī)，在演示中支持了三名體驗者同時以1832×1920@90Hz的顯示效果進(jìn)行體驗，細(xì)膩流暢的顯示效果已經(jīng)可以達(dá)到人們對元宇宙體驗的想象。

世炬研發(fā)的基于高通FSM100 5G RAN平臺的5G家庭小基站則為該VR頭顯提供了強大的網(wǎng)絡(luò)保障。在演示中，三名玩家所佩戴設(shè)備的5G RTT時延都保持在20毫秒左右，已經(jīng)能夠元宇宙場景下日常使用。

圖 基于5G切片的端邊協(xié)同分離渲染技術(shù)能夠?qū)崿F(xiàn)下行速率吞吐量均在100Mbps左右如今，XR設(shè)備已經(jīng)跨過了元宇宙的門檻，而在頭部玩家的推動下，人工智能和5G連接進(jìn)一步的融合發(fā)展使元宇宙也不斷生長，我們距離元宇宙的未來，已經(jīng)愈來愈近。