373
用戶對于視頻內容的需求日益增長，并且對質量的要求愈發(fā)嚴苛。此外，5G 的全面商用以及大數(shù)據、AI 等技術的大范圍推行，都將重新定義并塑造整個行業(yè)，這對技術（無論是硬件還是軟件層面）都帶來了全新的挑戰(zhàn)。
一方面，4K 電視日漸普及且即將向 8K 過渡和進化，而隨著 5G 的落地，不論是娛樂裝備還是信號接收設備，以往的互聯(lián)網瓶頸被打破，內容提供商面臨的一大挑戰(zhàn)在于給用戶提供更豐富、質量更高的內容。
另一方面，用戶端和供給端更多元的互動形式也成為一大需求，以往傳統(tǒng)的“離線式”渲染、預錄式的內容或者無法加入更多互動、特效的直播視頻內容，已經不能夠滿足當前廣播電視行業(yè)的需求。
一個“超高清、實時”時代的全面來臨
GPU 技術是 NVIDIA 的看家本領，作為 GPU 的發(fā)明者，十幾年前，NVIDIA 在中國的廣電行業(yè)掀起了 3D 技術加速內容的創(chuàng)造和展現(xiàn)潮流，3D 建模、3D 圖形圖像等技術在廣電素材的片源制作中使用，炫酷的特效、逼真的效果，開啟了視覺發(fā)展的新時代。
時間來到 2018 年 8 月，NVIDIA 發(fā)布了新一代 GPU 架構——Turing（圖靈），同時基于此架構，宣布了一系列 Quadro RTX 新品，正式宣告了實時光線追蹤時代的到來。Turing 架構被 NVIDIA CEO 黃仁勛稱作自 2006 年 CUDA GPU 發(fā)明以來最大的飛躍，是計算機圖形產品的一次重新發(fā)明，面向影視、游戲、建筑等視效專業(yè)領域。
Turing 架構及相關產品在發(fā)布后的十天，就正式在中國市場亮相，潛藏了對于中國市場的巨大決心和野心。
GPU 激流勇進的這些年，也伴隨了中國超高清視頻產業(yè)鏈急劇的升級換代。視頻制播、網絡傳輸、終端呈現(xiàn)、內容供給等環(huán)節(jié)加速發(fā)展；超高清電視、電影攝像機、移動智能終端、顯示器、VR 設備等終端產品日益豐富；視頻內容儲備不斷擴充，超高清電視頻道逐漸普及。未來，超高清視頻還有望被廣泛應用于廣播電視、文教娛樂、醫(yī)療健康、安防監(jiān)控、智能交通、工業(yè)制造等領域。
根據今年 5 月工信部和廣電總局發(fā)布的《超高清視頻標準體系建設指南(2020 版)》，預計到 2022 年，我國超高清視頻產業(yè)總體規(guī)模將超過 4 萬億元。指南提出，重點研制基礎通用、內容制播、終端呈現(xiàn)、行業(yè)應用等關鍵技術標準及測試標準。
也正是隨著市場條件和產業(yè)基礎的日漸成熟，產業(yè)各個環(huán)節(jié)進行深度合作、差異化創(chuàng)新的意愿也越來越強烈，對于基礎的技術創(chuàng)新也越來越關注。
5G+AI 給廣電基礎架構帶來的機遇和挑戰(zhàn)
在今年的北京國際廣播電影電視展覽會（BIRTV）期間，NVIDIA 攜多位合作伙伴亮相，對于當前的行業(yè)趨勢、機遇和挑戰(zhàn)，以及 AI/ 深度學習 / 機器學習所帶來的行業(yè)價值，進行了深入的闡述和討論。
在 NVIDIA 看來，對于廣播公司來說，向 OTT/SVoD 過渡成為眼前的關鍵趨勢。所謂 OTT（over the top），是基于開放互聯(lián)網的各種視頻及數(shù)據服務業(yè)務，也泛指互聯(lián)網電視業(yè)務。而隨著數(shù)字視頻的顯著發(fā)展，SVoD（訂閱視頻點播）這種業(yè)務模式也將越來越受用戶歡迎。
根據聯(lián)合市場研究，到 2025 年，OTT 市場預計將達到 3300 億美元。這一增長將非常龐大，主要由內容驅動，要么是新內容急劇爆炸，要么是對舊內容進行現(xiàn)代化制作。例如好萊塢六七十年代甚至三四十年代的老片子，現(xiàn)在可以用 AI 來上色，通過數(shù)字化手段達到 1080P 甚至 4K、8K，重新發(fā)行藍光碟甚至更高清晰度的內容。這種“炒冷飯”的方式，將會帶來新的盈利增長點。
據 NVIDIA 中國區(qū)高級技術市場經理施澄秋介紹，整個廣播電視行業(yè)當前需要進行的非常重要的一個思考就是，隨著 AI 應用的火爆，實時的運算需求越來越多。一個強大的推薦系統(tǒng)，能夠進行視頻的管理、分類、標簽、發(fā)放、預判，在用戶進行搜索之前就可以根據瀏覽記錄和購買習慣精準地選擇和摘錄出用戶需要的內容并推送。特別是隨著 5G 的商用落地，龐大的內容庫整理和制作好之后，在線流媒體分發(fā)平臺就可以利用這個方式給用戶推送喜愛的內容和產品。
在可預見的未來，不論是娛樂裝置還是信號接受設備，以往受制于互聯(lián)網的瓶頸都已經被打破。如何能夠給用戶提供更豐富、質量更高的內容是一大挑戰(zhàn)；此外，用戶和供給方、需求方的多方面融合、互動，也給整個行業(yè)帶來了巨大挑戰(zhàn)。
被 GPU/ 深度學習 / 機器學習顛覆的廣電行業(yè)
這些挑戰(zhàn)正在迫使廣電從業(yè)者，在滿足可靠性和信任水平的同時更新基礎架構。而 GPU/ 深度學習 / 機器學習正在發(fā)揮出越來越大的價值。
整個廣電系統(tǒng)典型的工作流程已經被急劇改變。傳統(tǒng)的流程是串行的，大致是：素材采編 - 后期編輯 - 制作成母帶 - 在廣電系統(tǒng)或電視臺去播放。這一過程中，有著巨量的“前進、后退、審校”工作。對于廣大系統(tǒng)從業(yè)人員來說，這個時間周期非常長，如果涉及到修改，前后端的溝通成本、時間成本都很高。
基于 RTX 平臺，NVIDIA 和合作伙伴提供了一套新的工作流程。不同階段的工作人員可以實時互動，甚至可以在工作流中發(fā)表意見、提出想法，或者立即反饋到前端的美工人員 / 建模人員等。這種完整的實時互動，減少了時間成本，也大幅度降低了物料成本及制作成本。
總體而言，NVIDIA GPU 在廣電行業(yè)的應用，包括 Turing 架構的 Quadro RTX GPU 和 RTX 平臺，基于深度學習方法的 NVIDIA NGX SDK，以及可實現(xiàn)實時離線渲染、加速桌面渲染以及提供虛擬工作站性能的 NVIDIA RTX 服務器。
老片煥新、渣圖升級離不開的黑科技
事實上，今天很多 UGC 內容不全是通過專業(yè)設備制作或采集的素材，比如一個突發(fā)新聞很可能是無人機拍攝的，也有可能是現(xiàn)場群眾用普通像素的手機拍攝的，這些素材在傳統(tǒng)的廣電行業(yè)應用中可能就是不合格或不可用的素材，或是只能通過小的模糊畫面來呈現(xiàn)，或是慢動作卡頓很嚴重。再比如，一些珍貴的素材、膠片等，因為長時間保存或是受到污染，導致某些畫面缺損了像素。
對于這些情況，NVIDIA 及合作伙伴有“無中生有”的大殺器。
NGX 技術利用深度神經網絡的 AI 學習來使用 GPU，事先對 GPU 訓練好的深度神經網絡可以自動完成畫面的修補、美化或降噪。此外，通過 NGX 技術還可以達到實時的 4K 超級分辨率（SUPER-RES），或是基于 AI 的超級慢動作。
NVIDIA 和強氧科技推出了一個軟件工具叫“達芬奇調色板”，號稱可以讓廣電從業(yè)人員實現(xiàn)大師級的渲染效果。它利用 Quadro RTX GPU 智能識別視頻內容和物體，新增的 DaVinci Neural Engine 神經網絡引擎可以使用 GPU 實現(xiàn) AI 和深度學習能力，還可以讓這些 GPU 參與到編解碼的運算中。例如對人物的面部智能追蹤，一旦定義好面部的相應參數(shù)，整個視頻中涉及這個人物都會自動添加好相關的特征，大大節(jié)省了從業(yè)人員的工作量。
當虹科技是一家智能視頻解決方案和視頻云服務提供商，基于 NVIDIA GPU 深度學習超分轉碼技術實現(xiàn)的“超分離線增強系統(tǒng)”，可以把早期的文件素材或光盤上的甚至是較低分辨率的素材進行實時、在線或是離線的基于 AI 的轉碼，使之符合 4K 和 8K 視頻播出的要求。而且利用當前 CDN 技術、網絡優(yōu)化技術，能讓互聯(lián)網平臺上的受眾看到轉碼而來的超級分辨率的畫質。
下圖是基于 AI 超分深度學習的超分性能展示，從 2K 超分到 4K 幀率，可以看出使用 NVIDIA GPU 和使用 CPU 顯著的性能對比。這是一個硬性指標，對于達到廣播級幀率的播出需求至關重要。
?
抖音和直播帶來的商機
在抖音、快手等小視頻大行其道的今天，一個很大的困境來自于：很多舊影片以及傳統(tǒng)廣電行業(yè)拍攝的素材都是橫版，但是今天的移動端、智能手機用戶看的都是豎版的素材，所以面臨的一大挑戰(zhàn)就是如何將素材迅速轉化為適用于移動端的內容。由 NVIDIA 提供 AI 技術支持的 ADOBE SENSEI，可以自動切割畫面，變成適合于豎屏移動端用戶看的內容。
此外，虛擬角色也是當下熱門的應用之一。例如借助虛幻引擎，在直播中插入虛擬角色，讓整個畫面更生動、有吸引力。通過利用 NVIDIA 的實時光線追蹤技術及深度學習技術，利用 AI 做邊緣反鋸齒處理和超采樣處理之后，可以給用戶提供更栩栩如生、逼真的效果。
Epic Games 的核心產品就是虛幻引擎，據該公司商務發(fā)展經理徐良安介紹，二十多年前其虛幻引擎只是一個很小的游戲工具，但今天已經發(fā)展成為了先進的圖形引擎。今天，小到實時預報，大到現(xiàn)場直播活動，背后都涉及了大量的基于虛幻引擎的實時工具流程。
近幾年，虛幻引擎的應用越來越多，Virtual Production（虛擬拍攝）的制作流程越來越受歡迎，它擺脫了傳統(tǒng)早、中、后期的制作流程，更為高效、直觀，特別是在純虛擬動畫制作的公司中大受歡迎。
另外，多屏顯示也在打通虛擬與現(xiàn)實的結合。早期采用綠幕摳圖的方式，現(xiàn)在則是通過真實的人+虛擬背景的結合，主電腦負責打通虛幻和現(xiàn)實中的攝像機，其他每臺電腦負責渲染畫面中的一部分，保證了虛實的同步，也使得場景更為生動靈活。
GPU 算力制高點實現(xiàn)的創(chuàng)新
快速顛覆傳統(tǒng)視頻制作的流程和方式，因為 AI 顯得唾手可得。而這一切的背后，都離不開強大的 GPU 做算力支撐，以及深度學習 / 機器學習所帶來的改變。
施澄秋談到，隨著內容的增加和質量的提升，給 CPU、GPU、存儲、網絡等帶來的挑戰(zhàn)呈幾何級爆炸，尤其是基礎的 IT 設施把這些內容推送到用戶端的時候，帶來的挑戰(zhàn)是前所未有的。無論是編碼還是解碼，都對算力有巨大的需求。NVIDIA GPU 解碼的功力是與生俱來的，從 1080P 到 8K 分辨率的實時解碼，RTX 6000G GPU 可以做到符合每秒 24 幀的播出級質量實時解碼，如果用 CPU 進行解碼的話，無論是消費級產品還是專業(yè)級服務器產品，數(shù)十個核心都達不到實時 8K 的解碼能力。
從最初對視頻的實時渲染，到后來的虛擬場景布設，再到大規(guī)模的算力集群應用，NVIDIA GPU 在國內廣電行業(yè)的影響力越來越大。特別是從去年開始，全球頂級的視效公司都開始圍繞 GPU 對實時引擎制作流程進行更迭改造。
博采傳媒也注意到了這些趨勢?？吹胶萌R塢大刀闊斧邊開發(fā)邊生產，也聯(lián)合多家國內 LED 生產廠商展開高分辨率 LED 屏的技術指標測試，目標是開發(fā)出符合電影拍攝標準的高品質 LED 屏。
但是，如何能實現(xiàn)一塊 1.8 億個像素點對點驅動的屏幕、并保持高幀率實時?歸根結底兩個字：算力。當時，博采傳媒選擇了 NVIDIA RTX 8000，搭建了一個由多臺服務器組成的 nDisplay 群集，完成了這一滿足 8K 取景實拍的巨型 LED 環(huán)幕。
“GPU 渲染比以前用 CPU 的成本優(yōu)秀太多了，但是，這仍然是我們制作流程的一個瓶頸”，博采傳媒前期部總監(jiān)沈辰奇說，“因此我們決定把‘虛幻引擎和實時’變成工作環(huán)節(jié)中的重要部分?！?/p>
基于 GPU 實時渲染，目前還有哪些瓶頸？沈辰奇告訴<與非網>，主要還是“尺度”的問題。比如：數(shù)字人頭發(fā)的細節(jié)程度做到多高？建模的面數(shù)做到多高？如果要實現(xiàn)一個特別寫實的人像，可能臉部的模型就要達到幾百萬的面數(shù)，再加上毛發(fā)，可能面數(shù)就接近 500 萬或 600 萬了。在這個技術層面要實現(xiàn)實時，目前唯一的出路就是靠超強算力來運行，所以瓶頸還是在于算力的優(yōu)化。
8K 渲染是當前核心創(chuàng)新點
石墨系統(tǒng)是新奧特核心的圖文系統(tǒng)，支持 4K/8K 的超高清呈現(xiàn)。基于 NVIDIA GPU 及 CUDA 產品，提升了在 8K 分辨率、視頻質量的處理能力等。
新奧特產品中心總監(jiān)王寧表示，8K 技術已逐步成熟，基于 8K 的渲染是核心。依托于 Quadro GV100 顯卡，實現(xiàn)了石墨系統(tǒng)的在線渲染；其第一代 8K 字幕借由 NVIDIA 顯卡，達到了超高清的字幕輸出；第二代 8K 字幕中，采用了 1-2 塊 Quadro RTX 8000 顯卡，實現(xiàn)了更多層次的超高清 8K 輸出。
超高清視頻傳輸?shù)睦Ь?，智能網卡來破！
NVIDIA 去年斥資 69 億美元收購以色列芯片廠商 Mellanox 一度引起行業(yè)關注，通過這宗收購，NVIDIA 的加速計算平臺與 Mellanox 的加速網絡平臺相結合，以在高性能計算領域實現(xiàn) 1+1＞2 的效果。
但不只是數(shù)據中心，廣電行業(yè)的超高清視頻傳輸也需要這樣的賦能。
NVIDIA MELLANOX 高級市場經理陳龍告訴<與非網>，在 1080P 以前，廣電行業(yè)的視頻傳輸是靠 SDI 的方式進行的。但是，隨著現(xiàn)在 4K/8K 超高清業(yè)務的興起，整個傳輸帶寬都在極劇膨脹，傳統(tǒng)的 SDI 視頻傳輸遇到了挑戰(zhàn)。
如果按照原有的傳輸方式，為了滿足 4K 大約需要 8G-9G 的傳輸帶寬，原有的 3G SDI 線要么 4 根達到 12G 帶寬，要么就換成 12G 的 SDI 傳輸方式，但這兩個各有弊端。首先為了實現(xiàn) 4K 傳輸，所使用的傳輸線需要是原來的 14 倍，組網復雜、成本高昂；如果換成 12G SDI，由于高速信號在 SDI 銅纜的傳輸中，傳輸距離跟速率是成反比的，大概只能達到 50 米的傳輸距離，遠遠不能滿足廣電行業(yè)的視頻傳輸需要。如果未來傳輸 8K 的話，要求最低 25G-30G、最高 140G 的帶寬，已經不是現(xiàn)有 SDI 的傳輸方式能夠解決的。高性能硬件就成為了邁向超高清視頻的必經之路。
?
“視頻行業(yè)從 SDI 走向 IP 成為大勢所趨”，陳龍談到，“以數(shù)據中心的 IP 解決方案為例，整個數(shù)據中心帶寬已經一躍到現(xiàn)在的 400G，不僅成本上比現(xiàn)有的定制化 SDI 更低，帶寬也提升了。不過切換到 IP 傳輸方案上，在帶寬問題解決的同時，也付出一定的代價。因為需要在一個厚重的網絡協(xié)議棧上處理，給終端 CPU 負載帶來很大的壓力?！?/p>
那么，從 SDI 切換到 IP 化的最后一公里，有沒有更優(yōu)的方案？Mellanox 基于在網卡領域的積累，通過硬件卸載，把厚重的網絡協(xié)議棧處理切換到網卡上，在加速整個網絡協(xié)議棧處理的同時，降低了 CPU 負載，也降低了服務器的整體購置成本。
出于這些加速需求，智能網卡越來越盛行。不過市面上的產品有的基于多核 CPU，有的基于 FPGA。那么 NVIDIA 的產品有什么不同？又有哪些優(yōu)勢？
陳龍表示，其產品形態(tài)主要有兩類：一類是 Connect-X 系列，另一類 Smart-X 系列，對應 DPU 系列網卡，內部是一個 8 核的 Arm CPU，然后結合 Connect-X 系列集成智能網卡。NVIDIA 主體的策略方向是：采用 RAM CPU 的技術路線。這個路線帶來了一系列好處，NVIDIA 網卡、尤其是高速網卡可以說是業(yè)界霸主，全球大概有將近 90%以上的高速網卡都是使用 NVIDIA MELLANOX 的網卡，所以本身就具有智能網卡里面“量”的優(yōu)勢。根據摩爾定律，量越高、成本越低，這是一方面優(yōu)勢；另外行業(yè)有不同應用需求，和業(yè)界其他智能網卡進行比較，所支持的特性較全，再結合集成的 Arm CPU，在智能方面又得到了提升。
廣電推行 5G+4K/8K+AI，NVIDIA 扮演什么角色？
5G+4K/8K+AI 的融合持續(xù)升溫，去年 8 月，中央廣播電視總臺進一步明確了 5G+4K/8K+AI 的戰(zhàn)略布局。超高清是電視發(fā)展的必然，5G 為廣電媒體插上了翅膀，而 AI 則將徹底重構電視媒體的生產傳播。這其中，NVIDIA 將扮演什么角色？或是有志于貢獻哪些價值？
施澄秋告訴<與非網>，NVIDIA 和廣電行業(yè)主要有三大結合點：第一是傳統(tǒng)意義上的設計、渲染等，讓軟件使用更方便，制作更高效、高質。第二就是 AI 應用，過去一年多，AI 生態(tài)合作伙伴是布局的重點。NVIDIA 在中國剛剛突破了 700 家 AI 生態(tài)合作伙伴，其中廣電行業(yè)約有八九十家。第三是面對疫情期間的特殊環(huán)境，推行遠程辦公、虛擬化的協(xié)同設計等，提供了諸如 RTX Server 解決方案，幫助用戶解決了很多痛點。未來，NVIDIA 會結合 GPU、全球軟件網絡和 AI 合作伙伴，持續(xù)從這三方面發(fā)力。
?
