騰訊互娛內(nèi)容生態(tài)部（ContentDevelopment Department，以下簡(jiǎn)稱CDD）正在構(gòu)建以NVIDIA RTX A6000+ NVIDIA BlueField-2 DPU + Spectrum-3交換機(jī)等先進(jìn)技術(shù)為基礎(chǔ)的新一代超大分辨率渲染平臺(tái)。雙方團(tuán)隊(duì)沿著視頻流超低延遲傳輸這一方向進(jìn)行持續(xù)的技術(shù)攻關(guān)，將NVIDIA Rivermax整合到生產(chǎn)軟件環(huán)境中，進(jìn)一步降低了超大分辨率渲染平臺(tái)的交互延遲。

本案例主要應(yīng)用了NVIDIA Rivermax，NVIDIA RTX A6000，NVIDIA BlueField-2 DPU，NVIDIA Spectrum-3交換機(jī)。

(資料圖)

客戶簡(jiǎn)介及應(yīng)用背景

作為國(guó)內(nèi)游戲大廠，騰訊早早布局虛擬制片業(yè)務(wù)。2020年底，騰訊游戲成立內(nèi)容生態(tài)部門(mén)（Content Development Department，以下簡(jiǎn)稱CDD），旗下?lián)碛刑摂M人、虛擬制片等多個(gè)業(yè)務(wù)線。2021年11月CDD在深圳坪山建成了總占地3000平米的LED虛擬影棚。影棚配置有40m*6m 的240° 弧形LED立面屏幕，并配有可上下移動(dòng)的100多平方米的天幕。LED點(diǎn)間距2.3，支持高速拍攝。

為了在硬件和軟件上持續(xù)保持領(lǐng)先，CDD與業(yè)內(nèi)領(lǐng)先企業(yè)頻繁交流，不斷改進(jìn)自研軟件以提升虛擬拍攝影棚的制作體驗(yàn)。

客戶挑戰(zhàn)

在虛擬影棚中，LED立面屏幕被分割為多個(gè)顯示區(qū)域，每個(gè)顯示區(qū)域由不同的工作站驅(qū)動(dòng)，其呈現(xiàn)的內(nèi)容則由其搭載的GPU渲染完成。在實(shí)時(shí)拍攝過(guò)程中，需要LED光照、實(shí)時(shí)攝像機(jī)追蹤和實(shí)時(shí)渲染投屏三者的結(jié)合，實(shí)現(xiàn)前臺(tái)演員和虛擬背景之間的完美整合。這種拍攝方案消除了對(duì)綠幕合成的需求，讓攝像機(jī)直接拍攝最終成像。而所有需要在大型LED立面屏幕上顯示實(shí)時(shí)渲染內(nèi)容的行業(yè)都面臨著一個(gè)普遍挑戰(zhàn)，即每個(gè)渲染節(jié)點(diǎn)其實(shí)是一個(gè)獨(dú)立運(yùn)行工作站，在實(shí)際拍攝制片過(guò)程中，不僅需要消耗大量的計(jì)算資源用于渲染高分辨率高幀率的高品質(zhì)實(shí)時(shí)內(nèi)容，還需要同步所有渲染節(jié)點(diǎn)間的技術(shù)參數(shù)，同時(shí)推進(jìn)所有顯示媒介的呈現(xiàn)內(nèi)容。目前鮮有人在這一領(lǐng)域取得突破，原因可以歸納為以下幾個(gè)方面：

· 每臺(tái)工作站需要獨(dú)立渲染特定顯示區(qū)域的內(nèi)容，在保證高標(biāo)準(zhǔn)畫(huà)面渲染細(xì)節(jié)的同時(shí)還需要維持面板刷新一致，對(duì)GPU性能提出了極高要求。

· 節(jié)點(diǎn)間存在通訊障礙，普通同步方式不能保證所有節(jié)點(diǎn)的幀同步，一旦出現(xiàn)不同步就會(huì)造成畫(huà)面撕裂影響觀看體驗(yàn)。

· 節(jié)點(diǎn)間參數(shù)同步和數(shù)據(jù)傳輸占用了大量的網(wǎng)絡(luò)帶寬和CPU資源，進(jìn)一步造成節(jié)點(diǎn)間時(shí)間同步的不可預(yù)測(cè)。

由于上述瓶頸導(dǎo)致渲染平臺(tái)整體無(wú)法進(jìn)一步提升成片的幀率和分辨率，無(wú)法進(jìn)一步滿足人們對(duì)于高幀率渲染實(shí)時(shí)內(nèi)容的需求。

應(yīng)用方案

客戶的超大分辨率渲染平臺(tái)通過(guò)集成NVIDIA Rivermax整體方案，解決了這些難題。完成集成后的系統(tǒng)架構(gòu)如下圖所示：

圖1.系統(tǒng)架構(gòu)圖

新的平臺(tái)由NVIDIA RTX A6000承擔(dān)分布式實(shí)時(shí)渲染任務(wù)。RTX A6000擁有48GB顯存，可以將拍攝場(chǎng)景需要的模型和紋理數(shù)據(jù)全部加載到顯存中，在拍攝過(guò)程中按需調(diào)用。渲染節(jié)點(diǎn)支持多GPU進(jìn)行視口渲染，此模式支持創(chuàng)作者指定一個(gè)GPU渲染特定視口，并通過(guò)NVLink將渲染結(jié)果直接復(fù)制到另一個(gè)GPU上顯示輸出。而多個(gè)顯示區(qū)域則通過(guò)NVIDIA Quadro Sync II同步vsync信號(hào)，并結(jié)合NVIDIA專業(yè)顯卡提供的NVAPI swapgroup/barrier技術(shù)將渲染結(jié)果完美的拼合在一起。此外整個(gè)渲染平臺(tái)通過(guò)添加NVIDIA BlueField-2 DPU 和NVIDIA Spectrum-3 交換機(jī)，具備了運(yùn)行NVIDIA Rivermax整體方案的硬件能力。NVIDIA Rivermax提供了高性能的流媒體傳輸服務(wù)，這種服務(wù)在Windows平臺(tái)上實(shí)現(xiàn)了GPU Direct P2P支持，消除了額外的GPU顯存到系統(tǒng)內(nèi)存的拷貝，降低了操作系統(tǒng)層面的延遲，同時(shí)也降低了CPU資源的占用，從而讓整個(gè)渲染平臺(tái)的運(yùn)行更為可靠。啟用NVIDIA Rivermax后，單顆CPU核心可以輕松收發(fā)100Gbps的媒體流。

圖2.單顆CPU核心收發(fā)100Gbps媒體流

而且整個(gè)平臺(tái)也具備了部署DOCA Firefly的條件。DOCA Firefly是NVIDIA提供的基于硬件的精確時(shí)間同步服務(wù)。在NVIDIA BlueField-2 DPU 上部署DOCA Firefly可以實(shí)現(xiàn)納秒級(jí)別的時(shí)間同步精度，其典型值如下表所示：

使用效果及影響

騰訊CDD綜合NVIDIA提供的各項(xiàng)產(chǎn)品，使用NVIDIA RTX A6000實(shí)時(shí)渲染，使用NVIDIA Rivermax在GPU顯存間直接傳輸數(shù)據(jù)，使用NVIDIA BlueField-2 DPU部署精確時(shí)間服務(wù)DOCA Firefly來(lái)同步所有渲染節(jié)點(diǎn)的系統(tǒng)時(shí)鐘，使用NVIDIA Spectrum-3交換機(jī)復(fù)制GPU顯存數(shù)據(jù)并承載時(shí)鐘網(wǎng)絡(luò)，通過(guò)這一系列改進(jìn)措施，最終實(shí)現(xiàn)了在LED立面屏幕上以超低延遲呈現(xiàn)數(shù)字流資產(chǎn)的能力。

(8109025)

關(guān)鍵詞： 騰訊互娛內(nèi)容生態(tài)部與NVIDIA深度合作 打造低延遲超大分辨率渲染平臺(tái)