騰訊互娛內(nèi)容生態(tài)部與NVIDIA深度合作,打造低延遲超大分辨率渲染平臺(tái)
騰訊互娛內(nèi)容生態(tài)部(ContentDevelopment Department,以下簡(jiǎn)稱CDD)正在構(gòu)建以NVIDIA RTX A6000+ NVIDIA BlueField-2 DPU + Spectrum-3交換機(jī)等先進(jìn)技術(shù)為基礎(chǔ)的新一代超大分辨率渲染平臺(tái)。雙方團(tuán)隊(duì)沿著視頻流超低延遲傳輸這一方向進(jìn)行持續(xù)的技術(shù)攻關(guān),將NVIDIA Rivermax整合到生產(chǎn)軟件環(huán)境中,進(jìn)一步降低了超大分辨率渲染平臺(tái)的交互延遲。
本案例主要應(yīng)用了NVIDIA Rivermax,NVIDIA RTX A6000,NVIDIA BlueField-2 DPU,NVIDIA Spectrum-3交換機(jī)。
(資料圖)
客戶簡(jiǎn)介及應(yīng)用背景
作為國(guó)內(nèi)游戲大廠,騰訊早早布局虛擬制片業(yè)務(wù)。2020年底,騰訊游戲成立內(nèi)容生態(tài)部門(mén)(Content Development Department,以下簡(jiǎn)稱CDD),旗下?lián)碛刑摂M人、虛擬制片等多個(gè)業(yè)務(wù)線。2021年11月CDD在深圳坪山建成了總占地3000平米的LED虛擬影棚。影棚配置有40m*6m 的240° 弧形LED立面屏幕,并配有可上下移動(dòng)的100多平方米的天幕。LED點(diǎn)間距2.3,支持高速拍攝。
為了在硬件和軟件上持續(xù)保持領(lǐng)先,CDD與業(yè)內(nèi)領(lǐng)先企業(yè)頻繁交流,不斷改進(jìn)自研軟件以提升虛擬拍攝影棚的制作體驗(yàn)。
客戶挑戰(zhàn)
在虛擬影棚中,LED立面屏幕被分割為多個(gè)顯示區(qū)域,每個(gè)顯示區(qū)域由不同的工作站驅(qū)動(dòng),其呈現(xiàn)的內(nèi)容則由其搭載的GPU渲染完成。在實(shí)時(shí)拍攝過(guò)程中,需要LED光照、實(shí)時(shí)攝像機(jī)追蹤和實(shí)時(shí)渲染投屏三者的結(jié)合,實(shí)現(xiàn)前臺(tái)演員和虛擬背景之間的完美整合。這種拍攝方案消除了對(duì)綠幕合成的需求,讓攝像機(jī)直接拍攝最終成像。而所有需要在大型LED立面屏幕上顯示實(shí)時(shí)渲染內(nèi)容的行業(yè)都面臨著一個(gè)普遍挑戰(zhàn),即每個(gè)渲染節(jié)點(diǎn)其實(shí)是一個(gè)獨(dú)立運(yùn)行工作站,在實(shí)際拍攝制片過(guò)程中,不僅需要消耗大量的計(jì)算資源用于渲染高分辨率高幀率的高品質(zhì)實(shí)時(shí)內(nèi)容,還需要同步所有渲染節(jié)點(diǎn)間的技術(shù)參數(shù),同時(shí)推進(jìn)所有顯示媒介的呈現(xiàn)內(nèi)容。目前鮮有人在這一領(lǐng)域取得突破,原因可以歸納為以下幾個(gè)方面:
· 每臺(tái)工作站需要獨(dú)立渲染特定顯示區(qū)域的內(nèi)容,在保證高標(biāo)準(zhǔn)畫(huà)面渲染細(xì)節(jié)的同時(shí)還需要維持面板刷新一致,對(duì)GPU性能提出了極高要求。
· 節(jié)點(diǎn)間存在通訊障礙,普通同步方式不能保證所有節(jié)點(diǎn)的幀同步,一旦出現(xiàn)不同步就會(huì)造成畫(huà)面撕裂影響觀看體驗(yàn)。
· 節(jié)點(diǎn)間參數(shù)同步和數(shù)據(jù)傳輸占用了大量的網(wǎng)絡(luò)帶寬和CPU資源,進(jìn)一步造成節(jié)點(diǎn)間時(shí)間同步的不可預(yù)測(cè)。
由于上述瓶頸導(dǎo)致渲染平臺(tái)整體無(wú)法進(jìn)一步提升成片的幀率和分辨率,無(wú)法進(jìn)一步滿足人們對(duì)于高幀率渲染實(shí)時(shí)內(nèi)容的需求。
應(yīng)用方案
客戶的超大分辨率渲染平臺(tái)通過(guò)集成NVIDIA Rivermax整體方案,解決了這些難題。完成集成后的系統(tǒng)架構(gòu)如下圖所示:
圖1.系統(tǒng)架構(gòu)圖
新的平臺(tái)由NVIDIA RTX A6000承擔(dān)分布式實(shí)時(shí)渲染任務(wù)。RTX A6000擁有48GB顯存,可以將拍攝場(chǎng)景需要的模型和紋理數(shù)據(jù)全部加載到顯存中,在拍攝過(guò)程中按需調(diào)用。渲染節(jié)點(diǎn)支持多GPU進(jìn)行視口渲染,此模式支持創(chuàng)作者指定一個(gè)GPU渲染特定視口,并通過(guò)NVLink將渲染結(jié)果直接復(fù)制到另一個(gè)GPU上顯示輸出。而多個(gè)顯示區(qū)域則通過(guò)NVIDIA Quadro Sync II同步vsync信號(hào),并結(jié)合NVIDIA專業(yè)顯卡提供的NVAPI swapgroup/barrier技術(shù)將渲染結(jié)果完美的拼合在一起。此外整個(gè)渲染平臺(tái)通過(guò)添加NVIDIA BlueField-2 DPU 和NVIDIA Spectrum-3 交換機(jī),具備了運(yùn)行NVIDIA Rivermax整體方案的硬件能力。NVIDIA Rivermax提供了高性能的流媒體傳輸服務(wù),這種服務(wù)在Windows平臺(tái)上實(shí)現(xiàn)了GPU Direct P2P支持,消除了額外的GPU顯存到系統(tǒng)內(nèi)存的拷貝,降低了操作系統(tǒng)層面的延遲,同時(shí)也降低了CPU資源的占用,從而讓整個(gè)渲染平臺(tái)的運(yùn)行更為可靠。啟用NVIDIA Rivermax后,單顆CPU核心可以輕松收發(fā)100Gbps的媒體流。
圖2.單顆CPU核心收發(fā)100Gbps媒體流
而且整個(gè)平臺(tái)也具備了部署DOCA Firefly的條件。DOCA Firefly是NVIDIA提供的基于硬件的精確時(shí)間同步服務(wù)。在NVIDIA BlueField-2 DPU 上部署DOCA Firefly可以實(shí)現(xiàn)納秒級(jí)別的時(shí)間同步精度,其典型值如下表所示:
使用效果及影響
騰訊CDD綜合NVIDIA提供的各項(xiàng)產(chǎn)品,使用NVIDIA RTX A6000實(shí)時(shí)渲染,使用NVIDIA Rivermax在GPU顯存間直接傳輸數(shù)據(jù),使用NVIDIA BlueField-2 DPU部署精確時(shí)間服務(wù)DOCA Firefly來(lái)同步所有渲染節(jié)點(diǎn)的系統(tǒng)時(shí)鐘,使用NVIDIA Spectrum-3交換機(jī)復(fù)制GPU顯存數(shù)據(jù)并承載時(shí)鐘網(wǎng)絡(luò),通過(guò)這一系列改進(jìn)措施,最終實(shí)現(xiàn)了在LED立面屏幕上以超低延遲呈現(xiàn)數(shù)字流資產(chǎn)的能力。
(8109025)
關(guān)鍵詞: 騰訊互娛內(nèi)容生態(tài)部與NVIDIA深度合作 打造低延遲超大分辨率渲染平臺(tái)
相關(guān)閱讀
-
騰訊互娛內(nèi)容生態(tài)部與NVIDIA深度合作,...
騰訊互娛內(nèi)容生態(tài)部與NVIDIA深度合作,打造低延遲超大分辨率渲染平臺(tái) -
世界聚焦:AYANEO KUN(鯤)官宣:定位...
AYANEOKUN(鯤)官宣:定位高端頂級(jí)大屏Windows掌機(jī) -
榮耀手環(huán)7圖賞:大彩屏大容量,充電一小...
榮耀手環(huán)7圖賞:大彩屏大容量,充電一小時(shí),運(yùn)動(dòng)滿一周 -
消息稱通用汽車(chē)放棄與 LG 建設(shè)合資電池廠
消息稱通用汽車(chē)放棄與LG建設(shè)合資電池廠 -
PS5云游戲功能終于要來(lái)了!高級(jí)會(huì)員專屬...
PS5云游戲功能終于要來(lái)了!高級(jí)會(huì)員專屬 -
蘋(píng)果Apple Watch新專利改造數(shù)字表冠:...
蘋(píng)果AppleWatch新專利改造數(shù)字表冠:采用激光傳感器提高精度