AR/VR光學(xué)專家Karl Guttag曾指出，基于VST透視的AR雖然繞開(kāi)了光學(xué)透視AR的一些局限，但VST透視依然存在運(yùn)動(dòng)延遲、余光視覺(jué)透視效果、分辨率、IPD不匹配等多種問(wèn)題。的確，VST透視AR的結(jié)構(gòu)、原理比光學(xué)透視AR更簡(jiǎn)單，但它同樣需要解決許多問(wèn)題（搭配低延遲光場(chǎng)相機(jī)、光場(chǎng)顯示屏來(lái)實(shí)現(xiàn)高動(dòng)態(tài)變焦），才能實(shí)現(xiàn)理想的視覺(jué)體驗(yàn)，因此Guttag認(rèn)為這將需要很長(zhǎng)一段時(shí)間，可能超過(guò)50年。

那么對(duì)于Meta的VST透視混合現(xiàn)實(shí)頭顯Quest Pro，Guttag又怎么看呢？

【資料圖】

近期，他在博客中發(fā)布了Quest Pro報(bào)告，并表示：Quest Pro的VST透視效果糟糕，令人難以置信。Quest Pro官方宣稱用于企業(yè)、辦公場(chǎng)景，但它的視覺(jué)體驗(yàn)并不能滿足這些場(chǎng)景的需求。接下來(lái)我們就詳細(xì)看看Guttag的觀點(diǎn)。

首先，Guttag強(qiáng)調(diào)Quest Pro依然是一款為VR游戲而生的產(chǎn)品，認(rèn)為它沒(méi)有達(dá)到企業(yè)級(jí)水平。他表示：ML1、ML2也是這樣，硬件規(guī)格和體驗(yàn)不適合企業(yè)級(jí)應(yīng)用，但定位卻指向B端，這更像是營(yíng)銷策略轉(zhuǎn)變。實(shí)際上，對(duì)于超過(guò)1000美元價(jià)位的產(chǎn)品，營(yíng)銷人員很難將它們當(dāng)游戲設(shè)備來(lái)賣，所以不得不定位企業(yè)級(jí)產(chǎn)品。

VST透視不理想

在Connect 2022活動(dòng)上，Meta宣布Quest Pro是首款全彩色混合現(xiàn)實(shí)設(shè)備，它將實(shí)現(xiàn)物理和虛擬世界之間的無(wú)縫（Seamless）融合。對(duì)此Guttag指出，按照字典定義Seamless指的是沒(méi)有尷尬的過(guò)渡、終端或差異等跡象，而Quest Pro的混合現(xiàn)實(shí)體驗(yàn)似乎并未達(dá)到“無(wú)縫”的定義。

Quest Pro畫(huà)質(zhì)實(shí)拍

如果說(shuō)，基于手機(jī)的移動(dòng)端AR算是某種VST混合現(xiàn)實(shí)，那么至少手機(jī)屏幕分辨率更高，體驗(yàn)感還是比清晰度、流暢度略低的VST透視VR要好得多。

實(shí)際上，已經(jīng)有很多人在Quest Pro測(cè)評(píng)中提到其VST透視質(zhì)量不佳，Guttag測(cè)評(píng)的不同之處在于，他從計(jì)算圖形、顯示、人類視覺(jué)界面等多方面出發(fā)，將VST透視的問(wèn)題進(jìn)行量化。

注意：?照片和視頻為攝像頭實(shí)拍，采用佳能R5微單，鏡頭16mm、FOV 106°、80ppi、以4K分辨率拍攝，解析能力接近理想的人眼視覺(jué)?？梢悦黠@發(fā)現(xiàn)，Quest Pro的紗窗效應(yīng)肉眼可見(jiàn)。

Quest Pro支持動(dòng)態(tài)調(diào)光功能，這在AR/VR中是?比較新的技術(shù)，此前的LCD屏是將LED整行的以短周期進(jìn)行滾動(dòng)照明。Guttag發(fā)現(xiàn)，Quest Pro的屏幕存在閃爍，在運(yùn)行《Horizon Workrooms》時(shí)刷新率可能降到70Hz，而人眼與光視覺(jué)對(duì)閃爍又很敏感，很多低頻閃爍對(duì)人眼是有害的。Guttag指出，大多數(shù)VR應(yīng)用刷新率為90Hz，對(duì)于Quest Pro 106°的FOV來(lái)講還是有點(diǎn)低。此外，在一些光線環(huán)境中，還發(fā)現(xiàn)Quest Pro透視圖像和房間燈光因工作頻率導(dǎo)致閃爍的情況。

Quest Pro屏幕和透鏡畸變

Quest Pro采用了兩塊傾斜安裝的LCD屏幕（向外旋轉(zhuǎn)21°左右），以及Pancake透鏡和數(shù)字畸變校正算法。屏幕傾斜安裝可能有兩種原因，一是為了提升垂直FOV，另外則是因?yàn)镻ancake透鏡更薄，顯示屏更靠近人臉，傾斜安裝后可為用戶鼻子留出位置。

Quest Pro的另一個(gè)問(wèn)題是，LCD屏幕結(jié)合Pancake透鏡后圖像發(fā)生明顯的枕形畸變，因此需要預(yù)先對(duì)圖像進(jìn)行桶形扭曲（四邊向外彎曲），這意味著屏幕外圍像素經(jīng)歷了光學(xué)拉伸，因此分辨率較低。

從左到右：錄屏、透鏡實(shí)拍、單反捕捉效果

但由于VST透視攝像頭沒(méi)有旋轉(zhuǎn)，因此其捕捉的每幀視頻都要通過(guò)數(shù)字校正算法來(lái)預(yù)旋轉(zhuǎn)。Guttag猜測(cè)，旋轉(zhuǎn)透視圖像也會(huì)影響分辨率，不過(guò)考慮到這些旋轉(zhuǎn)和畸變同時(shí)運(yùn)行，因此圖像質(zhì)量變差可能是多因素造成的。

從左到右：錄屏、透鏡實(shí)拍、單反捕捉效果

Guttag對(duì)比了Quest Pro攝像頭捕捉的透視圖像，以及相機(jī)實(shí)拍的頭顯內(nèi)透視畫(huà)面和攝像頭實(shí)拍的場(chǎng)景圖，其中頭顯攝像頭捕捉的圖像為Quest Developer HUB工具錄屏，由于軟件錯(cuò)誤等因素限制，只能使用該軟件錄制30fps，視頻已經(jīng)過(guò)旋轉(zhuǎn)和縮放，但未應(yīng)用桶形失真校正。而從Quest Pro捕捉的圖像和相機(jī)直拍頭顯內(nèi)圖像中，都可以看到圖像邊緣因光學(xué)畸變被拉伸了2倍或更多（又通過(guò)預(yù)補(bǔ)償過(guò)程而被壓縮）。

AR透視不清晰、顏色不理想

為了測(cè)試Quest Pro透視模式的清晰度，了解它能否接近人眼看世界的視覺(jué)效果，Guttag透過(guò)Quest Pro去拍攝視力表。結(jié)果發(fā)現(xiàn)，連第一行都拍不清楚。而在同樣的焦距，佳能相機(jī)的拍攝效果要清晰得多。Guttag表示：在美國(guó)，如果看不清視力表第一行，那么你屬于法定盲人，而Quest Pro拍攝視力表的清晰度，大概介于法定盲人和視障者之間。

Guttag還測(cè)試了Quest Pro攝像頭的色彩表現(xiàn)，如圖可見(jiàn)佳能相機(jī)拍攝的視力表背景有橘黃色木柜，這個(gè)顏色與肉眼看起來(lái)差不多，但通過(guò)Quest Pro透視后，木柜顏色的飽和度偏低。Guttag表示：Quest Pro透視圖像的色彩部分有很多問(wèn)題，時(shí)而過(guò)飽和，時(shí)而低飽和，色調(diào)還存在顏色偏移現(xiàn)象。

從左到右：透鏡實(shí)拍、單反捕捉效果、6PPD模擬效果

另外，Guttag還用Quest Pro攝像頭、佳能R5分別拍攝了一張復(fù)雜的彩色迪士尼地圖，這張地圖印刷了多層次的細(xì)節(jié)。為了更公平，讓微單拍攝的像素更接近Quest Pro（Quest Pro為6PPD，而佳能R5為70PPD），他將相機(jī)拍攝的圖像縮放，確保細(xì)節(jié)水平（LOD）與Quest Pro大致匹配，然后進(jìn)行放大，確保圖像尺寸與Quest Pro拍攝的匹配。

結(jié)果顯示，Quest Pro透視的色彩表現(xiàn)依然存在差距，仔細(xì)看會(huì)發(fā)現(xiàn)綠色、藍(lán)色顯得比較暗淡，俄日企鵝顏色之間的分界線模糊。因此Guttag猜測(cè)，Quest Pro最佳中心視覺(jué)約為人類良好視力的1/10。

低動(dòng)態(tài)范圍、高失真

Quest Pro的視頻透視效果的動(dòng)態(tài)范圍很低，其搭載的定位攝像頭對(duì)紅外光敏感，因此環(huán)境中任何明亮或發(fā)光的物體經(jīng)過(guò)透視會(huì)變成白色。而在環(huán)境光線不佳的場(chǎng)景，透視圖像的噪點(diǎn)也很大。

Guttag表示：Quest Pro捕捉近距離物體的視覺(jué)效果更糟，而較遠(yuǎn)的物體則會(huì)產(chǎn)生奇怪的扭曲。

在另一個(gè)測(cè)試中，Guttag利用Quest Pro去拍攝更復(fù)雜的房間場(chǎng)景，房間中有一個(gè)計(jì)時(shí)的筆記本電腦，還有一個(gè)擺動(dòng)的視力表，背景則是木柜、書(shū)柜、白墻。Guttag表示：盡管視頻中電腦屏幕看起來(lái)足夠亮，但實(shí)際上我將電腦亮度設(shè)置為最低，才能讓Quest Pro看清屏幕上的計(jì)時(shí)器。

另外還發(fā)現(xiàn)，擺動(dòng)的視力表在經(jīng)過(guò)背景的木柜時(shí)，有明顯的扭曲和失真，并且還有混色效果，以及圖像運(yùn)動(dòng)延遲。

整體來(lái)看，Quest Pro VST透視錄屏的顏色表現(xiàn)足夠準(zhǔn)確，但經(jīng)過(guò)透鏡實(shí)拍的效果還是存在顏色過(guò)飽和。Guttag表示：相比于Quest Pro VR模式出色的顏色效果，VST透視的色彩效果很差，也許未來(lái)可以得到修復(fù)。

刷新率不同步

Guttag還指出，Quest Pro顯示屏、透視攝像頭（通過(guò)Meta Developer應(yīng)用捕捉視頻）的刷新率均為90Hz左右，但實(shí)際上略有不同，因此捕捉到的透視視頻每3幀會(huì)出現(xiàn)至少一處撕裂或幀滾動(dòng)。

不過(guò)，上述現(xiàn)象僅在Quest Pro錄屏中出現(xiàn)，通過(guò)透鏡實(shí)拍的視頻中這種現(xiàn)象不明顯。這說(shuō)明，Quest Pro透視模式的錄屏與進(jìn)入顯示屏的視頻源不同步。另一方面，透鏡實(shí)拍視頻以更高的刷新率拍攝，而錄屏中則存在重復(fù)幀。

透視圖像質(zhì)量差原因

盡管Quest Pro錄屏只有30fps，但視覺(jué)效果還是優(yōu)于直接在Quest Pro看到的透視效果。Guttag猜測(cè)，Quest Pro系統(tǒng)會(huì)優(yōu)先處理運(yùn)動(dòng)到光子延遲（Motion to Photon Latency）而不是圖像質(zhì)量，而錄屏則相反。

據(jù)Guttag測(cè)量，Quest Pro將IR定位數(shù)據(jù)和RGB VST結(jié)合來(lái)生成透視圖像，運(yùn)動(dòng)到光子延遲約在40到50毫秒之間。

值得注意的是，Quest Pro的透視模式更側(cè)重于3D空間捕捉，而非圖像質(zhì)量，這是為了更好的將MR內(nèi)容固定在空間中。Guttag表示：Meta工程師一定知道，將單個(gè)彩色相機(jī)與兩個(gè)低分辨率定位相機(jī)結(jié)合使用，會(huì)嚴(yán)重?fù)p害圖像質(zhì)量。那為什么會(huì)這么設(shè)計(jì)Quest Pro呢？也許，是為了試圖避免比這更糟糕的問(wèn)題，即使?fàn)奚孪履莻€(gè)質(zhì)量，也要確保虛擬圖像與物理空間的位置匹配。但這意味著Quest Pro的圖像失真程度糟糕，尤其是透視近距離物體的視覺(jué)效果很差。

Guttag認(rèn)為，這實(shí)際上是得不償失的選擇，未來(lái)即使加入額外的彩色透視相機(jī)，也還是需要解決算力、功耗的問(wèn)題，很難想象要多少算力才能實(shí)現(xiàn)理想的透視質(zhì)量。

VST透視并不安全

此前Guttag就曾吐槽ML2透光度不好，用戶余光視覺(jué)被遮擋，因此有安全風(fēng)險(xiǎn)。對(duì)于Quest Pro他也有同樣的看法，盡管該頭顯可通過(guò)視頻透視看到周圍環(huán)境，但還是會(huì)遮擋大部分視線。而且，VST透視分辨率低、有高度失真，尤其是動(dòng)態(tài)范圍差，現(xiàn)實(shí)場(chǎng)景中明亮的東西無(wú)法清晰顯示。

因此，在使用Quest Pro透視模式時(shí)，還是要?jiǎng)澏ㄟ吔?，而且Meta建議用戶在房間內(nèi)使用，盡量清空周圍的障礙物。也就是說(shuō)，你不能把它像眼鏡那樣戴出門。

Guttag指出，如果長(zhǎng)時(shí)間使用Quest Pro的透視模式，還可能發(fā)現(xiàn)VAC、閃爍等問(wèn)題。

總結(jié)：還不夠成熟

作為Meta首款支持彩色VST透視的VR頭顯，Quest Pro不只是為了讓玩家在VR中也能查看周圍環(huán)境，它還想要推動(dòng)某種MR內(nèi)容生態(tài)。但從實(shí)際效果來(lái)看，Guttag認(rèn)為這項(xiàng)技術(shù)還不夠成熟，還不能讓VR實(shí)現(xiàn)AR/MR效果。它有點(diǎn)像是Reality Lab還在開(kāi)發(fā)的實(shí)驗(yàn)性技術(shù)，除了展示創(chuàng)新技術(shù)外，也可能是希望通過(guò)Quest平臺(tái)在大規(guī)模用戶群中進(jìn)行驗(yàn)證。

而對(duì)于Meta來(lái)講，彩色VST和混合現(xiàn)實(shí)可能是Quest Pro的營(yíng)銷手段，目的是突出它與傳統(tǒng)VR的不同。也有人猜測(cè)，Meta是想趕在蘋(píng)果之前率先定義MR頭顯。

盡管如此，Quest Pro搭載的定位攝像頭分辨率很低，僅1280x1024，盡管結(jié)合了1600萬(wàn)彩色相機(jī)，透視效果比Quest 2有所改進(jìn)，但整體透視清晰度還是有限。

Guttag認(rèn)為現(xiàn)階段VST透視技術(shù)僅適合查看現(xiàn)實(shí)空間中的大型物體，或是為VR設(shè)定邊界，與光學(xué)透視AR還差得遠(yuǎn)。從視覺(jué)角度來(lái)看，Quest Pro犯了很多錯(cuò)，但相比之下Lynx R1的透視效果似乎還好不少。參考：KG

更多閱讀：Karl Guttag：AR眼鏡應(yīng)根據(jù)用途來(lái)設(shè)計(jì)，VST并未解決技術(shù)難題

關(guān)鍵詞： Karl GuttagQuest Pro透視效果差 并不適合商用 虛擬現(xiàn)實(shí)