查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

提供沒有環(huán)境光反射或鏡面光干擾的晰圖像

(資料圖)

（映維網(wǎng)Nweon?2023年01月12日）對于AR/VR頭顯的眼動追蹤，從用戶眼睛反射的光可以是鏡面反射或散射的。鏡面光的強(qiáng)度或大小可能會令電子器件信號飽和。在名為“Eye tracking imager with gated detectors receiving a specular reflection”的專利申請中，微軟表示可以通過一種眼動追蹤成像器來減輕信號飽和。

概括來說，可以從光學(xué)檢測器生成檢測信號、評估檢測信號的信號電平、以及選擇性地選通已飽和的檢測信號。剩余的散射信號可以組合以獲得組合信號，而組合信號可以轉(zhuǎn)換成數(shù)字信號而不令電子器件飽和。然后，可以對其進(jìn)行處理以形成眼睛圖像。

微軟指出，專利描述的技術(shù)可以提供沒有環(huán)境光反射或鏡面光干擾的清晰圖像。

圖1示出了示例性眼動追蹤成像器系統(tǒng)100的示意圖。系統(tǒng)100包括數(shù)字轉(zhuǎn)換器101、處理器170和存儲器180。

數(shù)字化儀101被配置為從物體103接收一個或多個反射光束，10–1至10-N。反射光束（10–1至10-N）可對應(yīng)于物體的直接反射或物體的間接反射。間接反射可以由其他光學(xué)設(shè)備提供。在下文描述的各種示例中，作為反射源的對象可以對應(yīng)于用戶的眼睛。

數(shù)字轉(zhuǎn)換器103可用于捕獲來自對象（用戶眼睛）的鏡面反射和散射反射，并生成電響應(yīng)。電響應(yīng)可以是數(shù)字信號51，然后可以由處理器170處理以生成圖像。處理器170可以經(jīng)由通信總線72與存儲器180交互。

在一個示例中，處理器170從數(shù)字信號51捕獲圖像數(shù)據(jù)，其中所捕獲的圖像數(shù)據(jù)被時間標(biāo)記并存儲在存儲器180中。由于反射鏡的掃描角度對應(yīng)于特定的像素位置，因此捕獲的圖像數(shù)據(jù)可以基于時間與x，y像素位置相關(guān)。因此，可以通過基于時間戳將捕獲的圖像數(shù)據(jù)與對應(yīng)的x，y位置相關(guān)來形成圖像。

數(shù)字轉(zhuǎn)換器103可用于根據(jù)從數(shù)字轉(zhuǎn)換器103輸出的數(shù)字信號51生成用戶眼睛的初始圖像。另外，可以從數(shù)字信號51生成跨越時間段的多個眼睛圖像。每個單獨(dú)圖像的數(shù)字信號151對應(yīng)于用戶眼睛在特定時間點(diǎn)的位置?？梢栽u估每個圖像之間的差異，以確定用戶的眼睛如何從一個圖像移動到下一個圖像，從而追蹤注視方向和/或眼睛位置隨時間的移動。

圖1的數(shù)字轉(zhuǎn)換器101包括光學(xué)濾波器110、光學(xué)檢測器120、信號組合器130、模擬濾波器140、模數(shù)轉(zhuǎn)換器（ADC）150和控制器電路160。

濾光器110位于光學(xué)檢測器120和反射光束10–1至10-N之間。響應(yīng)于反射光束12–1至12-N，光學(xué)檢測器120配置為生成模擬檢測信號12–1到12-N。信號組合器130配置為接收模擬檢測信號12–1至12-N并生成組合的模擬信號31，其對應(yīng)于模擬檢測信號12-1至12-N中的一個或多個的總和。

組合的模擬信號31由模擬濾波器140接收，模擬濾波器140響應(yīng)地生成濾波的模擬信號41。濾波后的模擬信號41由模數(shù)轉(zhuǎn)換器150接收，模數(shù)轉(zhuǎn)換器150響應(yīng)地生成數(shù)字信號51。

光學(xué)濾波器110是可用于對光學(xué)檢測器120接收的光學(xué)信號進(jìn)行波長或空間濾波的可選裝置。該濾波器可以配置為濾除波長與入射光束不同的光。

信號組合器130配置為從光學(xué)檢測器120接收電信號12-1至12-N，并將信號組合成單個模擬輸出、組合模擬信號31。假設(shè)非飽和信號包含有用信息，而飽和信號包含較少有用信息，則信號組合器130包括傾向于非飽和信號而非飽和信號的電路和/或邏輯。

這樣，信號組合器的電路和/或邏輯配置為評估相鄰的檢測信號對，以確定相鄰的信號對中的任一個是否已經(jīng)飽和，并促進(jìn)非飽和信號與其他信號求和。

在一個示例中，信號組合器130可以向處理器170提供一個或多個數(shù)字飽和檢測信號32，其中數(shù)字信號32指示光學(xué)檢測器120中是否發(fā)生飽和。處理器170可以捕獲數(shù)字飽和檢測信號32并將飽和數(shù)據(jù)存儲在存儲器180中。飽和度數(shù)據(jù)還可以包括可以與圖像生成的其他特征相關(guān)聯(lián)的時間戳。

ADC 150是模數(shù)轉(zhuǎn)換器，其配置為經(jīng)由來自信號組合器130的組合模擬信號31對來自光學(xué)檢測器120的電響應(yīng)進(jìn)行采樣。ADC 150可以以預(yù)定頻率對組合的模擬信號31進(jìn)行采樣。如前所述，可選的模擬濾波器140可用于在ADC采樣之前對光學(xué)傳感器的電響應(yīng)進(jìn)行濾波，從而降低信噪比并改善ADC的輸出。

另外，增益塊可用于在ADC 150轉(zhuǎn)換之前對信號進(jìn)行增益縮放，以改善ADC的量化和/或線性。所描述的增益塊可以與濾波器分離、包括在濾波器中或合并在ADC 150中。在一個示例中，可以采用多個光學(xué)檢測器120，每個光學(xué)檢測器具有對應(yīng)的信號組合器130和ADC 150。

鏡面反射的強(qiáng)度高于漫反射/散射反射的紅外光的強(qiáng)度。在圖1中，強(qiáng)度由加權(quán)線的變化厚度表示。最細(xì)的線條強(qiáng)度最低，而最粗的線條強(qiáng)度最高。

如前所述，對象（例如用戶眼睛）的入射激光束將導(dǎo)致鏡面反射和散射反射，而所述反射可以被數(shù)字轉(zhuǎn)換器103捕獲以產(chǎn)生電響應(yīng)。

然而，來自用戶角膜的反射很可能導(dǎo)致大鏡面反射，其中很大百分比的入射激光功率將從對象反射并入射到光學(xué)檢測器120上。這種大鏡面反射可能導(dǎo)致光學(xué)檢測器120和/或信號處理電子器件的不期望飽和。例如，由鏡面反射產(chǎn)生的信號可以超過光學(xué)傳感器或信號處理電子器件的動態(tài)范圍，這導(dǎo)致圖像出現(xiàn)飽和區(qū)域。飽和區(qū)域的信息基本丟失，因為飽和區(qū)域沒有提供信息。

這里描述的信號組合器130配置為評估光學(xué)檢測器120輸出的輸出，并選通可能使信號電子器件飽和的檢測器信號。如本文將描述，信號組合器130包括選擇邏輯，其自動保持由于鏡面反射而被選通的區(qū)域中的強(qiáng)度水平。圖像數(shù)據(jù)由處理器170捕獲從ADC 150輸出的數(shù)字信號31，并將采樣集合存儲在存儲器180中。

除了檢測之外，可以利用關(guān)于光學(xué)檢測器120的飽和信息來輔助圖像捕獲和閃爍的檢測。圖像中閃爍的位置可以與觀察到光譜反射時反射鏡的位置相關(guān)。

例如，當(dāng)光學(xué)檢測器120在特定時間飽和時，可以識別光譜反射，所述特定時間被捕獲為數(shù)字飽和檢測信號32以及捕獲的時間戳；并且掃描器的鏡位置同時提供角度信息。

對于所述示例，圖像可以通過兩種方式形成：第一圖像可以由數(shù)字信號51的集合和ADC 150的時間戳形成；第二圖像可以由時間戳數(shù)字飽和檢測信號32的集合形成。第一圖像可以對應(yīng)于非飽和圖像的像素信息的集合（例如來自信號51）；而第二圖像可以對應(yīng)于飽和檢測的集合（例如來自信號32）。時間戳飽和檢測信號因此可以對應(yīng)于掩模。兩個圖像的組合可用于密切追蹤眼睛位置。

圖2示出了另一示例成像器系統(tǒng)200的示意圖。系統(tǒng)200包括光學(xué)檢測器電路120–1和120–2、飽和檢測器230–1和230–2、路徑選擇器240和240–2、加法器250和ADC 260。

光檢測器電路120–1和120–2是光檢測器電路，每個光檢測器電路被配置為響應(yīng)入射光生成模擬檢測信號12–1和12–2中的相應(yīng)一個。光學(xué)檢測器電路120–1和120–2可以是圖1中的光學(xué)檢測器120的一部分，其中每個單獨(dú)的光學(xué)檢測器電路120-1和120-2可以對應(yīng)于陣列中的一個光電檢測器電路。

光學(xué)檢測器電路120–1和120–2可任選地各自包括放大器210–1和210–2。取決于具體實(shí)施方式，放大器可以是電壓放大器或電流放大器。因此，光檢測器電路120–1和120–2中的光電檢測器設(shè)備的輸出可以對應(yīng)于耦合到放大器210–1和210–2之一的相應(yīng)輸入的電信號（21–1、21–2）。

所以，光學(xué)檢測器電路120–1的電氣21–1耦合到放大器210–1的輸入；并且光檢測器電路120–2的電信號21–2耦合到放大器210–2的輸入。

放大器120–1和120–2中的每一個都可以從光學(xué)檢測器電路120–1與120–2中的相應(yīng)光電檢測器接收電信號；并生成與相應(yīng)電信號成比例的模擬檢測信號12–1和12–2。因此，模擬檢測信號12-1與電信號21-1成比例，而模擬檢測信號12-2與電信信號21-2成比例。

在一個示例中，電信號對應(yīng)于從光電檢測器輸出的電流，而模擬檢測信號對應(yīng)于電壓，其中跨阻抗放大器將光電檢測器電流轉(zhuǎn)換為模擬電壓。

模擬檢測信號12–1耦合到第一飽和檢測器230–1的輸入、第一路徑選擇器240–1的第一輸入（路徑0）和第二路徑選擇器240-2的第二輸入（路徑1）。模擬檢測信號12–2耦合到第二飽和檢測器230–2的輸入、第一路徑選擇器240–1的第二輸入（路徑1）和第二路徑選擇器240-2的第一輸入（路徑0）。

第一飽和檢測器230–1配置為生成第一選擇器信號23–1，其具有基于與模擬檢測信號12–1相關(guān)聯(lián)的信號電平的邏輯值1或0。

當(dāng)模擬檢測信號12–1的幅度（或值）低于閾值（例如VREF1）時，飽和檢測器230–1將第一選擇器信號23–1設(shè)置為第一值（例如0）。

類似地，當(dāng)模擬檢測信號12–1的幅度（或值）高于閾值（例如VREF1）時，飽和檢測器230–1將第一選擇器信號23–1設(shè)置為第二值（例如1）。

第一路徑選擇器240–1將根據(jù)第一選擇器信號23–1的值為信號12–1或信號12–2選擇路徑。當(dāng)?shù)谝贿x擇器信號23–1為第一值時，路徑選擇器240–1將模擬檢測信號12–1作為信號24–1耦合到加法器250的第一輸入端；否則，路徑選擇器240–1將模擬檢測信號12–2作為信號24–1耦合到加法器250的第一輸入。

第二飽和檢測器230–1被配置為生成第二選擇器信號23–2，其具有基于與模擬檢測信號12–2相關(guān)聯(lián)的信號電平的邏輯值1或0。當(dāng)模擬檢測信號12–2的幅度（或值）低于閾值（例如VREF2）時，飽和檢測器230–2將第二選擇器信號23–2設(shè)置為第一值（例如0）。

類似地，當(dāng)模擬檢測信號12–2的幅度（或值）高于閾值（例如VREF2）時，飽和檢測器230–2將第二選擇器信號23–2設(shè)置為第二值（例如1）。第二路徑選擇器240–2將根據(jù)第二選擇器信號23–2的值為信號12–1或12–2選擇路徑。

當(dāng)?shù)诙x擇器信號23–2為第一值時，路徑選擇器240–2將模擬檢測信號12–2作為信號24–2耦合到加法器250的第二輸入端；否則，路徑選擇器240–2將模擬檢測信號12–1作為信號24–2耦合到加法器250的第二輸入。

信號23-1和23-2也分別對應(yīng)于信號S1和S2，并且可以輸出到處理器（例如，圖1的處理器170）以幫助形成可以用于眼睛跟蹤或其他用途的地圖或圖像；類似于圖1的信號32。

加法器250是一個模擬信號加法器，其配置為將信號24-1和24-2組合成組合的模擬信號25。信號輸入到ADC 260。ADC將組合的模擬信號25轉(zhuǎn)換成數(shù)字信號26，其可由處理器進(jìn)一步處理。

圖3示出了又一示例成像器系統(tǒng)300的局部視圖。系統(tǒng)300基本上類似于圖2的系統(tǒng)200，并增加了示例飽和檢測器電路330–1和330–2以及控制器電路310。

飽和檢測器電路330-1包括耦合到模擬檢測信號12-1或A1的第一輸入、耦合到VREF1的第二輸入和耦合到30-1或S1的輸出。飽和檢測器電路330–1和330–2替換了圖2中的飽和檢測器230–1和230–2，因此輸出30–1和30–2基本上對應(yīng)于圖2中的23–1和23–2。

圖3的示例飽和檢測器電路330–1和330–2顯示為比較器電路。例如，飽和檢測器電路330–1配置為將模擬檢測信號12–1或A1與VREF1進(jìn)行比較，并響應(yīng)于比較斷言選擇器信號30–1或S1。

類似地，飽和檢測器電路330–2被配置為將模擬檢測信號12–2或A2與VREF2進(jìn)行比較，并響應(yīng)于該比較斷言選擇器信號30–2或S2。信號30-1和30-2（S1和S2）可以被輸出到處理器（例如，圖1的處理器170）；類似于圖1的信號32。

控制器電路310配置為通過調(diào)節(jié)VREF1和VREF2來調(diào)節(jié)每個比較器的閾值。

圖4示出了另一示例成像器系統(tǒng)400的示意圖。系統(tǒng)400包括光學(xué)檢測器電路120–1和120–2飽和檢測器230–1和230–2、路徑選擇器240–1和240–2以及加法器250。它們基本類似于圖2的系統(tǒng)200。系統(tǒng)400同時包括示例性延遲電路410–1和410–2以及示例性控制器420。

圖4的延遲電路410–1插入在圖2的第一光檢測器電路120–1和第一路徑選擇器240–1之間。因此，模擬檢測信號12–1或A1耦合到延遲電路410–1的輸入，并且延遲電路410-1的輸出信號41–1或A1D耦合到第一路徑選擇器240–1的第一輸入（路徑0）和第二路徑選擇器240-2的第二輸入（路徑1）。

圖4的延遲電路410–2插入在圖2的第二光檢測器電路120–2和第二路徑選擇器240–2之間。因此，模擬檢測信號12–2或A2耦合到延遲電路410–2的輸入，并且延遲電路410-2的輸出信號41–2或A2D耦合到第一路徑選擇器240–1的第二輸入（路徑1）和第二路徑選擇器240-2的第一輸入（路徑0）。

在操作上，延遲電路410–1和410–2被配置為在飽和檢測器評估信號之前延遲路徑選擇器的輸入信號的變化。這保證了飽和檢測器將在路徑選擇器將其選擇的路徑耦合到加法器250的輸入之前選擇路徑。

例如，如果飽和檢測器230–2通過模擬檢測信號12–2或A2超過閾值信號（例如，A2＞VREF2）檢測到鏡面反射，則路徑選擇器240–2將在模擬檢測信號12-2或A2到達(dá)延遲410–2的輸出信號41–2之前從路徑0變?yōu)槁窂?，從而防止信號轉(zhuǎn)換耦合到加法器B2的輸入。

響應(yīng)于來自控制器電路420的一個或多個控制信號D1或D2，延遲電路310–1和410–2可以可選地調(diào)整延遲量?？赡苄枰{(diào)整延遲時間，以確保在沒有任何過度延遲的情況下進(jìn)行適當(dāng)?shù)男阅?。此外，一個方向上的延遲時間（例如，從0->1轉(zhuǎn)變）可以不同于另一方向上的時間（例如從1->0轉(zhuǎn)變）。

如放大器210–1和210–2所示，光學(xué)檢測器電路120–1和120–2中可能包含放大器。放大器可以可選地響應(yīng)于來自控制器電路420的一個或多個控制信號G1或G2來調(diào)整增益量。通過校準(zhǔn)每個光學(xué)檢測器電路120–1和120–2的信號增益，可能需要調(diào)整增益以確保適當(dāng)?shù)男阅堋?/p>

圖5示出了例如圖4的系統(tǒng)400的示例性眼睛跟蹤成像器系統(tǒng)中的示例性信號500的曲線圖。示例圖顯示了信號A1、A1D、A2、A2D、B1、S1和S2。

如圖所示，來自飽和檢測器的選擇信號S1和S2最初值較低，信號B1最初對應(yīng)于信號A1，信號A1是光學(xué)檢測器電路120–1的輸出12–1。在時間t0，信號A1超過閾值電壓（A1＞VREF1），這表明信號A1由于鏡面反射而飽和。然而，此時信號A2低于飽和檢測閾值（A22），這表明信號A2沒有飽和。

在從時間t0起的小延遲時間（x）之后，選擇器信號S1從低信號（邏輯0）轉(zhuǎn)變?yōu)楦咝盘枺ㄟ壿?），第一路徑選擇器240-1將所選路徑從路徑0改變?yōu)槁窂?。一旦選擇了路徑1，光檢測器電路120–2的輸出端12–2或A2通過路徑選擇器240–1耦合到加法器150的輸入端的信號B1。

然而，信號A1和A2被延遲電路410–1和410–2延遲了第一個量（即，Delay1＞x，t1＝t0+Delay1），因此，到路徑1的切換路徑路徑0在時間t1之前完成，因此到加法器150的輸入B1沒有達(dá)到飽和，并且保持了信號完整性。

在時間t2，信號A1下降到閾值電壓VREF1以下用于飽和檢測，并且在另一延遲（y）之后，選擇器信號S1從高信號（邏輯1）轉(zhuǎn)變回低信號（邏輯0）。在該示例中，閾值跨越（A11）之后的延遲再次長于將路徑從路徑1切換回路徑0的延遲（即，延遲2＞y，并且t3＝t2+延遲2）。

圖6示出了又一示例成像器系統(tǒng)600的局部視圖。系統(tǒng)600包括光學(xué)檢測器電路120–1和飽和檢測器230–1；它們基本上類似于針對圖1至圖4描述的系統(tǒng)。然而，系統(tǒng)600示出了具有N個光學(xué)檢測器電路210–1:N（每個顯示為具有可選放大器210–1:N），以及N個飽和檢測器230–1:N的陣列實(shí)現(xiàn)；并產(chǎn)生模擬檢測信號12–1:N和N個選擇信號S1:N。

圖6同時包括信號組合器610，其包括解碼器邏輯611、2-1多路復(fù)用器612的陣列和加法器613。2-1復(fù)用器612中的每一個配置為從兩個不同的光學(xué)檢測器電路接收一對輸入，如圖2中所示。所有多路復(fù)用器的輸出由加法器613組合。

多路復(fù)用器612中的每一個的第一輸入耦合到光學(xué)檢測器電路120–1:N中的相應(yīng)一個的輸出。

例如，第一光學(xué)檢測器電路120-1的輸出耦合到多路復(fù)用器612中的第一個的第一輸入，第二光學(xué)檢測器電路120–2的輸出耦合至多路復(fù)用器614中的第二個的第一輸出，并且第N光學(xué)檢測器電路1201-N的輸出耦合耦合到多路轉(zhuǎn)換器612中第N個的第一個輸入。

多路復(fù)用器612中的每一個的第二輸入耦合到其他光學(xué)檢測器電路中的一個。例如，第一多路復(fù)用器的第二輸入可以對應(yīng)于光學(xué)檢測器電路120–2:N之一的輸出；而第二多路復(fù)用器的第二輸入可以對應(yīng)于光學(xué)檢測器電路120–1、120–3:N之一的輸出。

多路復(fù)用器的第一和第二輸入的選擇可以優(yōu)選地是合理接近的光學(xué)檢測器電路，因為相鄰光學(xué)檢測器之間的信號電平在總體幅度上可能更接近。

考慮到掃描極不可能發(fā)生一次以上的鏡面反射，相鄰對應(yīng)該能夠提供改進(jìn)的信號電平，因為鏡面反射將被飽和檢測器拒絕。解碼器邏輯從飽和檢測器S1:N接收各種輸入，并為每個多路復(fù)用器612產(chǎn)生控制信號。因此，來自每個多路復(fù)用器的路徑將基于優(yōu)選低于相應(yīng)飽和檢測器的飽和閾值的信號來選擇，從而促進(jìn)來自光學(xué)檢測器電路（120–1:N）的非飽和信號由加法器613求和。

加法器613的輸出可以再次耦合到ADC電路，或者可選地耦合到濾波器620和/或增益級630。如前所述，可以利用來自加法器的輸出信號的增益和/或濾波來改善ADC的信號的信噪比。

通過上述方式，專利描述的眼動追蹤成像器可以減輕飽和。

相關(guān)專利：

Microsoft Patent | Eye tracking imager with gated detectors receiving a specular reflection

https://www.nweon.com/

名為“Eye tracking imager with gated detectors receiving a specular reflection”的微軟專利申請最初在2021年6月提交，并在日前由美國專利商標(biāo)局公布。

關(guān)鍵詞： 微軟專利提出改善AR/VR眼動追蹤的環(huán)境光反射或鏡面光干擾