眼動追蹤及相關(guān)的注視點渲染越發(fā)成為AR/VR頭顯的標(biāo)配。簡單來說，我們?nèi)搜蹖ψ⒁朁c區(qū)域的敏銳度最高，而外圍視場則比較模糊。利用這一特點，我們可以追蹤用戶眼睛的注視點位置，然后集中渲染注視點區(qū)域，并降低外圍視場的渲染性能。這可以有效提高能效并幫助實現(xiàn)更高的刷新率。

　　但在使用注視點渲染時，如果眼動追蹤失靈并造成眼動追蹤數(shù)據(jù)輸入丟失，系統(tǒng)應(yīng)該如何應(yīng)對呢?日前美國專利商標(biāo)局公布了一份名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請，而這份文件主要介紹了注視點顯示器應(yīng)對眼動追蹤輸入數(shù)據(jù)丟失的緩沖方法，尤其是針對動態(tài)注視點渲染。

　　所述發(fā)明涉及用于注視點內(nèi)容(如動態(tài)注視點內(nèi)容)的恢復(fù)技術(shù)。蘋果解釋道，對于注視點內(nèi)容，圖像的特定方面(例如細節(jié)量、分辨率、圖像質(zhì)量或亮度)可以基于用戶眼睛注視點之于顯示器的位置進行改變，例如最優(yōu)化用戶注視區(qū)域的圖像質(zhì)量，并降低外圍區(qū)域的圖像質(zhì)量，從而減少電子顯示器顯示內(nèi)容的功率量、用于生成內(nèi)容的計算量以及用于流式顯示內(nèi)容的帶寬量。

　　對于靜態(tài)注視點渲染，對于向用戶顯示的每一幀內(nèi)容，顯示器固定地為各個區(qū)域分配不同的分辨率。對于動態(tài)注視點渲染，顯示器將動態(tài)地根據(jù)用戶注視點的變化而而改變不同區(qū)域的分辨率。

　　所以對于動態(tài)注視點渲染，在蘋果描述的一個實施例中，電子設(shè)備可以包括配置成向用戶顯示內(nèi)容的顯示器系統(tǒng)，配置成追蹤用戶眼睛注視點的眼動追蹤器系統(tǒng)，配置成確定顯示器高分辨率區(qū)域大小和位置的注視點系統(tǒng)，以及用于改變顯示區(qū)域圖像質(zhì)量的處理電路。

　　在一個實施例中，將來自眼動追蹤系統(tǒng)的連續(xù)輸入提供給注視點系統(tǒng)，并用于確定顯示器高分辨率區(qū)域的大小和位置。這時，處理電路可以響應(yīng)高分辨率區(qū)域的大小和位置致使顯示器執(zhí)行相應(yīng)操作，亦即在對應(yīng)于注視點位置的顯示器區(qū)域以高分辨率顯示圖像，并且注視點區(qū)域以外的外圍區(qū)域以較低分辨率顯示圖像。

　　如果眼動追蹤系統(tǒng)不能確定用戶眼睛的注視點，或者如果與眼動追蹤系統(tǒng)的連接中斷，則動態(tài)注視點渲染會失靈，亦即高分辨率圖像顯示區(qū)域不能再對應(yīng)于用戶的眼睛注視，從而可能減損用戶體驗質(zhì)量。

　　針對這個問題，處理電路可以改變注視點區(qū)域的一個或多個方面(例如大小和分辨率等)，以應(yīng)對眼動追蹤數(shù)據(jù)的丟失，直到滿足閾值。隨著時間的推移，由于失去了眼動追蹤數(shù)據(jù)，注視點區(qū)域向顯示器的中心區(qū)域移動。換句話說，如果出現(xiàn)眼動追蹤數(shù)據(jù)丟失，系統(tǒng)可以擴大注視點區(qū)域，亦即擴大高分辨率顯示區(qū)域的大小(甚至整個顯示器完全采取高分辨率顯示)，并且同時將高分辨率顯示區(qū)域向顯示器的中心區(qū)域移動，以這種方式來暫時應(yīng)對眼動追蹤數(shù)據(jù)輸入的丟失，直至眼動追蹤輸入的恢復(fù)。

　　圖7A是表示利用靜態(tài)注視點渲染的示例。在靜態(tài)注視點渲染，電子顯示器的各分辨率區(qū)域保持固定的大小和位置。如圖所示，電子顯示器18包括高分辨率區(qū)域62、中分辨率區(qū)域64和低分辨率區(qū)域66。

　　作為一個示例，低分辨率區(qū)域66的分辨率可以是約10像素/度(ppd)，中分辨率區(qū)域64的分辨率可以是約20 ppd，高分辨率區(qū)域62的分辨率可以是約40 ppd。

　　圖7B是動態(tài)注視點渲染的示例。圖70包括第一框72、第二框74和第三框76，每個框具有高分辨率區(qū)域78、中等分辨率區(qū)域80和低分辨率區(qū)域82。第一框72、第二框74和第三框76各自可以表示單個內(nèi)容框的不同部分(即單個圖像的不同部分)，或者各自可以表示連續(xù)內(nèi)容幀的不同內(nèi)容幀。

　　框72、74、76基于用戶眼睛注視點而移動到電子顯示器18的不同位置。在從第一框72到第二框74的轉(zhuǎn)換期間，亦即當(dāng)用戶眼睛注視點從第一框72的位置移動到第二框74的位置時，高分辨率區(qū)域78和中分辨率區(qū)域80從電子顯示器18的左下角附近移動到電子顯示器18的上中位置，以此類推。

　　圖10A是具有中等分辨率區(qū)域102和高分辨率區(qū)域104的電子顯示器18。高分辨率區(qū)域104和中分辨率區(qū)域102位于低分辨率區(qū)域100內(nèi)。高分辨率區(qū)域104和中分辨率區(qū)域102以用戶眼睛注視點106為中心。

　　圖10B是根據(jù)用戶眼睛注視點106在電子顯示器18的移動而移動中分辨率區(qū)域102和高分辨率區(qū)域104。換句話說，當(dāng)用戶眼睛注視點106遠離電子顯示器18的中心時，中分辨率區(qū)域102和高分辨率區(qū)域104各自以箭頭108指示的相同速度在相同方向移動。只要眼睛注視點106保持相同的方向和速度，中等和高分辨率區(qū)域102、104將保持相同的方向和速度。如果改變方向或速度，則中分辨率區(qū)域和高分辨率區(qū)域102、104以改變成相同的方向或速度以基本相同。

　　圖10C是針對注視點追蹤丟失的一個響應(yīng)示例。為了指示眼動追蹤數(shù)據(jù)的丟失，圖10C中沒有示出用戶眼睛的注視點106。當(dāng)發(fā)生眼動追蹤丟失時，中等分辨率區(qū)域102的大小和高分辨率區(qū)域104的大小在注視點106的最后已知位置附近增加。中分辨率區(qū)域和高分辨率區(qū)域102、104的移動可在注視點106的最后已知位置停止，亦即不再移動。在特定情況下，中分辨率區(qū)域102和高分辨率區(qū)域104的大小成比例地增加，甚至完全覆蓋顯示器的所有區(qū)域。

　　在另一種情況中，為了減少處理量，當(dāng)發(fā)生眼動追蹤丟失時，可以減少高分辨率區(qū)域的大小，而轉(zhuǎn)而增加中分辨率區(qū)域的大小，甚至將中分辨率區(qū)域的大小完全覆蓋顯示器的所有區(qū)域。

　　圖12A是具有布置在低分辨率區(qū)域100內(nèi)的中分辨率區(qū)域102和高分辨率區(qū)域104的電子顯示器18。高分辨率區(qū)域104和中分辨率區(qū)域102以電子顯示器18的用戶眼睛注視點106為中心。

　　在圖12B中，眼睛注視點在電子顯示器18沿著箭頭140移動，而中等分辨率和高分辨率區(qū)域102、104同樣沿箭頭140的方向移動。中分辨率和高分辨率區(qū)域102、104的移動速度可以與注視點106的速度相同。

　　在圖12C中，當(dāng)發(fā)生眼動追蹤丟失時，中分辨率區(qū)域102的大小開始增大，而高分辨率區(qū)域104的大小或分辨率則開始減小。對于這種方式，盡管處理能力因中分辨率區(qū)域的增加而增加，但同時可以通過高分辨率區(qū)域104的大小或分辨率減少而減少。

　　相關(guān)專利：Apple Patent | Recovery from eye-tracking loss in foveated displays

　　名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請最初在2021年2月提交，并在日前由美國專利商標(biāo)局公布。需要注意的是，這只是一份發(fā)明，不確定蘋果是否會或于何時將其應(yīng)用于頭顯產(chǎn)品。另外，不清楚實際的應(yīng)用效果。