紮剋伯格在訪談中曾指齣下一代Quest的重點是麵部和眼球追蹤技術 Project Cambria也將配備眼球追蹤技術。盡管如此 Meta眼球追蹤研究：采用事件相機，采樣率可達kHz級 - 趣味新聞網

紮剋伯格在訪談中曾指齣下一代Quest的重點是麵部和眼球追蹤技術，Project Cambria也將配備眼球追蹤技術。盡管如此，眼球追蹤依然是Meta需要解決的一大研發難題，這項技術在普遍適用性、延遲、準確性等方麵都存在挑戰。

從Meta Reality Labs公布的最新論文來看，其正在探索一種基於事件相機的眼球追蹤方案。那麼什麼是事件相機呢？它的英文名為Event Camera，是近幾年來齣現的相機技術。

事件相機與傳統相機的數據迴傳格式不同，它采用一種異步的通訊方式，也就是說設備之間的時鍾不同步，事件相機不是事實迴傳捕捉到的數據，而是在捕捉到亮度等像素變化（事件）時，纔會迴傳數據。

簡單來講，事件相機類似於人眼的工作原理，主要功能是捕捉物體的變化或運動。

Meta指齣，事件相機可以低功率運行，響應延遲可降低至微秒級。這些特性有望解決現有眼球追蹤技術在實時性、功耗上的局限，甚至有望帶來適閤AR/VR頭顯等移動設備的眼球追蹤技術。

關於Meta眼球追蹤方案

目前，眼球追蹤係統常見的設計是采用閃爍的燈光照亮角膜來捕捉數據，這種方案隻需要稀疏的數據即可運行。這說明眼球追蹤係統的采樣率不需要非常高，因此科研人員預計即使用事件相機也足夠，盡管事件相機在捕捉到運動時纔拍照，但隻要捕捉到關鍵數據，也能計算齣眼球變化。

該方案與傳統眼球追蹤技術最大的區彆是，它沒有固定的采樣率，也不是對所有像素采樣，而是主要迴傳像素亮度的變化數據（帶有時間信息），在變化産生時纔會采樣。盡管采集的數據較少，但準確性和效率足夠好。

事件相機的另一個優勢是具有高動態範圍（≈120dB），幾乎沒有運動模糊，而且比傳統相機功率更低，延遲可低至亞毫秒級彆。

Meta錶示：這是首個完全基於事件的角膜閃爍/眼球追蹤方案。其原理是，光源照在眼角膜上，産生的反射光進入圖像傳感器中，顯示為可見的數據。這些數據可以用於定位角膜的運動，從而預測注視點。

加密的差彆照明

科研人員指齣，眼睛通常由兩種錶麵組成：1）像鏡麵一樣的角膜，可對光源産生鏡麵反射；2）皮膚、虹膜和鞏膜等朗伯錶麵，它們會漫反射光綫。

在追蹤眼球過程中，為瞭避免光源照到皮膚、虹膜、鞏膜等其他部位而産生誤差，該方案采用的每個光源都有配套的補償光係統，以保持總亮度不變。在不影響角膜的鏡麵反射的情況下，抑製瞭場景漫反射産生的事件。

為此，Meta設計瞭名為“加密的差彆照明”（Coded Differential Lighting）的照明方案，特點是可增強鏡麵反射事件，同時抑製其他事件，而且在事件觸發時纔閃爍，在標準硬件上的采樣率為kHz級。

該方案采用雙LED光源，可提升角膜鏡麵反射檢測的效率、準確性。為瞭照到光源和角膜反光/閃爍的對應關係，其采用二進製模式，讓光源脈衝在兩個周期運行。

通常，眼球追蹤方案采用高速率閃爍的光源。然而，由閃爍光源照亮的場景通常會使事件相機器飽和，讓整個場景都齣現亮度變化。因此，科研人員讓兩個LED燈切換閃爍，而不是閃爍單個光，目的是保持整體照明大緻恒定。

他們還發現，LED燈之間的最佳距離距離是在眼球反光點剛好接觸而不重疊的點處。LED燈距離近時，兩個閃爍在它們相交的地方抵消，導緻淨亮度變化為零，並減少閃爍的有效頻率。

解決瞭哪些問題

Meta指齣，眼球追蹤是AR/VR頭顯的一項關鍵功能，它可以豐富用戶之間的交互，同時也可以實現動態注視點渲染效果，提升AR/VR視覺觀感。此外，也可以用於實驗、醫療、培訓等場景，通過使用者的眼球運動數據來進行分析。可變焦顯示係統、焦麵顯示係統也眼球追蹤功能來實現變焦。

應用在AR/VR頭顯中，眼球追蹤係統需要保證低功耗的，纔能延長續航、降低熱量産生。同時，也需要支持高采樣率，比如在用戶身份驗證場景中，采樣率需高達1kHz。

目前，市麵上許多視頻眼球追蹤係統基於瞳孔角膜反射原理（PCCR），通常是在眼球上照射紅外光，並捕捉角膜上鏡麵反射迴的光綫位置/角度，來預估角膜的中心位置，以及瞳孔（暗黑橢圓形）的位置。接著，通過瞳孔中心和角膜中心的距離來計算注視點方嚮。

相比之下，Meta的方案更省電，每個LED的功耗約5mW，在低功率下也可以實現亞像素級精度。如果將廣角的LED換成對準眼球的位置，性能會進一步提升。而事件相機功耗則為10mW左右，整個傳感器功耗約為35mW。與此同時，事件相機的采樣率可達到1kHz，可捕捉到眼球的細微變化。參考：scontent