這篇來談點專業一點的內容 講的是近來話題正夯的VR技術 VR技術當前碰到最大的問題 - 顯示落差延遲反應的原因和解法 - 趣味新聞網

發表日期 2016-03-28T11:01:24+08:00

     這篇來談點專業一點的內容，講的是近來話題正夯的VR技術，消費者接觸時常會碰到的一個問題 - 畫麵延遲
透過VR大廠Oculus首席科學傢John Carmack來解釋前因後果，文章如下:



延遲的角度來看，VR 技術是一項最需要「人在環中（Human-In-Loop）」的應用。對於現階段的 VR 體驗而言，最重要的是用戶頭部物理移動與 HMD(頭戴顯示器) 上即時刷新顯示畫麵到達用戶眼睛之間的延遲時間。人類的感官係統在一定範圍內能感知到視覺和聽覺中相對較小的延遲，但是當絕對延遲控製大約 20ms 以內的時候，這些延遲幾乎就不可察覺瞭。然而目前互動式 3D 係統造成的延遲要比這個數字高上幾倍，但如果不斷調教同一組硬體設備的話我們終究會滿足要求。


▲John Carmack  Oculus首席科學傢


延遲問題是 Oculus VR 目前所麵對的最主要問題，當然這也是當前所有 VR 裝置需要解決的主要問題。延遲絕對會影響到玩傢的體驗感受，也能夠造成玩傢的嘔吐和不適應，所以找齣造成這一問題的所在和解決方法是十分重要的。

為什麼會有延遲？
整個係統的延遲控製在 50ms 就會感覺相對不錯，但還是能感覺到。當延遲低於 20ms，人就無法感知齣來瞭，這可以說是 VR 最佳體驗的標準。

信號傳遞有延遲
預測傳感器數據可以被用於減緩一些係統延遲，但即使是最精準的人類頭部移動模型，在用戶實際使用的時候，還是會有預測不準的時候。
硬體間濾波和通訊所帶來的延遲是持續存在的，但大多數傳感器不同步的頻率刷新會引入瞭一個可變延遲，或者說當渲染的幀率FPS與傳感器的刷新率兩者不同的時候，也會再造成延遲的不規律波動。

螢幕顯示刷新有延遲
早期的 LCD 螢幕在畫麵滾動和變化的時候，因會有幾十毫秒的殘影而飽受詬病，但在過去二十年裏，這一技術有瞭長足的進步。LCD 每一個像素點的轉換時間取決於色彩變化的程度，一塊優秀的麵闆的轉換時間能控製在大約 10ms 之內，而為 3D 顯示和遊戲而優化過的顯示器更還能再減少一半左右的切換時間。
一些不常見的顯示技術比 LCD 麵闆的刷新速度更高；OLED 子像素的刷新時間低於 1ms，而次世代的激光顯示器更達到和 CRT 反應一樣即時。
另一個不易察覺的延遲是：大多數顯示器是逐行顯示圖像的，而顯示器的圖像是從計算機裏讀取的，但由於計算機自身的原因，會導緻幀率為 60fps 顯示器上，屏幕底部的畫麵要比頂部的刷新時間慢16ms 左右。
在靜止的螢幕上，這根本算不上問題。然而在 頭戴顯示器(HMD) 裏，因為源圖像是即時渲染齣的，但不同的部分顯示在屏幕上的時間是不同的，所以它可能造成圖像的左邊或右邊被裁剪掉；或轉動頭部時，圖像齣現晃動。這個效應在使用 LCD 屏幕的 HMD 上不易察覺，但在刷新更快的 OLED 屏幕的 HMD 上卻更容易顯現齣來。

如何降低延遲？

雙 GPU 立體渲染可降延遲
立體渲染降低延遲的一個誘人的解決方案是：將圖形處理係統分拆成兩個，並分彆配備一個 GPU，每個 GPU 隻需單獨渲染一隻眼睛的圖像，這樣可以達到最佳的性能錶現和最低的延遲，其代價是要求設備能夠管理兩個相互獨立的渲染內容的緩存。
但它的問題是如果設備無法維持兩個 GPU 的緩存，設備的效能會下降無法發揮齣來，而且最壞狀況在緩存過載的情況下，還會導緻幀率更嚴重地下降。

閤理安排數據採樣
大多數模擬輸入的任務不直接依賴於用戶的輸入數據，換而言之，這一數據的輸入對一幀的延遲並不敏感。如果在需要用戶輸入的數據時採樣，而不是在一開始就離綫緩存輸入數據，則能減少總體的延遲。（這種方法被稱之為 late frame scheduling，延遲幀調度）
late frame scheduling 也是一種解決方案，但其缺點在於它使得調度需求非常緊湊 - 通常的情況下，late frame scheduling 需要一定的時間，並會造成電力浪費。不過如果你的幀率是由視頻迴掃決定的，而不是隨機讀取視頻片段，那麼通過圖片驅動輔助確定目前需要掃描輸齣的準確位置，也會有助於降低延遲。

避免渲染全部重新編碼
另一個與 late frame scheduling 一樣，可以降低延遲的方法是：允許渲染編碼根據底層的遊戲編碼，以及用戶輸入的最新樣本，修正輸入到渲染編碼中的參數（這種方法稱之為 View bypass）。對比用戶前後輸入樣本，設備可以確定齣哪一個是用戶輸入的變量。而變量可以被用於修正遊戲提交給渲染編碼的視覺矩陣。
這種變量處理的方式可以最小化處理的復雜程度，不過遊戲中也經常會有無需用戶輸入的渲染場景，比如經典鏡頭的剪輯或者玩傢死亡的情形。一個為 VR 而生的遊戲應該是否應該避免這樣的情形尚有爭議，因為在 HMD 裏一個無法響應的視角是會讓人感到迷惑或者不快，但在傳統遊戲設定裏會有很多這樣的場景，這樣的場景很常見。

閤理安排每一幀的渲染時間
如果我們能知道渲染一幀具體需要花費多長時間，那麼一些額外的延遲可以通過整個渲染任務的 late frame scheduling 來節省下來，但這顯然非常不切實際，因為渲染時間難以預估。但渲染好的圖像後是可以往後安排處理任務的，並且能爭取到一段可預測的時間，從而使得 late fram scheduling 更容易。（這一方法被稱之為 time warp）
繪製齣一副高質量的圖像之後（使用過 View bypass），這幅圖像不是直接呈現齣來，而是讓開發者繼續抓取用戶輸入的最新的數據，生成更新的視覺參數，然後計算齣與輸入數據相匹配的已渲染圖像需要變形成什麼樣，放置在什麼位置。經過這一次轉換之後，渲染變形後的圖像能與與用戶實際操作後應該看到的圖像更相符。

三種方案閤體，突破「最低延遲」
「view bypass」和「time warping」是兩種互補的技術，它們既可以單獨使用，也能夠共同使用。time warping 可以將來源顯示畫麵的任意時間和位置變形成另一個，但是由於盡可能使用最新渲染齣的圖像，內部視差和屏幕邊緣的細節會丟失，而 view bypass 渲染則可以幫助提供這部分細節。
動作狀態改變的操作，比如按下開關或者扣動扳機，通過綫纜傳輸信號，延遲依然隻能控製到大概在32-48ms 之間，但不可能低於使用過 view bypass 技術的 16-32ms 延遲。
通過 bypass 的優化，關鍵的頭部轉動反饋在 60hz 的屏幕刷新率下，延遲能夠保證控製在 2-18ms之間。如果結閤低延時傳感器和屏幕，人們甚至覺察不到延時。連續不斷的 time warp 有可能將延遲降到 3ms 以下，這可能踏入人類和計算機都未曾探索過的領域。

跳齣VR，新技術依然作用強大
傳統的電腦交互界麵大體上都沒有 VR 所需的那麼低的延遲，但是敏感的用戶能夠感覺齣 20ms 或更低延遲之間的差異，這使得這項技術還能被用於 VR 之外的領域。
一個比較有趣的應用場景是 綫上遊戲 ——用戶通過簡單的客服端或者應用發送至遠程伺服器，然後伺服器持續不斷地迴傳遊戲的接下來該進行的畫麵狀態。這能給予用戶難以想象的便利 - 但是由於受到網絡和壓縮延遲的限製，這也降低瞭遊戲的體驗。
View bypass 和 time warping 兩者也能在服務器中起到作用，幫助減少由網絡造成的很大一部分延遲。如果綫上遊戲客戶端能設計的足夠精巧，那麼 time warping 完全可以儲存在本地客戶端硬體主機內，但是它可能會明智地將減少的總延遲時間控製在 30-40ms 之間，避免與源圖像之間差異過大。


譯文來源：網易

分享鏈接