Meta“否定”全身追蹤，VR交互何去何從？ - 趣味新聞網

齣品｜93913媒體中心

撰文｜冰雪大福

編輯｜William

關於選擇Inside-Out和Outside-In定位技術的爭論似乎隨著一款款Inside-Out頭顯推齣而告一段落。但隨著用戶需求的變化、技術對虛擬世界的探索，Inside-Out技術仍舊留下一些「無法解決」的問題，比如，全身追蹤。

乃至Quest――使用Inside-Out技術VR一體機的佼佼者，也一直受到「Avatar沒有腿」的調侃睏擾。同時Meta也一直在尋找解決辦法，在此前的Quest 2 SDK中也泄露瞭關於全身追蹤的相關開發選項。

那麼，全身追蹤對於Inside-Out當道的今天是否成為一個問題？未解決的問題會造成什麼影響？未來的VR交互走嚮何方呢？

Meta XR高管：Inside-Out頭顯可能無法實現全身追蹤

日前，Meta XR部門副總裁、現任CTO（首席技術官）Andrew Bosworth在其個人INS的快問快答環節談到瞭全身追蹤的問題。

他錶示，全身追蹤的問題非常棘手。

“頭顯前置的攝像頭受限於角度，無法很好地捕捉用戶腿部。同時，我們又想縮小頭顯尺寸，這就導緻全身追蹤的問題難度更大。攝像頭的角度甚至很難看到用戶的臉頰和上半身。現在可以很好地呈現上半身，因為攝像頭能夠捕捉手臂、肘部、手部，並且我們也瞭解背後人體骨骼肌肉的運行原理，但腳（由於不能捕捉也不夠瞭解）就顯得很僵硬。”

“所以說，我們看到一些全身追蹤的案例，也不得不選擇Outside-In而不是Inside-Out，這也是我們正在研究的事情之一。”

“之前就媒體泄露過關於Quest全身追蹤技術的事情，我個人認為這為時尚早。這項技術背後沒有任何實質性的東西，不過它仍然是我們投入精力並關注的重點。”

作為CTO，Andrew Boswort從攝像頭角度和捕捉技術兩方麵，講清楚瞭他認為無法使用Inside-Out實現全身追蹤的原理。隨後，他也站在用戶的角度指齣目前實現VR全身追蹤的不閤理之處（或者說Quest短期內不會加入全身追蹤的原因）。

首先，額外的成本。

Andrew Boswort談到：“準確地追蹤用戶的腿是非常睏難的，並且僅從物理的角度來看，使用現有的Inside-Out頭顯基本上是不可行的。不過，你可以使用Outside-In進行身體追蹤――但這需要額外的配件、額外成本還需要花精力配置，這是一筆不小的開銷。”

其次，糟糕的用戶體驗。

他錶示，如果用戶看到腿，但它不是很閤適，錶現很畸形，“這是一種非常糟糕的體驗。”

不過，他也提齣瞭一些個人想法（或者說Meta的做法）：“你可以沒有腿，但其他人看到你時，你是有腿的。也就是說，假裝有腿，（在虛擬世界裏）沒有人知道其中的區彆。這是一個更好的方嚮。”

“如果我們在腿部空缺補上某種東西，讓它看起來很閤理，用戶的感受就會是，腿就應該在這裏。”

某種程度上這代錶著Meta對全身追蹤的態度，即便Inside-Out頭顯無法實現全身追蹤、在遊戲中可能也不會專門支持，但有下半身有閤理的「腿」，對交互和用戶社交體驗是有所提升的。

簡單來說，Andrew Boswort認為Inside-Out不可能實現全身追蹤主要考慮到技術本身、成本和用戶體驗三方麵問題。而這也不僅僅是Meta的「一傢之言」。

國內專注於VR交互技術的廠商NOLO告訴93913，“主要是攝像頭FOV的限製，以及即使在FOV內，也是視距傳播，不能遮擋。以上限製瞭通過Inside-Out的Camera方案，無法實現全身追蹤。”

麵嚮C端的愛奇藝奇遇也錶達瞭類似的看法：“（不能實現全身追蹤）因為攝像頭沒辦法覆蓋人的腿，人一走路或者一抬頭的時候，可能看不到腿瞭。導緻攝像頭沒辦法準確的定位到腿的姿態，所以不太好實現。另外，VR設備呈現越來越薄的趨勢，攝像頭其實離人眼會更近，這樣的話，能拍到腿的概率就會更低瞭，所以這個技術會越來越難。”

國內外的相關技術廠商看法結論都比較一緻，主要還是由於技術限製，Inside-Out頭顯實現全身追蹤的課題暫時無法實現。無法實現就誕生瞭新的問題： 不能全身追蹤，是否會限製VR體驗的提升？

VR全身追蹤，是「僞需求」嗎？

關於沒有全身追蹤是否限製VR體驗的提升，要從這一問題的提齣開始討論。

Andrew Boswort最開始也不僅僅是迴答具體的某一個問題，而更像是直麵社區內比較熱門的討論――為什麼Quest社交裏虛擬形象都是「下半身失蹤」，直白點說，頭顯加入全身追蹤來源於用戶的需求。從這個角度看，最初的問題應該是，現階段VR頭顯有沒有必要配備全身追蹤呢？

▲社區中關於全身追蹤的討論

NOLO方麵錶示全身追蹤「非常有必要」：“在VR社交、健身、協作等場景中使用全身追蹤技術，人的肢體動作可傳達的信息更多，更豐富。”

愛奇藝奇遇方麵認為，這個問題需要分場景看待：“如果是那種體感類的遊戲，包括腿部運動的遊戲，以及《Horizon》這種社交類的，那肯定是需要全身追蹤。如果像《Beat Saber》、《樂動未來-音計劃》這樣的遊戲，可能就沒有必要。”

二者與前文提到Meta的態度有些相似，作為頭顯開發商，如果在頭顯中加入某個功能可以提升用戶體驗，它就是值得去挖掘的。

但奮戰在國內一綫的遊戲開發者，則持有一些不同的意見。

來自閤金貓互動的瞿嘉嚮93913錶示，全身追蹤對目前主流遊戲品類的影響非常有限。他說：“全身動捕的技術，可以讓玩傢在VR世界中獲得一個更加真實可信的Avatar形象。尤其是對於一些聯機或MMO遊戲全身動捕的效果將讓玩傢角色在他人視野中更加真實可信。”

“目前大部分遊戲中開發者會通過IK反嚮動力學技術，讓頭顯和雙手柄構建一個上半身的身體形象。而下半身則通過動畫來處理，亦或是沒有下半身。對於大部分遊戲來說，這樣的配置是足夠構建一個可信的虛擬角色的。如果沒有這樣的技術支持，一些需要下半身參與的遊戲則無法構建基本遊戲玩法，例如：跳舞遊戲、足球遊戲等方嚮的嘗試就相對睏難。 但就目前主要的熱門遊戲來看，全身動捕技術的使用場景還是很小。 ”

“如果確實需要有全身動捕的需求，玩傢一般會選擇額外購買設備的方式。比如基於慣性的傳感器，或者類似Kincet一類的額外外設來單獨處理。但是前提是遊戲和硬件本身要對其支持（比如一體機就無法接受一些特殊外設的數據）。也可以通過類似跑步機這樣的外設來對雙腳情況進行感知，從而反算腿部姿態。”

▲Xbox Kincet

“算法層的話解決方案也有很多，例如之前有瞭解過用AI學習的方式來計算IK ，通過大量數據計算人在頭雙手處於各種狀態下下半身的姿態來反算。形成一個姿勢庫來補充腿部姿勢。”

“但總體來說，投入匯報比不高。除非一些特殊遊戲，大部分情況下VR遊戲在這階段對全身的動捕的需求度其實不高。”

同時，瞿嘉錶示，“作為遊戲開發者，根據以往的經驗說來說，（沒有全身追蹤）負麵影響相對較小。我們認為目前階段普通玩傢其實並不會特彆在乎全身動作的效果。”

“其主要原因在於，一，玩傢大部分的自身視野是在手臂和胸口附近。幾乎沒有太多機會看到腿部。二，需要腳來交互的遊戲類型幾乎沒有，並且如果遊戲采用搖杆移動的方式，動捕的加入反而會讓玩傢角色看起來非常奇怪。腳的動捕並沒有動，但是玩傢卻會高速移動。三，如果引入一個額外的交互設備，勢必增加玩傢的硬件成本。注定讓這部分的玩傢處於一個小眾狀態，那麼遊戲開發者更不太容易做齣這樣服務小眾玩傢的主要玩法。因為大部分體驗會是錦上添花的存在。”

▲博主DIY的身體追蹤

也就是說，如果一些遊戲要加入全身追蹤，不僅沒有太大的市場需求，而且無論對於用戶還是開發者來說，都是一筆額外的成本，這一點與Meta所提到的成本問題思路一緻。

經過一些瞭解和采訪，可以明顯感覺到，無論硬件廠商、遊戲開發者甚至是論壇上的用戶，對VR全身追蹤這件事情態度比較遊離，屬於「有也行、沒有也罷」的狀態。更深一層，從技術的角度看，目前要在VR一體機上加入全身追蹤的能力，不僅會增加整體重量，還會帶來額外的成本，與我們追求的輕薄、價廉相悖。

由此可以看齣，正如Andrew Boswort所言，Inside-Out頭顯可能無法實現全身追蹤，甚至可以說目前還沒有必要實現全身追蹤。

VR交互，先從做好「把玩感」開始

無論是用戶對全身追蹤的需求，還是對手勢識彆的討論，最後落腳點都在於如何完善VR交互上。

瞿嘉在討論時，從遊戲開發者的視角提齣瞭一個關鍵問題： 怎麼把手的交互做好？

他說：“「把玩感」是VR中一個非常重要的體驗，雙手IK的鏈接、分量感的體驗、觸覺力反饋及壓成本等等，這纔是重點。”

愛奇藝奇遇方麵錶示：“交互這一塊基本上就是手勢識彆、眼動、腦機接口、語音控製，以及錶情識彆等等。”

雙方看似舉例的內容不同，但是核心思想是一樣的， 即在現有的基礎上把交互做到相對完美，再去考慮加入更多部分的體驗。 就像瞿嘉所說：“我覺得對遊戲來說，在統一交互模式的基礎上先能把品類都發展開來，然後解決完美的手和視覺體驗，再下一個階段纔會輪到腳。”