此前我們能想到的就是物理追蹤方案,從光學marker,到深度相機,再到基于RGB相機的骨骼動作識別方案等等。

實際上,實現腿部、腳部等下肢動作追蹤也越來越輕松,只不過難點是對于VR一體機來說,不能通過輕量化、簡易的方式實現??紤]到現在越來越多的Inside-Out方案的VR一體機,當前并不能以簡易的方式追蹤腿部、腳部的動作,也不能準確模擬Avatar下半身的動作。追蹤結果就是大家普遍吐槽,虛擬社交中只有上半身,這也是當前VR發展的現狀。
那么我就在想,在VR中無需借助攝像頭或額外設備,就能實現全身追蹤又該怎么實現呢?
答案是有的:基于大量人體運動追蹤數據,結合機器學習模型,實現基于頭顯+雙手柄的動作來模擬下肢動作,實現全身動作估計的一種方式。
該視頻上傳失敗,將不會出現在發布后的文章中
近期一個名為Standable的最新VR全身動作和演示視頻公布,就是采用類似的方案。從視頻中我們看到了無攝像頭和外部設備的條件下,VR也能實現還不錯的全身動作估計效果。
據青亭網了解,該項目的開發者John Coumerilh是一個年輕小伙,學習編程前就花了大量時間在《我的世界》中創作、修改各種虛擬場景。最近三年自學Unreal開發并投身到XR領域,2020年5月-2022年1月期間,在開發名為《PHIN》的VR沙盒模擬應用,特點是基于真實的物理模擬效果,目前在SideQuest上可以下載。

而從今年2月份開始,John Coumerilh開始研究了這套名為《Standable: Full Body Estimation》(簡稱:Standable FBE)的VR全身追蹤方案。
Standable FBE的特點是為大多數XR頭顯,提供了原本不支持的下肢追蹤,包括:骨盆、膝蓋、腿部或關節處等。
而Standable FBE的開發就是源自于Steam VR追蹤方案,開發者John也表示目標就是幫助VR開發者提供一套簡化的、易于使用的全身追蹤FBIK方案,而無需再花幾個月甚至更長時間去優化FBIK。
特點1:無需額外硬件
不像是其它需要光學Marker、或相機追蹤方案,這套方案完全基于軟件來實現。
那么它是怎么實現的呢?根據開發者John的描述,這套方案基于SteamVR追蹤實現大量人體工作追蹤數據進行訓練,并以生成一套簡易化的軟件全身追蹤方案。
特點2:非常輕量的校準流程
在使用時也盡量簡化了步驟,只需要非常少量的校準流程,目前僅需確認眼部位置即可。

特點3:實現復雜的動作模擬
支持從任何方向蹲下、躺下、甚至趴下等動作,也支持走路、慢跑等動作。

特點4:易于使用
因為目前還是研發階段,針對開發者的工具包目前還在開發之中。John透露:目前正在抓緊精力開發Unreal、Unity工具包,甚至也在研究支持《VRChat》。
特點5:價格低廉
完全個人開發,個人所得稅低,因此相對價格低廉。
那么,Standable FBE當前還有哪些缺點呢?
1,左右移動
通常無額外硬件的左右移動會伴隨隨機抬腿的動作,但是算法不知道你會在什么時間、在什么位置抬腿,應對這種偶發情況還不夠友好。
2,胯部位置不準確
因為側身或彎曲身體等情況時,全身住蹤因為不能準確模擬胯部位置和方向,因此很容易讓Avatar動作變得僵硬。不過,未來的版本將會大量結合腿部動作追蹤。

3,全身動作協調性
目前的Standable FBE僅采用6點追蹤方案,而未來John計劃升級至12節點,加入了肩部、胸部、肘部、膝蓋等節點,會讓動作更靈活,實現更復雜的動作。
很高興看到能有個人開發者在著手解決,無硬件方案的全身追蹤算法。實際上,目前包括Meta等VR頭部企業,也在著手解決這一問題,比如前段時間就透露將推出基于軟件的下肢追蹤方案,那么屆時相信也會讓虛擬社交的體驗進一步升級。
參考:Standable FBE

