近日,Meta AI 的一項研究顯示了一種新的虛擬化身模型,可以在 VR 中實現(xiàn)流暢的人體全身運動,而無需額外的傳感器。
在對 VR 頭顯(如 Meta Quest 2 或 Quest Pro)進行由內(nèi)而外追蹤的情況下,主要追蹤用戶的頭部和手部。由于追蹤蹤攝像頭集成到頭顯外殼中,因此身體的其余部分在很大程度上保持隱藏狀態(tài)以進行運動檢測。
在一項研究中,Meta AI 提出了一種新的虛擬化身系統(tǒng),該系統(tǒng)使用 AI 從這些稀疏數(shù)據(jù)中合成全身的流暢運動,大大超過了以前的化身動畫。
“Avatars Grow Legs”簡稱“AGroL”,是一種擴散模型,專門設(shè)計用于只需少量上半身信號就能追蹤全身運動。它基于多層感知(MLP)架構(gòu)和運動數(shù)據(jù)的新型調(diào)節(jié)方案。
根據(jù)研究人員的說法,該模型應(yīng)該能夠預(yù)測整個身體的精確且流暢的運動,這可以解決 VR 全身追蹤的問題,傳統(tǒng)追蹤難度較大的下半身追蹤應(yīng)該不是問題。到目前為止,偽影只有在接觸地面時偶爾發(fā)生。
由于 AGroL 可以實時執(zhí)行,因此也應(yīng)該適用于在線應(yīng)用。這可能很快就會使 Horizon Worlds 和其他社交 VR 應(yīng)用沒有腿的虛擬化身成為過去。
研究人員使用 AMASS 的動作捕捉數(shù)據(jù)集展示了該模型的有效性。與 AvatarPoser 等其他化身系統(tǒng)相比,AGroL 的旋轉(zhuǎn)、位置和速度誤差明顯較少。
因此,AGroL 生成的運動更精確且更流暢。最重要的是,據(jù)說基于 AGroL,虛擬化身出現(xiàn)手臂和腿部抖動頻率要低得多。
關(guān)注我們
公眾號:china_tp
微信名稱:亞威資訊
顯示行業(yè)頂級新媒體
掃一掃即可關(guān)注我們