Meta研究人員展示了基于人工智能驅(qū)動的身體姿勢系統(tǒng)最新成果。

目前的VR系統(tǒng)開箱即用，卻只能追蹤頭部和手部位置。盡管基于稱為逆運(yùn)動學(xué)(IK)的算法可估計肘部、軀干和腿部位置，但有時僅對肘部準(zhǔn)確，而對腿部則很少正確。對于每組給定的頭部和手部位置，都有太多潛在的解決方案，考慮到IK的局限性，現(xiàn)在的一些VR應(yīng)用程序僅顯示手部，更多的應(yīng)用程序僅顯示上半身。

如今，智能手機(jī)應(yīng)用已能基于計算機(jī)視覺進(jìn)行VR身體追蹤，但這需要將手機(jī)安裝在角落，并且只有當(dāng)用戶面對它時才能正常工作；采用SteamVR追蹤的PC VR頭顯基于額外追蹤器（例如HTC Vive Tracker）支持更高質(zhì)量的身體追蹤，但購買足夠多的身體追蹤設(shè)備需要花費(fèi)數(shù)百美元。

(資料圖)

去年，三名Meta研究人員展示了QuestSim，這是一種強(qiáng)化學(xué)習(xí)模型，可以僅使用Meta Quest 2及其手柄追蹤數(shù)據(jù)來估計合理的全身姿勢。不需要額外的追蹤器或外部傳感器，生成的化身運(yùn)動與用戶的真實(shí)運(yùn)動相當(dāng)接近。研究人員甚至聲稱，由此產(chǎn)生的精度和抖動優(yōu)于IMU追蹤器，例如索尼Mocopi。

但導(dǎo)致QuestSim失靈的一個極端情況是，當(dāng)用戶與現(xiàn)實(shí)世界交互時，例如坐在椅子或沙發(fā)上時。處理這個問題，尤其是坐姿和站立之間的過渡，對于社交VR中的逼真完整身體至關(guān)重要。

在一篇名為Quest Env Sim的新論文中，這三位研究人員和另外兩位研究人員提出了一個更新的模型，并考慮了環(huán)境中的家具和其他物體：

盡管研究結(jié)果令人印象深刻。但是，QuestEnvSim不會很快兼容Quest 2，與最初的QuestSim一樣，這里有幾個重要的注意事項。

首先，本文沒有提及所描述系統(tǒng)的運(yùn)行時性能。機(jī)器學(xué)習(xí)研究論文往往以相對較低的幀率在功能強(qiáng)大的PC GPU上運(yùn)行。

其次，對家具和物品進(jìn)行人工掃描，并在虛擬環(huán)境中進(jìn)行定位。雖然Quest 3也許能夠通過深度傳感器自動掃描家具，但Quest 2和Quest Pro沒有關(guān)鍵的傳感器數(shù)據(jù)。

最后，這些系統(tǒng)旨在產(chǎn)生合理的整體全身姿勢，而不是與你雙手的確切位置相匹配。系統(tǒng)的延遲也相當(dāng)于VR中的許多幀。因此，即使這些方法可以實(shí)時運(yùn)行，但在VR中俯視自己身體時效果并不理想。

但是，假設(shè)系統(tǒng)最終能夠得到優(yōu)化，那么看到其他人化身的全身運(yùn)動將比Meta當(dāng)前無腿上半身化身要好得多。

來源：UploadVR

關(guān)鍵詞：