【網易遊戲3月31日報道】近日，計算機視覺與模式識別會議（CVPR 2023）公布了論文的錄取結果，網易互娛AI Lab一篇題為Learning Analytical Posterior Probability for Human Mesh Recovery的論文被該會議接收。該論文重點研究一種基於後驗機率分布的人體動捕新方法，能大幅提升視頻動捕的精度、穩定性和通用性，讓動作動畫資源製作不再強依賴高昂的動捕設備，僅需一台手機即可獲得高質量的動作數據。

在本篇論文中，網易互娛AI Lab提出了一種名為ProPose的人體動捕新方法，創新性地使用了後驗機率分布的方式來推測人體關鍵點和關節旋轉的情況，能夠在單張RGB圖像、多視角視頻、或融合其他動捕設備等情況下實現更準確的三維人體姿態估計，從而獲得更精準的人體動捕數據。在視頻處理方面，Propose相比業界目前被廣泛採用的SPIN方法，將誤差降低了25%左右，並且在3DPW、Human3.6M和AGORA等公開的動捕測試榜單上也力壓目前所有其他方案，精度表現亮眼。除視頻動捕外，Propose所採用的機率框架還可無縫融合多視角視頻和其他動捕設備，如慣性傳感器等，且無需因為引入新設備而修改模型的主體部分，具備更好的通用性，可滿足更多不同應用場景需求。

Propose可更好地衡量關節旋轉的不確定性，如圖中右手沿手臂軸的旋轉、左手臂上下擺動的朝向、左小腿的遠近程度等

基於該技術方案，網易互娛AI Lab已推出了可落地使用的視頻動捕工具AIxPose。僅需提供普通手機攝像頭拍攝的視頻，該軟體可在短短几分鐘內自動提取人體的動作數據，並已應用於遊戲動畫資源、營銷舞蹈視頻的製作流程，處理視頻時長達到數十個小時，相比美術手K能節省80%左右的製作時間和成本。

《大話西遊》聯合小D的舞蹈動畫製作