情報処理学会 インタラクション2025

機械学習技術の進歩により，RGBカメラの映像のみでも高い精度の姿勢推定が可能になってきた．しかしながら，そのような姿勢推定モデルでは，他の物体によって推定対象となる部分が遮蔽されると，その推定精度が低下するか，推定対象の追従が途切れてしまう問題が生じる．特に手の姿勢推定においては作業中に物体で手が隠れてしまうと，この問題の影響が顕著に表れる．この問題に対し，動画修復技術によって手を遮蔽する物体を除去し，物体で隠蔽されていない手の映像を復元することで，既存の姿勢推定モデルをそのまま使用しても安定して手の追従及び姿勢推定が可能になると考えた．本研究では，手を遮蔽する物体の領域をリアルタイムに自動的に特定し，その領域の手映像を復元するシステムを開発した．さらに，手映像の復元に特化した動画修復モデルの構築も行った．この提案システムを用いて遮蔽物を除去し，手映像を復元した場合，遮蔽物を除去する前の映像と比較して，手の追従精度および姿勢推定精度の両方で改善が見られ，遮蔽物のない状態に近い姿勢推定を行えることを示した．