情報処理学会 インタラクション2024

機械学習技術の進歩により，カメラ画像のみを用いた姿勢推定の精度が高くなっている．しかしながら，物体によって推定対象となる部分が隠れてしまうとその姿勢推定精度が著しく低下してしまう．特に手の姿勢推定においては，ものを扱うなど動きが多いことから，扱う対象で手が隠れてしまうことが頻繁に発生する．そこで，手を遮蔽する物体に対して隠消現実感技術を用いることで画面内から物体を削除し，完全な手の画像を生成することができれば，オクルージョンが発生している状況でも既存の姿勢推定モデルをそのまま使用できると考えた．この目標に向け，本研究では，物体を削除して手の画像を復元する機械学習モデルの構築を行った．手の画像に対して9パターンのマスクを適用させ，作成した画像復元モデルを用いてマスク部分を復元することで，疑似的にオクルージョンの解消を行った．その結果，すべてのマスクパターンにおいて，既存の姿勢推定モデルを用いた手の姿勢推定の精度が向上し，元の手の画像と近い姿勢推定を行えるようになった．また，手を遮蔽する物体に対して自動でマスク処理を行い，手の画像を復元するシステムの試作を行った．