情報処理学会 インタラクション2016

本研究ではプロジェクタの前に人が立ったり物を置いたりすることでスクリーンに映し出される実物影と，CGで生成されてプロジェクタでスクリーンに投影された仮想影とのインタラクションを実現するシステムを提案する．このシステムでは，虫かごを揺らすと虫かごの実物影から蝶の仮想影が飛び出してユーザの実物影に止まったり，じょうろの実物影から水の仮想影が溢れ出したりする．システムはKinectを用いてプロジェクタとスクリーン間にある物体形状を三次元的に取得しており，スクリーンに写る全ての実物影をシミュレーションする．そしてシミュレーション結果に基づいて仮想影を制御することで，実物影と仮想影との様々なインタラクションを実現している．さらにシミュレーション結果に基づいてもう1台のプロジェクタで実物影の内部に仮想光源を投影することで，実物影に穴を開けたり変形させたりなど，さらに多様な実物影とのインタラクションを実現する．