情報処理学会 インタラクション2024

聴覚障碍者と手話を知らない健常者とのリアルタイムコミュニケーションを可能にするため，筆者らはヘッドマウントディスプレイ(HMD)上で一人称手話認識と音声合成・認識技術を組み合わせたシステムの構築を目指している．しかし，HMDの手の認識空間はユーザの前方に限定されており，頭上や耳付近に手指を近づける手話の認識は難しい．そこで，HMDに手話者のアバターを投影し，アバターを用いて手話の認識空間を拡張する手法を提案する．Hololens2を用いてプロトタイプを試作し，こめかみを指さす手話や顎を触る手話を認識できることを確認した．