情報処理学会 インタラクション2021

サイレントスピーチインタラクション(SSI)は，有声ではない発声による音声インタラクションであり，スマートフォンなどの音声認識デバイスへの入力手段として，また発声困難者への支援として用いられる．従来から口の周辺を利用するSSIとしてリップリーディングや筋電，超音波エコー，口蓋内の静電測位等を用いた手法が提案されてきたが，片手が塞がることや目立ちやすいといった課題があった．本研究では，マスクに取り付けた加速度と角速度のセンサを利用し，口周辺の運動を計測することで無声での発話を認識するマスク型のSSIを提案する．2つの加速度センサを用いて12次元の口周辺の運動情報を取得し，深層学習を用いて解析したところ，21種類の音声コマンドと発話していない状態の計22状態を79.1%の精度で識別でき，表情と動作の計6種類に関して分類し84.7%の精度で認識できた．また，主観調査を行い，加速度センサを直接皮膚に貼る手法に比べて長時間着用できるという結果を得た．本研究は，カメラ画像を用いないため照明条件によらず，非接触で目立たないインターフェースであり，マスクの新たな可能性を提示するものである．