情報処理学会 インタラクション2024

本研究では，ヒアラブルデバイスへの空中ジェスチャ入力を可能にする新しいジェスチャ認識手法``EarHover''を提案する．本手法は，ヒアラブルデバイス特有の音漏れ現象に着目し，ヒアラブルデバイスと親和性の高いスピーカと外部マイクをジェスチャ認識に利用している．本研究では，有効な27種類のジェスチャの中から，信号の識別性とユーザの受容性の観点から，7種類のジェスチャを選択した（N=10）．その後，これらの7種類のジェスチャとニュートラル状態の計8状態のデータをインイヤー型/オーバーイヤー型の2つのプロトタイプデバイスを用いて収集し，深層学習による認識性能の評価を行った（N=13）．実験の結果，インイヤー型/オーバーイヤー型デバイスのそれぞれのF-scoreは78.7%/73.4%であった．さらに，5種類のジェスチャに絞ることで，F-scoreは6状態で86.2%/82.5%であった．