情報処理学会 インタラクション2021

喉頭がんや咽頭がんなどの治療のため喉頭摘出手術を受けた人々（喉頭摘出者）は自身の声帯を用いた発声を行うことができず，代替発声法として電気式人工喉頭（Electrolarynx:EL）を使用することが多い．しかし，ELによる発話音声は機械的であり，さらに音高の制御が困難であるため，歌を歌いたいという需要に答えることができない．そこで従来研究では，ELによる発話音声を自然な声質へと変換する処理により得られた特徴量系列と，MIDI音源を人間らしい音高推移へと変換する処理により生成された音高パターンを合成することにより自然な歌声へと変換するシステムを実現した．一方で，この手法は歌唱中，ユーザの意思通りに歌唱表現を制御することができないという課題がある．この問題に対して本研究では歌唱中に生じる自然な身体表現を用いることで歌唱表現を付与することが可能であるかを検討する．本稿では顔のランドマーク推定技術や全身の骨格推定技術を用い，「腕を伸ばす」等の特定の動作を認識することでビブラートの強さを制御することが可能なシステムを提案した．結果，表情による制御は繊細な調整が困難であり，意図しない箇所にビブラートが付与された一方で，腕による操作では表現性及び操作性において肯定的な意見が得られた．また，提案システムの処理遅延は約160msであったが，被験者の多くは遅延を感じなかったと回答した．