情報処理学会 インタラクション2017

本研究では，人間の歩行動作のセンシングデータを入力し，足音の音響信号を合成する手法を提案する．近年，ゲームコンテンツのグラフィックスにおいてフォトリアルな表現が可能になり，効果音においても多様性やリアルさが求められている．足音の自動合成手法について，既存研究では，リアリティの向上に必要な歩行動作の時系列の依存関係の考慮がなされていない．そこで，本研究では，センサデータの複数のフレームを連結して，生成モデルを学習することで，足音が発生する直前の歩行動作の状態遷移を考慮した足音合成手法を提案する．学習データとして，時間同期した歩行動作のセンシングデータと足音を収集した．収集した20,971秒分のデータを用いて足音波形の合成実験を行なった．その結果，DNN(ディープニューラルネットワーク)の出力を，抽象化し，次元数を減らした音響特徴量とした際に，元の波形と近い波形を合成できることを確認した．