情報処理学会 インタラクション2024

人類は映像技術が発明されて以来，様々な映像を記録してきた．近年，味覚メディアの発達により，映像とともに味を記録し再生することが可能になったが，これまで記録されてきた映像に対して味を付与することはできない．本稿では，白黒映像をカラー化する技術のように，味が記録されていない映像に対しても，味を推定して付与するシステムを提案する．味はGPT4-Visionを用いて映像の全シーンに対して推定される．プロンプトでは，飲食物の名前，材料とその量をまず推測し，その後に味を推定するように指示しており，段階的な推論によって精度の高い推定が可能である．また，推定された味データは映像の各ピクセルに対応する形でファイルに記録される．視聴者は，映像上の飲食物を指定して，対応する味を出力し味わうことができる．本システムによって，既存の映像メディアを「味わえる映像」にすることができる．