情報処理学会 インタラクション2025

本研究の目的は，小学生を主な対象とした箸の持ち方練習のためのアプリケーションを開発し，箸操作習得を支援することである．本アプリは，ユーザが飽きずに楽しく練習に取り組めるよう，ゲーミフィケーションの要素を取り入れている．箸操作を分析する手法として，YOLOv8 を用いた物体検出により箸の位置を特定し，手指の姿勢推定には MediaPipe を用いて手指の姿勢を推定する．次に，上下の箸と手指のランドマーク座標との位置関係を取得し，そのデータを時系列分析して特徴を抽出する．この特徴をもとに，上下の箸のそれぞれをどの指で操作するかに基づいて，ユーザの箸の持ち方を 4 クラスに分類する．そして，ユーザに自身の持ち方に対する視覚的なフィードバックを提供する．実際に，年中から小学 6 年生の 14 名に本アプリを使用してもらい，評価を得た結果，箸操作練習に対するモチベーション向上に有用である可能性が示唆された．