スマートフォンのみを用いた首の角度リアルタイム推定手法のハッカソンによる応用可能性の検証

スマートフォンのみを用いた 首の角度リアルタイム推定手法の ハッカソンによる応用可能性の検証 明治大学 渡邉健斗 中村聡史

本研究の貢献 • 首の角度データセットの質向上 • 首の角度推定精度の向上 • ハッカソンによる応用可能性の検証 1

本研究の貢献 • 首の角度データセットの質向上 • 首の角度推定精度の向上 • ハッカソンによる応用可能性の検証 2

背景 Q. 普段どのような姿勢で スマートフォンを使っていますか？ 3

背景 4

背景：ストレートネック 「頭部前方位姿勢」でスマートフォンを操作する人が多い 長時間持続することにより「ストレートネック」になってしまう * * Hansraj, K. K.. Assessment of Stresses in the Cervical Spine Caused by Posture and Position of the Head. Surgical Technology International, 2014, vol. 25, no. 25, pp. 277-279. 5

背景：姿勢矯正システム 日常的に姿勢を意識することは容易ではない スマートフォン利用時の姿勢をリアルタイムで推定し フィードバックするシステムにより支援できる 6

首の角度推定手法の提案と応用 [OzCHI’25] スマートフォンのセンサと内カメラを用いた首の角度推定手法 • 首が傾くとカメラ上で首から鼻までの距離が短くなる • 個人の最も姿勢が良い場合との差分を利用 精度に課題はあるが一定の精度で推定は可能 Watanabe, K. et al.: Can We Prevent “Text Neck” Using Only a Smartphone? Real-Time Neck Angle Estimation and a Serious Game as a Case Study, Proceedings of the 37th Australian Conference on Human-Computer Interaction, OzCHI ’25, p. 356–370 (2025). 7

首の角度推定手法の提案と応用 [OzCHI’25] 姿勢矯正を目的としたシリアスゲームとして応用 • 姿勢の良さに応じてゲームの操作性を変化 ゲームプレイ中の姿勢矯正意識が有意に向上 姿勢が悪い 姿勢が良い Watanabe, K. et al.: Can We Prevent “Text Neck” Using Only a Smartphone? Real-Time Neck Angle Estimation and a Serious Game as a Case Study, Proceedings of the 37th Australian Conference on Human-Computer Interaction, OzCHI ’25, p. 356–370 (2025). 8

目的 単一の応用例のみしか検証できていない 提案手法の応用可能性の評価 • どのようなアプリケーションに適用可能か • 第三者がどの程度容易に利用可能か 9

応用可能性の評価 首の角度推定手法をライブラリ化し，ハッカソンを実施 • 多数のアイディアと実現可能なプロトタイピング • システムの応用可能性をハッカソンで評価した [Kato+ 2018][栗原+ 2020] 応用可能性 • アイディアの幅広さ，その創造性 • 第三者による利用可用性，開発容易性 Kato, J. et al.: Songle Sync: A Large-Scale Web-based Platform for Controlling Various Devices in Synchronization with Music, Proceedings of the 26th ACM International Conference on Multimedia, MM’18, p. 1697–1705 (2018). 栗原 一貴 他： GameControllerizer：既存ディジタルゲームへの入力をプログラミングするためのミドルウェア， 情報処理学会論文誌，Vol. 61, No. 11, pp. 1680– 1696 (2020). 10

首の角度推定ライブラリ • 首の角度推定をAPI化 • REST APIとして動作 • GPU*を用いて0.1〜0.3秒で推論 • APIを呼び出す処理をカプセル化した JavaScriptライブラリ • シンプルなコードで実装可能 • パラメータで推定の頻度などを カスタマイズ可能 *NVIDIA GeForce RTX 4090，24GB 11

ハッカソン：概要 • 参加者：情報系の大学生，大学院生（学部3年〜修士1年）の計12人 • 編成：2人×6グループ • 実施時間：8時間（7時間+休憩1時間） • 評価者：情報系の大学院生（修士2年〜博士1年），教員の計10人 アイディアセッション 2時間 開発セッション 4時間30分 最終発表 30分 12

ハッカソン：アイディアセッション • 適度な制約が創造性を高める [Tromp+ 2022] • 「学生向けのスマートフォン利用時の姿勢矯正のためのアプリ」 • アイディア出しと発表を3セット • 高校生向け • 大学生，大学院生向け • 学生向け ×3 アイディア出し 30分 発表 合計10分 Catrinel Tromp, John Baer. Creativity from constraints: Theory and applications to education, Thinking Skills and Creativity, Vol.46, pp. 101184, 2022. 13

ハッカソン：開発セッション • 開発チュートリアル（30分） • サーバでの共同作業のための環境構築 • サンプルコードを用いたライブラリの基本的な使い方 • 各グループで開発（4時間） • 実装するアイディアを決定 • 発表資料の作成 • 著者がメンターとして待機 • LLMの利用を推奨 • 分析のため会話データを録音 14

ハッカソン：最終発表 • 各グループ3〜5分 • 発表に含めるもの • ターゲットユーザ • 着目した問題点や課題 • ユースケース • アプリケーションのアピールポイント • アプリケーションのデモ • 評価のため発表を動画で記録 • ハッカソンの満足度やライブラリの使いやすさについての アンケート 15

結果：成果物とその評価 • 利用シーンとフィードバック方法の観点から分類 様々なジャンルやフィードバック方法が偏りなく発想 • アイディアの具体性，新規性，有用性から創造性スコアを評価 全体的に中程度〜高い評価 二値 段階 連続 合計 ゲーム 1 1 2 4 SNS 1 1 2 4 日常的なログ 3 1 1 5 その他特定のシーン 2 2 2 6 合計 7 5 7 19 創造性スコア 5 4 3 2 1 1 2 3 4 グループ番号 5 6 16

NeckTube • 動画視聴時に姿勢が悪くなりやすい • 360度動画の上下を首の角度で操作できる • オーロラや星空など空を見上げるような 動画で利用することを想定 評価コメント • 首の角度をコントローラのように入力に 使っている点が面白い • コンテンツによっては有用性が高そう 17

Neck-romancer • 日常的なスマートフォン利用時に通知 • 首の角度に応じて釣り竿が上下 • 魚が引っかかった後に首を上げると釣れる • 姿勢が良い→魚の量やレアリティが増加 姿勢が悪い→釣り竿が地面に引っかかり ゲームオーバー 評価者コメント • 良姿勢の維持とストレッチを促している • 釣り上げる動作が直感的にマッチしている 18

結果：開発体験 • 参加者の主観評価 • 「推定値をそのまま画面の操作に用いるのは不安」 • 「ライブラリはすぐに組み込めたがプロンプトに苦戦した」 • 開発プロセスの遷移 平均 標準偏差 ライブラリの使いやすさ（1-5） 4.42 0.67 推定精度（1-5） 4.00 0.85 実装の満足度（%） 75.00 11.68 グループ番号 • 多くのグループが余裕を持って開発を終了 • 姿勢推定を用いたコア機能の実装 1 → 平均62分（SD=33） 2 3 4 5 6 0 60 120 180 経過時間（分） 240 19

考察 • 様々なジャンルやフィードバック方法のアイディアが得られた 本手法を用いた多様な応用先が考えられる • 推定精度は多くの場合十分な一方，連続値の場合は不安 時系列的に連続したデータを平滑化 • 短時間で満足度の高いアプリケーションを開発できた 第三者でも容易に利用可能 参加者の属性が偏っている点には注意が必要 20

まとめ 背景 ：スマートフォン利用時の不良姿勢による身体負荷 目的 ：首の角度推定の精度向上，応用可能性の検証 アプローチ：精度向上→正解データの質向上，学習方法の改善 応用可能性の検証→手法をライブラリ化したハッカソン ハッカソン：2人組6グループの1dayハッカソン 結果 ：多様なアプリケーション案，短時間での実装 考察 ：高い拡張性と開発容易性 展望 ：より多様な参加者，姿勢矯正に与える影響の検証 21