iOS 18の視線トラッキング

iOS 18 の視線トラッキング 宇佐見公輔 2025-02-18 / Mobile Act OSAKA 15 株式会社ゆめみ

自己紹介 • 宇佐見公輔（うさみこうすけ） ‣ 株式会社ゆめみ iOS テックリード 近況 •「ゆめみ大技林」 ‣ 社外の方で執筆に参加してくださる方を募集中 ‣ 一緒に本を作りませんか？ • ゆめみの「出社原則」 ‣ 注意 : 「原則」という語はテクニカルタームで定義がある ‣ 僕自身は、堺から京都オフィスまで片道 2 時間で例外に該当 1 / 26

• https://yumemi.notion.site/beba018e485946f696ac72613e1a9a30
• https://yumemi.notion.site/office

iOS の視線トラッキング

視線トラッキングとは • iOS のアクセシビリティ機能 ‣ iOS 18 から搭載 • 目だけで iPhone や iPad を 操作できる 参考 Apple、視線トラッキングなどの新しいアクセシ ビリティ機能を発表 iOS の視線トラッキング 3 / 26

• https://www.apple.com/jp/newsroom/2024/05/apple-announces-new-accessibility-features-including-eye-tracking/

モバイルアプリのアクセシ ビリティ

「アクセシビリティ」という言葉の意味 モバイルアプリのアクセシビリティ 5 / 26

なぜアクセシビリティを考えるのか • 利用するものがアクセシブルであるかどうかは、障害者や高齢者に とっては生活に直結する重要な問題 ただ、その考え方だと、うっかりすると・・・ • 自分にもいつかはアクセシビリティが重要になるかもしれない • でも、今の自分には重要ではない という発想になってしまうかもしれない。 モバイルアプリのアクセシビリティ 6 / 26

医学モデルと社会モデル 障害のとらえかたには、2 つのモデルがある。 • 医学モデル ‣ 障害は人の身体側にある • 社会モデル ‣ 障害は社会の側にある ‣ 社会や環境が対応できていないがゆえに障害が生じている アクセシビリティを考えるうえでは、社会モデルで考える。 モバイルアプリのアクセシビリティ 7 / 26

モバイルアプリは社会の一部 現代は、モバイルコンピューティングの時代。 • モバイルアプリのユーザーは非常に多い • 利用時間も長く、生活の一部になっている • 繰り返し継続的に利用する モバイルアプリは社会モデルにおいて、障害を発生させてしまう側に 属している。 アクセシビリティの考慮は、モバイルアプリ開発者の責務。 モバイルアプリのアクセシビリティ 8 / 26

書籍「モバイルアプリアクセシビリティ入門」 •「アクセシビリティとは」という話から、 主なトピックが網羅的に取り上げられて いる 参考 モバイルアプリアクセシビリティ入門 ──iOS＋Android のデ ザインと実装：書籍案内｜技術評論社 モバイルアプリのアクセシビリティ 9 / 26

• https://gihyo.jp/book/2024/978-4-297-14602-3

視線トラッキングを試す

視線トラッキングでできること そんなわけで、試しに自分で新機能を使ってみよう。 目だけでできることは何があるか？ • 目でポインタを動かす ‣ 視線を向けたところにポインタが移動する ‣ 項目にスナップする設定もある • 目で選択する ‣ 滞留コントロール : 注視すると選択になる 視線トラッキングを試す 11 / 26

視線トラッキングを開始する • 設定「視線トラッキング」をオン ‣ ボタンのトリプルクリックでオンオフできるよう に設定しておくのがおすすめ • 指示に従って視線トラッキングを調整する ‣ 上部 5 ヶ所、下部 5 ヶ所、中央 3 ヶ所 参考 • 目の動きで iPhone を制御する - Apple サポート (日本) • 目の動きで iPad を制御する - Apple サポート (日本) 視線トラッキングを試す 12 / 26

• https://support.apple.com/ja-jp/guide/iphone/iph66057d0f6/ios
• https://support.apple.com/ja-jp/guide/ipad/ipad2cd35723/ipados

視線トラッキングの調整についての注意 • 調整は、設定をオフからオンにするたび毎回始まる ‣ オンオフを繰り返す場合には注意 • 再調整は、端末の左上を注視する ‣ 慣れないうちは誤って再調整を始めてしまう 視線トラッキングを試す 13 / 26

実際に使ってみると • ポインタを移動するのがかなり難しい ‣ 視線を向けているつもりでも、そこに動かない ‣ iPhone のような小さい画面では、特に難しい ‣ iPad のような大きい画面のほうが多少楽 • 滞留コントロールも難しい ‣ 意外と視線が外れてしまう • Apple Vision Pro と使用感が全然違う ‣ センサーなどのハードウェアの力がやはりすごい 視線トラッキングを試す 14 / 26

マウスなどと組み合わせる 目だけの操作にこだわらず、他の機能と組み合わせる。 ポインタコントロール（マウスやトラックパッドなど）との組み合わ せは効果的。 • ポインタ移動の補助に ‣ うまく動かないときに補助的に使う • 項目の選択に ‣ マウスクリックで選択できる ‣ 滞留コントロールに頼るよりも楽になる 視線トラッキングを試す 15 / 26

他のアクセシビリティ機能との組み合わせ 次の機能との組み合わせも効果的。 • Assistive Touch ‣ 仮想ボタンを出す機能 ‣ 視線トラッキングを補助するメニューがある ‣ さらに、サウンドアクションも有益 • アシスティブアクセス ‣ 画面をシンプルにする機能（らくらくホン） 視線トラッキングを試す 16 / 26

開発時に考慮すること

プログラムコードからの操作はできない • アクセシビリティ関連はプライバシーのかたまり • Apple はプログラムコードからのアクセスを制限している 似たようなことは ARKit などを使うことである程度可能だが、この 視線トラッキングからの情報取得はできない。 開発時に考慮すること 18 / 26

UI デザインにおける考慮 アクセシビリティの考慮は、UI デザインとの関連が強い。 しかし実際のところ、視線トラッキングでの操作を、UI デザインで 考慮できるだろうか？ 通常とは異なる操作方法なので難しいが、できることを考えてみる。 開発時に考慮すること 19 / 26

visionOS を参考にする visionOS は主に視線で操作する。 そのため、セッションやガイドラインが参考になりそう。 • 空間入力のためのデザイン - WWDC23 • 空間ユーザーインターフェイスのためのデザイン - WWDC23 • 優れた visionOS アプリのデザイン - WWDC24 • 視線 - ヒューマンインターフェースガイドライン 開発時に考慮すること 20 / 26

• https://developer.apple.com/jp/videos/play/wwdc2023/10073/
• https://developer.apple.com/jp/videos/play/wwdc2023/10076/
• https://developer.apple.com/jp/videos/play/wwdc2024/10086/
• https://developer.apple.com/jp/design/human-interface-guidelines/eyes

項目の中央に視線を誘導する 視線の移動や注視が難しいことを考 慮した注意点がある。 • 丸い形で中央に視線を誘導 • 鋭い形は外側に注意が逃げる • 外側に縁取りを入れるのも同様に よくない 開発時に考慮すること 21 / 26

ボタンの大きさ・間隔 visionOS は、iOS などと比べてボタンの大きさや間隔が大きい。 • ボタンのタップ領域は 60pt • ボタンの表示領域は 44pt • 表示領域の間隔は 16pt ポインタが見た目で正確にあって いなくても、タップが可能になっ ている。 開発時に考慮すること 22 / 26

視線の誘導 • 一点に集中させる ‣ 角丸ボタンなどは有効 • 余白を十分にとる • 重要なところに視線を集める 視線の誘導として考えた場合、実は、一般的な UI デザインの考え方 と共通している。 開発時に考慮すること 23 / 26

通常のガイドラインも有益 視線トラッキングを考慮せずとも、通常のガイドラインも有益。 • ダークモード対応 ‣ ライト・ダークから視線を合わせやすいほうを選択 • Dynamic Type 対応 ‣ テキストの大きさも影響がある ‣ 大きすぎると注視で視線が外れやすい – ユーザーの好みにあわせて変えられるのが大事 開発時に考慮すること 24 / 26

おわりに

iOS 18 の視線トラッキング • iOS 18 からのアクセシビリティ機能 • 一度試してみると面白い • 単独で使うのは大変なので、他の機能との組み合わせで • 新たな視点で UI デザインを考えてみるのも良い おわりに 26 / 26