Webベースの実験における事前タスクを用いたユーザ分類の検討

408 Views

January 13, 25

スライド概要

profile-image

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

2025.01.14 第211回 HCI研究会 Webベースの実験における 事前タスクを用いたユーザ分類の検討 三山貴也 中村聡史 (明治大学) 山中祥太(LINEヤフー株式会社) 1

2.

背景・目的 Webベースの実験 クラウドソーシングで多くの参加者を募集でき、 大規模なサンプルを短期間に収集できる 実験実施者が参加者の状況を確認できないため、 指示を守らない or 不注意な参加者が存在 [Brühlmann+ 2020] 実験データ品質を確保するために 適切なユーザに実験を依頼することが重要 Brühlmann, F., Petralito, S., Aeschbach, L. F. and Opwis, K.: The quality of data collected online: An investigation of careless responding in a crowdsourced sample, Methods in Psychology, Vol. 2, p. 100022 (2020). 2

3.

背景・目的 WebベースのGUI実験 • 大規模なサンプルを収集でき、発生確率が低い事象の検証に効果的 例)ポインティングタスクのエラー(ミスクリック) [Yamanaka 2021] • クラウドソーシング実験の参加者は、実験室実験の参加者よりも 操作時間が短くエラー率が高い [Findlater+ 2017] 適切な操作を行うユーザに実験を依頼することで データ品質を向上させたい Yamanaka, S.: Utility of crowdsourced user experiments for measuring the central tendency of user performance to evaluate error-rate models on guis, Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, Vol. 9, pp. 155–165 (2021). Findlater, L., Zhang, J., Froehlich, J. E. and Moffatt, K.: Differences in crowdsourced vs. lab-based mobile and desktop input performance data, Proceedings of the 2017 CHI conference on human factors in computing systems, pp. 6813–6824 (2017). 3

4.

アプローチ 実験で要求される操作と関連する事前タスクを用意し、 その結果をもとに適切な操作を行うユーザを抽出 事前タスク 主タスク 適切なユーザを抽出 多くのユーザが 実験に参加 適切なユーザが 実験に参加 4

5.

アプローチ 主タスク:ポインティングタスク 5

6.

アプローチ 主タスク:ポインティングタスク ポインティングと関連する操作の事前タスクによって 適切な操作を行うユーザを抽出しやすい 6

7.

アプローチ 事前タスクの選定 サイズ調整タスク:物理カードとカード画像の大きさを一致させる ディスプレイ画素密度(px/mm)をもとに視覚刺激の大きさを統制 Li, Q., Joo, S. J., Yeatman, J. D. and Reinecke, K.: Controlling for participants’ viewing distance in large-scale, psychophysical online experiments using a virtual chinrest,Scientific reports, Vol. 10, No. 1, p. 904 (2020). [Li+ 2020] 7

8.

アプローチ 事前タスクの選定 サイズ調整タスク:物理カードとカード画像の大きさを一致させる ディスプレイ画素密度(px/mm)をもとに視覚刺激の大きさを統制 [Li+ 2020] 物理カードとカード画像の大きさが一致しているかどうかで ユーザのマウス操作の正確性を評価できる Li, Q., Joo, S. J., Yeatman, J. D. and Reinecke, K.: Controlling for participants’ viewing distance in large-scale, psychophysical online experiments using a virtual chinrest,Scientific reports, Vol. 10, No. 1, p. 904 (2020). 8

9.

実験 概要 サイズ調整タスクとポインティングタスクの操作の関連性を分析し、 サイズ調整タスクによって適切なユーザを抽出できるか検証 クラウドソーシングで多くの参加者を募集し、 すべての参加者がサイズ調整タスクとポインティングタスクの両方を行う サイズ調整タスク ポインティングタスク 2回 4セット 9

10.

実験 仮説 • サイズ調整タスクの操作が正確なユーザは ポインティングタスクのエラー率が低く、 操作が不正確なユーザはエラー率が高い • サイズ調整タスクの操作が正確なユーザは、 ポインティングタスクで教示に沿った操作を行う 10

11.

実験 サイズ調整タスク 2回のタスクの調整誤差をもとに操作の正確性を評価 クラウドソーシング実験では参加者ごとにディスプレイ画素密度が異なり、 1回のタスクでは正確にサイズ調整を行ったか判断できない 11

12.

実験 ポインティングタスク フィッツの法則:距離Aだけ離れた直径Wのターゲットをクリックするまでの時間MTを予測 𝐴 𝑀𝑇 = 𝑎 + 𝑏 ⋅ 𝐼𝐷, 𝐼𝐷 = 𝑙𝑜𝑔2 +1 𝑊 ID:クリックの難易度 a, b:実験により得られる定数 実験の条件設定 A : 510px で固定 W : 8px, 38px, 78px の3条件 W ID ミスクリックが 発生する可能性 8 6.02 高 38 3.85 中 78 2.91 低 12

13.

実験 ポインティングタスク 実験参加者が指示に従って操作を行うか検証するため、 指定された教示に従ってタスクを行ってもらう • できるだけ速く : ターゲットが表示されてからできるだけ速くクリックしてください • できるだけ正確に : ミスクリックをしないようにしてください 13

14.

実験 ポインティングタスク 1セット15試行のクリック • 直径Wの3条件が5試行ずつ順番はランダムで設定 合計4セットを実施 • 1セットごとに2つの教示のいずれかをランダムに設定 • 各教示ごとに2セットずつ順番はランダムに設定 14

15.

結果 実験参加者 • Yahoo!クラウドソーシングで、500人が実験を完了 • マウス以外の入力デバイスを使用していると回答した29人、 実験データに欠損があった16人を除外し、 455人(男性354人、女性101人)を分析対象とする 15

16.

結果 サイズ調整タスク 調整誤差 サイズ調整誤差の分布 各参加者の1回目と2回目の サイズ調整結果の差の絶対値 354人(78%)が 20px 未満 73人(16%)が 50px 以上 16

17.

結果 サイズ調整タスクとポインティングタスクの関連性 適切なユーザに実験を依頼する場合、 事前タスクの結果をもとにユーザを合格群と不合格群に分類 群ごとにポインティングタスクの分析を行い、 両タスクの関連性を調査 17

18.

結果 サイズ調整タスクとポインティングタスクの関連性 合格群 (サイズ調整操作が正確) : 344人 • 調整誤差 20px 未満 • 調整結果が1回目と2回目のどちらも適正範囲(200px 以上 600px 未満) 不合格群 (サイズ調整操作が不正確) : 111人 • 合格群に属さないユーザ 18

19.

結果・考察 サイズ調整タスクとポインティングタスクの関連性 「正確に」の W=8 で、 合格群は不合格群より エラー率が 約4% 低い 群ごとのエラー率の比較 合格群はポインティングタスクで 正確な操作を行う 慎重な操作が求められる場面で 不合格群との差が大きくなる 19

20.

結果・考察 サイズ調整タスクとポインティングタスクの関連性 群ごとのエラー率の比較 サイズ調整タスクによって より正確に操作を行うユーザ を抽出できる 精密な操作が求められる実験や 負荷が高い実験において ユーザの抽出が効果的 20

21.

結果・考察 サイズ調整タスクとポインティングタスクの関連性 教示に沿った操作を行うと 「速く」と「正確に」の 操作時間の差は大きくなる 教示による平均操作時間の差 合格群はポインティングタスクで より教示に沿った操作を行う 21

22.

結果・考察 サイズ調整タスクとポインティングタスクの関連性 教示による平均操作時間の差 サイズ調整タスクによって より教示に沿った操作を行うユーザ を抽出できる 22

23.

結果 サイズ調整タスクとポインティングタスクの関連性 高精度群(かなり正確) : 294人 調整誤差 10px 未満 かつ 適正範囲 合格群 中精度群(ある程度正確): 50人 調整誤差 10px 以上 20px 未満 低精度群(不正確) 適正範囲 : 27人 調整誤差 20px 以上 50px 未満 不適正群(不適切) かつ かつ : 84人 適正範囲 不合格群 他の群に属さないユーザ 23

24.

結果・考察 サイズ調整タスクとポインティングタスクの関連性 合格群を「高精度群」「中精度群」 に分類した結果、 中精度群は高精度群より エラー率が 5% 以上 高い 群ごとのエラー率の比較 ユーザ分類の閾値は 慎重に決定する必要がある 24

25.

今後の展望 • ユーザ分類の閾値の決定方法の改善 データ量を確保しつつ、適切なユーザを抽出できるように • 主タスクに適した事前タスクの探究 サイズ調整タスク以外の事前タスクも検討 25

26.

まとめ 背景・目的: Webベースの実験では、データ品質を確保するために、 適切なユーザに実験を依頼したい アプローチ: 実験で要求される操作と関連する事前タスクを用意し、 その結果をもとに適切な操作を行うユーザを抽出 実験: サイズ調整タスクを事前タスク、ポインティングタスクを主タスク として、タスク間の操作の関連性を調査 結果: サイズ調整タスクで正確な操作を行うユーザは、 ポインティングタスクで教示に沿って正確な操作を行う 考察: サイズ調整タスクによって適切なユーザを抽出できるが、 ユーザ分類の閾値は慎重に決定する必要がある 26