CN121_髙久拓海

Web上での繰り返し選択実験における 単調さが不適切な慣れに及ぼす影響 髙久拓海 中村聡史 （明治大学 先端数理科学研究科） 1

背景 Web上でのアンケートやデータセット構築では大量のデータが必要 ⇒大量のデータを集めるため様々なサービスが存在 クラウドソーシング • 登録しているユーザに作業を依頼できるサービス 2

背景：クラウドソーシング 利点： • 大量のデータを短期間で取得可能 • 性別や年齢などの条件を指定できる 問題点： • 報酬を貰うためだけに適当に回答する不真面目なユーザが存在 不真面目なユーザを除外するために様々な研究が行われている 3

関連研究 • Web上でのアンケート調査で，ある会社では83.8%の回答者が 設問に従っていない [三浦ら, 2015] • Webアンケートで自由記述設問が後半にある場合は回答者が 不真面目な回答をする傾向がある [Yamazakiら, 2023] これらの研究は意図的に不真面目回答を行うユーザに着目した研究 三浦麻子 小林哲郎. オンライン調査モニタの Satisfice 行動 に関する実験的研究. 社会心理学研究 2015 vol. 31 no. 1 p. 1- 12. Ikumi Yamazaki, Kenichi Hatanaka, Satoshi Nakamura, Takanori Komatsu. A Basic Study to Prevent Non-Earnest Responses in Web Surveys by Arranging the Order of Open-ended Questions, International Conference on Human-Computer Interaction (HCII 2023), Vol.LNCS, volume 14011, pp.314-326, 2023. 4

関連研究 • Web上でのアンケート調査で，ある会社では83.8%の回答者が 設問に従っていない [三浦ら, 2015] • Webアンケートで自由記述設問が後半にある場合は回答者が 不真面目な回答をする傾向がある [Yamazakiら, 2015] これらの研究は意図的に不真面目回答を行うユーザに着目した研究 ⇒真面目に作業を行っていたが意図せず何らかの影響を受ける 5

慣れ（馴化） ある作業や動作を繰り返し行っていると生じる現象 不適切な慣れの事例： • 作業を繰り返したことで次の作業を先読みしてしまう • 思考がまとまっていないのに作業を完了する 不適切な慣れは登録されるデータに影響を及ぼす可能性があり 正しいデータを取得するうえで問題となる 6

先行研究 選択実験の作業の回答時間に着目した不適切な慣れの影響検出 [GN 118, 2023] 作業の回答時間を利用してユーザを真面目，不真面目，リズム化の 3パターンに分類し回答傾向を調査 リズム化群は後半になるほど同じ位置の選択肢を選ぶ傾向がある 髙久 拓海, 小松原 達哉, 山﨑 郁未, 中村 聡史. Web 上で の調査における回答時間に着目した不適切な慣れの基礎 調査. 情報処理学会 研究報告グループウェアとネット ワ ークサービス（GN）, 2023, vol. 2023-GN-118, no. 39, pp. 1-8 7

先行研究の課題 回答時間と結果をベースに分類及び分析を行った ⇒前述の傾向が慣れによるものかは十分に明らかにできなかった 回答の傾向が慣れによって引き起こされているかを調べるためには ユーザの選択にいたるまでの思考を分析する必要がある 8

関連研究 ユーザの行動分析 行動を分析する方法の1つに操作したマウスの軌跡を分析する手法 複数選択肢の中から回答を選ぶタスクにおいてユーザの意思決定を マウスの軌跡を用いて分析している [Wulffら 2019，Schoemannら 2021] ユーザの意思決定をマウスの軌跡を用いて分析することで 不適切な慣れが及ぼす影響を調査できるのではないか 9

目的 マウスの軌跡を指標としてユーザの選択行動を分析し 作業中の不適切な慣れが影響を及ぼしているかを再度調査する • ユーザの選択行動をマウス軌跡の動きの形状によって分類し その特性を明らかにする • 分類結果を基に作業中の不適切な慣れがユーザの選択行動に 及ぼす影響について調査 10

目的 マウスの軌跡を指標としてユーザの選択行動を分析し 作業中の不適切な慣れが影響を及ぼしているかを再度調査する • ユーザの選択行動をマウス軌跡の動きの形状によって分類し その特性を明らかにする • 分類結果を基に作業中の不適切な慣れがユーザの選択行動に 及ぼす影響について調査 11

マウスの軌跡パターン分類 マウス軌跡の形状をいくつかのパターンに分類する ⇒ユーザの意思決定で形状がどのように変化するかを考慮 マウスの軌跡を下記の5パターンに分類した 1. 直線型 2. 旋回型 3. 方向転換型 4. 中心維持型 5. その他 12

マウスの軌跡 13

1. 直線型 マウスの軌跡がほとんど真っすぐな形状の軌跡パターン 14

2. 旋回型 マウスの軌跡が何度も旋回するようなパターン 15

3. 方向急転換型 マウスの軌跡が途中で方向転換するパターン 16

4. 中心維持型 マウスの軌跡が開始地点からあまり動かずに選択する軌跡パターン 17

軌跡パターンの比較 直線型 旋回型 方向急転換型 中心維持型 18

分析データ Web上で6つの選択肢から適していると思う1つを選択する 選択実験 [徳原ら，2023] 設問の内容は趣味や嗜好を問う質問 • 「親近感が沸く顔文字はどれですか？」 • 「気に入った四字熟語はどれですか？」 徳原眞彩, 木下裕一朗, 髙久拓海, 小松原達哉, 中村聡史. 選択肢の逐次的表示における遅延が選択に及ぼす影響. 信 学技報（HCS）, 2023, vol. 123, no. 188, pp. 65-70 19

分析データ 実際の実験画面は以下のようになっている 設問提示画面 選択肢提示画面 20

分析データ 設問の内容が全て異なる20問を回答してもらう実験 実験はYahoo!クラウドソーシングで依頼 ⇒不真面目な実験協力者などのデータも扱いたいため，そのような 実験協力者も含めて分析を行った 分析対象となる実験協力者は2,123名（男性：1043名 女性：1080名） 有効データ数は38,251件であった 21

分類結果 グループ 件数（件） 直線型 8,962 旋回型 4,544 方向転換型 8,391 中心維持型 8,300 その他型 8,054 旋回型以外のグループに均等に分類される結果となった 22

目的 マウスの軌跡を指標としてユーザの選択行動を分析し 作業中の不適切な慣れが影響を及ぼしているかを再度調査する • ユーザの選択行動をマウス軌跡の動きの形状によって分類し その特性を明らかにする • 分類結果を基に作業中の不適切な慣れがユーザの選択行動に 及ぼす影響について調査 23

不適切な慣れが及ぼす影響 不適切な慣れ • 異なる設問＆選択肢に対して同じ回答行動を行うようになる マウスの動かし方に影響が生じる 24

不適切な慣れが及ぼす影響 不適切な慣れ • 異なる設問＆選択肢に対して同じ回答行動を行うようになる マウスの動かし方に影響が生じる 同じマウスの軌跡パターンが続いてる時に不適切な慣れが 生じているのではないか 25

不適切な慣れの事例 実験協力者Aのマウス軌跡の結果（前半部分抜粋） Q2 旋回型 Q6 旋回型 Q4 方向急転換型 Q7 旋回型 26

分類結果の一例 実験協力者Aのマウス軌跡の結果（後半部分抜粋） Q13 中心維持型 Q14 中心維持型 Q15 中心維持型 Q16 中心維持型 27

影響分析 同じマウスの軌跡パターンが続いてる時に不適切な慣れが 生じているのではないか 各マウス軌跡パターンが連続した場合に以下の点に着目する 1. 全て同じ位置の選択肢を選んでいる回数 2. 平均回答時間 28

1. 同じ選択位置を選び続けるグループ 同じパターンが3問連続で続いた場合に，その3問で同じ選択位置を 選択した回数と割合 グループ 件数（件） 割合（%） 直線型 121 17.1 旋回型 19 8.8 方向転換型 29 5.9 中心維持型 157 30.1 その他型 24 6.3 29

1. 同じパターンが続いた場合の選択位置の傾向 同じパターンが3問連続で続いた場合に，その3問で同じ選択位置を 選択した回数と母数との割合 グループ 件数（件） 割合（%） 直線型 121 17.1 旋回型 19 8.8 方向転換型 29 5.9 中心維持型 157 30.1 その他型 24 6.3 直線型と中心維持型は同じ位置を 選択し続ける割合が高い 不適切な慣れの影響を受けやすい 軌跡パターン 30

1. 同じパターンが続いた場合の選択位置の傾向 同じパターンが3問連続で続いた場合に，その3問で同じ選択位置を 選択した回数と母数との割合 グループ 件数（件） 割合（%） 直線型 121 17.1 旋回型 19 8.8 方向転換型 29 5.9 中心維持型 157 30.1 その他型 24 6.3 旋回型と方向急転換型は同じ位置を 選択し続ける割合が低い 回答する選択肢を真面目に考える 軌跡パターン 31

2. 同じパターンが続いた場合の回答時間 同じパターンが3問連続で続いた場合における平均回答時間 グループ 回答時間（ms） 直線型 3497 旋回型 19839 方向転換型 4827 中心維持型 3216 その他型 4219 通常 4536 32

3. 同じパターンが続いた場合の回答時間の傾向 同じパターンが3問連続で続いた場合における平均回答時間 グループ 回答時間（ms） 直線型 3497 旋回型 19839 方向転換型 4827 中心維持型 3216 その他型 4219 通常 4536 直線型と中心維持型では 選択肢を考える時間が短い 回答作業を早く終わらせようとする 軌跡パターン 33

3. 同じパターンが続いた場合の回答時間の傾向 同じパターンが3問連続で続いた場合における平均回答時間 グループ 回答時間（ms） 直線型 3497 旋回型 19839 方向転換型 4827 中心維持型 3216 その他型 4219 通常 4536 方向転換型は通常と似た結果 通常の場合と同じくらい選択肢を 考えている軌跡パターン 34

3. 同じパターンが続いた場合の回答時間の傾向 同じパターンが3問連続で続いた場合における平均回答時間 グループ 回答時間（ms） 直線型 3497 旋回型 19839 方向転換型 4827 中心維持型 3216 その他型 4219 通常 4536 旋回型は通常と比べて選択肢を 感がえる時間が長い 通常よりも慎重に選択肢を 考えている軌跡パターン 35

考察：旋回型と方向急転換型 旋回型と方向急転換型が続いた場合： • 同じ選択位置を連続で選択する割合が低い • 回答時間も全体の平均と同じ/長い 選択肢を悩んだり急な方向転換をしたりするような真面目な回答が 分類されていると考えられる 36

考察：旋回型と方向急転換型 旋回型と方向急転換型が続いた場合： • 同じ選択位置を連続で選択する割合が低い • 回答時間も全体の平均と同じ/長い 選択肢を悩んだり急な方向転換をしたりするような真面目な回答が 分類されていると考えられる マウスの軌跡を分析した結果が旋回型または方向急転型の いずれかの場合は慣れの影響は生じていないと考えられる 37

考察：直線型と中心維持型 直線型と中心維持型が続いた場合： • 同じ選択位置を連続で選択する割合が高い • 回答時間も全体の平均より短い 不適切な慣れは軌跡のパターンが直線型および中心維持型で 連続するときに生じている可能性が高いと考えられる 38

課題と展望：分類結果の精度 マウス軌跡の分類は数値的な指標で分類を行った ➢ 分類結果全ての軌跡の形状を確認できていない ➢ 人の目で見た軌跡と分類結果に違いがある可能性がある 軌跡データを人の目で見て分類するアノテーション作業を 行い精度を高めていく 39

まとめ 背景 ：繰り返しの作業を行っていると慣れによる影響が生じるのでは 先行研究：作業の回答時間に着目し分析を行った 回答傾向が慣れの影響かを判別できていなかった 提案手法：ユーザの選択行動をマウスの軌跡をもとに分類し再度調査 分類結果：マウスの軌跡を5種類に分類した 考察 ：不適切な慣れは特定の軌跡パターンであるかを判断することで 判別できる 展望 ：分類結果の精度については詳しく調査できていない 人の目によって分類するアノテーション作業を行う予定 40