繰り返し選択実験の単調さが不適切な慣れに及ぼす影響

繰り返し選択実験の単調さが不適切な慣れに 及ぼす影響 髙久拓海 中村聡史 （明治大学 先端数理科学研究科） 1

背景 人の行動心理の解明や新規技術の発展を目的として様々な 研究が行われている データ取得のため様々な実験が行われている ⇒行動視察実験，WEBタスク実験，性能評価実験，など 実験データの質を高く保つことが必要である ⇒実験参加者の状態に着目した研究が行われている 2

関連研究 • Webアンケートで自由記述設問が後半にある場合は回答者が 不真面目な回答をする傾向がある [Yamazakiら, 2023] • 最小限の努力で回答を行う行動（Satisficing）がデータの 信頼性に負の影響を及ぼす [Bargeら, 2023] これらの研究は意図的に不真面目回答を行うユーザに着目した研究 Ikumi Yamazaki, Kenichi Hatanaka, Satoshi Nakamura, Takanori Komatsu. A Basic Study to Prevent Non-Earnest Responses in Web Surveys by Arranging the Order of Open-ended Questions, International Conference on Human-Computer Interaction (HCII 2023), Vol.LNCS, volume 14011, pp.314-326, 2023. Barge, S. and Gehlbach, H.: Using the Theory of Satisficing to Evaluate the Quality of Survey Data, Research in Higher Education, Vol. 53, pp. 182–200 (2012). 3

関連研究 • Webアンケートで自由記述設問が後半にある場合は回答者が 不真面目な回答をする傾向がある [Yamazakiら, 2023] • 最小限の努力で回答を行う行動（Satisficing）がデータの 信頼性に負の影響を及ぼす [Bargeら, 2023] これらの研究は意図的に不真面目回答を行うユーザに着目した研究 ⇒真面目に作業を行っていたが意図せず何らかの影響を受ける 4

慣れ（馴化） ある作業や動作を繰り返し行っていると生じる現象 [Thompsonら 1966] 慣れの影響： • 作業に習熟することで効率が上がる（適切な慣れ） • 作業の繰り返しで思考が定まってないのに作業を完了する（不適切な慣れ） Thompson, Richard F., and William A. Spencer. "Habituation: a model phenomenon for the study of neuronal substrates of behavior." Psychological review 73.1 (1966): 16. 5

慣れ（馴化） ある作業や動作を繰り返し行っていると生じる現象 [Thompsonら 1966] 慣れの影響： • 作業に習熟することで効率が上がる（適切な慣れ） • 作業の繰り返しで思考が定まってないのに作業を完了する（不適切な慣れ） 不適切な慣れの影響を受けているデータは実験データ全体の質を 下げるため正しいデータを取得するうえで問題となる 6

研究の大目的＆これまでの研究 実験中に生じる不適切な慣れを検出するための 指標を作成 これまでの研究： 1. 回答時間に着目した不適切な慣れの影響の調査 [GN118, 2023] 2. マウス軌跡に着目した不適切な慣れの影響の調査 [CN121, 2024] 髙久拓海, 小松原達哉, 山﨑郁未, 中村聡史：Web 上での 調査における回答時間に着目した不適切な慣れの基礎調 査, 情報処理学会 研究報告グループウェアとネットワー ク サービス（GN）, Vol. 2023-GN-118, No. 39, pp. 1–8 (2023). 髙久拓海, 中村聡史：Web 上での繰り返し選択実験におけ る単調さが不適切な慣れに及ぼす影響, 情報処理学会 研 究報告コラボレーションとネットワークサービス（CN）, Vol. 2024-CN-121, No. 21, pp. 1–7 (2024). 7

これまでの研究①：回答時間に着目した不適切な慣れの影響調査 作業工程に慣れることで作業を効率良く行えるようになる →不適切な慣れが生じている時には回答時間に傾向が出るのでは 作業の回答時間を利用してユーザを真面目，不真面目，リズム化の 3パターンに分類し回答傾向を調査 リズム化群は後半になるほど同じ位置の選択肢を選ぶ傾向がある 8

これまでの研究①：回答時間に着目した不適切な慣れの影響調査 回答時間と結果をベースに分類及び分析を行った ⇒前述の傾向が慣れによるものかは十分に明らかにできなかった 回答の傾向が慣れによって引き起こされているかを調べるためには ユーザの選択にいたるまでの思考を分析する必要がある 9

これまでの研究②：マウス軌跡に着目した不適切な慣れの影響調査 ユーザの行動を分析する手法としてマウスの軌跡に着目 マウスの軌跡を形状に応じた5パターンに分類 1. 直線型 2. 旋回型 3. 方向転換型 4. 中心維持型 5. その他 10

これまでの研究②：マウス軌跡に着目した不適切な慣れの影響調査 直線型 旋回型 方向転換型 中心維持型 11

これまでの研究②：マウス軌跡に着目した不適切な慣れの影響調査 旋回型＆方向転換型 • 選択肢を悩む、変えるなど適切な選択を意識している ⇒真面目に作業を行っているときに生じやすいパターン 旋回型 方向転換型 12

これまでの研究②：マウス軌跡に着目した不適切な慣れの影響調査 直線型＆中心維持型 • 一直線に選ぶ、動きを最小限に選ぶなど素早い意思決定 ⇒不適切な慣れが生じている可能性がある 直線型 中心維持型 13

これまでの研究の課題 回答時間およびマウスの軌跡を指標として傾向を分析 これまでの選択実験は実験協力者が最も適している回答を選ぶ実験 14

これまでの研究の課題 回答時間およびマウスの軌跡を指標として傾向を分析 これまでの選択実験は実験協力者が最も適している回答を選ぶ実験 ⇒実験協力者と回答の質を合わせて比較することはできなかった 15

本研究の目的 正解を有する選択実験において不適切な慣れと正誤の関係を 明らかにする 1. 正解を有する選択肢を選択してもらう実験システムの実装 2. 回答時間・マウス軌跡を指標とした従来の分析を行う 16

本研究の目的 正解を有する選択実験において不適切な慣れと正誤の関係を 明らかにする 1. 正解を有する選択肢を選択してもらう実験システムの実装 2. 回答時間・マウス軌跡を指標とした従来の分析を行う 17

実験設計 選択タスク 正解を有する選択タスク • 一意に決まる明確な正解が存在する • 作業者の事前知識に影響されない 足し算問題の正解不正解にまつわる選択タスク 18

実験設計 選択タスク 足し算問題の詳細： • 2桁+2桁の足し算 例）39 + 21，78 + 67 • 桁数を2桁にした理由は難易度と作業負荷を考慮 • 問題は表示されている答えの正誤を選択する形式 ➢ 例）64 + 28 = 92（正），72 + 89 = 151（誤） • 2桁の値はランダムに生成 • それぞれ50%の確率で正しい or 誤った回答が表示される 19

実験設計 実験システム 実験システムは問題提示画面と回答画面で構成 • 問題提示画面では足し算問題が2問表示される • 回答画面では正誤の組み合わせ4種類がランダムに表示される 問題提示画面 回答画面 20

実験設計 実験システムの様子 21

実験設計 実験の流れ • 50問を1セットとして3セット実施 • 各セット間に最低5分間の休憩を設けた • 実験参加者は理系大学生・大学院生10名（男7名，女3名） 実 験 説 明 １ セ ッ ト 目 ２ セ ッ ト 目 ３ セ ッ ト 目 ア ン ケ ー ト 22

マウスの軌跡パターンの定義 実験協力者の意思決定を分析するためマウスの軌跡に着目 これまでの研究で提案した5つの軌跡パターン • 問題提示と選択肢の選択が1画面で行われる状況を想定 • マウスの始点位置がある程度固定される • 複数の選択肢の中から1つを選ぶ 23

マウスの軌跡分類 今回の実験設計では問題提示と回答画面の2つの画面に分かれる 問題提示画面 • 「回答する」の1つのボタンのみ • 軌跡の始点位置は前問選択肢を クリックした位置で一律でない ⇒新しいマウス軌跡の分類パターンを 定義する必要がある 24

なぞり型 問題文の位置をマウス軌跡でなぞる型。慎重な回答傾向が分類される 25

なぞり型 問題文の位置をマウス軌跡でなぞる型。慎重な回答傾向が分類される 26

放置型 マウスを動かさず頭で回答を考える型。素早い意思決定を行う際に分類される 27

放置型 マウスを動かさず頭で回答を考える型。素早い意思決定を行う際に分類される 28

本研究の目的 正解を有する選択実験において不適切な慣れと正誤の関係を 明らかにする 1. 正解を有する選択肢を選択してもらう実験システムの実装 2. 回答時間・マウス軌跡を指標とした従来の分析を行う 29

結果：問題提示画面と回答画面 今回の実験は問題提示画面と回答画面を交互に繰り返す形式 問題提示画面 • 提示された問題の正誤を判断するため思考を伴うフェーズ 回答画面 • 問題提示画面で定めた答えの選択肢を選ぶため思考が重要ではない 30

結果：問題提示画面と回答画面 今回の実験は問題提示画面と回答画面を交互に繰り返す形式 問題提示画面 • 提示された問題の正誤を判断するため思考を伴うフェーズ 回答画面 • 問題提示画面で定めた答えの選択肢を選ぶため思考が重要ではない ⇒不適切な慣れと正誤の関係について問題提示画面の結果に着目する 31

結果：回答時間 問題提示画面で問題を解く際の回答時間の平均および標準偏差 応答時間（秒） 正解 9.50（±4.39） 不正解 8.02（±2.77） 全体 9.44（±4.34） 32

結果：回答時間 問題提示画面で問題を解く際の回答時間の平均および標準偏差 応答時間（秒） 正解 9.50（±4.39） 不正解 8.02（±2.77） 全体 9.44（±4.34） 33

結果：マウス軌跡パターンの件数 問題提示画面で問題を解く際のマウス軌跡パターンの件数 軌跡 正解数 不正解数 なぞり型 559 20 放置型 701 34 その他 140 8 34

考察：不適切な慣れと正誤の関係 これまでの研究で不適切な慣れが見られる傾向： ①回答時間が短くなる ②素早い意思決定を行う軌跡パターンが連続する 35

考察：不適切な慣れと正誤の関係 これまでの研究で不適切な慣れが見られる傾向： ①回答時間が短くなる ②素早い意思決定を行う軌跡パターンが連続する 上記の傾向が見られる場合に不正解の回数が増えるのではないか 36

考察：回答時間と正誤の関係 N問目が正解であった場合のN-4～N+4問目（青）と N問目が不正解であった場合のN-4～N+4問目（赤）の平均時間の推移 37

考察：回答時間と正誤の関係 N問目が不正解の場合 • 問題に不正解する1問前から 回答時間が短くなる傾向 ⇒回答時間が減少すると 問題に間違える傾向がある 38

考察：マウス軌跡と正誤の関係 同じ軌跡パターンが連続した場合の件数，不正解数，不正解割合 軌跡 件数 不正解数 不正解割合 なぞり型 74 3 4.1% 放置型 190 15 7.9% その他 3 1 33.3% 39

考察：マウス軌跡と正誤の関係 同じ軌跡パターンが連続した場合の件数，不正解数，不正解割合 軌跡 件数 不正解数 不正解割合 なぞり型 74 3 4.1% 放置型 190 15 7.9% その他 3 1 33.3% 40

考察：不適切な慣れと正誤の関係 不適切な慣れが見られる傾向： ①回答時間が短くなる ②素早い意思決定を行う軌跡パターンが連続する場合 41

考察：不適切な慣れと正誤の関係 不適切な慣れが見られる傾向： ①回答時間が短くなる ⇒回答時間が減少する場合に不正解になりやすい傾向がある ②素早い意思決定を行う軌跡パターンが連続する場合 ⇒放置型の軌跡パターンが続く場合に不正解の回数が多い 42

不適切な慣れの指標定義 不適切な慣れを検出するための指標を2つ定義する 1. 回答時間が減少していること 2. 素早い意思決定を行う場合の軌跡パターンが連続すること 43

不適切な慣れの指標定義 不適切な慣れを検出するための指標を2つ定義する 1. 回答時間が減少していること 2. 素早い意思決定を行う場合の軌跡パターンが連続すること 回答時間が減少する＆特定のマウス操作が 連続する場合に不適切な慣れが生じている 44

制約・今後の展望 不適切な慣れを検出するために回答時間とマウス軌跡を指標とした マウス軌跡は実験の設計に依存する可能性がある ⇒実験設計に合わせたマウス軌跡パターンを定義する必要がある 選択実験の中でも選択肢をクリックする形式 ⇒クリック以外の選択行動にも応用可能か検討する必要がある 45

まとめ 背景：不適切な慣れが実験協力者に影響を及ぼしている可能性 目的：不適切な慣れを検出するための指標を作成する 結果：回答時間、マウスの軌跡を指標とした分析より以下の2つを 不適切な慣れを検出する指標と定義 ①回答時間が減少する ②意思決定が素早い軌跡パターンが連続する 応用：異なる種類の実験設計に応用 46