Web上での調査における回答時間に着目した不適切な慣れの基礎調査

Web上での調査における回答時間に 着目した不適切な慣れの基礎調査 明治大学4年 髙久拓海 小松原達哉 山﨑郁未 中村聡史 (明治大学) 1

背景 Web上でのアンケート調査やユーザ実験， データセット構築では大量のデータが 必要である 大量のデータを集めるため，Web上で 様々なサービスが利用されている 2

背景：クラウドソーシング • 登録しているユーザに作業を依頼できるサービス • 安価で即座に膨大なデータを依頼することが可能 • Yahoo!クラウドソーシング，Amazon Mechanical Turk 3

背景：クラウドソーシング 利点： • 大量のデータを短期間で取得することが可能 • 性別や年齢などの条件を指定できる 欠点： • 作業中の監視者がいないため作業の状態がわからない • 報酬を貰うためだけに適当に作業を行うユーザがいる 質の悪いデータを登録する実験協力者が存在し この問題を解決するための研究は多数行われている 4

背景 • Web上でのアンケート調査で，ある会社では83.8%の 回答者が設問の内容に従っていない [三浦ら、2015] • Webアンケートで自由記述設問が後半にある場合は 回答者が不真面目な回答をする傾向がある [山﨑ら、2021] Web上での作業において不真面目な実験協力者に 着目した研究が行われている 5

背景 真面目に作業を行っていたが意図せず 何らかの影響を受けてしまう アンケートの回答や実験における行動 データセットの登録基準などが変容 6

背景 真面目に作業を行っていたが，意図せず何ら かの影響を受けてしまう このような影響を受けた作業データも， アンケートや実験，データセットの質を 下げる要因となり得る アンケートの回答や実験における行動， データセットの登録基準が変容する 7

意図しない影響：慣れ（馴化） • ある作業や動作を繰り返し行っていると生じる • 提示される同じ刺激の頻度が多いと，慣れが早く進む • 異なる条件の刺激が提示されたとき反応が戻る 慣れはアンケート調査やユーザ実験，データセット構築の 登録されるデータに影響を及ぼす可能性がある 8

慣れの事例 • 提示される刺激を繰り返し見る ➢ 次の刺激を先読みして作業を行う • ひたすらクリック作業を繰り返す ➢ 思考が間に合っていないのにデータを登録する 9

関連研究：慣れの防止 • 作業中に複数の異なる刺激を提示して慣れを 防止させる [坂田ら，2021] • 慣れによるミスを防ぐため，指差し呼称を 用いて注意力を向上させる [中野ら，2014] Web上での調査や実験などにおける慣れの 問題についてはどのような特性があるのか 十分に明らかになっていない 10

問題意識 慣れがWeb上でのアンケート調査や ユーザ実験，データセット構築に 悪影響を及ぼしている？ 11

本研究の目的 慣れの影響の一つである作業を繰り返し 行うことで設問への回答がリズム化して しまう問題に着目し基礎調査を行う 12

回答作業 13

回答作業：正常 si-2 si-1 si 選択肢から選んでクリック si+1 si+2 t t：時間 Si：i番目の設問の回答時間 14

回答作業：正常 回答作業が正常に行われているので回答時間 S i-2からS i+2 の回答時間は傾向はない si-2 si-1 si 選択肢から選んでクリック si+1 si+2 t t：時間 Si：i番目の設問の回答時間 15

回答作業：正常 回答作業が正常に行われているので回答時間 S i-2からS i+2 の回答時間に傾向はない si-2 si-1 si 選択肢から選んでクリック si+1 si+2 t t：時間 Si：i番目の設問の回答時間 回答作業が正常に行われている場合 設問の回答時間はそれぞれ異なる値で ある可能性が高い 16

回答作業：リズム化 si-3 si-2 si-1 選択肢から選んでクリック si si+1 si+2 si+3 t t：時間 Si：i番目の設問の回答時間 17

回答作業：リズム化 正常に回答作業が行われている前半は回答時間 S i-3からS i の回答時間に傾向はない si-3 si-2 si-1 選択肢から選んでクリック si si+1 si+2 si+3 t t：時間 Si：i番目の設問の回答時間 18

回答作業：リズム化 回答作業がリズム化している後半は回答時間 S i+1からS i+3 の回答時間は値が近い si-3 si-2 si-1 選択肢から選んでクリック si si+1 si+2 si+3 t t：時間 Si：i番目の設問の回答時間 19

回答作業：リズム化 回答作業がリズム化している後半は回答時間 S i+1からS i+3 の回答時間は値が近い si-3 si-2 si-1 選択肢から選んでクリック si si+1 si+2 si+3 t t：時間 Si：i番目の設問の回答時間 回答作業が慣れによってリズム化している場 合は異なる設問の回答が一定の間隔で 行われていることが考えられる 20

分析方針 • 我々の研究室でこれまで実施してきた研究の中で， 繰り返し選択を行う実験に着目 • 登録者が選択回答をリズム感覚で行った結果，回答が 不適切なものになっていると予想 実験データを多面的に分析することで調査を行う 21

分析対象のデータセット ➢ データセットA ➢ データセットB ➢ データセットC 22

データセットA 選択肢の遅延表示が選択に及ぼす影響の調査（n = 2037） si-1 ri 選択肢から選んでクリック 文章を読んでOKをクリック si ri+1 si+1 ri+2 si+2 t t ： 時間 Si：i番目の設問の回答時間 r i：i番目の設問の問題文を読む時間 キャベツ キュウリ タマネギ ニンジン カボチャ ダイコン 23

データセットB フォントが選択に及ぼす影響の調査実験（n = 1,963） si-3 si-2 si-1 選択肢から選んでクリック si si+1 si+2 si+3 t t ： 時間 Si：i番目の設問の回答時間 24

データセットC 色が選択行動に及ぼす影響の調査実験（n = 855） si-2 ri-1 選択肢から選んでクリック ボタンをクリック si-1 ri si ri+1 si+1 t t ： 時間 Si：i番目の設問の回答時間 r i：i番目の設問の問題文を読み ボタンを押すまでの時間 25

分析方針 ➢ データ分割 ➢ 回答者分類の指標 ➢ 回答者グループ 26

分析方針 ➢ データ分割 27

データ分割 • 今回の分析で扱うデータは繰り返し作業によって 登録されるデータ • 作業の前半は影響を受けず，後半は影響を受けている データが登録されている 繰り返し作業において登録されたデータを 設問番号順に群に分類 28

データ分割 設問番号順の群の分類： • 序盤の設問群と終盤の設問群にわける • この両者を比較して回答者の分類を行う 29

分析方針 ➢ 回答者分類の指標 30

回答者分類の指標 • 真面目に回答している場合，設問ごとに回答時間が 異なり標準偏差の値は高くなる • 回答がリズム化される場合は，設問の内容に関わらず 回答が等間隔なため標準偏差の値が低くなる 回答時間の標準偏差の値を用いて 回答者を分類 31

分析方針 ➢ 回答者グループ 32

回答者グループ データの分割および標準偏差の値をもとに回答者を 下記の3つのグループに分類する 真面目グループ • 全ての設問に真剣に回答したグループで回答時間が 序盤から終盤までバラつく リズム化グループ • 序盤は真面目だったが後半になるにつれてリズム化 して回答を行ったグループ 不真面目グループ • 序盤から真剣に取り組む気がなかったグループ 33

分析結果 ➢ グループの分布 ➢ 平均回答時間 ➢ 選択肢の連続選択 34

分析結果（グループの分布） 各データセットにおける回答者グループの分布 データセットA グループ データセットB 人数（人） グループ データセットC 人数（人） グループ 人数（人） 真面目 840 真面目 847 真面目 124 リズム化 78 リズム化 128 リズム化 66 不真面目 63 不真面目 73 不真面目 196 その他 915 その他 496 その他 1056 35

分析結果（グループの分布） 各データセットにおける回答者グループの分布 データセットA グループ データセットB 人数（人） グループ データセットC 人数（人） グループ 人数（人） リズム化 78 リズム化 128 リズム化 66 不真面目 63 不真面目 73 不真面目 196 いずれのデータセットにおいてもリズム化グループ， 不真面目グループが一定以上存在 36

分析結果（平均回答時間） 各グループにおける設問群の平均回答時間 データセットA データセットB データセットC 37

分析結果（平均回答時間） 各グループにおける設問群の平均回答時間 データセットA データセットB データセットC 真面目グループは実験を通して回答時間が長く 序盤から終盤まで安定 38

分析結果（平均回答時間） 各グループにおける設問群の平均回答時間 データセットA データセットB データセットC リズム化グループは序盤群から終盤群にかけて 回答時間が減少 39

分析結果（平均回答時間） 各グループにおける設問群の平均回答時間 データセットA データセットB データセットC 不真面目グループは実験を通して回答時間が短く 序盤，中盤，終盤でほとんど変わらない 40

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 41

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 真面目グループは序盤と終盤で値が同じ，または 値が低くなる傾向 42

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 序盤より終盤の方が同じ選択肢を連続で 選択していなかった 43

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC リズム化グループは序盤より終盤の方が 値が高くなる傾向 44

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 終盤の方で同じ選択肢を連続で選択する 実験参加者 45

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 不真面目グループは終盤で値が高くなり 全体を通して他の2つのグループより高かった 46

分析結果（選択位置の連続回答） • 序盤と終盤の設問群ごとに同じ選択位置を3回以上 連続して選択した人数の割合 データセットA データセットB データセットC 序盤と終盤の両方で同じ選択肢を連続で 選択する実験者が多い 47

考察（平均回答時間） • すべてのデータセットにおいて，真面目と不真面目 グループは平均回答時間が一定 • リズム化グループは，序盤は回答時間が長いが 終盤で回答時間が短くなる傾向 48

考察（平均回答時間） • すべてのデータセットにおいて，真面目と不真面目 グループは平均回答時間が一定 • リズム化グループは，序盤は回答時間が長いが 終盤で回答時間が短くなる傾向 序盤は真面目グループと似た回答であるが， 終盤になるほど慣れが生じ，不真面目グループと 似た回答 49

考察（選択肢の連続選択） • リズム化グループは序盤では同じ選択肢を連続して 選択していない • 終盤に同じ選択肢を連続して選択する傾向が見られた 50

考察（選択肢の連続選択） • リズム化グループは序盤では同じ選択肢を連続して 選択していない • 終盤に同じ選択肢を連続して選択する傾向が見られた 序盤は真面目に選択しているが終盤には不真面目となり 不適切な回答を行っていると考えられる 51

考察 リズム化グループは • 終盤になるほど回答時間が短くなる • 終盤になるほど回答が不適切になる 回答作業中に慣れが生じてしまい，登録作業が早くなり 同じ選択肢を連続して選択する傾向が高くなる 52

今後の展望 マウス操作や自由記述への回答などの様々な操作が要求 されるタスクでリズム化が生じやすいか調査 リズム化を判断するのに用いた回答時間の標準偏差で 慣れの影響をリアルタイムで検出できるか調査 53

まとめ： 背景：慣れによる作業データへの影響の問題 目的：繰り返しの回答がリズム化する問題の調査 結果：リズム化グループは回答時間が減少し連続回答も増加 考察：リズム化グループは終盤になるほど回答時間が長く不適切 展望：他のタスクでのリズム化の調査 リズム化と回答時間で慣れの状態の検出 54