Webアンケートにおける自由記述設問の順番が回答時間と離脱に及ぼす影響のスマートフォン・PC間比較

Webアンケートにおける 自由記述設問の順番が 回答時間と離脱に及ぼす影響の スマートフォン・PC間比較 ⼭﨑郁未 中村聡史 ⼩松孝徳（明治⼤学）

はじめに • Webアンケートは ⼿軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利⽤されている 2

はじめに Webアンケートにおける 自由記述設問で不真面目回答が見られる • 回答者全員が回答可能な設問で 「特になし」「わからない」 • 「abcdef」といった適当な⽂字列 3

関連研究：不真面目回答について • ⾃由記述設問が後ろにあるほど 解釈可能な回答をする度合いが低くなる [Schmidtら、2020] • DQS（Directed Question Scale）と ARS（Attentive Responding Scale）に基づいた 26個の特徴量により不真⾯⽬回答を抽出 [後上ら、2021] Schmidt, K., Gummer, T., Roßmann, J.. Effects of Respondent and Survey Characteristics on the Response Quality of an Open-Ended Attitude Question in Web Surveys, MDA, 2020, vol. 14, no. 1, p. 3-34. 後上正樹, 松⽥裕貴, 荒川豊, 安本慶⼀. オンラインアンケート回答時のスマートフォン画⾯操作状況に基づく不適切回答検出. 情報処理学会インタラクション 2021, p. 1-10. 4

研究プロジェクトの目的 Webアンケートにおける 自由記述の設問での不真面目回答を減らす 5

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる 回答傾向の調査 ⾃由記述の回答分類 および回答者分類 HCI200 6

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる 回答傾向の調査 ⾃由記述の回答分類 および回答者分類 HCI200 7

過去の研究（HCI195） ⾃由記述の位置による不真⾯⽬回答率などの調査 最初 最後 ⼭﨑 郁未, 伊藤 理紗, 中村 聡史, ⼩松 孝徳. Webアンケートにおける不真⾯⽬回答予防システム実現に向けた⾃由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 8

過去の研究（HCI195） ⾃由記述が最初のグループでは • 不真⾯⽬回答率が低くなる • ⽂字数が少なくなる • ⾃由記述の段階で離脱が増える ⼭﨑 郁未, 伊藤 理紗, 中村 聡史, ⼩松 孝徳. Webアンケートにおける不真⾯⽬回答予防システム実現に向けた⾃由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 9

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる 回答傾向の調査 ⾃由記述の回答分類 および回答者分類 HCI200 10

過去の研究（HCI200） 自由記述の回答分類および回答者分類を行い、 回答者分類の特徴について分析する • 4つの回答分類、5つの回答者分類 • 回答時間は、真⾯⽬回答者が最も⻑く 不真⾯⽬回答者が最も短くなった ⼭﨑 郁未, 畑中 健壱, 中村 聡史, ⼩松 孝徳. Webアンケートにおける不真⾯⽬回答削減に向けた回答分類とその検証, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2022-HCI-200, No.29, pp.1-8, 2022. 11

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる 回答傾向の調査 ⾃由記述の回答分類 および回答者分類 HCI200 12

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる デバイスごとに 回答傾向の調査 違いがあると考えられる ⾃由記述の回答分類 および回答者分類 HCI200 13

研究の流れ HCI195 今回 ⾃由記述の位置による 回答の質の調査 デバイスによる 回答傾向の調査 ⾃由記述の回答分類 および回答者分類 HCI200 14

関連研究：デバイスの比較 • モバイル端末はPCと⽐較して アンケートが進むにつれて離脱率が増加する [Mitterederら、2022] • スマートフォンはPCに⽐べて 回答時間が⻑い [Tourangeau、2018] Mittereder,F.,West,T.B.. A Dynamic Survival Modeling Approach to the Prediction of Web Survey Breakoff. Journal of Survey Statistics and Methodology, 2022, vol. 10, no. 4, p. 945-978. Tourangeau, R., Sun, H., Yan, T., Maitland, A., Rivero, G., Williams, D.. Web Surveys by Smartphones and Tablets. Social Science Computer Review, 2018, vol. 36, no. 5, p. 542-556. 15

過去の研究での問題点 過去の研究（HCI195）では アンケート開始前に説明ページが存在していた 16

過去の研究での問題点 過去の研究（HCI195）では アンケート開始前に説明ページが存在していた 説明ページでかなり多く離脱していた恐れ 17

本研究の目的 デバイスによる離脱率や回答特徴の調査 • ディスプレイサイズの取得、デバイスごとの分析 • ⾃由記述が最初にあることによる 離脱率の正確な調査 18

実験 ⾃由記述設問の位置による回答の調査 • Yahoo!クラウドソーシングで依頼（1,000⼈） • 漫画好きな⼈向けアンケートで アンケート対象者は必ず回答できる設問のみ 19

実験 • 2つのグループで⽐較 • 最初群︓⾃由記述設問を最初に回答 • 最後群︓⾃由記述設問を最後に回答 • 群はシステム内でランダムに決定 20

実験 • 現在何問⽬かを随時画⾯に表⽰ • 設問順序制御のため、 問題は1ページに1問のみ表⽰ 21

実験 設問内容 最初群 最後群 Q-a 1 4 普段漫画を読むサービスについて Q-b 2 5 好きな漫画の作品名を5つ Q-c 3 6 漫画に対して苦⼿な表現があるかどうか Q-d 4 7 漫画で苦⼿な表現 Q-e 5 8 漫画でページを⾒ただけで苦⼿だと感じる表現 Q-f 6 1 性別 Q-g 7 2 年齢 Q-h 8 3 漫画を1ヶ⽉でどのくらい読むか 22

結果：データ数 • アンケートに最後まで回答し 指定されたIDを⼊⼒したデータを分析に使⽤ • 最初群︓471⼈ • 最後群︓517⼈ 23

結果：不真面目回答率 単位（%） Q-a Q-b Q-d Q-e 最初群 3.4 2.5 1.5 4.0 最後群 4.6 5.0 3.3 5.2 Q-b︓p<0.05 全ての⾃由記述設問で最初群の⽅が低くなる 24

結果：離脱率 アクセスしたものの、25~30%もの⼈が回答しない 25

結果：デバイスごとの比較 • JavaScriptのレスポンシブデザインの例から 横幅768pxを基準として、デバイスを分ける • 768px未満︓スマートフォン • 768px以上︓PC スマホ PC • 1問⽬回答完了したのちに 取得可能 26

結果：デバイスごとの不真面目回答率 単位（%） Q-a Q-b Q-d Q-e 最 初 群 スマホ 3.4 2.2 1.8 5.2 PC 3.4 3.4 0.7 1.4 最 後 群 スマホ 4.3 4.0 3.7 6.1 PC 5.2 6.8 2.6 3.7 PCでの回答はQ-dやQ-eでの不真⾯⽬回答率が低い 27

結果：デバイスごとの離脱率 最初群 最後群 スマートフォンの⽅が離脱率が⾼い 28

考察：不真面目回答率 最初群の⽅が不真⾯⽬回答率が低くなった 過去の研究と同様の結果であり 設問数が変化しても幅広いアンケートテーマで影響あり 29

考察：離脱率 25~30%もの⼈がアンケートに回答しない 単純なアンケートであっても 4分の1はすぐに離脱してしまう 30

考察：不真面目回答率・離脱率 最初群では30%もの⼈がアンケートに回答しない 不真⾯⽬回答率の結果と 合わせて考えると… 不真⾯⽬に回答しようとしていた⼈が離脱し 不真⾯⽬回答率が低くなった 31

考察：不真面目回答率・離脱率 最初群では30%もの⼈がアンケートに回答しない 不真⾯⽬回答率の結果と アンケート結果の質の向上に良い影響 合わせて考えると… 不真⾯⽬に回答しようとしていた⼈が離脱し 不真⾯⽬回答率が低くなった 32

考察：デバイスによる比較 PCでの回答者の⽅が不真⾯⽬回答率が低い • PCの回答者は、アンケートのみに集中している • スマートフォンの回答者は、隙間時間などを利⽤ 33

考察：デバイスによる比較 スマートフォンでの離脱が多かった 気軽に参加し、すぐにやめてしまった可能性や 外出中に⽣じる要因による影響 34

考察：デバイスによる比較 スマートフォンでの離脱が多かった これらの人がアンケートを続けても 真面目に回答しない可能性があり 真面目回答を集めるためには離脱は有効 気軽に参加し、すぐにやめてしまった可能性や 外出中に⽣じる要因による影響 35

考察：回答時間の関係性と特徴 • 過去の研究（HCI200）において 回答者分類を⾏った • 回答者分類に基づき 選択設問と⾃由記述設問の 回答時間の関係性を分析 36

考察：回答時間の関係性と特徴 過去の研究（HCI200）での回答者分類 最初群 最後群 37

考察：回答時間の関係性と特徴 過去の研究（HCI200）での回答者分類 100秒未満で回答する人は 不真面目回答者の可能性が高い 最初群 最後群 38

考察：アンケート依頼の方法 予算に余裕がある • データを多く集める • ⾃由記述設問最後にし 回答者数を増やす 予算に限りがある • データは少しだけ • ⾃由記述設問最初にし 不真⾯⽬回答者を減らす 39

今後の展望 • デバイスサイズが1問⽬で取得できていなかった →1問⽬から取得し、再度離脱率の分析を⾏う • 不真⾯⽬回答者は回答時間が短い →回答時間により不真⾯⽬回答者を リアルタイムに判定 40

今後の展望 • デバイスサイズが1問⽬で取得できていなかった →1問⽬から取得し、再度離脱率の分析を⾏う • 不真⾯⽬回答者は回答時間が短い →回答時間により不真⾯⽬回答者を リアルタイムに判定 41

今後の展望 回答時間が極端に短い不真⾯⽬回答者には 最初に⾃由記述設問を提⽰し離脱を促すシステム 42

まとめ 背景︓Webアンケートにおける⾃由記述設問で 不真⾯⽬回答が⾒られる ⽬的︓⾃由記述設問での不真⾯⽬回答を減らす ⼿法︓⾃由記述設問を アンケートの最初に回答してもらう 結果 • 25-30% の回答者が1問⽬で離脱する︕ • 離脱率は 最初群＞最後群、スマートフォン＞PC • 真⾯⽬回答率は 最初群＞最後群 43