Webアンケートにおける不真面目回答削減に向けた回答分類とその検証

Webアンケートにおける 不真面目回答削減に向けた 回答分類とその検証 山﨑郁未（明治大学） 畑中健壱 中村聡史 小松孝徳（明治大学）

はじめに • Webアンケートは 手軽に多くの回答を集めることができる • データが多く必要となる社会調査や 研究の基礎データの収集に利用されている 2

はじめに Webアンケートにおける 自由記述で不真面目回答が見られる • 回答者全員が回答できる設問で 「特になし」「わからない」 • 「abcdef」といった適当な文字列 3

はじめに • 回答の約9%が設問とは全く関係ない回答であった [Rejaら、2003] • Yahoo!クラウドソーシングで 実施した漫画好きな方へのアンケート →約17%が「特になし」「わからない」 [伊藤ら、2021] Reja, U., Manfreda, K., Hlebec, V., Vehovar, V.. Open-ended vs. Close-ended Questions in Web Questionnaires. Adv Methodol Stats, 2003, vol. 19, no. 1, p. 159-177. 伊藤 理紗, 中村 聡史. コミックにおける読者依存の地雷表現に関する基礎検討と軽減手法の検討, 第13回データ工学と情報マネジメントに関するフォーラム（DEIM2021）, 2021, No.D13-1, pp.1-8. 4

研究プロジェクトの目的 Webアンケートにおける 自由記述の設問での不真面目回答を減らす 5

関連研究：指示に従わない回答者 • 「下にある選択肢を無視し、この画面のタイトルを クリックして次のページに進んでください」を 遵守しない人は多く存在する [Oppenheimerら、2009] • 「以下の設問には回答せずに、 次のページに進んでください」を遵守しない人は 83.8%存在した [三浦ら、2015] 6

関連研究：指示に従わない回答者 • 「下にある選択肢を無視し、この画面のタイトルを クリックして次のページに進んでください」を 遵守しない人は多く存在する [Oppenheimerら、2009] 真面目に回答している人にとってはストレス • 「以下の設問には回答せずに、 次のページに進んでください」を遵守しない人は 83.8%存在した [三浦ら、2015] 7

過去の研究（HCI195） 自由記述の位置による不真面目回答率などの調査 最初 最後 山﨑 郁未, 伊藤 理紗, 中村 聡史, 小松 孝徳. Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 8

過去の研究（HCI195） • 自由記述が最初のグループで 不真面目回答率が低くなる • 自由記述が最初のグループは、 自由記述の段階で離脱率が上がる 全体的に回答の質が上がる 山﨑 郁未, 伊藤 理紗, 中村 聡史, 小松 孝徳. Webアンケートにおける不真面目回答予防システム実現に向けた自由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021. 9

過去の研究における問題 不真面目回答の判断基準がなかった 判断がブレてしまっていた恐れ 10

過去の研究における問題 不真面目回答の判断基準がなかった ガイドラインがないことが原因 判断がブレてしまっていた恐れ 11

関連研究：無回答・不適切回答抽出 • 無回答を基準にし、7つの回答タイプに分類を行った [Bosnjakら、2001] • 不適切回答をDQS、ARSにより定義し、 機械学習による不適切回答抽出を行った [後上ら、2021] • 回答時間に着目した不良回答除去システムを開発 [深井ら、2017] Bosnjak, M., Tuten, L.T.. Classifying Response Behaviors in Web-based Surveys, Journal of Computer-Mediated Communication, 2001, vol. 6, no. 3, JCMC636 後上正樹，松田裕貴，荒川豊，安本慶一. オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出. 情報処理学会インタラクション 2021，p. 1-10. 深井裕二, 河合洋明. Moodleアンケートに対応したSatisfice回答の適応的除去システムの開発. 日本工学教育協会論文集工学教育, 2017, vol. 65, no. 3, p. 60-65. 12

関連研究：無回答・不適切回答抽出 • 無回答を基準にし、7つの回答タイプに分類を行った [Bosnjakら、2001] • 不適切回答をDQS、ARSにより定義し、 機械学習による不適切回答抽出を行った 不真面目回答については定義がされていない [後上ら、2021] • 回答時間に着目した不良回答除去システムを開発 [深井ら、2017] Bosnjak, M., Tuten, L.T.. Classifying Response Behaviors in Web-based Surveys, Journal of Computer-Mediated Communication, 2001, vol. 6, no. 3, JCMC636 後上正樹，松田裕貴，荒川豊，安本慶一. オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出. 情報処理学会インタラクション 2021，p. 1-10. 深井裕二, 河合洋明. Moodleアンケートに対応したSatisfice回答の適応的除去システムの開発. 日本工学教育協会論文集工学教育, 2017, vol. 65, no. 3, p. 60-65. 13

本研究の目的 自由記述の回答分類および回答者分類を行い、 回答者分類の特徴について分析する • 手作業で回答分類を行う • 回答分類から回答者分類を行い、 回答者分類ごとに回答時間の分析を行う 14

回答分類：概要 自由記述の回答分類 • 著者2人による、手作業での分類 • 回答を1つずつ読み、以下の確認を行う • 設問の意図に沿っているか、理解しているか • そもそも回答をしようとしているか 15

回答分類：手順 • 分類開始時は、真面目回答と不真面目回答のみ • この2つの分類ではないと感じたら話し合いを行う • 意見が分かれた回答については合議 16

回答分類：使用データ • 過去の研究（HCI195）で集めた 979人分×4問（3916件）のデータを使用する • 運転免許を所持している人向けアンケートで アンケート対象者は必ず回答できる設問のみ 17

結果：回答分類 4つに分類ができた 回答分類 真面目回答 不真面目回答 特徴 設問の意図を理解し、 意図に沿った自分の意見を書いている 自分の意見を書いていない 読解力不足回答 自分の意見を書いているが、設問とは全く関係ない 説明不足回答 設問の意図を理解し、自分の意見を書いているが 実際に得たい回答とは異なる 18

結果：回答者分類 回答者分類 真面目回答者 条件 4つの設問全て真面目回答（真・真・真・真） 読解力不足回答者 読解力不足回答を1つでもした（真・読・真・真） 飽き回答者 1、2 問目(1、2、3 問目)は真面目回答で、 3、4 問目(4問目)では不真面目回答または説明不足回答 （真・真・不・説） 不真面目回答者 読解力不足、飽き回答者に当てはまらず 不真面目回答をした人（真・不・真・真） 説明不足回答者 読解力不足、飽き、不真面目回答者に当てはまらず 説明不足回答をした人（真・説・真・真） 19

特徴分析：回答者分類 • 回答者を5つに分類することができた • 回答者分類ごとに回答時間の比較を行う 20

特徴分析：合計回答時間 自由記述の合計回答時間の平均 回答者分類 合計回答時間 ** 真面目(N=397) 232.3 読解力不足(N=30) 149.1 飽き(N=114) 189.0 不真面目(N=71) 103.9 説明不足(N=367) 172.9 **: p<0.01 21

特徴分析：合計回答時間 自由記述の合計回答時間の平均 回答者分類 合計回答時間 ** 真面目(N=397) 232.3 読解力不足(N=30) 149.1 飽き(N=114) 189.0 不真面目(N=71) 103.9 説明不足(N=367) 172.9 設問の意図は 理解している **: p<0.01 22

特徴分析：真面目、飽き、説明不足 真面目回答者と比較して 飽き、説明不足回答者の回答時間が少ない 23

特徴分析：自由記述の位置 • 過去の研究で、自由記述の位置により 不真面目回答率などに差が見られた • 回答者分類ごとに 自由記述の位置による分析を行う 24

特徴分析：自由記述の位置 合計回答時間の平均 回答者分類 最初 最後 真面目 240.2 225.0 読解力不足 176.0 128.5 241.2 ＞ 149.7 140.8 ＞ 75.4 飽き ** 不真面目 ** 説明不足 174.8 170.8 **: p<0.01 全ての回答者分類で自由記述が最初の方が長い 25

特徴分析：自由記述の位置 合計文字数の平均 回答者分類 最初 最後 真面目 73.5＜ 82.7 読解力不足 57.5 ＞ 40.8 飽き 60.0 ＞ 55.4 不真面目 23.9 ＞ 19.9 説明不足 46.8＜ 54.5 26

特徴分析：アンケート開始時間 • 過去の研究で、アンケートの依頼開始から 10分以内と10分以降の人で差が見られた • 回答者分類ごとに アンケート開始時間による分析を行う 27

特徴分析：アンケート開始時間 合計回答時間の平均 回答者分類 10分以内 10分以降 真面目 214.4 248.7 読解力不足 137.9 161.9 飽き 192.5 184.6 不真面目 99.1 107.7 説明不足 160.7 186.6 4つの回答者分類で10分以降の方が長い 28

特徴分析：アンケート開始時間 合計文字数の平均 回答者分類 10分以内 10分以降 70.3＜ 85.5 読解力不足 39.4 57.9 飽き 58.4 56.1 不真面目 20.5 22.5 説明不足 49.4 51.7 真面目 ** **: p<0.01 4つの回答者分類で10分以降の方が多い 29

考察：回答および回答者分類 • 自由記述を4つに分類できた • 5つの回答者分類となる可能性 • 特徴分析にてそれぞれ違いが見られた →アンケートの対処法が変わる 30

考察：特徴分析 不真面目、読解力不足回答者 • 回答時間が少ない特徴 • 不真面目回答者で、自由記述が最後であると より回答時間が少ない傾向 自由記述を最初に回答してもらうことが効果的 31

考察：特徴分析 飽き、説明不足回答者 真面目回答者と比較して4問目で回答時間が少ない 自由記述を最初に回答してもらう 32

考察：不真面目回答を減らす対策 回答者分類ごとに アンケートを動的に変更する • 真面目回答者：有意差は認められなかったものの 文字数が多い自由記述を最後 • その他の回答者：自由記述を最初 33

考察：アンケート開始時間の対策 アンケート開始時間ごとに アンケートを動的に変更する 真面目に回答したくなるような ユーザインタフェース 10分以内 34

まとめ • 背景：不真面目回答を減らす対策はしたものの 依然不真面目回答は存在していた • 目的：回答および回答者分類をし、特徴を分析 • 手法：手作業による分類、 回答時間の分析、アンケート開始時間の分析 • 結果：回答者分類ごとに異なる特徴が見られた 35