Webアンケートの形式と設問文の口調が自由記述設問の回答に及ぼす影響

Webアンケートの形式と設問文の口調が 自由記述設問の回答に及ぼす影響 明治大学 三山貴也 総合数理学部3年 畑中健壱 加藤純世 中村聡史（明治大学）

背景 Webアンケートのメリット ・短期間かつ手軽に多くのデータを集めることができる ・作成が容易であり，収集したデータの可視化も簡易[Nayakら，2019] 学術研究や市場調査といった幅広い分野で活用されている Nayak, M. S. D. P. and Narayan, K.: Strengths and Weakness of Online Surveys, IOSR Journal of Humanities and Social Sciences (IOSR-JHSS), Vol. 24, No. 5, pp. 31–38 2

背景 Webアンケートにおける問題 自由記述設問で不真面目な回答を行う回答者が多く存在する 例 ・回答可能な設問にも「特になし」と回答する ・意味不明な文字列を入力する 分析に用いるサンプル数を減少させる可能性がある 3

先行研究① アンケート上の要素[Yamazakiら，2023] 自由記述設問の提示位置 テキストボックスサイズ 回答デバイス これらの要素が回答文字数や離脱率に影響を与えることを明らかにした Yamazaki, I., Hatanaka, K., Nakamura, S. and Komatsu, T.: The Effects of Order and Text Box Size of Open-ended Questions on Withdrawal Rate and the Length of Response, 35th Australian Conference on Human-Computer Interaction, pp. 446–453 4

着想 回答に影響を与えうる要素 ①アンケート形式 ・標準的なWebフォーム（Google Formなど）に加え， チャット形式のアンケートが用いられている ②設問文の口調 ・標準的で堅い表現と口語的な表現とでは回答のしやすさが異なる 可能性 5

先行研究② アンケート形式と口調[Kimら，2019] 選択設問のみのアンケートにおいて 実験条件 標準形式 チャット形式 普通口調 口語口調 ①標準×普通 ②標準×口語 ③チャット×普通 ④チャット×口語 ・チャット形式条件の回答者は選択肢をよりばらけさせて回答する(③) ・口語条件でその結果が顕著であったことが明らかにされている(④) Kim, S., Lee, J. and Gweon, G.: Comparing Data from Chatbot and Web Surveys: Effects of Platform and Conversational Style on Survey Response Quality, Proceedings of the 2019 CHI Conference on Human Factors in Computing System, No. 86, pp. 1–12 6

先行研究② アンケート形式と口調 普通口調 標準形式 チャット形式 ①標準×普通 口語口調 ②標準×口語 ③チャット×普通 ④チャット×口語 これらの要素が自由記述設問の回答に及ぼす影響は 十分に検証されていない 選択設問のみのアンケートにおいて，チャット形式条件の回答者は 選択肢をよりばらけさせて回答する傾向にあり，また口語条件でそ の結果が顕著であったことが明らかにされている．[Kimら，2019] Kim, S., Lee, J. and Gweon, G.: Comparing Data from Chatbot and Web Surveys: Effects of Platform and Conversational Style on Survey Response Quality, Proceedings of the 2019 CHI Conference on Human Factors in Computing System, No. 86, pp. 1–12 7

目的 アンケート形式および設問文の口調が 自由記述設問の回答に及ぼす影響を調査 8

実験 実験条件 普通口調 口語口調 標準形式 ①標準×普通 ②標準×口語 チャット形式 ③チャット×普通 ④チャット×口語 ・実験参加者200名（男性100名，女性100名）を Yahoo!クラウドソーシングを通じて募集 ・参加者はランダムに割り当てられた1条件のもとアンケートに 回答してもらう ＊回答デバイスはスマートフォンに限定 9

仮説 H1：アンケート形式がチャットでかつ口調が口語であると， 他の三条件に比べ回答トピック数が増える H2：アンケート形式が標準でかつ口調が口語であると， 他の三条件に比べ回答トピック数が減る Q. 朝ごはん何食べた？ 朝ごはん何食べた？ 例：ヨーグルト メッセージを入力… H1：チャット×口語 送信 送信 H2：標準×口語 10

実験 アンケート構成 実験アンケート 選択設問 5問 自由記述設問 2問 事後アンケート 選択設問 3問 アンケートテーマ：漫画[Yamazakiら，2023] 実験アンケート：漫画に関するアンケート 事後アンケート：回答者属性を取るアンケート ＊事後アンケートは実験条件に関係なく標準形式，普通口調で統一 11

実験設計 チャット形式のUI ←設問文 ←回答 ←設問文 ︙ 選択設問 自由記述設問 12

実験設計 チャット形式のUI 選択設問 設問文の直下に選択肢が表示される 13

実験設計 チャット形式のUI 自由記述設問 画面下部にメッセージ入力欄（回答欄） が表示される 14

実験設計 標準形式のUI 選択設問 自由記述設問 15

実験設計 口語口調の設問文の作成 著者らが普通口調の文章を口語口調の文章に改変 普通口調の設問 一か月あたりの漫画への出費額を教えてください 口語口調の設問 1か月で漫画にどれくらいお金かけてますか？ 16

分析方法 除外データ基準 基準 ・アンケートを途中で離脱した回答者のデータ →8名除外 ・設問に対して不適切な回答をした回答者のデータ →47名除外 計55名が除外対象となり，分析対象は145名となった 17

分析方法 自由記述の評価 自由記述設問の回答を，回答トピック数をもとに評価 設問内容とトピック数の定義 1問目 自由記述設問の設問内容 回答トピック数の定義 好きな漫画の作品名の列挙 作品数 漫画を読んでいて楽しい瞬間， 意味が重複せず，独立した 2問目 または漫画を読まない理由 内容の数[Kleinkorres ら，2021] Kleinkorres, R., Forthmann, B. and Holling, H.: AnExperimental Approach to Investigate the Involvementof Cognitive Load in Divergent Thinking, Journal ofIntelligence, Vol. 9, No. 1 18

分析方法 回答トピック数の算出 2名の評価者に回答トピック数をカウントしてもらい，級内相関係数で 一致度を求める 級内相関係数 1問目 級内相関係数 0.988 2問目 0.719 十分に信頼性がある ＊一致しなかった回答に関しては，著者がトピック数を判断した 19

結果 回答トピック数（H1） H1：アンケート形式がチャットでかつ口調が口語であると， 他の三条件に比べ回答トピック数が増える H1 チャット×口語条件 ・トピック数が二番目に多い H1は支持されなかった 回答トピック数の平均 20

結果 回答トピック数（H2） H2：アンケート形式が標準でかつ口調が口語であると， 他の三条件に比べ回答トピック数が減る H2 標準×口語条件 ・トピック数が二番目に少ない H2は支持されなかった 回答トピック数の平均 21

結果 自由記述設問の回答時間 回答時間の分布 チャット形式 は 標準形式 に比べて回答時間が有意に短い*（p<0.05） *二元配置分散分析 22

結果 自由記述設問の回答時間 回答時間の分布 チャット形式 は 標準形式 に比べて回答時間が有意に短い*（p<0.05） *二元配置分散分析 23

結果のまとめと追加分析 回答トピック数 いずれの仮説も支持されず，実験条件間に差はみられなかった →設問ごとに追加分析 回答時間 チャット形式は標準形式に比べ回答時間が短い →回答者属性ごとに追加分析 24

追加分析 除外データ 追加分析の際に条件を細分化すると 個々のデータの影響が大きくなる 自由記述設問の回答時間が300秒以上の データを除外 結果10名が除外対象 分析対象は135名 回答時間の分布 25

結果のまとめと考察方法 回答トピック数 いずれの仮説も支持されず，実験条件間に差はみられなかった →設問ごとに追加分析 回答時間 チャット形式は標準形式に比べ回答時間が短い →回答者属性ごとに追加分析 26

回答トピック数の追加分析と考察 トピック数ごとの回答者数 1 2 3 4 5 6 7以上 1問目 42 24 29 13 14 6 7 2問目 114 20 1 0 0 0 0 1問目（作品列挙）：回答によってトピック数にばらつきがある →個人差が大きい 2問目（文章記述）：多くの回答がトピック数を1と評価されている →複数のトピックを出すのが困難 設問内容が結果に影響した可能性 27

回答トピック数の追加分析と考察 設問ごとのトピック数の平均 実験条件 1問目 2問目 チャット×普通 2.82 1.19 チャット×口語 3.16 1.08 標準×普通 2.91 1.26 標準×口語 2.78 1.24 いずれの設問においても，実験条件間でトピック数の平均値に差はみられなかった 本研究で用いた自由記述設問が，実験条件の違いによって 差が生じにくいタスクであった可能性 28

結果のまとめと追加分析 回答トピック数 いずれの仮説も支持されず，実験条件間に差はみられなかった →設問ごとに追加分析 回答時間 チャット形式は標準形式に比べ回答時間が短い →回答者属性ごとに追加分析 29

回答時間の追加分析 男女別の自由記述回答時間 女性の回答時間 男性の回答時間 女性回答者では，チャット形式 が 標準形式よりも回答時間が有意に短い*（p<0.05） 男性回答者では，いずれの条件間でも差はみられなかった *二元配置分散分析 30

回答時間の追加分析 男女別の自由記述回答時間 女性の回答時間 男性の回答時間 女性回答者では，チャット形式 が 標準形式よりも回答時間が有意に短い*（p<0.05） 男性回答者では，いずれの条件間でも差はみられなかった *二元配置分散分析 31

考察 回答時間 女性において，回答時間に差が出た要因：設問の表示速度 次の設問が表示されるまでの時間＝0.5秒 女性が参加者の大半を占める研究において 相手の返信時間と，自分の送信時間には正の相関がある [村上，2023] 女性参加者の回答を焦らせてしまった可能性 村上幸史： 返信は早い方が良いのか？―携帯メールやLINE における「互酬性仮説」の検証，実験 社会心理学研究， Vol. 62, No. 2, pp. 80–93 32

展望 ・アンケートテーマや設問内容を変更した場合の調査 ・設問の表示速度の影響の調査 ・口語表現の妥当性の検討 33

まとめ 背景：Webアンケート上に存在する回答行動に影響を与える要素 目的：アンケート形式と口調が自由記述回答に与える影響の調査 手法：アンケート形式と口調を要因とし，アンケート調査を実施 結果：トピック数に差はなかったが，回答者属性ごとに傾向がみられた 展望：アンケートテーマや設問表示速度を変えて調査 34

結果 回答文字数 実験条件ごとの平均回答文字数 実験条件間に差はみられなかった 35

結果 女性の回答文字数 女性の回答文字数 女性の平均回答文字数に差はみられなかった →回答文字数の違いが回答時間に影響した可能性は低い 36

結果 選択設問の回答時間 選択設問の回答時間 回答時間の平均は30~40秒程度 37

事後アンケート 選択肢ごとの分布 「あなたの年齢が含まれるものを選択してください。」 （10~19/20~29/30~39/40~49/50~59/60~69/70~） 38

事後アンケート 選択肢ごとの分布 「普段どれだけチャットのやり取りを行っていますか？」 （ほぼ毎日やり取りしている/週に数回程度やり取りしている/ 月に数回程度やり取りしている/ほとんどやり取りしない） 39

事後アンケート 選択肢ごとの分布 「チャットにおいて普段どんな口調でやり取りをしていますか？」 （丁寧でかしこまった口調/くだけたカジュアルな口調/特に気にしない） 40

事後アンケート チャット条件のみの分布 「あなたの年齢が含まれるものを選択してください。」 （10~19/20~29/30~39/40~49/50~59/60~69/70~） 41

事後アンケート チャット条件のみの回答時間 「あなたの年齢が含まれるものを選択してください。」 （10~19/20~29/30~39/40~49/50~59/60~69/70~） 42

事後アンケート 男女別分布 「普段どれだけチャットのやり取りを行っていますか？」 （ほぼ毎日やり取りしている/週に数回程度やり取りしている/ 月に数回程度やり取りしている/ほとんどやり取りしない） 43

事後アンケート 男女別分布 「チャットにおいて普段どんな口調でやり取りをしていますか？」 （丁寧でかしこまった口調/くだけたカジュアルな口調/特に気にしない） 44

回答者属性ごとの結果 事後アンケート 「チャットにおいて普段どんな口調でやり取りをしていますか？」 （くだけたカジュアルな口調/丁寧でかしこまった口調/特に気にしない） 事後アンケートの選択肢ごとの回答文字数の分布 45

考察 日常の会話スタイルとの関連性 事後アンケートの選択肢ごとの回答文字数の分布 ・口語条件→日常のやり取りに近いため，簡潔な表現になった可能性 ・普通条件→より改まった表現で回答する必要があると認識された可能性 46

除外データの分布 離脱回答者数 不適切回答者数 普通口調 口語口調 普通口調 口語口調 標準形式 1 2 標準形式 15 11 チャット形式 3 2 チャット形式 12 9 離脱回答者数：条件間に差はみられなかった 不適切回答者数：標準形式が少し多い 47