非母語話者の発話選択におけるDeceptive Pattern: 英語選択肢の発音容易性による選択誘導可能性の検証

第215回 HCI研究会 2025.11.26 ⾮⺟語話者の発話選択における Deceptive Pattern: 英語選択肢の 発⾳容易性による選択誘導可能性の検証 ⽊下 裕⼀朗，中村 聡史（明治⼤学）

Deceptive Patternの蔓延 Deceptive Pattern (Dark Pattern) 企業の利益となるようにユーザの⾏動を妨害/誘導するUIデザイン トイレットペーパー ¥500 定期便で購入 ひとつ購入 Interface Interference セール終了まで 現在6人がこの商品を見ています 00 : 12 : 20 ブーツ ¥20,000 時間 購入する 分 Urgency 秒 Social Proof 国内主要サイトの約6割がDPを使⽤ [⽇本経済新聞 2021] 240の⼈気モバイルアプリの約95%にDPが存在 [Di Geronimo+ 2020] ⽇本経済新聞: 消費者操る「ダークパターン」国内サイト6割該当. Di Geronimo, L. et al.: UI Dark Patterns and Where to Find Them: A Study on Mobile Applications and User Perception, CHI’20. 2

Deceptive Pattern研究の対象 これまでのDP研究は主にGUIを対象としてきた DPは異なるインタフェースにも存在 - IoTデバイス [Kowalczyk+ 2023] - ソーシャルロボット [Lacey & Caudwell 2020] [Dula+ 2023] - VUI (Voice User Interface) [Owens+ 2022] [Dubiel+ 2024] [Zhang+ 2025] Kowalczyk, M. et al.: Understanding Dark Patterns in Home IoT Devices, CHI’23. Lacey, C. and Caudwell, C.: Cuteness as a ‘Dark Pattern’ in Home Robots, HRI’19. Dula, E. et al.: Identifying Dark Patterns in Social Robot Behavior, SIEDS’23. Owens, K. et al.: Exploring Deceptive Design Patterns in Voice Interfaces, EuroUSEC’22. Dubiel, M. et al.: Impact of Voice Fidelity on Decision Making: A Potential Dark Pattern?, IUI’24. Zhang, S. et al.: The Manipulative Power of Voice Characteristics: Investigating Deceptive Patterns in Mandarin Chinese Female Synthetic Speech, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 9, No. 3, pp. 1–32 (2025). 3

VUIの普及と懸念される問題 VUIは今後ますます普及すると予想される - 飲⾷店やホテルなどにも導⼊ - より多くの場所で使⽤ GUIでDPが出現したように， VUIにもDPが使⽤される可能性 試着室の鏡に搭載される可能性 会話AIロボットRomi 4

VUIにおけるDPについて検証した研究 合成⾳声の質による選択の誘導可能性 [Dubiel+ 2024] ⾳声特徴の操作による選択や信頼性への影響 [Zhang+ 2025] ⾳声がひとの意思決定に影響する VUI: ⾳声出⼒と⾳声⼊⼒を⽤いるユーザインタフェース ⾳声⼊⼒におけるDPについてほとんど検討されていない Dubiel, M. et al.: Impact of Voice Fidelity on Decision Making: A Potential Dark Pattern?, IUI’24. Zhang, S. et al.: The Manipulative Power of Voice Characteristics: Investigating Deceptive Patterns in Mandarin Chinese Female Synthetic Speech, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 9, No. 3, pp. 1–32 (2025). 5

⾳声⼊⼒における潜在的なDP 選択肢の発話/発⾳容易性によって誘導される可能性に着⽬ - 選択肢の副詞表現によって選択が誘導される [Shigematsu+ 2025] ⾮⺟語を⽤いたVUIの操作には困難が⽣じ [Pyae & Scifleet 2018] ， 精神的作業負荷が⼤きい [Wu+ 2020] ⾮⺟語を⽤いた発話選択では発話/発⾳容易性の違いにより 誘導されやすい可能性 Shigematsu, R. et al.: Guiding Task Choice in Japanese Voice Interfaces through Vocalization Cost: Click-based vs. Voice-based Selection, MMAsia’25. Pyae, A. and Scifleet, P.: Investigating Differences Between Native English and Non-native English Speakers in Interacting with a Voice User Interface: A Case of Google Home, OzCHI’18. Wu, Y. et al.: Mental Workload and Language Production in Non-Native Speaker IPA Interaction, CUI’20. 6

⾮⺟語を⽤いてVUIを使⽤する状況 • VUIが多⾔語対応していない状況 • 意図的にインタラクションの⼀部で ⾮⺟語を使⽤させる可能性 - GUIではコンテンツの⼀部を未翻訳にし， ユーザの理解を妨げるDPが存在 [Hidaka+ 2023] Hidaka+の論⽂より抜粋 Hidaka, S. et al.: Linguistic Dead-Ends and Alphabet Soup: Finding Dark Patterns in Japanese Apps, CHI’23. 7

研究⽬的 ⾮⺟語を⽤いた発話選択において，選択肢の 発⾳容易性の違いにより，選択が誘導されるかを検証 発⾳容易性の違いがDPとして成⽴しうるか明らかにする 8

実験設計 質問に対して，2択の選択肢から1つを選び回答する実験 選択肢の⼈気度などによって選択が偏ってしまう可能性 実験を2段階で計画 実験1: ⼈気度などによる選択の偏りが⽣じない選択肢ペアの選定 - クリックにより選択 実験2: 選定したペアを⽤いた発話選択実験 - 発⾳容易性の違いによる選択誘導可能性を検証 9

実験1: 設計 [1/3] ⽬的: ⼈気度などによる偏りがない選択肢ペアを選定 シナリオ - 「これから海外旅⾏に⾏きます．そこで起こる出来事について 質問が提⽰されるため，2択から1つを選び答えてください．」 質問（合計17問） - 発⾳容易性の異なる選択肢ペアで構成した検証⽤質問（10問） - 実験意図を気づかれないようにするための質問（5問） - 参加者の注意⼒を確認するための質問（2問） 10

実験1: 設計 [2/3] 発⾳容易性の異なる選択肢ペア - 難しい: ⽇本⼈が苦⼿とする⾳を含む [Shudong & Higgings 2005] - 容易: ⽇本⼈が苦⼿とする⾳を含まない - 例）Clothes（難） / Bag（容易） 質問⽂は⽇本語で，選択肢は英語で表⽰ クリック選択により回答 Shudong, W. and Higgins, M.: An Online Pronunciation Training Support System Designed for Japanese Learners of English, ICALT’05. 11

12

実験1: 設計 [3/3] 実験後にアンケートを実施 - 発⾳容易性の異なる選択肢ペアについて，どちらがより 発⾳が難しいと感じるか - 英語選択肢のうち意味を知っている単語がどの程度あったか Yahoo!クラウドソーシングを利⽤して参加者を募集 - 英語の⾮⺟語話者である⽇本⼈の成⼈を対象 13

実験1: 結果 [1/2] 実験参加者 - 181名を分析対象（不適切と考えられる参加者を除外） - 男性89名，⼥性88名，トランスジェンダー1名，未回答3名 20代〜70代以上の参加者 英語選択肢のうち知っている単語がどの程度あったか（7段階） - 平均値 5.72 (SD=0.96)（1: すべて知らなかった，7: すべて知っていた） 14

実験1: 結果 [2/2] 検証⽤の10問のうち5問で選択が偏らなかった* 発⾳容易性が異なる2択であることを確認** 発⾳が容易（選択数） 発⾳が難しい（選択数） p値 Q2. 機内でどちらの軽⾷を⾷べますか？ Cookie (N=105) Crisps (N=76) p = .26 Q7. 朝⾷にどちらのパンを⾷べますか？ Bread (N=96) Croissant (N=85) p = 1.00 Q8. どちらの世界遺産を⾒たいですか？ Natural heritage (N=103) Cultural heritage (N=78) p = .53 Q14. 次のどちらに⾏きたいですか？ Garden (N=104) Harbor (N=77) p = .37 Q15. どちらを観に⾏きたいですか？ Concert (N=96) Theater (N=85) p = 1.00 質問（⼀部省略） * 選択の偏りについてカイ⼆乗検定を実施．p値はBonferroni法により補正． ** 発⾳がより難しい選択肢として選ばれた回数の偏りについてカイ⼆乗検定を実施． p値はBonferroni法により補正． 15

実験2: 設計 [1/2] ⽬的: 発⾳容易性の違いによる発話選択の誘導可能性の検証 実験1と同様の設計で実施し，発話で選択が⾏えるように変更 発話内容の認識にはWeb Speech APIを使⽤ 参加者は計12の質問に回答 - 実験1で選定したクリック選択で偏りがない検証⽤の質問（5問） - 実験意図を気づかれないようにするための質問（5問） - 参加者の注意⼒を確認するための質問（2問） 16

実験2: 設計 [2/2] 認識した発話内容と選択肢が⼀致せず実験を終えられない可能性 - 1回⽬は完全⼀致により判定 - 2回⽬は発話内容と各選択肢とのレーベンシュタイン距離* を 計算し，類似度が⾼い⽅を選ばれたものとして判定 Yahoo!クラウドソーシングを利⽤して参加者を募集 - 実験1に参加しておらず，英語の⾮⺟語話者である ⽇本⼈の成⼈を対象 * 2つの⽂字列がどの程度異なっているかを⽰す距離 17

18

実験2: 結果 [1/2] 実験参加者 - 106名を分析対象（不適切と考えられる参加者を除外） - 男性51名，⼥性55名 20代〜70代以上の参加者 英単語をどの程度知っていたか: 平均6.06 (SD=0.93) 発⾳が容易な選択肢が選ばれた合計数: 361回 発⾳が難しい選択肢が選ばれた合計数: 169回 選択の偏りに有意差* が認められた（𝝌2 = 69.55, p < .001） * 選択の偏りについてカイ⼆乗検定を実施 19

実験2: 結果 [2/2] 実験参加者は5問のうち平均3.41問（SD=1.02）において 発⾳の容易な⽅を選択 参加者の80%以上が，過半数の質問で 発⾳の容易な⽅を選択 発話内容と選択肢が⼀致していた割合 - 発⾳の容易な選択肢が選ばれたとき: 77.01% - 発⾳の難しい選択肢が選ばれたとき: 49.70% 20

考察: 発⾳容易性の違いによる誘導 ⾮⺟語を⽤いた発話選択では発⾳の容易な選択肢が選ばれやすい 発⾳容易性の違いがDPとして成⽴する可能性 ⽅⾔を話すユーザはVUIの操作時に⾔葉や発⾳を変える [Harrington+ 2022] ⺟語を⽤いた発話選択においても誘導される可能性 発⾳容易性による誘導 - GUIと⽐べ誘導の意図がわかりづらい可能性 トイレットペーパー ¥500 定期便で購入 ひとつ購入 GUIで⾒られる選択誘導 Harrington, C. et al.: “It’s Kind of Like Code-Switching”: Black Older Adults’ Experiences with a Voice Assistant for Health Information Seeking, CHI’22. 21

考察: ⾔語を考慮したVUIの設計 VUIの設計には利⽤可能なガイドラインが少ない [Murad+ 2023] デザイナが悪意なくDPを使⽤してしまう可能性 単語難易度の違いなどによっても選択が誘導される可能性 ⾔語要素の操作による誘導可能性についてさらに研究 ⾔語を考慮したVUI設計ガイドラインの確⽴を⽬指す Murad, C. et al.: What’s The Talk on VUI Guidelines? A Meta-Analysis of Guidelines for Voice User Interface Design, CUI’23. 22

制約と展望 本研究は英語を⾮⺟語とする⽇本⼈を対象 異なる⾔語や異なる国籍の参加者を対象とした場合に， 誘導効果が変わる可能性 海外旅⾏時における選択というシナリオで実験 異なる状況の選択に対して結果が⼀般化できるとは限らない 展望 - ⺟語の場合の発⾳容易性による誘導可能性の検証と⽐較 - ⾳声出⼒において⾮⺟語話者が誘導されやすい要因に着⽬ 23

まとめ 背景: ⾳声⼊⼒におけるDPについて⼗分に検討されていない ⽬的: 選択肢の発⾳容易性の違いが⾮⺟語話者の発話選択を 誘導しうるか検証 実験: 発⾳容易性による誘導効果を検証するための発話選択実験 結果: ⾮⺟語話者は発⾳の容易な選択肢を選びやすい 考察: 発⾳容易性の違いがDPとして成⽴する可能性 誘導の意図がわかりづらい可能性 24