化粧品クチコミに特化した信憑性評価システムの実現とその評価

化粧品クチコミに特化した 信憑性評価システムの実現とその評価 濱野 花莉，梶田 美帆，中村 聡史

化粧品の選択 • 多様な化粧品が開発されている 例：ファンデーション 乾燥しない！ • 自分に合う化粧品を選ぶのは難しい もし購入に失敗したら… Ø肌荒れのリスク シミを隠す！ Øお金が無駄になる Øずっと使わないといけない ➡購入前の情報収集は大事！ 肌にやさしい！ 崩れにくい！

インターネット上のクチコミ • メリット Øユーザが多く，様々な意見を手軽に閲覧できる • デメリット Ø情報の質が低い • 専門知識のないユーザ • 誇張表現を含むクチコミ Øステマの可能性

これまでの信憑性評価手法 • グループ単位で偽のレビュアーグループを検出[Mukherjee 2012] Ø個人単位で検出するより容易 Øステマに有効 • サクラチェッカー ØAmazonのレビューから「サクラ度」を判定 Øステマに有効 ➡ステマ以外の質の低いクチコミに対応できない 化粧品に特化していない

化粧品のクチコミの特性 • 消費者の個人差が大きい → 意見が分かれやすい 肌質，パーソナルカラー，化粧の好み etc. • 本当にその商品を使っているのか判断できない • どの程度使い込んでいるのか判断できない Ø試供品が配布されていることもある Ø一定期間以上の使用で効果が出るものも多い • 複数の化粧品を併せて使用することが多い 例：化粧下地＋ファンデーション これらの特性を同時に持ち合わせている

本研究における信憑性の判断 • クチコミが真実かどうかを完璧に判別するのは不可能 • 信憑性の判断が苦手なユーザの手助けをしたい！ 客観的な判断をシステムにさせる ＋ 判断がうまい人の基準を共有する 信憑性を意識させる！

大目的 化粧品のクチコミに特化した信憑性評価システムの実現

これまでの研究 • 文章に着目した信憑性データセットの構築 Ø化粧品のクチコミをインターネット上から300件収集 Ø女子大学生9名に信憑性評価を依頼 • 信憑性評価軸の作成 Ø信憑性データセットをもとに評価軸を作成 • 信憑性評価軸の有用性検証 Ø323件のクチコミを新たに作成し，機械学習で使用状況を判定 Ø81.7%の精度で判定可能 • 濱野 花莉, 中村 聡史. 化粧品に対するクチコミの信憑性判定に向けたクチコミ文章の調査, DEIM2021, No.C14-3, pp.1-8, 2021. • 濱野 花莉, 伊藤 理紗, 中村 聡史. 文章に着目した化粧品クチコミの信憑性評価軸の検討., GN, 2022, vol.2022-GN-115, no.32, pp.1-8.

過去に作成した評価軸 • それぞれの化粧品において重要な単語の有無 • 製品のデメリットについての記述の有無 • 他の製品との比較の有無 • 購入経緯についての記述の有無 • 併用した製品についての記述の有無 • 投稿者なりの使用方法（HOWTO）についての記述の有無 • 今後のことについての記述の有無 • どのような人におすすめかについての記述の有無

目的 • 化粧品に特化したクチコミの信憑性評価システム実現 • 信憑性提示の効果やシステムの改善点を明らかにする

システムを実現しました

システムを実現しました 化粧品の種類を選択 信憑性評価項目 クチコミ本文 信憑性ランク

システム概要：クチコミ本文 過去の研究で収集した300件のクチコミを使用 Ø@cosme，Twitter，LIPSから収集 Øファンデーション・化粧水・リップについてのクチコミ100件ずつ Ø先入観を除くため商品名やブランド名は伏せた状態

システム概要：信憑性評価項目 過去に検討した評価軸を「信憑性評価項目」として提示 Ø3名による軸評価をもとに項目のピンク色の濃さを変化

システム概要：信憑性ランク 軸評価をもとに信憑性スコアを算出 Ø全ての軸についての評価値の和を信憑性スコアとした • 重要単語数…〜3：0点，4〜7：0.5点，8〜：1点 • その他の軸…3名の軸評価の平均値（0〜1点） Øスコアが〜1点：C，1〜2点：B，2〜3.5点：A，3.5点〜：Sとランク付け

クチコミに対する軸評価 • 過去の研究で収集した300件のクチコミを使用 • 評価軸の特徴にクチコミが当てはまるかを3名が評価 評価軸 一致率 製品の悪い点についての記述の有無 75.3% 他の製品との比較の有無 87.7% 購入経緯についての記述の有無 79.7% 併用した製品についての記述の有無 93.7% 投稿者なりの使用方法についての記述の有無 71.0% 今後のことについての記述の有無 72.0% どのような人におすすめの記述の有無 86.7%

システム評価実験 • 実験協力者 Ø化粧をする大学生・大学院生11名（女性10名，回答しない1名） • 実験目的 Øシステムによる信憑性提示の効果を明らかにする Øシステムに関するフィードバックを得る

実験の流れ 事前アンケート：Googleフォームで回答 ⬇ システム利用：10分程度×3フェーズ ⬇ 事後アンケート： Googleフォームで回答

事前アンケート Q1 化粧品のクチコミの閲覧頻度を 教えてください 5段階（非常によく閲覧する（毎日）， よく閲覧する（週1回以上）， 時々閲覧する（2週間に1度程度）， あまり閲覧しない（月1回以下）， 閲覧したことはない） Q2 普段化粧品のクチコミを閲覧する際， どのようなものを参考にしますか 自由記述 Q3 化粧品のクチコミの信憑性を どの程度気にしていますか 5段階（5：非常に気にする〜0：全く気にしない） Q4 クチコミの信憑性を気にする場合， 自由記述 どのような点で信憑性を判断していますか

システム利用 指定した状況に沿ってどのような商品を購入するか決める Ø状況例：ファンデーションが切れてしまったので，新しく購入する ファンデーションを探す Ø10分程度で決める Ø順序効果を防ぐため，ファンデーション，化粧水，リップの順は ランダムにこちらが指定

事後アンケート Q5 ファンデーション・化粧水・リップについて， 自由記述 どのようなものを購入したいと思いましたか Q6 化粧品のクチコミの信憑性を 5段階（5：非常に気にした〜0：全く気にしな どの程度気にしてシステムを利用しましたか かった） Q7 システムで表示される信憑性評価項目は どの程度役に立ちましたか 5段階（5：非常に役に立った〜0：全く役に立た なかった） Q8 システムで表示される信憑性ランクは どの程度役に立ちましたか 5段階（5：非常に役に立った〜0：全く役に立た なかった） Q9 システムで提示される信憑性について どう感じましたか 自由記述 Q10 システムに対する意見・感想をお願いします 自由記述

結果：事後アンケート Q5：どのような化粧品を購入したいと思ったか • 具体的な化粧品の特徴の回答や「自身と同じ肌質かつ 信憑性ランクがSのものを参考にした」という意見があった 6人 Q6：信憑性を気にしてシステムを利用したか • 気にした（4以上）：7名 • 全く気にしなかった：0名 5人 4人 3人 2人 1人 0人 1 2 3 4 5

結果：事後アンケート Q7・Q8：信憑性評価項目 / 信憑性ランクは役に立ったか • 信憑性ランクを参考にした人が多かった • 全く役に立たなかったと回答した人は0名 7人 6人 5人 4人 3人 2人 1人 0人 Q7: 信憑性評価項目は役立ったか 1 2 Q8: 信憑性ランクは役立ったか 3 4 5

結果：事後アンケート Q9：システムで提示される信憑性をどう感じたか • 普段クチコミを信じやすいので，システムの判定は参考になった • ランクA以上のものを参考にしたが，AかSかは気にしなかった • ランクが低くても，自身が気になる内容であれば参考になった Q10：システムに関する意見・感想 • 重視する項目を選択し，自分に最適化されたランクが提示されたら嬉しい • 多くの人が気にする記述があるかをパッと見て知りたい

考察：システムの効果（Q3, Q6の比較） • 普段信憑性を気にしない人がシステムを利用することで 信憑性を気にするようになった • 普段から気にする人の中にはシステムの利用によって 自身で疑わなくなってしまう人もいた 6人 5人 4人 3人 2人 1人 0人 Q3: 信憑性をどの程度気にするか 1 2 Q6: 実験中に信憑性を気にしたか 3 4 5

考察：評価項目とランク提示 • 評価項目よりもランクを参考にする人が多かった • ランクよりも評価項目を参考にした人は2名 Øこの2名は自身が重視する記述を評価項目から探して閲覧していた 7人 6人 5人 4人 3人 2人 1人 0人 Q7: 信憑性評価項目は役立ったか 1 2 Q8: 信憑性ランクは役立ったか 3 4 5

考察：評価項目とランク提示 • 実験参加者によって評価項目とランクの利用方法は様々 Øランクのみから閲覧するクチコミを決める Øランクが一定以上＋重視する項目に当てはまるものを探す • 評価項目を用いた検索機能やランクのソート機能で ユーザの多様な利用方法に対応可能 Ø現状，評価項目は信憑性判定の根拠として提示

考察：重要単語数 • 多くの人が気にする記述があるかをパッと見て知りたい →重要単語数のみでなく，どの単語が含まれるかの提示 • 現状の重要単語数は，単語の数を利用：文章量は考慮していない →文章量に対する単語数など，文章量を考慮した軸に変更

今後の展望 • 評価実験で得られた意見からシステムを改善 Ø評価項目による検索 Øランクでのソート Ø重要単語数の改良 • 信憑性スコアの算出方法の改善（重み付けなど） • 文章以外の信憑性評価軸の検討

まとめ • 大目的 化粧品のクチコミに特化した信憑性評価システム実現 • 目的 システムの実現とシステム利用による効果・改善点の調査 • 結果 普段信憑性を気にしない人がシステム利用により気にするようになった 評価項目よりもランクを参考にする傾向 • 今後の展望 システムの改善，文章以外の評価軸の検討