大規模言語モデルによる商品利用シナリオの生成と評価

大規模言語モデルによる 商品利用シナリオの生成と評価 羽切まどか*1 ，岡本 一志*1 ，原田 慧*1 ， 柴田 淳司*2 ，軽部 幸起*1 *1 2025.05.27 電気通信大学 *2 東京都立産業技術大学院大学 JSAI2025

はじめに 補完推薦とは 併用するとユーザ体験が向上するアイテムの組み合わせを推薦 [Li+, 2024] 補完アイテム例 推薦 購入！ 補完推薦の活用例 クエリアイテム： 例：Amazon 商品ページ内に「この商品を買った 人はこんな商品も買っています」 といったように共同購入されやすい アイテムを推薦 2025.05.27 JSAI2025 この商品を買った人はこんな商品 も買っています（イメージ図） 01/19

補完推薦の課題 先行研究：一緒に購入されやすい関係＝補完関係と定義 [McAuley+, 2015] [Hao+, 2020] 共同購入されやすいアイテム クエリアイテム → 補完アイテム → 無関係 履歴データ 【課題】履歴データには「おむつとビール」のような 補完とは無関係なデータが含まれる → 履歴データから正確な補完関係を推定することは困難 [Xu+, 2020] [Sugahara+, 2024] 2025.05.27 JSAI2025 02/19

研究アイディア 人間はどのように補完アイテムを選んでいるのか？ 【仮説】人は利用状況（シナリオ）を想定したときに“必要”と感じた アイテムを、補完アイテムとして捉えているのではないか？ クエリ アイテム 利用シナリオ 必要なアイテム ≒ 補完アイテム？ このような選択プロセスを模倣し、計算機上で再現することで より高精度に補完関係を推定できる可能性がある 人間の思考プロセスや文脈理解を再現するには、 大規模言語モデル（LLM）の活用が有効 2025.05.27 JSAI2025 03/19

本研究のリサーチクエスチョン 補完推薦システムの想定例 クエリアイテム 利用シナリオ 必要（補完）アイテム クエリアイテム →利用シナリオ →必要アイテム の順に生成するため、 クエリアイテムの情報 のみを使い、履歴 データには依存しない 【課題】 LLMが妥当な利用 シナリオを生成できる かは未確認 【RQ】LLMはアイテム情報のみを用いて、妥当な アイテム利用シナリオを生成することができるか？ 2025.05.27 JSAI2025 04/19

アイテム利用シナリオの生成 利用データの選定 商品単位でのシナリオ生成→商品数の膨大さにより現実的ではない 代替手段：商品カテゴリを利用したシナリオ生成 →商品数に比べて有限・フォーマットが統一されており扱いやすい カテゴリ情報が階層構造であり、アイテム情報として利用可能なため ECサイト「ASKUL」のカテゴリデータを用いる ASKULのカテゴリ情報 生活雑貨／キッチン用品 ＞ ティッシュ／トイレット ペーパー／ペーパータオル ／日用品 ＞ ティッシュペーパー ＞ ボックスティッシュ 2025.05.27 JSAI2025 ・カテゴリ数は約9000件 ・特定の業種向けのカテゴリ （例： 実験室設備・備品） →全カテゴリを対象に 人手で評価することは困難 日常的な利用シナリオを想定し、 「生活雑貨／キッチン用品」 カテゴリを対象に実験 05/19

アイテム利用シナリオの生成 生成実験設定 対象カテゴリ：「生活雑貨／キッチン用品」に属する1221カテゴリ のうちランダム300カテゴリ 使用LLM：GPT-4o-mini アイテム利用シナリオの生成手順 ①入力 カテゴリ情報 2025.05.27 ②生成 LLM JSAI2025 アイテム利用シナリオ 06/19

プロンプト例 # 指示内容 商品カテゴリーの情報を与えます。左から右に向かって、より詳細な カテゴリーに分類されています。質問に対して、正確かつ具体的に 回答を行ってください # 質問 指定カテゴリーを使用する具体的なシナリオを、できる限り多く 挙げてください。 # 指定されたカテゴリー - ボックスティッシュ # カテゴリー階層 - 生活雑貨／キッチン用品 ＞ ティッシュ／トイレットペーパー／ ペーパータオル／日用品 ＞ ティッシュペーパー ＞ ボックスティッシュ 2025.05.27 JSAI2025 07/19

アイテム利用シナリオの生成結果 1カテゴリあたりのシナリオ生成数の分布（全300カテゴリ） シナリオ生成数 該当カテゴリ数 割合 7 5 1.67% 8 32 10.7% 9 15 5.00% 10 240 80.0% 11 3 1.00% 12 1 0.33% 13 2 0.67% 14 2 0.67% 「シナリオをできるだけ 多く挙げてください」と いう指示のため、 シナリオ生成数に若干 ばらつきがあるものの、 1カテゴリにつきおよそ 10シナリオが生成された 生成された利用シナリオの例（ボックスティッシュ） ・風邪やインフルエンザの際の鼻水やくしゃみの処理 ・食事中の手や口元の汚れを拭くため ・子供が食べこぼしをした際の清掃 など 2025.05.27 JSAI2025 08/19

アイテム利用シナリオの妥当性評価実験 実験設定・実験方法 評価者：計15名 （教職員2名、大学生・大学院生13名） 3名/グループにランダムに分ける（計5グループ） 評価方法：各グループに60カテゴリ分のアイテム利用シナリオの 妥当性を評価基準に沿って評価（1件当たり3名が評価） →300カテゴリ、2925件のシナリオの評価を収集 【妥当性の判断基準】 ・シナリオが現実的で、実際に起こり得ると思うか ・指定されたカテゴリがシナリオで適切に使用されているか 例） 油性マーカー 2025.05.27 生成シナリオ イベントの看板や装飾の作成 → 適切 ホワイトボードへの書き込み → 不適切 JSAI2025 09/19

アイテム利用シナリオの妥当性評価結果 「妥当でないシナリオ」と評価された数（全2925件、評価者3名） 3人 2人 0.2% 2.8% 1人 14.0% 全員が妥当と評価したシナリオ →2426件（82.9%） 過半数（2人以上）が妥当でない と評価したシナリオ →89件（3.0%） 非妥当判定数 0人 82.9% 2025.05.27 LLMはカテゴリ情報から アイテムを利用する妥当な シナリオを生成できる傾向を確認 JSAI2025 10/19

アイテム利用シナリオの妥当性評価結果 評価者が「妥当でないシナリオ」と評価した割合分布（全15人） 項目 値 平均値 6.78％ 標準偏差 4.61 最小値 2.38％ 最大値 21.5% 平均7%程度はアイテム利用シナリオを「妥当でない」と評価する LLMが作成したアイテム利用シナリオに対する妥当性評価は 個人差が大きいことを確認 2025.05.27 JSAI2025 11/19

アイテム利用シナリオが妥当と評価された要因 実際の行動に即したシナリオが生成されたため？ 実際に妥当と評価された シナリオ例 【カテゴリ】 ひざ掛け LLMが生成した 利用シナリオの一部 オフィスでの冷房 対策として使用する ギフトとして、友人 や家族に贈るために 使用する 必要アイテム 購入目的に沿ったシナリオが生成されている 2025.05.27 JSAI2025 12/19

シナリオが「妥当でない」と評価された要因 ①使用用途が不適切 家事や料理をする際の軽い服装と して着用する （非妥当判定：2名） 【カテゴリ】 タオル／バスマット／バスローブ ＞ バスローブ https://www.askul.co.jp/s/15-0604-0604005-06040050011/ ②シナリオが起こりづらい・現実的ではない 自宅でのセルフ脱毛イベント の開催 （非妥当判定：3名） 【カテゴリ】 脱毛・除毛・シェーバー ＞ その他脱毛・除毛 https://www.askul.co.jp/s/15-0604-0604021-06040210009/ 2025.05.27 JSAI2025 13/19

• https://www.askul.co.jp/s/15-0604-0604005-06040050011/
• https://www.askul.co.jp/s/15-0604-0604021-06040210009/

2人以上が「妥当でない」と評価したシナリオの解析 カテゴリ別利用シナリオにおける非妥当シナリオの発生割合 発生割合＝（非妥当シナリオ数/カテゴリの利用シナリオ数） 非妥当シナリオが含まれる カテゴリは52件（17.3%） 非妥当シナリオ の発生割合 該当カテゴリ数 10.0% 26 11.1% 2 12.5% 4 20.0% 10 22.2% 2 25.0% 1 37.5% 1 40.0% 4 50.0% 1 87.5% 1 半数以上のカテゴリで非妥当 シナリオがおよそ10% →平均10シナリオあるうち 1件のみが非妥当シナリオ その一方で… 非妥当シナリオが約9割も 占めるカテゴリが存在する 2025.05.27 JSAI2025 14/19

非妥当シナリオの割合が高いカテゴリ 生成されたキッチンペーパーホルダー の利用シナリオ（一部） https://www.askul.co.jp/s/15-1306-0603005-06030050021/ ・料理中の水分拭き取り ・テーブルの飲み物のこぼれを拭く ・食材の水分を吸収するための キッチンペーパーの使用 ・調理器具の拭き掃除 【該当カテゴリ】 キッチンペーパーの シナリオになっている ラップ／アルミホイル ／キッチンペーパー ＞ キッチンペーパーホルダー カテゴリ情報の「ラップ／アルミホイル／キッチンペーパー」から キッチンペーパーと誤認識してしまった？ カテゴリ階層情報が曖昧であると非妥当なシナリオが増加 2025.05.27 JSAI2025 15/19

• https://www.askul.co.jp/s/15-1306-0603005-06030050021/

非妥当シナリオの生成位置の傾向 LLMの出力における非妥当シナリオの発生位置 生成順位が後ろになるにつれ 非妥当シナリオの件数が増加 シナリオの前半部分を利用する ことで非妥当シナリオを削減 できる可能性 項目 全体使用時 前半使用時 削減率 非妥当シナリオ数 89件（3.0%） 28件（0.96%） 68.5% 非妥当カテゴリ数 52件（17.3%） 19件（6.3%） 63.5% 前半のみ利用することで非妥当なシナリオの大幅な削減が可能 2025.05.27 JSAI2025 16/19

まとめ 研究成果 ・カテゴリ情報から生成されたアイテム利用シナリオ の約85%が評価者全員から妥当と評価される結果を 得た。 ・妥当でないシナリオが含まれるカテゴリもあるが、 その多くが10シナリオのうち1件程度であることを 確認した。 ・妥当でないシナリオは、生成されたシナリオの後半 に出現しやすいことが確認された 今後の展望 ・アイテム利用シナリオを基に補完アイテムを特定 ・特定されたアイテムが人間にとって補完アイテムと 感じるか評価実験 ご清聴ありがとうございました 2025.05.27 JSAI2025 17/19

参考文献 [Li+, 2024] Li, L., and Du, Z., “Complementary Recommendation in E-commerce: Definition, Approaches, and Future Directions”, arXiv, arXiv:2403.16135, 2024. [Xu+, 2020] Xu, D., Ruan, C., Cho, J., Korpeoglu, E., Kumar, S., and Achan, K., “Knowledge-aware Complementary Product Representation Learning”, In Proc. 13th Int. Conf. Web Search Data Min., 681-689, 2020. [Sugahara+, 2024] Sugahara, K., Yamasaki, C., and Okamoto, K., “Is It Really Complementary? Revisiting Behavior-based Labels for Complementary Recommendation”, In Proc. 18th ACM Conf. Recomm. Syst., 1091-1095, 2024. 2025.05.27 JSAI2025 18/19

参考文献 [McAuley+, 2015] McAuley, J., Pandey, R., and Leskovec, J., “Inferring Networks of Substitutable and Complementary Products”, In Proc. 21th ACM SIGKDD Int. Conf. Knowl. Discovery Data Min., 785-794, 2015. [Hao+, 2020] Hao, J., Zhao, T., Li, J., Dong, X.L., Faloutsos, C., Sun, Y., and Wang, W., “P-Companion: A Principled Framework for Diversified Complementary Product Recommendation”, In Proc. 29th ACM Int. Conf. Inf. Knowl. Manag., 2517-2524, 2020. 2025.05.27 JSAI2025 19/19