LLMを用いた住まい探しにおけるユーザ価値観の推定

2024.02.24｜第86回 Machine Learning 15minutes! LLMを用いた住まい探しにおけるユーザ価値観の推定 LIFULL グループデータ本部データサイエンスグループ 岩﨑 悠紀 Copyright© LIFULL All Rights Reserved.

自己紹介 所属 LIFULL グループデータ本部 データサイエンスグループ（2022年入社） 関わっているプロジェクト ・機械学習を用いた物件の並び順最適化 岩﨑 悠紀 ・LLMを用いたユーザ価値観の推定 興味のある分野 Yuki Iwasaki ・深層学習 ・自然言語処理 趣味 バイク、釣り、ゲーム Copyright© LIFULL All Rights Reserved.

1．背景・目的 2．論文紹介 目次 3．LLMによる物件評価の予測 a. 絶対評価 b. 相対評価 4．まとめ Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 背景 1. 近年、大規模言語モデル（LLM）が急速に普及している 2. 単なる言語モデルではなく、ユーザ行動のシミュレーションなどにも応用されている1,2 3. LIFULLにおいてもユーザの行動の理解は重要 → サイト改善や推薦モデルの精度向上に利用できる（その他もたくさん） LLMを利用して人間の行動を模倣させた エージェント25体を同じ空間に配置。 その様子（動作・会話など）を観察している。 1: Generative Agents: Interactive Simulacra of Human Behavior, https://arxiv.org/pdf/2304.03442.pdf 2: When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm, https://arxiv.org/pdf/2306.02552v2.pdf Copyright© LIFULL All Rights Reserved.

• https://arxiv.org/pdf/2304.03442.pdf
• https://arxiv.org/pdf/2306.02552v2.pdf

LLMを用いた住まい探しにおけるユーザ価値観の推定 目的 （LLMによるユーザ行動のシミュレーションを応用して） 「ユーザ行動・価値観を深く理解したクローン（デジタルクローン）」を作る 活用先：物件の推薦やサイト（UI/UX）改善などなど ↓ デジタルクローンを使ってユーザの価値観にあった物件を自動で検索＆推薦...！ LIFULL HOME’S おすすめ物件 ユーザ Copyright© LIFULL All Rights Reserved. ユーザの好みの 物件検索 デジタルクローン

LLMを用いた住まい探しにおけるユーザ価値観の推定 論文紹介：LLMを用いた自律的エージェントのサーベイ論文 LLMを用いた自律的エージェントの研究の多くは下 の4つの要素から構成されていると示されている。 Profile：人格・性格などを定義する Memory：環境やエージェントの行動を記録する Planning：複雑なタスクを分解する Action：エージェントの決定を処理に変換する A Survey on Large Language Model based Autonomous Agents, https://arxiv.org/pdf/2308.11432.pdf Copyright© LIFULL All Rights Reserved.

• https://arxiv.org/pdf/2308.11432.pdf

LLMを用いた住まい探しにおけるユーザ価値観の推定 論文紹介：LLMを用いたユーザ行動のシミュレート LLMを用いて特定の人間の性格・特徴などを模倣したエー ジェントでシミュレートを行った研究。 エージェントの行動： 1. 見たい映画の検索・選択 2. 映画の感想を他のエージェントに共有 3. SNSで多数向けに映画の感想をポスト この研究では各エージェントが模倣する性格・特徴などを 表にまとめ、それをもとにプロンプトを生成していた。（ユー ザ行動のデータで同じようなことができるかも…？） When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm, https://arxiv.org/pdf/2306.02552v2.pdf Copyright© LIFULL All Rights Reserved.

• https://arxiv.org/pdf/2306.02552v2.pdf

LLMを用いた住まい探しにおけるユーザ価値観の推定 不動産業界でのユーザ行動のシミュレート ただ、“「ユーザ行動・価値観を深く理解したクローン」を作る”といっても、 • そもそも不動産ドメインで同じこと（シミュレーション）が可能か？ • どんなデータが必要なのか？ • 何を評価すれば良いのか？ などわからない部分が多く、手探りの状態。 そのため、初めは実験の対象者を絞って身軽に探索していく。 〜 10 人（プロジェクト関係者） イマココ 〜 100 人（実験協力者） LIFULL HOME’S 全ユーザ ・不動産ドメインでの実現可能性 ・実験環境の整備 ・推薦などへの利用 ・LLMで解けるタスクの設定 ・デジタルクローンの精度評価・改善 ・運用に向けたシステム設計・運用 ・評価指標の選定 ・システム化へ向けた実装の整備 ・効果検証 ・必要なデータの調査 Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 そもそも不動産ドメインでどんなタスクが解けそうか？ ”ユーザ行動・価値観を深く理解しているか“というのは具体的には以下の方法で評価できる 1. 特定の物件に対して絶対的な評価が一致するか 2. 複数物件を比較した相対的な評価が一致するか どちらも物件に対して“住みたいかどうか”の評価を行うが、 評価方法によってタスク／システム的な難易度が変わってくる。 Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 LLMによる物件評価の予測（絶対評価） まずは物件の評価を人間・LLMともに絶対評価（単一の物件での評価）を行い、 どの程度正しく予測できるかを試してみる。 入力は物件の紹介文、出力は物件の5段階評価（住みたいかどうかの観点）に設定。 物件の紹介文 人間 評価値：3 LLM 評価値：4 この物件は〇〇県〇〇 市にあり、月額賃料は〇 万円で、広さは.. 人間の性格・特性 この人物は〇〇歳で、 〇〇県〇〇市に在住し ており、年収は〇〇万円 です。家族構成は.. Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 LLMによる物件評価の予測（絶対評価） （サンプル数は少ないが）この方法で実際に評価をしてみる と、LLMの予測が特定の評価値に大きく偏ることがあった。 右の図はある被験者の予測結果を混同行列にまとめたも のだが、LLMは5段階評価の2, 3を一度も出力することがな かった。 → そもそもタスクの難易度が高い？ 予測した5段階評価値（横軸）は、 2, 3の出力が 一つもなく、主に 1, 4の出力に偏っている。 縦軸：人間がつけた 5段階評価値 横軸：予測した 5段階評価値 Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 LLMによる物件評価の予測（相対評価） 次に物件の評価を人間・LLMともに相対評価（2つの物件の比較）を行ってみる。 相対評価では、2つの物件を比較し特定のグループ内での物件の相対的な順位を割り出す。 x N回（組み合わせ） 人間 物件Aの紹介文 この物件は〇〇県〇〇 市にあり、月額賃料は〇 万円で、広さは.. 人間 物件B 物件A 物件D LLM 人間の性格・特性 この人物は〇〇歳で、〇〇 県〇〇市に在住しており、年 収は〇〇万円です。家族構 成は.. Copyright© LIFULL All Rights Reserved. 物件E 並び順 物件Bの紹介文 この物件は〇〇県〇〇 市にあり、月額賃料は〇 万円で、広さは.. 物件C LLM 物件A 物件B 物件D 物件E 物件C

LLMを用いた住まい探しにおけるユーザ価値観の推定 LLMによる物件評価の予測（相対評価） 相対評価では、混同行列をみると対角成分に近い部分が高い 値になっているため、人間の順位とLLMの順位が大きく外れて はいないことがわかる。 → タスクの難易度は低くなった？ ただ相対評価の大変なところは、絶対評価と比べて比較回数 が非常に多くなること。仮に1000件の相対評価を行いたいとき は、約50万回の比較（つまりLLMの推論）が必要となってしま う。 混同行列の対角成分に近い部分に多く集まっ ている。 縦軸：人間がつけた 5段階の順位 横軸：予測した 5段階の順位 Copyright© LIFULL All Rights Reserved.

LLMを用いた住まい探しにおけるユーザ価値観の推定 今後の課題 今の所、絶対評価／相対評価では精度と計算量のトレードオフがありそう。 そこで今後の動きとして以下の二つの方向性がある。 1. 絶対評価の精度を向上させる方向 → プロンプトエンジニアリング、推論方法の工夫（段階的な推論など） 2. 相対評価の計算量を削減する方向 → 比較する組み合わせの削減（冗長な組み合わせを省く、など） 絶対評価 ・タスク難易度： 高 ・システム難易度： 低 Copyright© LIFULL All Rights Reserved. 相対評価 ・タスク難易度： 低 ・システム難易度： 高

LLMを用いた住まい探しにおけるユーザ価値観の推定 まとめ LIFULLのデータサイエンスグループではユーザ行動・価値観の理解のために LLMを使った住まい探しにおけるユーザ価値観の推定を行っています。 ● 気になったことがあればぜひ聞いてください！ ● 内容に興味のある人はあとでぜひ話しましょう！ ● 「こんなやり方もあるんじゃない？」みたいなアドバイスも大歓迎です！ Copyright© LIFULL All Rights Reserved.

Copyright© LIFULL All Rights Reserved.