【Ltech#18】LIFULL HOME'Sのおとり広告予測モデルの開発

1.1K Views

July 13, 21

#ltech #lifull #lifull home's #engineering #AI #おとり広告 #機械学習 #不動産 #LIFULL HOME'S

スライド概要

2021/07/13　Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】

神谷慶

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 655.94kB)

関連スライド

pmconf2023【プロダクトマネジメントで高速PDCA】アウトカムが激増したLIFULL HOME’Sのグロース事例

プロダクトマネジメントプロダクトマネージャー lifull

株式会社LIFULL 23.5K

HNSWの内部構造

lifull hnsw search

株式会社LIFULL 19.8K

CloudWatch LogsからGrafana Lokiにログ基盤を移行

lifull aws grafana ログ

株式会社LIFULL 18.3K

PrometheusとGrafanaで追求する、より良いアプリケーションの可観測性

lifull grafana ログ kuberentes

株式会社LIFULL 14.7K

LIFULL HOME'SでのSolrの構成と運用の変遷

lifull lifull home's engineering

株式会社LIFULL 11.4K

趣味と仕事の違い、現場で求められるアプリケーションの可観測性

技育祭エンジニア engineering programming プログラミング

株式会社LIFULL 9.6K

各ページのテキスト

自己紹介神谷慶 (かみやけい) 2019年新卒入社。物理学で大学院博士課程修了後、データサイエンス Gに配属。機械学習フローの自動化やレコメンドアルゴリズムの開発などに携わっています。 AIや数値モデルの予測可能性がビジネスの意思決定にどのような意思決定をもたらすかに興味があります。 Facebook: https://www.facebook.com/kei.kamiya.946 Twitter(動いていない): @me63316e1 Qiita: https://qiita.com/keikamiya https://www.isee.nagoy a-u.ac.jp/news/award/2017/20170809.html Copyright© LIFULL All Rights Reserved. 2

背景・導入おとり広告とは ● 成約済み物件の広告の消し忘れ最初は取引可能だったが、のちに成約済みとなった物件を削除しないまま更新しているパターン ● 呼び込みのための架空物件の広告実際には存在しないのに、集客するために意図的に広告掲載しているパターン参考: https://www.homes.co.jp/cont/rent/rent_00200/ おとり広告が存在すると、ユーザーが安心して住まい探しできない！！ Copyright© LIFULL All Rights Reserved. 5

https://www.homes.co.jp/cont/rent/rent_00200/

背景・導入おとり広告をなくす取り組み LIFULL HOME’Sではユーザーが安心して住まい探しができるように、おとり広告をなくす取組みを行っています。 ● 専属の情報審査チームによる能動調査 ● 不動産管理会社とデータ連携 ● 掲載110番本日のテーマ https://www.homes.co.jp/about/service/safetypolicy/ Copyright© LIFULL All Rights Reserved. 6

https://www.homes.co.jp/about/service/safetypolicy/

背景・導入募集終了物件の能動調査の流れ調査対象の物件選定 LIFULL HOME’S 掲載物件データベース物件リスト調査対象物件リスト物件b 物件f 物件e 物件g 物件h 数100万件オーダー Copyright© LIFULL All Rights Reserved. 調査・措置物件c 物件a 物件d → 調査結果をデータベースへ選定した物件に対して架電するなどして調査する物件DBの中から一定のルールに基づいて調査対象を選定物件a 調査・措置物件d 問題無 → 調査結果をデータベースへ募集終了数100件オーダー 7

背景・導入募集終了物件の能動調査の流れ一定のルールの問題点調査対象の物件選定 LIFULL HOME’S 掲載物件データベース・現在のルールでは選定できない物件がある物件リスト調査・措置・ルールの複雑化への対応が難解 → AIによる対象物件の選定を採用する物件DBの中から一定のルールに基づいて調査対象を選定 ● ● 選定した物件に対して架電募集終了物件の特徴を学習するなどして調査する募集終了確率を予測調査対象物件リスト物件b 物件a 物件c 物件a 物件d 物件f 物件e 物件g 物件h 数100万件オーダー Copyright© LIFULL All Rights Reserved. 調査・措置物件d 問題無 → 調査結果をデータベースへ募集終了数100件オーダー 8

10.

11.

おとり広告予測AI AIの学習から調査対象予測までの流れ AI開発チーム審査チーム物件DB アクセス 5. 募集終了確率上位の物件調査対象物件無作為抽出審査チーム調査対象取得・調査結果保存調査結果を保存物件リスト学習データのフロー 2. 会員が持つ物件情報 3. 物件情報 1. 日付 +会員ID 日次バッチで保存調査結果物件a: ○ (問題無) 物件b: × (募集終了) 物件c: ○ ... Copyright© LIFULL All Rights Reserved. 物件a: 4 物件b: 10 物件c: 21 推論データのフロー 4. 募集終了確率築年家賃物件情報を付属して学習 … 調査結果 70000 ○ 80000 × 100000 … AutoML Tables … ... ○ 11

12.

13.

14.

精度向上に関する取り組みモデルの評価メトリック混合行列(Confusion Matrix): 精度を確認するときによく利用される真値正例予測値正例負例負例真陽性(TP = True Positive) 偽陽性(FP = False Positive) 募集終了と予測して実際に募集終了だった数募集終了と予測して実際に問題無だった数偽陰性(FN = False Negative) 真陰性(TN = True Negative) 問題無と予測して実際に募集終了だった数問題無と予測して実際に問題無だった数適合率 = TP/(TP+FP) 募集終了と予測された物件のうち、実際に募集終了であった物件の割合再現率 = TP/(TP+FN) Copyright© LIFULL All Rights Reserved. 実際に募集終了であった物件のうち、募集終了と予測できた物件の割合 14

15.

精度向上に関する取り組みモデルの評価メトリック ● 適合率は募集終了と予測したものの正確性を見ることができるので、無駄うち(誤検知)をなくしたい場合に重視される ● 再現率は募集終了であるもの全体を特定したいというモチベーションから、検知漏れをなくしたい場合に重視される適合率-再現率(PR)曲線 ● ● 物件を調査できるリソースは限られているので無駄打ちを少なくしたいある再現率の元で、上位何割が正解していたかを重視する → ある再現率の元での適合率を評価指標とする Copyright© LIFULL All Rights Reserved. 適合率今回のケースでは、再現率 15

16.

精度向上に関する取り組み学習データと予測データの傾向の差例: ある特徴量に関して物件選定前(赤)と物件選定後(青)の分布の差物件選定後に分布が偏る物件DB 物件選定学習データ ≠ 予測データ学習用のデータは、特定の物件を選定後行われるため、予測データの傾向(LIFULL HOME’Sの掲載物件リスト)とは厳密には異なっている。 →予測精度の悪化、特徴量選定の難易度向上 Copyright© LIFULL All Rights Reserved. 16

17.

18.

精度向上に関する取り組み効率的なモデル開発のための工夫工夫その1: 定期実行バッチを Airflowでスケジューリング調査物件リスト調査結果を保存日次バッチで保存物件情報を付属して月次で学習 AutoML Tables 工夫その2: Salesforceのデータを BigQuery上で扱うことにより、特徴量チューニングを簡易化工夫その3: AutoML Tablesでテーブルデータの学習を自動化最適なモデル作成のため、機械学習フロー (データ収集、データ加工、学習)を全自動化 !! Copyright© LIFULL All Rights Reserved. 18

19.

20.

21.