【Ltech#5】説明可能な機械学習～価格査定とチャットボットを通して
292 Views
February 27, 19
スライド概要
2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2
～若手エンジニアが語る機械学習事例～
LT者：LIFULL AI戦略室 横山貴央
LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。
関連スライド
各ページのテキスト
説明可能な機械学習 価格査定とチャットボットを通して AI戦略室 横山 貴央
説明可能な機械学習 2 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
総務省 AI開発ガイドライン案 (2017) • 透明性の原則: 開発者は、AIシステムの入出力の検証可能性及び 判断結果の説明可能性に留意する。 • アカウンタビリティの原則: 開発者は、利用者を含むステークホルダに対しア カウンタビリティを果たすよう努める。 http://www.soumu.go.jp/main_content/000499625.pdf 3 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
機械学習における解釈性 • 機械学習における解釈性 (Interpretability in Machine Learning) – https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/ – https://www.slideshare.net/SatoshiHara3/ss-126157179 • 「AIはブラックボックスで信頼できない？」 →説明性、解釈可能性を担保するための取り組み → AIを使ったアプリケーションを「育てていく」際にも 使える視点だと思います 4 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
The big picture of Interpretable Machine learning 例）説明可能性を満たしやすい手法を導入する ・線形回帰 ・決定木 ・…. https://christophm.github.io/interpretable-ml-book/ Chapter 5 Model-Agnostic Methods 5 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
「よい説明」が持つべき要素（抜粋） • • • • • • • Accuracy 未知データに対する正確性 Fidelity 近似性（モデル間が近似になっている） Consistency 同じデータで異なる類似モデルでも説明が似る Stability 同じモデルで異なる類似データでも説明が似る Comprehensibility 人間にとってわかりやすい Certainty 説明がどれだけ正しそうかを示せる Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations 6 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
自己紹介 7 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
自己紹介 Yokoyama Takao 横山 貴央 AI戦略室 出身: バイオ+統計 資格: 臨床検査技師 8 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
経歴 2015年4月 入社 BO開発グループ～MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット～AI戦略室 ・チャットボット ・不動産価格推定 9 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
経歴 2015年4月 入社 BO開発グループ～MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット～AI戦略室 ・チャットボット ・不動産価格推定 10 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
経歴 2015年4月 入社 BO開発グループ～MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット～AI戦略室 ・チャットボット ・不動産価格推定 11 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
チャットボット 12 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
住まい探しのサポートセンター • 探し方がわからず離脱してしまうお客様を 減らしたい！ • 専門のアドバイザーが、 電話、メール、チャットで待機 • 住まい探しのお困り事や、 探し方のご相談に無料で対応 13 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
サービス画面デモ 14 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
Bot導入によって変わったこと • 対応時間の延長 10時～19時 → 年中無休に！ • 対応フローの分離 →人間はより専門的な業務に 15 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
Bot導入前 単純な応答 コンシェルジュ 16 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
人間はより専門的な業務に！ 単純な応答 コンシェルジュ 17 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
人間はより専門的な業務に！ 単純な応答 コンシェルジュ botで対応完了したケースが、 閑散期で 10～15％ 繁忙期で 20～25％ 18 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
どういう仕組み？ 19 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
想定される文章を大量に学習させた • 20 Microsoft LUISを利用（入力文→ラベル付けをしてくれる） © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
ユーザーからの自由入力に対してラベルとスコアを返却 21 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
これは説明可能性を満たしているか？ 22 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
これは説明可能性を満たしているか？ →…十分に満たしてない。 例えば誤分類が起きたときに、何が原因か確認でき るようにしておくべき。 ※ただし、重大な影響がない場合は、説明可能性は必要ない。 23 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
不動産価格査定 24 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
不動産価格査定 • 不動産鑑定士 – – 個別の地域に強い 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は？ ざっくりとした参考値を手軽に知りたい場合は？ 25 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
不動産価格査定 • 不動産鑑定士 – – 個別の地域に強い 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は？ ざっくりとした参考値を手軽に知りたい場合は？ 物件の参考価格が手軽に調べられる サービスがあると便利！ 26 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
相場を知りたいときに無料で活用できる情報 LIFULL HOME’S PRICE MAP ・中古マンションの参考価格を地図上で一覧 ・全国の48万棟・470万戸を掲載 LIFULL HOME’S家賃・価格相場 ・エリア/駅別の家賃相場がわかる ・希望条件の設定も可能 ・中古マンション、戸建、土地をカバー 27 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
サービス画面デモ 28 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
どういう仕組み？ 29 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
線形回帰モデル • y：価格 • β：重み • x: 物件の属性（広さ、場所、築年、etc..） 30 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
これは説明可能性を満たしているか？ 31 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
「よい説明」が持つべき要素（抜粋） • • • • • • • Accuracy 未知データに対する正確性 Fidelity 近似性（モデル間が近似になっている） Consistency 同じデータで異なる類似モデルでも説明が似る Stability 同じモデルで異なる類似データでも説明が似る Comprehensibility 人間にとってわかりやすい Certainty 説明がどれだけ正しそうかを示せる Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations 32 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
これは説明可能性を満たしているか？ 一部満たしている！ → だが、問題点もある。 – – 33 属性ごとの隠れた相互作用がある場合は？ 予測したい対象が線形性を満たさない場合は？ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
34 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
例えば、モデルを分ける 35 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
目的ごとにモデルを用意して、相互に近似するようにする 36 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
まとめ 37 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません 38 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません 4. 懇親会でぜひお話しましょう！ 39 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
Fin 40 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。