近傍検索ライブラリNGTと深層学習による類似ファッション検索 #yjbonfire

2.3K Views

November 05, 19

#yjbonfire #近傍検索 #NGT #深層学習 #類似ファッション検索 #オープンソース

スライド概要

bonfire data&science #1 イベントで，ヤフーの類似画像検索について紹介した。NGTと呼ばれる大量の高次元ベクトルデータからクエリとして指定されたベクトルデータの近傍に存在するデータを高速に検索するソフトウェアについて詳しく触れられている。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 166.1K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

自己紹介岩崎雅二郎 Yahoo! JAPAN研究所 l 某複写機メーカー研究所にて類似画像検索技術をヤフーに提供し、2004年ヤフオク！でリリース l 2007年にヤフーに入社し、類似画像検索、物体認識、近傍検索の研究開発 l Yahoo!ラボリリース： FavNavi、サイヤスカメラ、 FashionNavi、（monotag、VisualSeeker） 2 C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

内容 l 近傍検索ライブラリNGT • ベンチマークによる検索性能 • インデックスの生成と検索 • 高性能な検索を実現する最適化グラフの生成方法 l NGTを用いた深層学習による類似ファッション検索 • • • • 3 類似ファッション検索アプリの紹介インデックスの生成と検索特徴量の構成と検索結果モデル生成用学習データ C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

NGTの特徴 • 世界トップレベルの高速高精度な近似近傍検索 • オープンソース • 追加削除が可能 • 多様な利用形態（Python、C++、C、Go、コマンドライン） • サーバ版NGT（ngtd、vald）を提供 • 共有メモリ版でメモリサイズ以上のデータ登録可能 • 量子化版NGT（NGTQ）により、さらなる大規模化が可能 7 ngtd: https://github.com/yahoojapan/ngtd vald: https://github.com/vdaas/vald C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

近傍検索ベンチマーク -ANN benchmarks• 近傍検索専用のベンチマーク • Dockerにより独立した動作環境 ANN benchmarks NGT python API NGT Ubuntu Docker • AWSのEC2 c5.4xlargeで実行 Linux AWS EC2 c5.4xlarge 9 NGT faiss hnsw annoy • 多種多様なデータセット（全10セット） Annoy • Annoy, Faiss, HNSWなど主要21種を網羅 Containers ANN benchmarks Ann benchmarks: https://github.com/erikbern/ann-benchmarks C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

10.

11.

12.

13.

14.

15.

ツリーの生成 l グラフの探索起点の取得に利用 l 超球を用いた空間分割によるツリー(DVP-tree)の生成 DVP-tree: 岩崎, 類似画像検索を実現する距離空間インデックスの実装及び評価, 情報処理学会論文誌データベース（TOD） 40(SIG03(TOD1)), 24-33, 1999 15 C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

16.

17.

18.

近傍検索 1. ツリーをたどりクエリの近傍オブジェクトを探索起点として取得 2. 探索起点からグラフを探索 1回の距離計算で下位部分空間の特定が可能 3最近傍検索 18 参考：https://techblog.yahoo.co.jp/lab/searchlab/ngt-docs-2/ C opyright © 2019 Y ahoo Japan C orporati on. A ll R ights R eserved. https://techblog.yahoo.co.jp/lab/searchlab/ngt-docs-3/

19.

20.

21.

22.

23.

24.

25.

パスを考慮した出次数の削減 • ツリーによりクエリ近傍に到達可能 • 長いショートカットエッジは不要 nd nd nd e4 e2 e1 n1 ns e1削除 25 e3 ns n3 n2 クエリ e5 re ns 代替パスに複数のノード ⇒e3削除せず n4 代替パスのノードn4が遠方 ⇒e4削除せずグラフ全体にパスの最適化を適用 C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

26.

27.

28.

29.

Yahoo!ラボ FavNavi • 研究所＋有志で研究開発したファッション検索実験アプリ • ファッション検索の基盤技術をサービスへ提供アプリの特徴 • • • • Yahoo!ショッピングのファッション商品検索検索対象領域表示商品以外のアイテムで検索可能撮影画像による検索（近日公開予定） https://apps.apple.com/jp/app/favnavi/id1478926680 29 C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

https://apps.apple.com/jp/app/favnavi/id1478926680

30.

https://commerceapp.yahoo.co.jp/shoppingappli/

31.

https://promo-ybrowser.yahoo.co.jp/

32.

33.

34.

35.

36.

37.

38.

モデル生成用学習データモデル画像種別画像数物体検出ヤフオク！ Yahoo!ショッピング 50,000件 20,000件低次特徴量 Yahoo!ショッピング 8,000,000件カテゴリ特徴量 Yahoo!ショッピング 400,000件物体検出のアノテーションデータは手作業で生成 38 C opyright © 2019 Y ahoo Japan C orporation. A ll R ights R eserved.

39.

40.