YJTC18 D-6 kukai: 世界2位の省エネスーパーコンピュータ

328 Views

January 30, 18

#スライド

スライド概要

Yahoo! JAPAN Tech Conference 2018 D-6 セッションのスライドです。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 193.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 92.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 82.9K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 65.5K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 43.3K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 33.7K

各ページのテキスト

自己紹介角田直行かくだなおゆきデータ&サイエンスソリューション統括本部テクニカルディレクターヤフーが作ったスーパーコンピュータが、省エネ性能で世界2位に！――スパコン「kukai」開発の担当者に聞く 2017年9月4日インタビューキャリアヤフーが、ディープラーニングを活用したデータ解析の高度化やサービスのパーソナライズ向上のために極秘で開発を進めていたスーパーコンピュータ「kukai」。従来の225倍の処理性能とともに世界を驚かせたのは、国際ランキングで、初登場いきなり世界2位の評価を獲得したその省エネ性能でした。「kukai」はなぜ、なんのために、開発されたのでしょうか。データ&サイエンスソリューション統括本部の角田直行テクニカルディレクターに聞きました。 https://linotice.tumblr.com/post/164962607234/20170904 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

Growing Use of Deep Learning at Google # of directories containing model description files 800 600 400 200 0 Q2-2012 Q3-2012 Q4-2012 Q1-2013 Q2-2013 Q3-2013 Q4-2013 Q1-2014 Q2-2014 Q3-2014 Q4-2014 Q1-2015 Time (quarterly) Across many products/areas: Android Apps Gmail Image Understanding Maps NLP Photos Robotics Speech Translation many research uses.. YouTube ... many others ... Word error rate on Switchboard trained against the Hub5'00 dataset 20 18 16 14 12 10 8 6 DNN-HMM DNN DNN sMBR Deep Speech + FSH Deep Speech Human performance 2012 2013 2014 2015 2016 2017 ARTIFICIAL ALPHAGO 01:42:16 Google DeepMind Challenge Match LEE SEDOL 01:40:00 画像引用:Aflo

ML for System B-Treeより高速かつ省メモリで探索 Does it Work? Index of 200M web service log records Type Config Lookup time Speedup vs. Btree Size (MB) Size vs. Btree BTree page size: 128 260 ns 1.0X 12.98 MB 1.0X Learned index 2nd stage size: 10000 222 ns 1.17X 0.15 MB 0.01X Learned index 2nd stage size: 50000 162 ns 1.60X 0.76 MB 0.05X Learned index 2nd stage size: 100000 144 ns 1.67X 1.53 MB 0.12X Learned index 2nd stage size: 200000 126 ns 2.06X 3.05 MB 0.23X The Case for Learned Index Structures, Tim Kraska, Alex Beutel, Ed Chi, Jeffrey Dean & Neoklis Polyzotis, arxiv.org/abs/1712.01208 Machine Learning for Systems and Systems for Machine Learning by Jeff Dean Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

Software 2.0 Software 1.0 コードで記述 Software 2.0 データで学習 Andrej Karpathy Follow Director of AI at Tesla. Previously Research Scientist at OpenAI and PhD student at Stanford. I like to train deep neural nets on large datasets. Nov 12 · 7 min read Software 2.0 I sometimes see people refer to neural networks as just "another tool in your machine learning toolbox". They have some pros and cons, they work here or there, and sometimes you can use them to win Kaggle competitions. Unfortunately, this interpretation completely misses the forest for the trees. Neural networks are not just another classifier, they represent the beginning of a fundamental shift in how we write software. They are Software 2.0. https://medium.com/@karpathy/software-2-0-a64152b37c35 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

データが最も重要な資源になる時代 “Data in the 21st Century is like Oil in the 18th Century” WIRED The Economist Theresa May v Brussels Ten years on: banking after the crisis South Korea's unfinished revolution Biology, but without the cells The world's most valuable resource Data and the new rules of competition Data is the new electricity Microsoft CEO Satya Nadella Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

10.

2017年以降に採択された主要論文 AnnexML: Approximate Nearest Neighbor Search for Extreme Multi-label Classification (KDD 2017) Attention and Engagement-Awareness in the Wild: A Large-Scale Study with Adaptive Notifications (PerCom 2017) A Comparative Live Evaluation of Multileaving Methods on a Commercial cQA Search (SIGIR 2017) Online Optimization of Video-Ad Allocation (IJCAI 2017) Embedding-based News Recommendation for Millions of Users (KDD 2017) Selective Inference for Sparse High-Order Interaction Models (ICML 2017) Incremental Skip-gram Model with Negative Sampling (EMNLP 2017) Towards authentication using multi-modal online activities (UbiComp 2017) Next place prediction in unfamiliar places considering contextual factors (SIGSPATIAL 2017) ... Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

11.

15:41 Q Yahoo!検索すべてニュース話題芸能スポーツ結成20周年POLYSICSに新メンバー加入築地美澄と行く石和温泉バスツアー、大盛り上がりでフィナーレ/芸能ショ "ポスト真央ちゃん"本田真凜年商 20億円企業のお嬢様だった STU48船上劇場 2度の延期明か "我々はまだ内製音声認識エンジン YJVOICE 見出し候補の自動生成特徴を捉えた画像の自動切り出し配信記事のパーソナライズ、重複排除記事のPageView予測 Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

12.

13.

14.

15.

16.

ヤフーにもDLに最適な環境を II 省エネに特化したスパコン画像引用:Aflo

17.

18.

kukai 3つの特徴 NVIDIA 最新GPUを搭載 ※2016年開発当時において最新最先端の冷却技術「液浸」を採用機械学習による自動チューニング YAHOO! JAPAN

19.

kukaiスペック 20ブリック80ノード (1ブリック4CPU & 8GPU) CPU Xeon E5-2650L 1.7GHz, 14core v4 GPU NVIDIA Tesla P100 PCIe 16GB Network InfiniBand FDR フロリナート※による液浸冷却 ※3M社製フッ素系不活性液体の製品名称・優れた電気絶縁性・無臭・毒性無し・粘性が低い・揮発性が高い・不燃性・オゾン破壊係数ゼロ Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

20.

機械学習による自動チューニング・ベイズ最適化(Bayesian Optimization) ・東京大学佐藤一誠先生との共同研究・電力効率の高いパラメータを探索・HPCでの事例は(おそらく)無し → 論文投稿中 Parameter BO Values Description N ✓ Positive Integer Matrix Size NB ✓ 1 ≤ NB ≤ N Block Size P P·Q = #Processes Process Grid Size Q P·Q = #Processes Process Grid Size NBMIN ✓ 1 ≤ NBMIN ≤ NB Recursive Stopping Condition NDIV Positive Integer Number of Panels in Recursion PFACT 3 choices Number of Panel Fact RFACT 3 choices Number of Recursive Panel Fact BCAST ✓ 6 choices Broadcast Type DEPTH 0 ≤ DEPTH Lookahead Depth SWAP 3 choices Swapping Algorithm GPU_CLK ✓ 1189 ~ 1328 GPU Clock Frequency CPU_CLK 1200 ~ 1700 CPU Clock Frequency Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

21.

GREEN 500 2017/6ランキングにて第2位を獲得 TOP500 Rank Rank System Cores Rmax (TFlop/s) Power (kW) Power Efficiency (GFlops/watts) 1 61 TSUBAME3.0 - SGI ICE XA, IP139-SXM2, Xeon E5-2680v4 14C 2.4GHz, Intel Omni-Path, NVIDIA Tesla P100 SXM2 , HPE GSIC Center, Tokyo Institute of Technology Japan 36,288 1,998.0 142 14.110 2 465 kukai - ZettaScaler-1.6 GPGPU system, Xeon E5-2650Lv4 14C 1.7GHz, Infiniband FDR, NVIDIA Tesla P100 , ExaScalar Yahoo Japan Corporation Japan 10,080 460.7 33 14.046 3 148 AIST AI Cloud - NEC 4U-8GPU Server, Xeon E5-2630Lv4 10C 1.8GHz, Infiniband EDR, NVIDIA Tesla P100 SXM2 , NEC National Institute of Advanced Industrial Science and Technology Japan 23,400 961.0 76 12.681 https://www.top500.org/green500/lists/2017/06/ Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

22.

事例: ヤフオク画像を使ったカテゴリ推定・8000万枚の画像(clearning前は21億枚)、カテゴリ3万・40ノード(80GPU)で1週間かけて学習・TensorFlow、Asynchronous SGD ・Deep Siamese Network + NGT(自社開発の高次元検索OSS) ・既存手法(SIFTベース)から大きく改善・精度(Top1-Accuracy)が17% → 30%に改善・インデックスサイズが1/100に削減・メモリ上に載せるサーバが128台 → 1,2台に・推論が10倍高速化推定結果: コンピュータ > 周辺機器 > 入力装置 > マウス、トラックボール > ワイヤレスマウスコンピュータ > 周辺機器 > 入力装置 > マウス、トラックボール > PS/2マウスコンピュータ > 周辺機器 > 入力装置 > マウス、トラックボール > USBマウス ... Copyright© 2018 Yahoo Japan Corporation. All Rights Reserved.

23.

24.