トップページの可用性向上の取り組み #yjfukuoka

174 Views

December 04, 20

#yjfukuoka #Yahoo! JAPAN #可用性 #トップページ #大規模災害 #トラフィック対策

スライド概要

2020年11月18日に開催した、ヤフー福岡 Tech Meetup #8「福岡に縁があるYahoo! JAPANのエンジニア」の登壇資料です。
イベントページ URL はこちらです。
https://yahoo-fukuoka.connpass.com/event/192171/

福岡へのUターンなど、これまでのキャリアをお話させていただきながら、
Yahoo! JAPANトップページの可用性を向上させる取り組みについてご紹介いたしました。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 160.7K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.8K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.7K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

⾃⼰紹介岡本拓也⼭⼝県出⾝。福岡で学⽣時代を過ごしました。趣味はロードバイクと、SF映画です。 ■2009年新卒⼊社画像配信プラットフォーム（PF）ニュース（メディア事業）コンテナ環境のログのモニタリングシステム（PF） ■2019年福岡にUターンニュース（メディア事業）トップページ（メディア事業）←イマココ ©2020 Yahoo Japan Corporation All rights reserved. 3

トップページに掲載する情報と可⽤性平常時に提供する情報 • ニュース • 天気・災害 • スポーツ • 地域情報 … 出典︓「Yahoo! JAPAN」アプリ、新たに「地域」タブの提供を開始 https://about.yahoo.co.jp/pr/release/2020/10/06b/ 「Yahoo! JAPAN」アプリ、新たに「タブ追加機能」の提供を開始 https://about.yahoo.co.jp/pr/release/2020/09/23a/ ©2020 Yahoo Japan Corporation All rights reserved. 5

トップページに掲載する情報と可⽤性⾮常時に提供する情報 • 豪⾬災害 • 緊急地震速報 • 新型コロナウィルスのまとめ … スマホ版トップページの新型コロナタブ PC版トップページでの災害情報表⽰例出典︓https://about.yahoo.co.jp/csr/effort/041.html 危機から⽣命財産を守る情報を届けるため、⾼い可⽤性が必要 ©2020 Yahoo Japan Corporation All rights reserved. 6

トップページの可⽤性に影響を与える要素⼤量のトラフィック発⽣⼤規模かつ広域に発⽣する災害・特別警報が発令される規模の台⾵や豪⾬災害・河川氾濫等の緊急性のある災害傾向・情報を求めて1⽇1億PVを超えることも・ピークタイムは毎回異なるが、数時間から数⽇にわたってトラフィック増 ©2020 Yahoo Japan Corporation All rights reserved. 出典：https://promo-mobile.yahoo.co.jp/risklevel/ 9

10.

トップページの可⽤性に影響を与える要素スパイクトラフィック発⽣速報性が求められる災害やニュース・緊急地震速報・重⼤ニュースのPush通知スパイクトラフィックになりやすい要素・⾸都圏での地震発⽣（Push配信エリアのユーザ数）・⽇中＞深夜（Push配信時間帯のユーザ数）対応の難しさ・スパイクの⾼さはケースによる 6/25の千葉県北東部の緊急地震速報によるスパイクトラフィック・オートスケールは間に合わない ©2020 Yahoo Japan Corporation All rights reserved. 10

11.

12.

13.

可⽤性を向上させるためのアプローチアーキテクチャ上の戦略１キャッシュシステム設計段階からトラフィック増に備える・ボトルネックになりえる箇所の性能向上・連携システムへの影響を抑える・CDNやリバースプロキシレベルのキャッシュ（APIレスポンス、FEコンテンツ etc）ステートレス/シンプルな状態を維持することを意識・キャッシュに依存しすぎないサービスのシステムのアーキテクチャの⼀例（1〜7はデータの流れ）・内部キャッシュ更新のタイミングインターネットの接続点近くにCDNクラスタを配置 ©2020 Yahoo Japan Corporation All rights reserved. 13

14.

可⽤性を向上させるためのアプローチアーキテクチャ上の戦略２冗⻑構成＋負荷分散システム設計段階からトラフィック増に備える・同⼀DC内の冗⻑構成と負荷分散緊急性の⾼い情報を扱う場合の備え・複数DCの冗⻑構成を前提で準備・⽚拠点がダウンしても耐えるリソース設計 100％処理可能なリソース ©2020 Yahoo Japan Corporation All rights reserved. 100％処理可能なリソース 14

15.

可⽤性を向上させるためのアプローチアーキテクチャ上の戦略３コンテナテクノロジー環境でのスケーリング緊急事態発⽣時に対処する⼿段として備える・想定以上のリクエストが連続的に発⽣した場合、スケールアウトで対処・豪⾬災害が広域化し、想定以上のアクセスが同時に発⽣した場合など・PaaS/CaaSベースのサービス提供環境を採⽤することで可能・Push対策には、スケールアウトの速度では間に合わない ©2020 Yahoo Japan Corporation All rights reserved. 15

16.

可⽤性を向上させるためのアプローチアーキテクチャ上の戦略４それでもだめなとき… 緊急事態発⽣時に対処する⼿段として備えるサーキットブレーカーの発動・Rate Limitを超えた場合に事前に準備した画⾯を掲出し障害の連鎖を⽌める簡易ページでの情報提供を継続・トップページでは⾼負荷時に備え簡易ページを⽤意・広告、レコメンデーション等を省き災害情報に絞る高負荷時に備える簡易ページの例 ©2020 Yahoo Japan Corporation All rights reserved. 16

17.

可⽤性を向上させるためのアプローチエンジニアの活動１インフラ・プラットフォームチームとの連携効率よく開発するための社内PF コンピューティング︓IaaS/PaaS/CaaS/FaaS … ストレージ︓KVS/DBaaS/オブジェクトストレージ … ネットワーク︓CDN/リバースプロキシ/LB … モニタリング︓メトリクス/ログ/トレース … PFごとに品質基準（マニフェスト）を定義インターフェース︓WebUI, RESTful API, … リージョン︓地域冗⻑性アベイラビリティゾーン︓リージョン内のAZ情報可⽤性︓稼働率の定義と⽬標稼働率スループット︓処理可能なrps ⼀定の基準にそってコミュニケーションをとり、サービス開発エンジニアとPF担当エンジニアが同じ⽅向を向く ©2020 Yahoo Japan Corporation All rights reserved. 17

18.

可⽤性を向上させるためのアプローチエンジニアの活動２⼤規模災害を想定した初動対応訓練「⼤規模災害発⽣時の初動対応、第⼀報から継続的な情報提供体制の構築までの習熟」⼤規模災害によるリージョンの切り替えを想定した訓練シナリオ職種横断・サービス開発エンジニア⼀次対応とサービス継続⼤規模災害による機能停⽌・インフラ・PF部⾨のエンジニア・ページ編成担当・リスク管理部⾨訓練後の振り返り・初動対応⼿順の改善・⽇々のサービス開発へのフィードバック ©2020 Yahoo Japan Corporation All rights reserved. 18

19.

20.

https://techblog.yahoo.co.jp/

21.