SREチームがNew Relicを使って AWSコスト最適化に貢献した話

70.5K Views

June 27, 23

#SRE #New Relic #AWS #cost optimization #NewsPicks

スライド概要

NRUG (New Relic User Group) SRE支部 Vol.3 の発表資料です
https://nrug-sre.connpass.com/event/285748/

Yuki Ando

@integrated1453

スライド一覧

経済ニュースアプリのSREの仕事をしています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.06MB)

ダウンロード(pdf - 3.04MB)

関連スライド

3年間運用したCDKの失敗から学ぶCDK開発のプラクティス

Yuki Ando 123.9K

意外とマネージドなECS on EC2の運用

Yuki Ando 112.1K

AWSコストを全体で43.75%削減するためのコストモニタリング技術

Yuki Ando 64.2K

プロダクト開発エンジニア全員で取り組むオブザーバビリティ

Yuki Ando 50.4K

最高の開発者体験を目指してAWS CDKでCI/CDパイプラインを改善し続けている話

Yuki Ando 46.6K

[JAWS DAYS 2022] 円安と戦うために複数のAWSサービスでGravitonに移行した話

Yuki Ando 42.7K

各ページのテキスト

SREチームがNew Relicを使って AWSコスト最適化に貢献した話株式会社ニューズピックス安藤裕紀 NRUG (New Relic User Group) SRE支部 Vol.3 - 2023.6.27(Tue)

01 ソーシャル経済メディア NewsPicksについてタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキスト ©NewsPicks Inc. All Rights Reserved.

01 SREチームのミッションと、活動の4つの軸 Mission 誰もが安全かつ高速に開発できるインフラを提供することで、 NewsPicksの企業価値を継続的に向上させるユーザー体験を守る開発者体験を高める常にユーザー視点のモニタリングを行い、可用性やレイテンシーのSLO達成を通じて快適なユーザー体験を提供するメディアとしてニュースのスパイクアクセスを難なく捌くユーザーに価値を届けるプロダクト開発のパフォーマンスを最大化するため、開発者の負を取り除き快適・安全・高速に使える開発基盤サービスを提供するレガシーを捨てるセキュリティ・コストを適正化するレガシーなサーバーOSやミドルウェア、言語ランタイム、アーキテクチャーを継続的に刷新していくモダンな技術スタックによりエンジニア採用の競争力を高め、プロダクト開発組織の成長阻害要因を取り除く SNSの側面があるソーシャル経済メディアをユーザーが安心して利用できるセキュリティを確保するサービスの規模拡大に比例してサーバーのコストが増えないようにし、売上に対するコストの割合を低くする ©NewsPicks Inc. All Rights Reserved.

01 「サービスの規模拡大に比例してコストが増えないようにする」 Mission 誰もが安全かつ高速に開発できるインフラを提供することで、 NewsPicksの企業価値を継続的に向上させるユーザー体験を守る開発者体験を高める常にユーザー視点のモニタリングを行い、可用性やレイテンシーのSLO達成を通じて快適なユーザー体験を提供するメディアとしてニュースのスパイクアクセスを難なく捌くユーザーに価値を届けるプロダクト開発のパフォーマンスを最大化するため、開発者の負を取り除き快適・安全・高速に使える開発基盤サービスを提供するレガシーを捨てるセキュリティ・コストを適正化するレガシーなサーバーOSやミドルウェア、言語ランタイム、アーキテクチャーを継続的に刷新していくモダンな技術スタックによりエンジニア採用の競争力を高め、プロダクト開発組織の成長阻害要因を取り除く SNSの側面があるソーシャル経済メディアをユーザーが安心して利用できるセキュリティを確保するサービスの規模拡大に比例してサーバーのコストが増えないようにし、売上に対するコストの割合を低くする ©NewsPicks Inc. All Rights Reserved.

01 未曾有の円安によりSREチームの心は休まらない日々 USD/JPYの為替チャート(2022/1〜2023/6) 😱2022/10:150円(+30%) 😰2022/7:135円(+17%) 🤔2022/4:125円(+8.5%) 😀2022/1:115円(±0%) yahoo!finance https://finance.yahoo.com/quote/JPY=X 2023.6.7時点より ©NewsPicks Inc. All Rights Reserved.

https://finance.yahoo.com/quote/JPY=X

10.

01 未曾有の円安によりSREチームの心は休まらない日々 USD/JPYの為替チャート(2022/1〜2023/6) 😱2022/10:150円(+30%) 何もしなければコストが 30%増える 😰2022/7:135円(+17%) 🤔2022/4:125円(+8.5%) 😀2022/1:115円(±0%) yahoo!finance https://finance.yahoo.com/quote/JPY=X 2023.6.7時点より ©NewsPicks Inc. All Rights Reserved.

https://finance.yahoo.com/quote/JPY=X

11.

01 未曾有の円安によりSREチームの心は休まらない日々 USD/JPYの為替チャート(2022/1〜2023/6) 😱2022/10:150円(+30%) 何もしなければコストが 30%増える 1ドル115円→150円でAWS費用が30%アップ😱 「仮に」AWS費用が1億なら3000万の利益減少😭 😰2022/7:135円(+17%) 利益率15%の事業だとすると、追加で2億の売上を持ってこないと会社として当初の収益目標を達成できないことになります🥺（やばい） 🤔2022/4:125円(+8.5%) ※数字は、NewsPicks事業の数字ではなく架空のものです 😀2022/1:115円(±0%) yahoo!finance https://finance.yahoo.com/quote/JPY=X 2023.6.7時点より ©NewsPicks Inc. All Rights Reserved.

https://finance.yahoo.com/quote/JPY=X

12.

01 2023年は135円ラインで推移すると思いきや、余談を許さない上昇傾向 USD/JPYの為替チャート(2022/1〜2023/6) 😱2022/10:150円(+30%) 😰2022/7:135円(+17%) 🤔2022/4:125円(+8.5%) 😀2022/1:115円(±0%) yahoo!finance https://finance.yahoo.com/quote/JPY=X 2023.6.7時点より ©NewsPicks Inc. All Rights Reserved.

https://finance.yahoo.com/quote/JPY=X

13.

14.

15.

16.

https://www.amazon.co.jp/dp/4046053550

17.

18.

02 AWSのマネコンだけ見てもコスト最適化のヒントはたくさん Savings Plans Compute Optimizer Trusted Advisor カバレッジレポート/使用状況レポートで、利用するコンピューティングリソースに対するSP購入の推奨事項を出してくれるオンデマンド課金を最小限にするチューニングに使える EC2インスタンスに割り当てているリソースが、使用状況に対して過剰なプロビジョニングがあれば検出してくれる過剰な場合はスケールダウンを検討することができるコスト最適化の推奨として、過剰なプロビジョニングや RDS/ElastiCacheリザーブドノードの最適化、利用頻度の低いリソースを一覧化してくれる ©NewsPicks Inc. All Rights Reserved.

19.

02 AWSのマネコンだけ見てもコスト最適化のヒントはたくさん Savings Plans Compute Optimizer Trusted Advisor EC2インスタンスに割り当てていコスト最適化の推奨として、アプリケーションの中身やサービスの特性を理解しなくてもできるるリソースが、使用状況に対して過剰なプロビジョニングやカバレッジレポート/使用状況レポートで、利用するコンピューティングリソースに対するSP購入の推奨事項を出してくれるオンデマンド課金を最小限にするチューニングに使える過剰なプロビジョニングがあれば検出してくれる過剰な場合はスケールダウンを検討することができる RDS/ElastiCacheリザーブドノードの最適化、利用頻度の低いリソースを一覧化してくれる CPU使用率などをみて、○％までRI/SPを買う・スケールダウンするというマネコンポチポチおじさんになって、エンジニアといえるのか？事業会社のエンジニアをやる以上、エンドユーザーの体験やサービスの特性を考えてアプリケーションの改善含めた問題解決をしたい ©NewsPicks Inc. All Rights Reserved.

20.

02 コンピューティングコストの最適化ステップ 1. AWSリソース削減 2.CPU使用率を改善 Savings Plans, Compute Optimizer, Trusted Advisorに従ってポチポチ調整 New Relicを利用して支配的なサーバー処理を特定し、改善 ©NewsPicks Inc. All Rights Reserved. 3.AWSリソース削減 CPU使用率に余裕ができるので、さらに AWSリソースを削り込む！

21.

02 コンピューティングコストの最適化ステップ 1. AWSリソース削減 2.CPU使用率を改善 Savings Plans, Compute Optimizer, Trusted Advisorに従ってポチポチ調整 New Relicを利用して支配的なサーバー処理を特定し、改善マネコンポチポチおじさんはここまで 10%削減すれば良い方では ©NewsPicks Inc. All Rights Reserved. 3.AWSリソース削減 CPU使用率に余裕ができるので、さらに AWSリソースを削り込む！

22.

02 コンピューティングコストの最適化ステップ 1. AWSリソース削減 2.CPU使用率を改善 Savings Plans, Compute Optimizer, Trusted Advisorに従ってポチポチ調整 New Relicを利用して支配的なサーバー処理を特定し、改善 3.AWSリソース削減 CPU使用率に余裕ができるので、さらに AWSリソースを削り込む！さらにコストを最適化して 30%以上削減達成！ ©NewsPicks Inc. All Rights Reserved.

23.

02 そもそも何の処理がサーバー内のリソースを使っているのか？ New Relic APMのTransactions > Sort by Most time consumingでサーバーが提供するAPIごとの「リクエスト数×サーバー処理時間」のランキング上位を確認上位2つのAPIで30%近くを占めているため、この2つのAPIの目的を確認し、リクエストを減らすか処理を高速化すればサーバーのCPUリソースが空くと考えた ©NewsPicks Inc. All Rights Reserved.

24.

02 cover画像APIのCloudFrontキャッシュ対応ユーザーのアイコン画像をアプリ用に様々なリサイズをして返すAPIだったアプリケーションでmax-ageヘッダーを付与してCDNにキャッシュしたアプリケーションで max-ageヘッダー付与 cover画像 ©NewsPicks Inc. All Rights Reserved. Users Amazon CloudFront Amazon ECS

25.

02 Webブラウザ用pick stream APIの呼び出し回数削減 Webブラウザからのタイムライン更新のポーリングリクエストが、いにしえの AjaxのsetInterval()無限ループだった。Chromeから複数タブを開いて非アクティブになっていてもずっとDDoS攻撃されてしまうので、非表示時に抑止した古くからあるフロントエンド処理はCoﬀeeScriptでした… ©NewsPicks Inc. All Rights Reserved.

26.

02 リクエストを減らしたのでサーバー数も2割以上減らせた処理時間上位2つのAPIをランキング外に弾き出したのでサーバー数も減らしたそもそもサーバーに来なくていいリクエストをなくすという判断はいくらAWSのモニタリングをしても無理。サービスとアプリケーションを理解しないといけない newsのAPIがサーバーの処理時間の最上位を占めるニュースアプリっぽくなった ©NewsPicks Inc. All Rights Reserved.

27.

28.

29.

30.

03 固定費を削減する方法はいろいろ EC2/ECSのスケーリングコンピューティングリソースをサービスの使用量に合わせてスケーリングして無駄を減らす開発環境は平日日中のみ稼働するようにして無駄を減らす。祝日の停止を設定する RI/SP/Spotの活用 Savings Plansの推奨事項やカバレッジレポートを見てこまめに購入判断する。Fargate Spotを利用する Cost ExplorerでDynamoDBの Reserved Capacityの利用状況を確認してこまめに購入判断する ©NewsPicks Inc. All Rights Reserved. ストレージコスト削減 EBSのスナップショット世代数の見直しと過去の不要な手動スナップショットの消し込み S3ライフサイクルルールの見直しと適切なGlacier活用 Gravitonへの移行マネージドなデータベースサービス（Aurora,RDS,ElastiCache）のインスタンスタイプをGravitonに変更する（だけ）

31.

03 RDS/ElastiCacheに関してはGravitonへの移行がおすすめ EC2/ECSのスケーリングコンピューティングリソースをサービスの使用量に合わせてスケーリングして無駄を減らす開発環境は平日日中のみ稼働するようにして無駄を減らす。祝日の停止を設定する RI/SP/Spotの活用 Savings Plansの推奨事項やカバレッジレポートを見てこまめに購入判断する。Fargate Spotを利用する Cost ExplorerでDynamoDBの Reserved Capacityの利用状況を確認してこまめに購入判断する ©NewsPicks Inc. All Rights Reserved. ストレージコスト削減 EBSのスナップショット世代数の見直しと過去の不要な手動スナップショットの消し込み S3ライフサイクルルールの見直しと適切なGlacier活用 Gravitonへの移行マネージドなデータベースサービス（Aurora,RDS,ElastiCache）のインスタンスタイプをGravitonに変更する（だけ） 2022年後半はGraviton移行祭り

32.

03 Gravitonはパフォーマンスの悪化もなくコスト削減ができた🥰 AWSサービスタイプコスト削減幅 (RI1年前払い) パフォーマンス影響 -10% 全体としてはパフォーマンスが改善💪 一部のテーブル・クエリは遅くなったものもあり Before After Amazon Aurora(MySQL) db.r5.large db.r6g.large Amazon RDS(PostgreSQL) db.t3.medium db.t4g.medium -2.5% 影響なし（元々のスループットが多くない） Amazon ElastiCache for Redis cache.r5.large cache.r6g.large -5% 影響なし（キャッシュは元々のレスポンスが爆速） ※ 上記RIを複数購入し実際は db.r6g.4xlargeを利用同じインスタンスファミリーはRI充当できるため →同じr5からr6gでもAuroraよりElastiCacheの方がコスト削減幅が小さく、t3からt4gなどバーストタイプでは更にコスト削減幅は小さい。バーストタイプやElastiCacheでは相対的にGravitonのメリットは小さくなる ©NewsPicks Inc. All Rights Reserved.

33.

34.

35.

36.

https://www.amazon.co.jp/dp/4046053550

37.

03 まとめ ● AWSコスト最適化は可視化から始めるしかない ● AWSマネコンポチポチおじさんではコスト最適化に限界はあるサービスとアプリケーションをより理解するためにNew Relicを活用しよう ● DynamoDBなど、意外にNew Relicダッシュボードに連携するだけでも CloudWatchなどより便利な場合もあります！ ©NewsPicks Inc. All Rights Reserved.

38.