AI コストの DeNA 的管理手法 ~ FinOps の視点で ~

>100 Views

July 28, 26

スライド概要

クラウドアカウントを大量に管理している DeNA のパブリッククラウドチームがどのように AI コスト FinOps に取り組んでいるかをお話しします。
https://forkwell.connpass.com/event/399348/

profile-image
スライド一覧

DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

Roslynアナライザー_ Unityでの開発環境を改善するための静的解析の仕組みの構築
user-img DeNA_Tech 85.5K
slide-thumbnail

ディメンショナルモデルの実導入と実装について
user-img DeNA_Tech 54.2K
slide-thumbnail

Difyによる全社LLMプラットフォーム運用とv1アップデート
user-img DeNA_Tech 49.6K
slide-thumbnail

【DeNA TechCon 2025】 DeNAがマスタデータ管理にOyakataを使う理由
dena techcon 2025
user-img DeNA_Tech 43.8K
slide-thumbnail

【DeNA × AI Day】DeNAスポーツ事業戦略とベイスターズAI強化プロジェクト
dena ai day
user-img DeNA_Tech 35.9K
slide-thumbnail

GraphQLやるならDataloaderを使おう
user-img DeNA_Tech 34.8K
各ページのテキスト
1.

AI コストの DeNA 的管理手法 ~ FinOps の視点で ~ 小池 啓輔 IT 本部 IT基盤部 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1

2.

小池 啓輔 株式会社ディー・エヌ・エー IT 本部 IT 基盤部 副部長, 第一グループ グループリーダー © DeNA Co., Ltd. ❖ インフラエンジニア / SRE ➢ ライブ配信アプリのインフラマネージャー ➢ 全社クラウド利用最適化リーダー ➢ 部の AI 活用推進リーダー ❖ 登壇・Blog ➢ DeNA × AI Day 2026 ➢ DeNA TechCon 2022 ➢ DeNA CTOが訊く#5 ➢ その他 DeNA Blog 2

3.

本日のアジェンダ クラウドコスト FinOps × AI コスト ● クラウドコストでの FinOps でも結構 AI コスト管理できるよ AI コストならではの FinOps ● クラウドコストでの FinOps では対応できなかった課題とその対策 “案” ※ 今回は AI コスト = Bedrock / Gemini Enterprise Agent Platform のコストとします © DeNA Co., Ltd. 3

4.

クラウドコスト FinOps × AI コスト DeNA 的クラウドアカウント管理 × AI コスト ● DeNA は 21/4 末頃にクラウドシフトを完了。1,000 オーダのクラウドアカウントを管理 ○ “AI オールイン” 号令時点でクラウドアカウント管理基盤は成熟 ○ 既存のクラウドコスト FinOps でも十分 AI コストを管理できていた 組織一括管理 クラウドアカウント台帳 FinOps 基盤 クラウドコストを管理 → AI コストにも流用！ © DeNA Co., Ltd. 4

5.

クラウドコスト FinOps × AI コスト DeNA 的 FinOps 基盤 (可視化) × AI コスト ● 各クラウドアカウントの日次コスト → BigQuery データセット → ダッシュボード クラウドコスト可視化 → AI コスト可視化に流用！ © DeNA Co., Ltd. 5

6.

クラウドコスト FinOps × AI コスト DeNA 的 FinOps 基盤 (監視) × AI コスト ● コストデータセットの情報を元に日次・週次でアラート発報 → 確認・返信は必須 ● パブリッククラウドチームの初期対応は AI Agent (分析・異常検知・リマインド...) アラートメール AI 初動分析 クラウドコスト監視 → AI コスト監視に流用！+ AI Agent で省力化！ © DeNA Co., Ltd. 6

7.

クラウドコスト FinOps × AI コスト DeNA 的 FinOps 基盤 (最適化: Spot instance) × AI コスト ● AWS EC2 Spot instance: 空きリソースを大幅に割り引いて提供 積極活用中 ↓ 類似！ ● AI でも空きリソースを大幅に割り引いて提供 → バッチ推論・Flex Tire バッチ推論 一部活用中 Flex Tier 検証中 コスト 半額 半額 レスポンス 非同期 (最大 24 時間) 需要により遅延する可能性あり 実装の手軽さ 難 (Pub/Sub, SQS 等が必要) 楽 (パラメタ変更のみ) 対応モデル 多くのモデルで対応 かなり限定的 必要な対策 非同期処理の設計 レスポンス遅延対策 (AI Gateway 等) 工夫によってコスト最適化。SRE の腕の見せ所！ © DeNA Co., Ltd. 7

8.

クラウドコスト FinOps × AI コスト まとめ ● クラウドインフラ管理の仕組みを流用 → 迅速な “AI オールイン” につながった ○ サービス/部門粒度 の FinOps (可視化・監視) ○ FinOps (コスト最適化) → バッチ推論・Flex Tier 活用でできるかも？ AI 活用がすすむと... AI コストならではの FinOps を構築しなければ.... (現在も進行中) © DeNA Co., Ltd. 8

9.

AI コストならではの FinOps DeNA 的 AI コスト FinOps に求めるもの ● 可視化 ○ 利用者粒度の ROI (投資利益率) ■ 誰が、どのモデルを、どのくらい使っていて、どのくらい成果が出ているか ● 監視 ○ 利用者粒度の使い過ぎアラート (消極的制限) ○ 利用者粒度の利用上限 (積極的制限) ● 最適化 ○ 自動 AI トークン消費の抑制・削減 ■ ○ 利用者粒度の ROI 向上のレコメンド ■ © DeNA Co., Ltd. e.g.) バッチ推論・Flex Tier を利用者が意識せずとも安定して使える e.g.) 従量課金 or サブスク, プロンプト最適化... 9

10.

AI コストならではの FinOps クラウドの標準機能で実現できる？ 可視化 監視 最適化 誰が ○ ユーザ毎に権限 ( IAM )を分けることは可能 どのモデルを △ Audit Log から取得することは可能 (作り込みが必要 ) どのくらいの利用量 △ 権限毎の API 利用量は可視化可 (コスト可視化は ×) どのくらいの成果量 × 人ごとアラート × 人ごとのコストが直接取れない。相当頑張ればできる 人ごと利用上限 × 人ごとのコストが直接取れない。相当頑張ればできる 抑制・削減 × レコメンド × クラウドの標準機能ではほとんど何もできない.... © DeNA Co., Ltd. 10

11.

AI コストならではの FinOps AI Gateway で要件を満たせるか ● LiteLLM AI Gateway とか Cloudflare AI Gateway とか 可視化 監視 最適化 誰が ○ ユーザ毎に仮想トークンを発行可能 どのモデルを ○ 仮想トークン毎のモデル利用量を可視化可能 どのくらいの利用量 ○ 仮想トークン毎の利用コストを可視化可能 どのくらいの成果量 × 成果を定量化する機能はない。運用整備が必要。 人ごとアラート ○ 仮想トークン毎のコストアラートを設置可能 人ごと利用上限 ○ 仮想トークン毎の利用上限を設定可能 抑制・削減 ○ Dynamic Routing で Flex Tier を Fallback(検証中) レコメンド × そのような機能はない。運用整備が必要。 AI Gateway で要件は満たせそう。組織管理の方法も含めて検証中。 © DeNA Co., Ltd. 11

12.

AI コストならではの FinOps AI Gateway で要件を満たせるか ● まずは Cloudflare AI Gateway を検証中 AI Gateway で要件は満たせそう。組織管理の方法も含めて検証中。 © DeNA Co., Ltd. 12

13.

AI コストならではの FinOps まとめ ● © DeNA Co., Ltd. AI コスト FinOps: ユーザ毎粒度の可視化・監視・最適化をセルフサービスで ○ AI Gateway に期待 (検証中) 13

14.

© DeNA Co., Ltd. 14