Azure OpenAI Services PTU のコストに気をつけろ

Azure OpenAI Service PTU（Provisioned throughput units） の”コスト”に気をつけろ 2025/1/21(火) 「第51回 Tokyo Jazug Night」 御成門プログラマー(Tomotaka Suzuki)

自己紹介 名前：御成門プログラマー（Tomotaka Suzuki） 受賞： Microsoft MVP(Microsoft Azure) 2023年6月～ 技術： Microsoft Azure(コスト周り多め), .NET, Angular X(Twitter) ： @onarimonprogram 技術ブログ ： onarimon.jp グルメブログ： food.onarimon.jp

• https://twitter.com/onarimonprogram
• https://onarimon.jp/
• https://food.onarimon.jp/

前回のJazug 登壇 Azure OpenAI Service の 使いミスによる課金発生の話 Visual Studio Subscription 1か月分の無償枠を無駄遣いして1日でサブスクリプション無効になった話＆Microsoft Cost Management 最新アップデート | ドクセル

• https://www.docswell.com/s/onarimon-program/5DNMG4-2024-12-18-203353

発表終わりのあしかがさんのコメントで 「Azure OpenAI と言えばPTUとかも怖いですよね」 →SNSでもPTUに対してのリアクション多数 →これは取り上げるしかない！！

PTU（Provisioned throughput units） Azure OpenAI Service において使用に必要なスループット量をあらかじめ予約すること ができる価格プランの1つ 安定した 待ち時間とパフォーマンス 予約分のスループット量 の確保 トークン課金ではない、 デプロイされている時間での課金 Azure OpenAI Service のプロビジョニング スループット Azure AI services | Microsoft Learn

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/provisioned-throughput

PTU のメリット 専用の容量を確保することで安定したスループット、待ち時間が出せる →大容量でもパフォーマンスが安定 トークンベースで同じ量を使用するよりコスト効果がよい →コスト最適化 トークン使用量ベースではなく、デプロイリソースが存在した時間ベースの課金 →トークンベースよりコストを予測しやすい 本運用中もしくは使用量の予測想定が出ていて、 要件としてリアルタイム性や待ち時間の影響を受けたくない場合に有効！！

PTUの落とし穴 料金が高い＆簡単に選べてしまう

1PTUあたりの価格 1PTUの 1時間あたりの価格 最小PTU 1PTUの 1か月予約の価格 1PTUの 1年間予約の価格 GPT-4o Global 15 ¥158 ¥40,964 ¥417,836 GPT-4o US/EU Data Zones 15 ¥173 ¥40,964 ¥417,836 GPT-4o Regional 50 ¥315 ¥40,964 ¥417,836 GPT-4o Mini Global 15 ¥158 ¥40,964 ¥417,836 GPT-4o Mini US/EU Data Zones 15 ¥173 ¥40,964 ¥417,836 GPT-4o Mini Regional 25 ¥315 ¥40,964 ¥417,836 Azure OpenAI Service - 価格 | Microsoft Azure

• https://azure.microsoft.com/ja-jp/pricing/details/cognitive-services/openai-service/?msockid=0ca23b837fc767ca374a2eee7e9a662d

最小PTUを1か月使ったりすると 1PTUの 1時間あたりの価格 最小PTU 1PTUの 1か月あたりの価格 最小PTUでの 1か月あたりの価格 GPT-4o Global 15 ¥158 ¥115,340 ¥1,730,100 GPT-4o US/EU Data Zones 15 ¥173 ¥126,290 ¥1,894,350 GPT-4o Regional 50 ¥315 ¥229,950 ¥11,497,500 GPT-4o Mini Global 15 ¥158 ¥115,340 ¥1,730,100 GPT-4o Mini US/EU Data Zones 15 ¥173 ¥126,290 ¥1,894,350 GPT-4o Mini Regional 25 ¥315 ¥229,950 ¥5,748,750

2千万円超え.....

簡単に作れてしまう モデルデプロイ時にデプロイの種類の中に 普通にいる「Provisioned-managed」を選べ ば作れる…. モデルデプロイできる権限があれば簡単 に作れてしまう手軽さ… →一応クォータの制限などはあるが….

デプロイ時の確認画面で警告はされてる PTUでのデプロイ時にはデプロイ ボタン押下後にもう一度確認ダイア ログが表示され、そこに「1時間あ たり＄○○課金されます」って書い てはある →1時間あたりと米国ドル表記なの で見逃す可能性あり。

長期的に使う予定があるなら予約しよう PTU の予約で1か月間もしくは1年間のPTUの支払を先払いすることで割引が提供される → 最低64%から最大85%ほどの割引率で利用できる 1PTUの 1か月あたりの価格 1PTUの 1か月予約の価格 割引率 1PTUの 1年あたりの価格 1PTUの 1年間予約の価格 割引率 GPT-4o Global ¥115,340 ¥40,964 64% ¥1,384,080 ¥417,836 70% GPT-4o US/EU Data Zones ¥126,290 ¥40,964 68% ¥1,515,480 ¥417,836 72% GPT-4o Regional ¥229,950 ¥40,964 82% ¥2,759,400 ¥417,836 85% GPT-4o Mini Global ¥115,340 ¥40,964 64% ¥1,384,080 ¥417,836 70% GPT-4o Mini US/EU Data Zones ¥126,290 ¥40,964 68% ¥1,515,480 ¥417,836 72% GPT-4o Mini Regional ¥229,950 ¥40,964 82% ¥2,759,400 ¥417,836 85%

PTU を勝手に使わせたくない

PTU の使用を制限する方法 RBAC で作成できるユーザーの権限を限定しておく Azure Policy でPTUデプロイを制限

RBACで制御する ロールで制御すればモデルデプロイの 作成の制限を可能 モデルデプロイが可能なロール 所有者 共同作成者 Cognitive Services OpenAI User Cognitive Services Contributor Azure OpenAI のロールベースのアクセス制御 - Azure AI services | Microsoft Learn

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/role-based-access-control

Azure Policy で制限する Azure Policy で PTU の作成をサブスクリプ ションレベルで制限することが可能 ポリシー定義方法はJapan Cognitive Service Support Blog に掲載されていた定義でうまく いったのでそちら参照 Azure OpenAI Service の Provisioned デプロイについて | Japan Cognitive Services Support Blog

• https://jpaiblog.github.io/blog/2024/08/29/AzureOpenAIService-Provisioned-Deployment/

まとめ PTUは使用量が予測できる一定利用シーンにおいて活躍 安定した待ち時間とパフォーマンスを保ちたい 使用量ベースの課金ではなく、ある程度金額の予測を立てたい 同じ量をトークンベースで使うよりは安価 PTUは高価なため使用方法に注意が必要 設定によっては 2000万円/月 を超える課金が発生する可能性も 確実に使うのであれば割引率が高い予約推奨 PTUを使わせたくない場合 Azure Rbac や Azure Policy を使用した制御を組み込む