Numerai Computeの費用節約

Numerai Computeの費用節約 （How to save on Numerai's computing resources costs） DeAI Day 2025 2025/05/17

自己紹介（Self Introduction） - 名前: Nishi - Twitter: @nishimt_general - Worked at IT Company - 普段はインターネット系企業で生成AIはいいぞしてます - Dify(AI Agent Builder) used in my company - Dify使って社内の業務効率化とかしてました 2

• https://twitter.com/nishimt_general
• https://dify.ai/jp

3 目次 ● はじめに ● 使用サービス紹介 ○ Kaggle notebook ○ vast.ai ○ RunPod ○ Model uploads ○ Cloud run

はじめに - Numeraiについて（Numerai basics; japanese docs） Numerai 初めて向けの資料↓ 4

はじめに - 背景 ・Numerai tournamentとCryptoの検証、学習、Compute（推論 + 提出）に 使う環境について共有 ・GPUあり, 個人ユースを想定 （LightGBMもGPUでの学習が爆速なので使えるなら使ったほうがよい） 5

6 結論 用途 使用サービス 選択肢 検証 ・Kaggle Notebook ・Vast.ai ・GCP（Compute engine）のスポットインスタンス ・RunPod ・Google Colab Pro+（値上げで使用取りやめ） ・Paperspace（値上げで使用取りやめ） 学習 ・Vast.ai ・RunPod 推論 ・GCP Cloud run ・Model uploads（トーナメント） ・Azure functions, AWS Lambda 具体構成は以下の通り Numerai Tournament は Vast.aiで学習モデル吐き出してModel uploadsで完了 Numerai Crypto はVast.aiで学習モデル吐き出して、GCPのCloud runで推論環境構築 各サービスの簡単な紹介や細かいTipsの共有などなどしていきます

• http://vast.ai

Kaggle Notebook 7 （URL: https://www.kaggle.com/code） 概要: 機械学習コンペサイトに付随する機械学習の環境 ● CPUとGPU（T4・P100）の無料利用が可能 ※GPUは週30時間まで ● CPUもメモリ32GBあるのでたいていのことはできる ● GPUはメモリ16GBなので、Numeraiデータだとちょっと取り回しは厳しめ ● 規約的には、個人的な利用かつ非営利利用に限られる（参考） 【学習、検証】 ・Kaggle notebook ・vast.ai ・RunPod 【推論】 ・Model uploads ・Cloud run

• https://www.kaggle.com/terms
• https://www.kaggle.com/code

Kaggle Notebook と Google Colab 8 Kaggleは手頃な価格の計算資源を手に入れる機会を提供する方向 → 今後のアプデで有料かつ使いやすいプランが出る...かも https://www.kaggle.com/discussions/product-announcements/575468

• https://www.kaggle.com/discussions/product-announcements/575468

Kaggle Notebook - 便利機能 ⭕ 24年ごろスケジュール周りの機能が強化 → 1日1回ランする機能・データ元のアプデに合わせてランする機能 が便利 ⭕ Numeraiデータも個人が上げてるデータセットがある（マウントして 使える） 公開例: Tournament; Signals 9

• https://www.kaggle.com/datasets/svendaj/numerai-latest-tournament-data
• https://www.kaggle.com/datasets/code1110/yfinance-stock-price-data-for-numerai-signals

Kaggle Notebook - 微妙な点 🔺 スケジュールは時間指定はできない 🔺 Pythonの環境は指定できない（コピー元の環境 or 最新環境）な ため、環境固定は難しい 10

11 vast.ai （URL: https://vast.ai/） 概要: GPU時間貸しサービス（C to Cのプラットフォーム） 【学習、検証】 ・Kaggle notebook ・vast.ai ・RunPod 【推論】 ・Model uploads ・Cloud run

• https://vast.ai/

vast.ai - よいところ ● GPUのレンタル料金が激安 ○ ○ GCPだとV100は$1.77/hだが、Vast.aiだと$0.11/hが最安 実際は個人向けに売ってるRTX4090がGPU価格コスパはよさそう ● GPUがショボくてもCPUのメモリが強いものもあったりするので、ハイメモリ機器を探 す用途でも使ってる ○ ○ クラウドと料金感をあわせるのは難しいが、$0.1/hでメモリ128GBの機器を借りれたりもする ただ、CPUは専用リソースというわけではなさそうなのであんまりやり過ぎは注意 12

vast.ai - わるいところ ● セキュリティ ○ マシン提供者からは秘密情報が見える状態 （参考） ○ 秘密情報を取るインセンティブがないよねという公式の見解...しかない↑ ○ Trusted providerというのもあるが、データセンターのTierを満たしてればOKなようなのでセキュリ ティ気にするならば大手クラウド会社を使うべき ● ● 品質関係 ○ ○ 普通に使える 借りるけど立ち上がらないマシンとかある ○ NWがHPの表示以上に遅いこともある 価格関係 ○ 時たま価格が高騰してるときもあるので注意 ○ Kagglerが多いのか、Kaggleコンペ終盤に高騰しがちな気がする（たまたまかも） 13

• https://docs.vast.ai/faq#Xn6DK

14 RunPod 概要: GPU時間貸しサービス 【学習、検証】 ・Kaggle notebook ・vast.ai ・RunPod 【推論】 ・Model uploads ・Cloud run

15 vast.ai vs RunPod 価格 vast.ai RunPod RTX4090: Secure cloud: $0.32/h〜 Other: $0.24/h〜 RTX4090: Secure cloud: $0.69/h Community cloud: $0.34/h RTX3090: Secure cloud: $0.24/h〜 Other: $0.16〜 RTX3090: Secure cloud: $0.43/h Community cloud: $0.22/h （※すべて5/11確認時点） セキュリ ティ ・貸主から見える危険あり ・Secure cloudはT3/T4基準 and/or ISO27001 ・貸主から見える危険あり ※規約で禁止 ・Secure cloudはT3/T4基準 ・貸主は RunPodの招待制 ・データ暗号化オプションあり 特徴 ・とにかく安い値段を追い求めるなら ・値段ブレなさそうなのがよい ・RunPod下にストレージを作る機能が便利そう（ 参 考）

• https://aotamasaki.hatenablog.com/entry/kaggle_runpod

16 Model uploads 概要: Numerai tournament用に提供する推論サービス ⭕ 無料! ❌ Tournament用 ❌ デバッグしづらい DockerfileのDLにやたらと時間がかかる 用途: トーナメントはこれでOK 【学習、検証】 ・Kaggle notebook ・vast.ai ・RunPod 【推論】 ・Model uploads ・Cloud run

Cloud Run 概要: GCPが提供するサーバーレスのクラウドコンピューティングサービス (FaaS) GCP, AWS, Azureで同様のサービスを提供しているので、慣れてるクラウドサービスでどうぞ ⭕ 推論に使用/結果は他で計算して結果アップロードのみ使用...など柔軟な運用ができる → 推論のみで月10ドル、結果アップロードのみで月3ドルくらい → Numerai cryptoはこちらを利用 ❌ 個人的にはUIとかサービスの変化が大きいので、 学習コスパは悪め 17

まとめ ・基本的な検証はKaggle notebook、重たい計算はvast.ai/RunPodがよ い ・vast.ai/RunPodはセキュリティ的な難点はあるが、CPU/GPUのコスパ は最高 ・提出はModel UploadsかFaaSを利用 18