FPT の AI インテグレーションサービスの全体像とAzure OpenAI Service を使ったアプリ開発、ソリューション事例のご紹介-公開版

FPT の AI インテグレーション サービスの全体像と Azure OpenAI Service を 使ったアプリ開発、ソリューション 事例のご紹介 鈴⽊ 章太郎 Executive Evangelist, FPT Data & AI Integration FPT Japan Holdings © Confidential ‒ FPT Smart Cloud

鈴⽊ 章太郎 X (Twitter) : @shosuz FPT ジャパン FPT データ & AI インテグレーション エグゼクティブエバンジェリスト 略歴︓ Microsoft で13年間、テクニカルエバンジェリストとして活動し、.NET、 C#、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け技術啓発活動 (DevRel) を担当。 その後、Dell、Accenture、Elastic、VMware 等での DevRel 活動を 経て、2024年11⽉1⽇より、現職で引き続き DevRel 活動を継続。 NVIDIA との戦略的協業 AI GPU クラウドサービスや、各パブリッククラウド ベンダーとの AI＆データ関連サービスのマーケティング、プリセールス活動、 教育活動、関連新規サービス開発、等を実施する。 https://www.docswell.com/user/shosuz https://www.docswell.com/user/shosuz

• https://www.docswell.com/user/shosuz

第1特集 新世代の開発スタイル はじめての AI 駆動開発 ⽣成 AI/LLM の急速な普及・発展により，開発スタイルが⼤きく 変化しつつあります。当初はコーディングの補助ツール程度の扱い だったものが，今やソフトウェアのたたき台やテストケースの作成， 設計および，運⽤の現場などでも使われるようになりました。こうした AI 活⽤を前提とした開発スタイルのことを，「AI 駆動開発」と呼ぶ ことがあります。 本特集では，AI 駆動開発のユースケースとして，コーディングやペア プログラミングといったベーシックな⽤途を取り上げ，プロトタイプ作成 および Infrastructure as Code での活⽤例を紹介します。さらに AI 駆動開発は今後どのように進展していくのかを考察します。⽣成 AI 時代の新たな開発スタイルをぜひ，体感してください︕ https://gihyo.jp/magazine/SD/archive/2024/202411 10⽉18⽇発売の Software Design 2024年11⽉号、お声がけ戴き特集記事に、個⼈で 寄稿した原稿ですが、お陰様でしばらくの間、Amazon ベストセラー1位になっていました。 もしご興味あればぜひ︕ === 最新号本⽇10⽉18⽇発売︕㊗🎉 "第1特集 AI 駆動開発スタイル 第3章 AI ツールなら UI からコードまで⾃動で作れる"を執筆しました。この分野に関⼼のある開発者の皆様、ご購⼊ ください︕ https://amzn.asia/d/8vVTnWY

• https://gihyo.jp/magazine/SD/archive/2024/202411
• https://amzn.asia/d/8vVTnWY

Agenda § FPT と Microsoft とのパートナーシップ § FPT の ⽣成 AI 領域における取り組み § Azure OpenAI Service によるアプリ開発 § 実際のソリューション例

FPT と Microsoft の パートナーシップ 5

25年を超えるマイクロソフトと FPT とのパートナーシップ https://fptsoftware.jp/about-us/partner-network/microsoft • マイクロソフトのソリューション＆ アドバンススペシャリゼーション パートナー • 様々な産業においてビジネスの成功 を⽀える包括的なソリューションを 積極的に最適化

• https://fptsoftware.jp/about-us/partner-network/microsoft

Our Capabilities for Microsoft Technology https://fptsoftware.jp/about-us/partner-network/microsoft

• https://fptsoftware.jp/about-us/partner-network/microsoft

25年を超えるマイクロソフトと FPT とのパートナーシップ https://fptsoftware.jp/about-us/partner-network/microsoft

• https://fptsoftware.jp/about-us/partner-network/microsoft

FPT の⽣成 AI への取り組み 9

ビジネス FPT AI インテグレーションのサービス概要 AI トランスフォーメーション データドリブン経営 AI エコシステム FPTの製品 Docify AI エンタープライズAI アプリ AI アプリケーション デジタルツイン ビデオ分析 データサイエンス&アナリティクス • バーチャルアシスタント • メインフレームのマイグレーション • スマートシティ＆スペース • ファクトリーデジタルツイン • 需要予測 • ナレッジ管理 • コーディングアシスト • 検査・検品 • 製品ラインの最適化 • エッジ端末管理 • 専⾨知識/ドメイン特化型 • コード品質管理 • エッジ・ビジョンAI • 予知保全 • 予測分析 エージェント Nvidia フレームワーク インフラ AIソフトウェア Metropolis Nemo LLM サービス コンサルティング データ エンジニアリング データクレンジング &アノテーション クラウドインフラ クラウド ハードウェア (GPU, スイッチ,..) サーバー サービス コンサルティング AI 設計開発 Omniverse MLOps / LLMOps RAPIDS メンテナンス データセキュリティ データベース システムインテグレーション マネージドサービス CloudOps / DevSecOps

GPU クラウド – アクセラレーテッド コンピューティングの需要が急増 “ 「GPUは、⼈⼯知能の分野で最も画期的なテクノロジーの1つです。これにより、ChatGPT やその他のアプリケーションが、 創造的かつ魅⼒的でヒューマニスティックなコンテンツを作成できるようになりました。 これにより、GPU の新たな市場が創出され、GPU メーカーの収益と利益が増加しました」 - NVIDIA CEO Jensen Huang ⽒ 世界の GPU 市場規模は2023年に565億5000万⽶ドルを占め、2032年までに7877億⽶ドル に達すると予想されています。 世界の GPU 市場は 、ジェネレーティブAI、MLの 採⽤拡⼤により劇的に拡⼤ 出所:⽇本経済新聞社、NVIDIA、Precedence Research CAGR ▲ ~30-50% は GPU チップの92%を占め、 収益成⻑率が104%の市場(2022-2024)

⽇本の GPU クラウド市場情勢 ⽇本の GPU 市場規模は2023年に7億7,000万⽶ドルでした CAGR ▲ ~30% ⽇本の市場成⻑は、AI と半導体の包括的な戦略と国内企業 への⽀援と国際的なパートナーシップに重点を置いた投資により 有望とされています GPU クラウドでの数多くの国際プロジェクト さくらインターネット等の⼤⼿国内クラウドプロバイダーは、NVIDIA と緊密に連携し多くの主要なデータセンターを構築しており、AI 開発⽤の GPU の安定供給を確保するためのサービスを2025年 第1四半期までに提供する予定です。 マイクロソフトは、最新の GPU を搭載した AI とクラウドインフラ ストラクチャに29億ドルを投資し、デジタルスキルプログラムを拡⼤ して300万⼈以上に AI トレーニングを提供する予定です。 ⽇本を含むアジア太平洋地域は、世界の GPU 市場規模に⼤きく貢献し、最も急成⻑している 市場であると予測されています。https://www.mordorintelligence.com/industryreports/graphics-processing-unit-market 出典:IDC、Mordor Intelligence、Statista(英語)

• https://www.mordorintelligence.com/industry-reports/graphics-processing-unit-market

⽇本が⽬指す「世界で最も AI フレンドリーな国」 ⽇本 は、驚異的な成⻑と展開で、世界で最も AI フレンドリーな国になることを⽬指しています。 特に、 82% の企業が AI ソリューションやプロトタイプを、全⾯的にまたは部分的に導⼊しており、⽇本は世界で最も⾼い AI 導⼊率を誇っています ⽇本の AI 市場へのリーチ 予想市場価値 年平均成⻑率(CAGR) 2023年に 2030年に 2024 - 2030 99億ドル 1,259億ドル 43.7% 政府⽀援とインフラ開発 課題 ⽇本の省庁は、2024年第1四半期に⽇本の AI インフラに7億4,000万ドルを 投資し、NVIDIA と協⼒して6つの国内企業を⽀援しました。 • • ソース: IDC, Mi-3 複雑な社会的および⼈⼝統計学的課題 ⾼齢世代の退職による労働⼒の減少

FPT の AI ファースト戦略 AI トランスフォーメーション、AI ドリブンビジネス、AI エコシステムのコア機能でお客様を⽀援 グローバル AI ⼈材 1.000 + AI プロフェッショナル 50 + AI サイエンティスト 400 + AI エンジニア 180 + データアナリスト 500 + 対象分野の専⾨家 9000 + NVIDIA 認定 50+ 博⼠号 65 件の論⽂ 45 の出版物 戦略的パートナーシップ ⼈的 リソース パートナー シップ AI 専⽤インフラ NVIDIA ホッパー GPU 本格クラウド型 AI サービス オンプレミス、ハイブリッド、 マルチクラウド、エッジで、 安全で将来に備えた クラウドソリューションを構築 最先端のAI技術 インフラ テクノロジー AI モデルの研究開発から、AI がソフトウェア定義型ビークル(SDV)に⾰命を 起こすなどの最先端アプリケーションまで ⼤規模⾔語モデル ⼤規模ビジョンモデル コードの概要作成 マイクロソフト ベンチマーク No.1 2億⽶ドルを投資 NVIDIA Hopper GPU アクセラレータ 最⼤400テラフロップスのパフォーマンスを実現 https://microsoft.github.io/CodeXGLUE/ ⼤規模コードモデル ⽶国特許 3Dポイントクラウド ⽇本特許 ViT

• https://microsoft.github.io/CodeXGLUE/

FPT が NVIDIA と提携 FPT は、NVIDIA Cloud Partner (NCP) プログラムに参画し、緊密な連携をしながら AI 研究開発のための AI ファクトリーを設⽴ また、ベトナムと⽇本を中⼼に、グローバル規模で⾼度なAIおよびクラウドの能⼒を拡⼤することを⽬指す AI ファクトリーの構築 • NVIDIA Cloud Partner（NCP）プログラムに参画 • NVIDIA AI Enterprise ソフトウェアとフレームワーク、NVIDIA H100、H200 Tensor Core GPU など、NVIDIA の最新 テクノロジーを活⽤した AI ファクトリーの構築に$200Mを 投資する計画 • ⽣成 AI、⾃動運転、グリーントランスフォーメーションに焦点を 当てた AI アプリケーションとソリューションの開発を加速 グローバル規模でのサービス提供プロバイダー • グローバルシステムインテグレーター (GSI) として NVIDIA パートナー ネットワークに参画 • ⾃動⾞、製造業、BFSI（銀⾏、⾦融サービス、保険）に注⼒し、 オーダーメイドのクラウドサービス、ハードウェア、ソフトウェア、 そして⽣成 AI ソリューションを提供 • FPT の AI ラボを強化し、新しいソフトウェアフレームワークを導⼊ • ベトナム、⽇本にソブリンクラウドを構築 将来を⾒据えた⼈材の育成 • NVIDIA のプログラムを FPT の⼤学および⾼校レベルの教育に 組み込み、5年間で30,000⼈の学⽣を⽬標とする クラウドゲームの開発 • ベトナムでクラウド ゲーミング プラットフォームを開発し、 GeForce NOW のデジタル コンテンツ制作を⾏う

AIプラットフォーム AI 製品 FPT AI ファクトリー ・ AI イノベーションと AI 主権の加速 FPT AI アプリケーション デジタルカスタマー オンボーディング AI メンター インテリジェントな ドキュメント処理 会話型 AI & AI エージェント AI コンタクトセンターの 充実 市場 AIエンタープライズ AI マーケット プレイス NGC AI ソリューション ワークフロー、 フレームワーク & 事前学習済みモデル FPT AI エージェント エージェントスタジオ 企画 記憶 ツール ガードレール FPT AI スタジオ AI ノートブック モデルハブ モデルの微調整 微調整された LLM モデル FPT AI 推論 AI のためのデータ処理 モデルの事前 トレーニング Model as a service モデル サービング NeMo AI & データサイエンス 開発ツール NIM 推論マイクロサービス クラウドインフラ & プラットフォーム クラウドネイティブな管理と オーケストレーション データベースプラットフォーム ベクターデータベース FPT AI インフラストラクチャ GPU コンテナ マネージド GPU クラスター BCM メタルクラウド ベースコマンドマネージャー 物理インフラ ストラクチャ インフラストラクチャ の最適化 GPU H100/H200 SXMシリーズ Network InfiniBand、 Mellanox NIC ハイエンド CPU ハイパフォーマンスストレージ インフラストラクチャの管理

FPT AI ファクトリー AI のイノベーションとデータ主権を加速するための包括的なスイート • • FPT AI ファクトリーは、NVIDIA 認定の⾼性能インフラ、プラットフォーム、AI アプリケーションを包括的に備えたソリューションで、 AI 製品ライフサイクル全体をサポート 最新の NVIDIA テクノロジーを活⽤し、⼤規模な AI および ML ワークロードにおける⾰新と効率を推進し、⾼いパフォーマンス とスムーズな導⼊を実現 FPT AI インフラストラクチャ FPT AI スタジオ FPT AI 推論 FPT AI エージェント

FPT AI ファクトリーで AI ジャーニーを成功に導く AI の進歩とデータ主権確⽴のための最適なアプローチ 最⾼品質の AI インフラ • 多様で⼿頃な価格の 製品とサービス ベトナムと⽇本の2つの地域で利⽤可能 リソース管理の効率化 組み込みのセキュリティと コンプライアンス

FPT AI ファクトリーをいち早く体験する 予約注⽂可能な限定商品 特別料⾦で FPT AI インフラを 優先的に ご利⽤いただけます NVIDIA テクノロジー を活⽤した、 FPT AI ファクトリーを 体験いただけます クラウドクレジットで、 AI 製品および クラウドサービスの 全ラインアップに アクセス FPT AI ファクトリーで AI イノベーションの最前線へ 運⽤開始予定⽇︓2025年2⽉15⽇ https://aifactory.fptcloud.jp 経験豊富な AI および クラウドの専⾨家や エンジニアによる オーダーメイドの コンサルティング

• https://aifactory.fptcloud.jp/

ビジネス FPT AI インテグレーションのサービス概要 AI トランスフォーメーション データドリブン経営 AI エコシステム FPTの製品 Docify AI エンタープライズAI アプリ AI アプリケーション デジタルツイン ビデオ分析 データサイエンス&アナリティクス • バーチャルアシスタント • メインフレームのマイグレーション • スマートシティ＆スペース • ファクトリーデジタルツイン • 需要予測 • ナレッジ管理 • コーディングアシスト • 検査・検品 • 製品ラインの最適化 • エッジ端末管理 • 専⾨知識/ドメイン特化型 • コード品質管理 • エッジ・ビジョンAI • 予知保全 • 予測分析 エージェント Nvidia フレームワーク インフラ AIソフトウェア Metropolis Nemo LLM サービス コンサルティング データ エンジニアリング データクレンジング &アノテーション クラウドインフラ クラウド ハードウェア (GPU, スイッチ,..) サーバー サービス コンサルティング AI 設計開発 Omniverse MLOps / LLMOps RAPIDS メンテナンス データセキュリティ データベース システムインテグレーション マネージドサービス CloudOps / DevSecOps

Azure OpenAI Service によるアプリ開発 21

FPT NVIDIA E2E Gen AIソリューション サービス • • • NVIDIA のソフトウェアと独⾃のソリューションを組み合わせた、⽣成 AI 活⽤をスピーディにスケールさせるためのソリューションサービスを提 NVIDIA GPU のパフォーマンスを最⼤限に活かしつつ、AI モデルのチューニングから評価、デプロイ、管理までをセットに⽣成 AI 導⼊を⼀気に⾼速化 FPT AI Factory における PaaS 提供から、コンサルティング〜開発〜運⽤といったエンドツーエンドのサービスまで、幅広くかつ柔軟にご提供 各ソリューション概要 Private GPT: • • ソブリン AI をはじめとした選択可能な⽣成 AI によるエンタープライズ AI エージェントのパッケージ セキュアかつ様々なユースケースへ対応可能な貴社専⽤の AI エージェントを 即座に提供可能 Inference Cluster: • ⽣成 AI モデルをマイクロサービスとしてホスト、監視、ロギング、セキュリティを 担保 Model Space: • モデルのバージョン管理や評価結果まで、開発したモデルの管理を⽀援 Model Factory: • ⽣成 AI のファインチューニングにおいて、データの⽣成やチューニング、評価、 デプロイまで、⽣成 AI のファインチューニングプロセスをパイプライン化

Private GPT – エンタープライズ AI エージェント • • • Private GPT は、データが完全にユーザーの管理下にあることを保証する AI エージェントシステムのパッケージ NVIDIA AI Enterprise によってパフォーマンスを最⼤限に活⽤し、完全に主権型かつ安全なインフラ上にデプロイすることが可能 LLM（⼤規模⾔語モデル、⽣成AIモデル）を⾃由に変更できるだけでなく、様々なユースケースに対応できるようカスタマイズが可能 特徴①︓ユーザーがオリジナル AI エージェントを簡単にビルド カスタマイズ可能なプロンプトテンプレートとナレッジベースを⽤い、ユーザーのエージェントを⾃由に構築できます。 また、ユーザーが作成したオリジナルエージェントは、組織全体で共有することができます。 特徴②︓LLM 変更・ナレッジベース追加学習が容易に You r Em ploy LLM は GPT-4o（Azure）, Gemini（GC）、Llama（オープンソース）などの最新モデルが選択できま す。PDF、ワード、パワーポイントなど、様々なファイルの内容を出⼒に反映させることも可能です。 ees You r Da ta NVI D You IA AI E r In fras nterpr is truc ture e on 特徴③︓お客様専⽤セキュアなサーバーまたはクラウド環境にて構築可能 NVIDIA AI Enterprise（NIM、NeMo）フレームワークを最⼤活⽤し、セキュアなインフラ上にデプロイする ことが可能です。

Model Factory – ⾼速ファインチューニングのパイプライン • • • NVIDIA NeMo/NIM をコア技術として活⽤しつつ、弊社独⾃のソリューションを組み合わせ、⽣成 AI のカスタマイズのパイプラインを提供 インフラのパフォーマンスを最⼤化することで、ビジネスアジリティを獲得 ⽇本語環境に合わせた弊社のソリューションを活⽤することで、品質も担保した貴社オリジナルの AI 開発を加速 2 1 3 4 5 NVIDIA ソリューション FPT ソリューション 1 NeMo Data Curator をベースに、 様々なファイルに対応できるようカスタマイズ 2 ⽇本語に合わせ、チューニングに利⽤するデータを効率 的に⽣成しつつ、多様性や正確性、網羅性などを評価 3 NeMo フレームワークを利⽤し、 GPU インフラのパフォーマンスを最⼤化 4 NeMoフレームワークとその他指標を組み合わせ、 チューニング後のモデルの評価や管理を効果的に実現 5 NIM により、Docker コンテナとしてデプロイ、 即座に API として使えるマイクロサービス AI を実現

© Copyright FPT - Confidential 26

実際のソリューション例 27

FPT AI Factory で AI イノベーションの最前線へ https://fptcloud.com/ja/product/fpt-ai-factory-ja/

• https://fptcloud.com/ja/product/fpt-ai-factory-ja/

FPT AI Studio 安全、セキュアかつスケーラブルな⽅法でカスタムモデルを開発、展開することで、強⼒な AI による創造を解き放つ • • • AI/ML の開発、評価、展開のためのインテリジェントなツールの包括的なセットを提供 深い専⾨知識がなくても AI モデルを現実のソリューションに変換できるようにする このアプローチにより、AIイノベーションが加速し、オペレーションが簡素化され、全体的なパフォーマンスが向上 定義 主な特徴 • • • • AI のためのデータ 処理 AI Notebook ⽣データを AI モデルの構築と トレーニングに適した形に変換 ノートブック、コード、データの統合 開発環境（IDE）を活⽤し、 FPT GPU インスタンスを活⽤した フルマネージド JupyterLab を提供 データ収集 データクレンジング データ変換 データのモニタリングと評価 • • • • サーバーレス シームレスな統合 実⾏時間の制限なし プリインストールされた AI フレームワーク モデル 事前トレーニング • • • • • • メリット • • • • データ・セキュリティの強化 拡張性と柔軟性 コスト効率 ⾼いパフォーマンスと信頼性 • • 最先端の GPU モデルの活⽤ オンデマンド、セルフサービス • • • モデル ファインチューニング モデル Hub 顧客データを使い AI モデルを 事前訓練し、継続的に事前訓 練するためのマネージドサービス ゼロからモデルをトレーニングした り、事前にトレーニングされたモ デルを特定のドメインに簡単に 適応させることができる • マルチ GPU によるマルチノード 統合されたトレーニングパイプ ライン ビルトインアルゴリズムと持ち 込みアルゴリズムのサポート データ品質の向上 • • • マルチ GPU コンテナ 統合された微調整パイプライン ビルトインアルゴリズムと持ち 込みアルゴリズムをサポート • モデルをトレーニングするため の複雑で反復的なエンジニア リング作業を排除 GPU 占有時間の短縮 モデル品質の向上 • モデルを微調整するための 複雑で反復的なエンジニア リング作業を排除 GPU 占有時間の短縮 継続的な微調整の採⽤ • • • • • 幅広いベースモデルに基づき お客様のデータを使って AI モデルを微調整するマネージド サービス コード不要 ⻑期間の GPU 予約容量が 不要 カスタムモデルとそれぞれの重要 な情報を保存し、モデルのライフ サイクルを管理し、AI プロジェクト を通じて共同作業を⾏うための ⼀元化された場所 • • • ⾃分のモデルをアップロードする か、カタログから選ぶ モデルサービングへの⾼速転送 組織内での共有 すべてのバージョン、評価結果、 サービング履歴を管理 モデルのライフサイクルに 基づく、容易な管理とコラボ レーション

ソリューションイメージ サンプルアプリのDEMO

ご清聴 ありがとうございました︕