>100 Views
June 13, 25
スライド概要
業務改善を実現! データとクラウドのチカラ(iret tech labo with partners #21)
仕事:AWS運用保守&PM的なことをしています。 2023-24 Japan AWS All Certifications Engineers.
iret tech labo with partners #21 業務改善を実現! データとクラウド チカラ 佐藤 竜也 アイレット株式会社 アジャイル事業部 データ分析基盤セクション 2025/6/13
Profile さとう たつや 佐藤 竜也 アイレット株式会社 ・所属:アジャイル事業部 データ分析基盤セクション ・担当:インフラエンジニア / PM ・受賞:2024 Japan AWS All Certifications Engineers AWS Samurai 2024 (Japan AWS User Group 配信部メンバー) ・経歴:営業→イベント企画(約6年) ヘルプデスク→社内SE→クラウドインフラ運用保守(約8年)
じめに 本日お話すること • AWS ストレージサービス( Amazon S3) • 蓄積データ 活用事例 本日 基礎 ご紹介(生成 AI、データ分析) ゴール • AWSにデータを蓄積すること メリットを知る • AWSサービスにデータ蓄積することで出来ることを知る 3
概要紹介:最初 一歩 Amazon S3 から データ保護・移動 S3バケット データレイク 取り込み データ加工 分析可視化 オンプレサーバー / 各種データ バックアップデータ保 存 元データ ・データ保存による活用 ・データ分析基盤として活用 (アーカイブ、バックアップ、ログ保存 等) ・生成AI RAGデータとして活用 分析用データ ・データ移行先として活用 4
アジェンダ 01 オンプレミス / クラウド環境比較 02 AWS ストレージサービス: Amazon S3について 03 生成AI × Amazon S3 04 公共機関における生成 AI 05 データ分析 × Amazon S3 06 データ分析 × Amazon S3:事例紹介 07 まとめ 活用案 5
オンプレミス / クラウド環境比較
オンプレミス / クラウド環境比較 オンプレミス環境 サーバー 購入、設置、保守管理、電気代、設 置スペース 確保、災害対策など、すべてを自 社で対応する必要がある物理的なITインフラ環 境。 クラウド環境 インターネット経由で、必要なITリソース(サー バー、ストレージ、データベースなど)を必要な時 に必要な分だけ利用できるサービス環境。 7
オンプレミス / クラウド環境比較 オンプレミス環境 クラウド環境 メリット ● ● ● データ管理 権限が自分たちで行える ランニングコスト 管理がしやすい イントラネットで管理可能 メリット ● ● ● ● デメリット ● ● ● 導入、初期コストが大きい 拡張・縮小に時間がかかる インフラ機器 運用保守負担が大きい 初期費用を抑えられる 柔軟な拡張・縮小が可能 インフラ機器 運用保守が不要 豊富なマネージドサービスが利用可能 デメリット ● ● ● ランニングコストが変動する インターネット接続が必要 独自カスタマイズ出来ない場合がある 8
クラウド利用 第一歩 何が良いか? リソース全て クラウド移行 ハードル高め。 まず クラウド環境を小さく利用 してみる。 9
何から触る がオススメ? 最初 ストレージサービス にデータを蓄積 データ活用方法 そ 後に検討 10
AWS ストレージサービス: Amazon S3
AWS ストレージサービス: Amazon S3 Amazon S3 特徴 • AWSが提供する インターネット上 データ保存サービス • 2006年3月にリリース、 20年目に突入した長期サービス • 容量無制限 で利用できる • 耐久性・可用性が高い (99.999999999% 耐久性 を担保) • 他AWSサービスと連携したデータ活用が可能 使用例: ○ 静的Webサイト ホスティング ○ データバックアップ / ログデータ 保存 ○ データ分析用 データレイク基盤 など 12
AWS ストレージサービス: Amazon S3画面紹介 S3バケット: データ 保存場所を作成 S3バケット内にデータを格納 フォルダを作成して階層化保存 データ バックアップ ログデータ保存 Webサイト 公開用ファイル など、様々なデータを保存することが可能 13
オンプレミスストレージと Amazon S3 違い 項目 オンプレミスストレージ Amazon S3 初期投資 サーバー購入費用が必要 不要 容量拡張 増設管理/機器調達などが必要 自動的に拡張 基盤管理 自社で実施 AWSが管理 災害対策 別途構築が必要 自動的に複数施設に分散 アクセス 社内ネットワーク中心 インターネット経由でどこからでも 14
Amazon S3 利用メリット
Amazon S3にデータを格納するメリット • 高い耐久性と可用性 を担保 • 従量課金で 低コスト に利用可能 • セキュリティ / 監査機能を柔軟に設定可能 • データ 保持期間を柔軟に設定可能 • AWS 他サービスと 連携 が容易 16
Amazon S3にデータを格納するメリット 高い耐久性と可用性 • 99.999999999%(イレブンナイン) • データ 自動的に複数 耐久性 施設に分散保存 • 災害やハードウェア障害からデータを保護 最低3つ アベイラビリティゾーン (AZ)というデータセンター群で 冗長化されるため、ストレージ故障などで データ損失 ほぼ発生しない。 AZ1 AZ2 AZ3 17
Amazon S3にデータを格納するメリット 従量課金で低コスト • 保存料金 USD 0.025/GB(約3円) • データ通信利用料 ○ アップロード時:データ転送料金 基本無料 ○ ダウンロード時など: USD 0.005/1000リクエスト(約 1円) ※東京リージョン料金、最新情報 Amazon S3料金表を参照:https://aws.amazon.com/jp/s3/pricing/ 18
Amazon S3にデータを格納するメリット セキュリティ / 監査機能を柔軟に設定可能 • ユーザー単位、サーバー単位でアクセス権限を設定可能 • データ保存時 暗号化キー設定 • データ削除保護 / 変更履歴を保持(バージョニング機能) 19
Amazon S3にデータを格納するメリット データ 保持期間を柔軟に設定可能 • 要件に応じてデータ ライフサイクル設定が可能 ○ xx日後にデータを削除 ○ xx日後にデータをアーカイブ など 20
Amazon S3にデータを格納するメリット AWS 他サービスと 連携が容易 • 生成AI関連サービス (Amazon Bedrock / Amazon SageMaker / Amazon Q) • データ分析関連サービス (Amazon Athena / Amazon QuickSight / AWS Glue) • 監査ログ関連サービス (AWS CloudTrail / AWS Config) • アプリケーション開発サービス (Amazon CloudFront / Amazon ECR) • データ移行 / バックアップサービス (AWS DMS / AWS Backup) など ⾨度かつ豊富な機能連携により、さまざまなシーンで利用される。 各AWSサービス データ保管場所 1つとしても利 ⾨されている。 21
Amazon S3 おすすめ連携 AWSサービス ? 生成AIやデータ分析 サービスでデータ活用 生成AI関連サービス Amazon Bedrock Amazon Q データ分析関連サービス Amazon Athena Amazon QuickSight 22
生成AI × Amazon S3
生成AI × Amazon S3 Amazon Q • Amazon Q Business ○ AWSで提供しているWebで利用可能な生成AIチャットツール ○ S3バケット内 データと連携してRAG機能を提供 ○ 現時点で 英語 み公式対応 ■ ただし、日本語で質問すれ おおよそ日本語で返答してくれる • Amazon Q Developer ○ 開発者向け コード生成AIツール ○ VSCodeなど IDE上で拡張機能として生成AIを利用可能 ○ 2025年4月に日本語対応 24
Amazon Q Business ビジネスユーザー向け 他生成 AI AIアシスタント Webチャットツールと同様 使い方 Amazon Q in QuickSightで 生成AIを利用したデータ分析が可能 25
Amazon Q Developer 開発者向け IDE AIエージェント 拡張機能として利用 アプリケーションを自動開発 既存コード 脆弱性確認にも利用可能 26
生成AI × Amazon S3 Amazon Bedrock • 生成AI アプリケーション 構築に必要な機能を備えたフルマネージドサービス • Amazon / Anthropic / Cohere など大手 AI企業 モデルを利用可能 • S3バケットに格納されたデータを参照元として AIが回答可能( RAG構築) Amazon S3 Amazon Bedrock Knowledge Bases 27
生成AI Webアプリケーションを簡単に構築! Generative AI Use Cases (GenU) 1 誰でも構築可能 AWS Japan 有志 みなさんが中心に 開発された生成AI アプリケーション。オー プンソースソフトウェア ため、指定 AWSアカウント上に構築可能。 2 モデルへ 再学習 無し 指定したAWSアカウント上へアプリケー ションを構築。モデル 入出力結果 再 学習されないアプリとして利用出来ます。 まず 生成AIを触れる環境が欲しいとい うニーズに対応。 28
生成AIアプリケーション導入に悩まれている方へ GenU / Webチャット生成 AIツール導入支援 • GenU 構築方法が分からないけど導入したい ...。 • RAGが使えるセキュアな生成 AIチャットツールが欲しい ...。 アイレット で導入支援 を行っています! 詳細 お問い合わせください。 29
公共機関における生成 AI 活用案
過去 資料を用いて業務 引き継ぎをサポートする 職員: XX 申請に 何が必要? チャットボット: △△ 資料に必要事項を記入し、 ◯◯ 課長 承認が必要です。 引用:https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/use-case/takeover/ 31
過去 資料を用いて業務 引き継ぎをサポートする AWSにデータを蓄積することで、各種 AWSサービスと 連携も容易に。 独自 内部資料を生成 AI 職員: 回答に利用 し、業務効率化 ひとつに。 XX 申請に 何が必要? チャットボット: △△ 資料に必要事項を記入し、 ◯◯ 課長 承認が必要です。 引用:https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/use-case/takeover/ 32
公共機関における生成 AI 活用案:一覧 引用:https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/ ご案内 33
データ分析 × Amazon S3
データ分析 × Amazon S3 Amazon Athena S3に保存されたデータに対して、標準 SQLを用いて直接クエリを実行できるクエリ サービス 。サーバーレスな で、インフラ 管理 不要。大規模なデータセットも迅速 に分析できます。 • CSV、JSON、Parquetなど多様な形式 • 大量 ログデータから特定 データを直接分析。 エラー情報を抽出。 活用イメージ : S3に保存されたウェブサーバー アクセスログ( CSV形式)に対し、 Athena で特定 期間・ IPアドレスから アクセス回数を SQLで集計。 35
Amazon Athena × Amazon S3 36
Amazon Athena × Amazon S3 例)対象 S3バケットに対するアクセス数を分析( IPアドレス毎 アクセス数集計 ) 特定 S3バケット アクセス履歴 分析も SQLクエリを投げるだけで確認が可能です。 対象 S3バケットに対するログ解析をすぐに 行うことが出来ます。 37
データ分析 × Amazon S3 Amazon QuickSight S3に保存されたデータを活用 し、インタラクティブな ダッシュボードやレポートを簡単に 作成できるビジネスインテリジェンス( BI)サービス 。専門知識がなくても、データ 傾 向を把握し、迅速な意思決定に役立てることができます。 • 営業成績、ウェブサイト • Excelなどで アクセス状況、顧客行動などを分析。 手作業による集計から解放。 活用イメージ : 月次 売上データを S3にアップロードし、 QuickSightで地域別・製品別 上推移ダッシュボードを作成。経営層がリアルタイムで状況を把握。 売 38
Amazon QuickSight × Amazon S3 S3バケットに月次 売上データなど csvを格 納。Amazon QuickSightでデータを取り込む ことでデータを可視化することが可能。 39
データ分析 × Amazon S3:事例紹介
iret社内事例:毎月 請求処理工数を削減 課題: ● 毎月 AWS利用金額 集計において「複数アカウント」「特定 ス」に限定した金額を算出したい。 ● 手作業で行っていた処理を簡素化したい。 サービ Amazon S3 と Amazon Athena を組み合わせて 集計作業 工数を削減する 41
iret社内事例:毎月 請求処理工数を削減 ※月別データを蓄積保存することで、過去データ 参照も可能 AWSアカウント一覧を上書き保存 ① 過去レポートフォルダ 請求対象 AWSアカウント一覧 新規フォルダに格納 月別フォルダにレポートを保存 請求処理担当 者 前月:各 AWSアカウント 利用料レポート ② データ抽出用クエリを実行 クエリ実行 Amazon Athena 特定 AWSサービス / AWSアカウント に集計された結果が抽出される 集計データ表示 42
iret社内事例:毎月 請求処理工数を削減 作業 「利用料レポート アップロード」「抽出用クエリ実行」 み。 毎月 集計処理を簡素化し 5分 で担当者 処理が完了 。 他 請求処理も同様に整理し 1日 で終わる作業量へ削減 。 43
まとめ
まとめ: Amazon S3 ユースケース データ保護・移動 S3バケット データレイク 取り込み データ加工 分析可視化 オンプレサーバー / 各種データ バックアップデータ保 存 元データ ・データ保存による活用 ・データ分析基盤として活用 (アーカイブ、バックアップ、ログ保存 等) ・生成AI RAGデータとして活用 分析用データ ・データ移行先として活用 45
最後に: AWSへ 移行ならアイレットにお任せください migrationpack powered by ITX for MCP オンプレミス環境 AWS移行に関するご相談を承っています。 アイレットで お客様 クラウドへ 移行について課題やお悩みをお持ち お客様 ルでサポートします。 https://cloudpack.jp/service/aws/construction/migrationpack-itx.html ご案内 ために、移行計画立案から環境構築・運用までをトータ 詳細 お気軽に お問い合わせください。 46
本日 まとめ • クラウド( AWS) コスト効率、可用性、俊敏性に優れている。 • Amazon S3 非常に高耐久かつ安価なデータストレージとして利用可能。 • Amazon S3 データ AWS各サービスと連携が行いやすい。 ○ 生成AIサービス ○ データ分析サービス など • まず ログデータ保存やバックアップ保存など、小さく利用を検討。 • クラウドに慣れたあと データを活用して業務効率化を目指す。 47
ご清聴ありがとうございました
Appendix • Amazon Simple Storage Service(Amazon S3) ⾨⾨編 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2022_Amazon_S3_for_Beginner_1231_v1.pdf • Amazon Simple Storage Service(Amazon S3) ユースケース編 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_Amazon-S3-Usecases_0131_v1.pdf • 生成AI 導入支援サービス for AWS https://cloudpack.jp/service/aws/bedrock.html • migrationpack powered by ITX for MCP https://cloudpack.jp/service/aws/construction/migrationpack-itx.html • AWSユースケース:過去 資料を用いて業務 引き継ぎをサポートする https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/use-case/takeover/ • AWSユースケース:公共機関における生成 AI 活用案 https://aws.amazon.com/jp/government-education/worldwide/japan/public-sector-generative-ai/ 49