cloudpack的 AWS徹底活用によるビッグデータ攻略術

2015.9.28 ビッグデータ & IoT “まるごと” お任せセミナー cloudpack的 AWS徹底活用によるビッグデータ攻略術 アイレット株式会社

執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto

☁ cloudpack事業 執行役員 • エバンジェリスト • マーケティング担当（PR、ウェブ…） ☁ バックグラウンド 執行役員 / エバンジェリスト 後藤 和貴 @kaz_goto • Oracle カスタマーサポート→開発 • ビジネス・アーキテクツ • テクニカルディレクター（フリーランス）

アイレット株式会社 設立 2003年10月15日 資本金 7,000万円 代表者 齋藤 将平 従業員数 100名（2015年9月現在） 事業内容 システム開発・保守 マネジドホスティング

AWSを活用しながらビジネスに集中できる コンシェルジュサービス

cloudpackビジネス 設計支援 コンサル MSP 運用保守 システム 開発

24時間365日 監視運用保守 企業 定額課金/ 請求書払い Pマーク、ISMS、PCI DSS取得済みの運用体制 AWS

プレミアコンサルティングパートナー 全世界2222社中 アジア地域 4 社 最上位パートナー Premier > Advanced > Standard > Registered 3年連続は2社のみ

5年間AWSのみで運用保守 4社 5年間 500 800 プロジェクト超 社超

ワンストップでシステム開発から運用保守まで

企業規模別 cloudpack利用比率 36 % 中小企業 27 % 中堅企業 37 % 大企業

cloudpackの主な利用状況 Web系 91 ％ うち33%が ソーシャルゲームや メディアサイト

クラウド 導入事例 100 (※) ※ 2015年6月時点

cloudpack事例

confidential クライアント 株式会社ユニクロ 制作 株式会社マウント

confidential お題「絶対に落とさないこと」

confidential

confidential 担当者「え？CM打ったらどれだけアクセスくるか…」

confidential キャンペーン期間外 サーバー性能強化 台数も増加 アクセス状態を見て 途中でスペックダウン 結果発表のため 静的なコンテンツのみ キャンペーン期間中

confidential ポイント キャンペーン開始時に絶対に落ちない構成 • • 一時的に最強スペックにすることも可能 冗長構成が取られていればサイトを停止せずに増強も キャンペーンが終われば最小構成に変更可能 • 不要なサーバーは状態をそのまま保存して、 次回面倒な構築無しにそのまま利用可能

confidential クライアント サントリー 制作 TYO/ID

confidential お題「1日だけネット上でフェスするけど」

confidential

confidential 担当者「え？1日のためにサーバー購入するの？」

confidential フェス開催中 平常時 フェス開始 ウェブサーバー サーバー台数 増やすのは 1台数分レベル フェス終了 サーバー台数 減らすのは一瞬 データベース データベース 冗長構成 （片方落ちても大丈夫） 30台 構成 フェス当日だけ 1台→ 1日分=8万円だけ 費用は 通常約240万円/月のところ

confidential ポイント ライブのようなアクセスにも耐えうる構成も実現 可能 • • • 事前にサーバー調達が不要、時期が来たら増やすだけ わずか数日分のコストだけ追加になる 事前テストも容易にできる サーバーをコピーし利用する • フェス時に各サーバーを1から構築するのは不要となるため、 構築作業を大幅に減らせる

confidential クライアント トヨタ自動車 トヨタメディアサービス

トヨタ公式ウェブサイト ☁ 月間1億PV 45億ヒット、 新車発表時3倍のアクセス ☁すべてのサイトで複数サーバー 開発環境なども含め、 計100台以上 ☁東京リージョン障害時に シンガポールで復旧可能 toyota.jp lexus.jp www.toyota.co.jp m.toyota.jp www.toyota-global.com s-api.etoyota.net etoyota.net

別ロケーションでの復旧 ☁ 災害時シンガポールにほぼ自動的に環境構築 ☁ テンプレート（レシピ）から一発で構築可能 CloudForma*on, Template, Tokyo Region Stack, Singapore Region

ハイレベルなセキュリティ基準 ☁ AWSで国内初のPCI-DSS Level1環境の構築の実績 • PCI-DSSとは • PCI DSS (Payment Card Industry Data Security Standard) は国際カードブランド5 社(Visa、MasterCard、JCB、American Express、Discover) が共同で設立したPCI SSC(Payment Card Industry Security Standard Council)によって策定されたグロー バルセキュリティ基準。 • 世界のクレジットカード会社が求める プレスリリース（http://www.cloudpack.jp/press/20130308.html） セキュリティ実装のスタンダード

• http://www.cloudpack.jp/press/20130308.html

confidential Coiney 既存サイトをPCI DSS Level1に準拠させる為、 cloudpackはインフラ構築・セキュリティ面でのコンサルティングを担当

実践的セキュリティ対策 アプリケーション ☁ ユーザー責任範囲 データ • 権限設定、ネットワーク設定 ランタイム • ソフトウェアのアップデート ミドルウェア OS 仮想化 サーバー ストレージ ネットワーク • セキュリティログの収集・管理 • データの暗号化 • ウイルス対策 etc… ☁ AWS責任範囲

用途がある程度決まれば AWS上での ビッグデータ環境構築は 比較的難易度低。 では周辺の課題は…

お伝えしたいこと ✓ なぜAWSがビッグデータ分析環境に最適なのか ✓ さまざまなソリューションがある中、実際に求 めれるモノとは ✓ ビッグデータの取り扱いではまるところ

ビッグデータ × ツール

収集・処理・分析 保管

データ転送 • Tsunami、Skeed、Aspera • Tableau、Talentd、Domo • fluentd、ElasticSearch、Kibana、Graphana • • 専用線接続 データ統合・ダッシュボード ログ収集・可視化 その他 ダイレクトインポート

データ転送

confidential 3ヶ月かけて東海岸につくった インフラを9時間で西海岸に構築

confidential 476.18 Mbps → 60MB/s =USB2.0最大転送速度

データ統合・ダッシュボード

ログ収集・可視化

ビッグデータ × 事例

大陸間データ伝送

システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B

転送状態の管理 システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot lha hnw u I ot 3) 3) em G yO 3) m 3) B A 1 NP S LWOH If 1 BE A h I If y C B 現地に近いリージョンで 毎回環境起動 B A B A ) 3) GbI 1 If 1 BE A 1

システム構成 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot NP S LWOH If 1 BE A 1 h I If y C B B A ファイル分割制御・リトライ 優先度制御 1 B A ) 3) 3) em G yO 3) 3) 3) GbI If 1 BE A 1

システム構成 高速ファイルファイル転送 bIlIrd If t Ik F , F AD A   m > ( B A > ( > 3 -‐‑‒ B E F AD A   v m B A v I B Am ot u I ot O H B B AD A   A 2B ( A m 1 m If y m ot B A m lha hnw u I ot B A 1 B A ) 3) 3) em G yO 3) 3) NP S LWOH If 1 BE A 1 If 1 BE A 3) 1 GbI h I If y C B

ポイント 通信の最適化 • • 都度リージョン選択 伝送優先度調整 高速伝送 • • ツールとしてHULFT + Skeed利用 ファイル分割、リトライ

ゲーム会社 KPI分析基盤

システム構成1 ゲームサーバーにfluentd導入 A B C API JSON S3 autoscalling DWH Web/APL DWH$ (Redshift)

システム構成２ 変換サーバー導入 A B C fluentd JSON S3 DWH Web/APL DWH' (Redshift)

システム構成比較 Fluentd API fluentd API DB DB

WADANCE

膨大なデータを集計、分析、俯瞰。 WADANCE（ワダンス）は、 日々の指標を誰もが読み解くことができる ビジネスツールです。

https://youtu.be/CARaLuQs4m8

• https://youtu.be/CARaLuQs4m8

NTTドコモ 統合分析基盤

confidential 構築の背景 o ドコモにおけるビックデータ活用 業務システム のデータ 様々なログ CRMシステム ファイル の顧客データ Webサイト， ブログ ソーシャル メディア 静止画，動画 センサデータ ペタバイト級のデータ＋機械学習＋並列分散計算モデル マーケティング リコメンデーション オペレーション最適化 ビッグデータからの行動パ ターン分析によるサービス利 用促進／ユーザビリティ向上 多種多様なログに基づくクロ スリコメンド／チューニングに よる精度向上／対象ユーザ・ コンテンツのカバレッジ向上 ビッグデータを用いたネット ワークルーティングの最適化 Business Intelligence © 2014 NTT DOCOMO, INC. All Rights Reserved. セキュリティ メディア理解 ビッグデータを用いたハザー ドマップ／犯罪発生マップの 高精度化・カバレッジ向上 ビッグデータを用いた辞書構 築による文字認識・画像認識 精度の向上／ソーシャルメ ディア情報活用によるユーザ 動向把握 社会インフラ最適化 交通機関・公共施設の運行 最適化による待ち時間の最 小化 Data-Driven Innovation 22

confidential 10TB 毎日 の ユーザー行動データ 100億超 の 行動記録処理 ※安全性を保つため 個人情報は予めフィルタ済み

ポイント クラウドの拡張性の高さ • • 毎日数TB、PB級のデータ量に対応 • • • ドコモ・クラウドパッケージ MFAやCloudTrailによる証跡など継続的な機能アップ 独自セキュリティ基準確立と実装 ポリシー準拠した環境の事前準備 すべてのロールごとに権限はわける

セキュリティ

認証・セキュリティの取り組み PCI DSS監査証明マーク ICMS-PCI0162/PCI DSS ＋セキュリティルーム ICMS-PCI0162/PCI DSS ※写真はイメージです PCI DS PC ICMS PC ICMS

SOC2レポート受領 • 米国公認会計士協会（AICPA）が定 める、財務報告目的以外の受託サー ビスに関する内部統制の保証報告書 • 監査法人や公認会計士が独立した第 三者の立場から、客観的に検証した 結果を記載したもの • AWS上でのSOC2受領は日本初！

セキュリティ ホワイトペーパー • 国際・国内セキュリティ基準への取 り組み • ソフトウェア脆弱性情報に関する取 り組み • 業務ネットワークのセキュリティ • 運用上のセキュリティ保持体制

ドコモ・クラウド パッケージ • NTTドコモ社のクラウド導入・構 築・運用管理ノウハウやツールを パッケージ化 • セキュリティデザインパータンやテ ンプレートを提供 • 準拠したSIをcloudpackで実施可能

まとめ ✓ PB級のデータも初期コスト無しでスタート、 カイゼンや機能追加が日々行われていくので 成長していくAWSはビッグデータ分析環境に最適 ✓ 現実世界では、さまざまなデータソースから データ変換・統合していく必要がある ✓ データが膨大である以上、データ収集の戦略も重 要に

AWS re:Invent 2015 10月6日〜9日 @ ラスベガス 参加者1万人規模 日本からも数百名参加

Q&A