Big query and elasticsearch insight at scale

BigQuery & Elasticsearch Insight at Scale 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官

Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist

1つのスタック、3つのソリューション、多くのユースケース、どこでもデプロイ Elastic Enterprise Search Elastic Observability Elastic Security Kibana Elasticsearch Beats SaaS Elastic Cloud Logstash SELF-MANAGED Elastic Cloud Enterprise (ECE) Standalone Elastic Cloud on K8s (ECK)

Strategic partner since 2017 Operating in 16 regions with 4 deployment options 2,400+ joint customers* 4 “Together, Google Cloud and Elastic share a vision of meeting customers where they are on their journey to the cloud...Our partnership has been inspired by our joint customers who are looking for choice, security, a platform for innovation and integrations that helps them get better insights from their data.” Thomas Kurian, CEO, Google Cloud

Google マネージドサービスのデベロッパーにとっての3つのメリット ビジネス価値の促進に重点を置く 5 統合されたエクスペリエンス 統⼀されたサポート 統合された請求 運⽤効率を向上 Google サポートを通じて 最適化されたエクスペリエンス 調達を簡素化

Elastic & Google Partnership Timeline G CP G G CP o G G G CP ld Net CP a G CP an h n El CP S S. nu M er d i n i a Ca la nt asti Sã g P a r l d ke e c ro lat nd o ap ea tp gra 7.8 Pa or lin inu s ls lac tio G ol e a m o e n CO on S G CP M P G EC CP M on K M 1. um tr 0 ea G ba l A i E Jo last pr int icO es C n en EO ta tio n El as tic 7. 10 CY20 Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec CY21 Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec E se last ar ic ch 7. ab 11 le + sn ap sh ot s 6 El as tic 7. 13

Elastic & Google Partnership Highlights yo 16 FY19 Jan FY20 Jan 7 F S t ex ve nt N i e tiat me l g i e oo S In unc G S o O nn A Regions G G CP CP S M ydn on e tr y ea l k To le t g ex oo eta N B e n G ce ha l g o la lp oo stic etp 0 A G la k . E ar 0.9 M CK E 4 CP G ey n d Sy Ways to deploy Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec G G G G G El CP CP EC CP an CP G CP C i nt asti Si S. N M n K M P ua a et 6/ eg c 1. um Ca Sã ng rk h 0 18 ra 7.8 l a ro o p er e d G ba /2 tio G ea tp Pa or la lin A i 0 n C nd ls lac ol e a O o e s S

Elastic Cloud on Google Cloud 16 Google Cloud Regions The official managed Elasticsearch and Kibana offering Americas us-west1 (Oregon) us-central1 (Iowa) us-east1 (South Carolina) us-east4 (N. Virginia) northamerica-northeast1 (Montréal) southamerica-east1 (São Paulo) Europe europe-north1 (Finland) europe-west1 (Belgium) europe-west2 (London) europe-west3 (Frankfurt) europe-west4 (Netherlands) Asia Pacific asia-east1 (Taiwan) asia-south1 (Mumbai) asia-southeast1 (Singapore) asia-northeast1 (Tokyo) australia-southeast1 (Sydney) 8

⽐類のない利点 Exclusive integrations Google クラウド マーケット プレイスに Elastic 検索 サービスを展開します。 Google Cloud Operation Suite からデータにアクセス できます。 自由でオープンな技術を 通じて革新のために創造 Seamless billing Pay-per-use Google クラウド マーケット プレイスから、直接 Elastic サブスクリプションを管理し、 1 つの統合請求書を取得し ます。 使⽤するリソースに対して のみ⽀払います。 Fully managed All the Feels Best-in-class security メンテナンスと維持は Elastic に任せます。API と Elastic CLI を使⽤して、 最適化、Google DevOps ツールと統合します。 ⾃動アップグレード、商⽤ 機能、セキュリティ組み込み、 迅速な展開とサイズ変更が 可能です。 ⾼度なセキュリティ機能と、 暗号化は、グローバルコンプ ライアンス基準を満たして います。

Elastic と Google Cloud を⽤いた オブザーバビリティ（可観測性） 参考アーキテクチャ Serverless App Engine Cloud Function Filebeat or Functionbeat Elastic Cloud Cloud Pub/Sub Others Operations Compute Engine Kubernetes Engine Filebeat 10 Logstash Cloud Storage Filebeat or Functionbeat Custom Logs VPC Flow Logs

Demo Elastic Cloud deployment on Google Cloud 11

Databases & Google Cloud Platform In-memory Non-relational Cloud Memorystore Cloud Firestore Data warehouse Relational Cloud Bigtable Cloud SQL Cloud Spanner Third party BigQuery SQL Server Managed Redis 12 Serverless, scalable Low latency, document store scalable wide column store Managed Scalable MySQL & missionPostgreSQL critical RDBMS Analytics, dashboards Oracle

BigQuery 最⼤限の俊敏性と拡張性を実現する、 完全に管理されたサーバレス DWH Unique Google Cloud Platform の 分析⽤エンタープライズ データウェアハウス ストリーミングデータからのリアルタイムの洞察 ギガバイトからペタバイト規模 のストレージと SQL クエリ 組み込みの ML を使⽤する予測的な洞察 暗号化され、耐久性があり、 ⾼可⽤性を持つ Unique Unique ⾼速なインメモリ BI エンジンにより、⾼速な レポート作成と分析が可能 Unique 13

BigQuery & Elasticsearch Better together 1. BigQuery を使⽤したビッグデータとデータウェアハウジング クラウドスケールの No Ops SaaS データウェアハウジング b. 豊富な統合、BI、機械学習 a. Elastic Stack を使⽤したライブデータとリアルタイム分析 a. 速度、速度、速度 b. ターンキーソリューション:Observability, Security, Enterprise Search 3. データウェアハウスの他のデータ ソースと統合するために、 BigQuery を使⽤し Elastic Stack データをフェデレーション /転送 4. BigQuery から Elasticsearch に転送された洞察を保存 して、迅速なアクセスと簡単/豊富なリアルタイム分析を実現 2. 2 1 3 4

Elasticsearch to BigQuery データウェアハウス⽤の BigQuery • リアルタイムの Elastic データを、より広範な BigQuery データポートフォリオと関連付ける • • • Elasticsearch to BigQuery – BigQuery での追加データ変換 BigQuery での機械学習 Real-time data sources Logstash • Logstash Elasticsearch input plugin • Logstash BigQuery output plugin – Custom pipelines - eg. Dataflow pipeline – Potential “one-click” tight integration BigQuery

BigQuery to Elasticsearch Elasticsearch as the speed layer • • ⾼速クエリ • リッチで簡単なリアルタイム分析とダッシュボード • リアルタイムアラートと Machine Learning • BigQuery 結合の視覚化 • ターンキーソリューション BigQuery to Elasticsearch – Google Cloud Storage を通じて – カスタムパイプライン - 例えばデータフローパイプライン – 潜在的な「ワンクリック」タイトな統合 リアルタイム分析と ダッシュボード データウェアハウジング ⼤規模なデータ分析 BigQuery

Cloud Logging をエクスポートするシナリオ: Elasticsearch https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja • Logging のエクスポートのための設計パターン の⼀部 • Cloud Logging は、Cloud Storage、BigQuery、Pub/Sub、Elasticsearch にエクスポートできる • Beats のより⼀般的な使⽤例の⼀部 • • Auditbeat を使⽤した監査データの確認とレポート作成 • Filebeat と Metricbeat を使⽤したログファイルと指標の分析 • サーバーレス Functionbeat を使⽤したクラウドデータのモニタリング（Cloud Functions） • Packet beat を使⽤したネットワーク トラフィックの把握 Beats を使⽤して Google Operationsの Cloud Logging を Elasticsearch にエクスポート するための基本的なアーキテクチャの例 • Google Cloud 向け Filebeat モジュールは、監査ログ、VPC フロー、ファイアウォール ログを収集 • 環境にコンテナ、サーバーレス機能、VM、アプリが含まれている場合でも、Cloud Logging のシンク は、適切にフィルタリングされたデータを Pub/Sub トピックに送信するよう構成 • このトピックは、ファイル変換のために Elasticsearch に送信し、Kibanaでの検索やレポートのため に取り込みおよび集約を⾏う

• https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
• https://cloud.google.com/solutions/design-patterns-for-exporting-stackdriver-logging?hl=ja

Demo BigQuery から Elasticsearch へのデータの取り込み 18

19

Elastic と Google Cloud を⽤いた オブザーバビリティ（可観測性） 参考アーキテクチャ Serverless App Engine Cloud Function Filebeat or Functionbeat Elastic Cloud Cloud Pub/Sub Others Operations Compute Engine Kubernetes Engine Filebeat 20 Logstash Cloud Storage Filebeat or Functionbeat Custom Logs VPC Flow Logs

事例ご紹介

The GDELT Project グローバルデータベースで世界的に展開されているプロジェクト • • • • ⼈類社会の最⼤、最も包括的、最⾼の解決 のオープンデータベース 印刷、放送、Web フォーマットのほぼすべての 国の世界中から、世界のニュースメディアを 100以上の⾔語で監視 1979年1⽉1⽇から現在まで Vision - 利⽤可能なすべてのオープンな情報 源を使⽤して、地球全体を計算可能な形式 にコーディネート

The GDELT Project BigQuery と Elasticsearch を使⽤した惑星スケール データセットの分析と管理 Elasticsearch の専⽤のフルテキスト検索インフラストラクチャを備えた BigQuery の膨⼤なペタスケール分析機能と連携することにより、世界 クラスの検索、分析、視覚化機能 BigQuery Elasticsearch • ペタスケール分析 • • 4 分以下のペタバイトテーブルのスキャン • • スケールを気にせずに GDELT の質問 • 第2世代の全⽂検索 Google Computing Engine (GCE) にデプロイ BigQuery との統合

Zebra Technologiesʼ VisibilityIQ BigQuery based big data analytics platform • 800万台のデバイス • 43,000のお客様 • 運⽤データとサポートデータ • 機械学習と予測モデリングにより、予防的 対策が可能 • KPI と実⾏可能なインサイト

Zebra Technologiesʼ VisibilityIQ Elasticsearch as the speed layer • データウェアハウス/データレイクとして の BigQuery • パイプライン – • ML & predictive analysis インサイトサービングスピードレイヤーと しての Elasticsearch • クエリ – Aggregations – Dashboarding https://www.elastic.co/elasticon/archive/2020/global/how-zebra-technologies-delivers-business-intelligence-with-elastic-on-google-cloud

• https://www.elastic.co/elasticon/archive/2020/global/how-zebra-technologies-delivers-business-intelligence-with-elastic-on-google-cloud

A Food Service Company G-Suite ログ分析 Email log search BigQuery Reporting Security Analytics with Elastic Security

リソース Elastic StackとGoogle Cloudオペレーションを使ってGoogle Cloudを監視する https://www.elastic.co/jp/blog/monitoring-google-cloud-with-the-elastic-stack-andgoogle-operations Cloud Logging をエクスポートするシナリオ: Elasticsearch https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja Google BigQuery output plugin https://www.elastic.co/guide/en/logstash/current/plugins-outputsgoogle_bigquery.html#plugins-outputs-google_bigquery

• https://www.elastic.co/jp/blog/monitoring-google-cloud-with-the-elastic-stack-and-google-operations
• https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja
• https://www.elastic.co/guide/en/logstash/current/plugins-outputs-

アプリケーション開発 オンデマンド ウェビナー特集 • • • Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕ https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx

• https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx

Elastic APM のログ活⽤法 https://www.elastic.co/jp/webinars/learn-more-from-your-logs-with-elastic-apm

• https://www.elastic.co/jp/webinars/learn-more-from-your-logs-with-elastic-apm

Elastic 7.13 Update ダイジェスト版(6/24) 今回のWebinarの詳細は以下の通りです。 ========================== ===================== ■開催⽇時 6/24(⽊)19:30〜21:00 ■内容 登壇 1. ⽇本マイクロソフト 惣道 哲也さん 2. Elastic 鈴⽊章太郎さん 3. 募集中 ========================== ===================== 以上 https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/278466633/

• https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/278466633/

Elastic on Microsoft Azure: インテグレーション強化による価値の創出 https://www.elastic.co/jp/webinars/elastic-on-microsoft-azure-accelerate-time-to-value-with-enhanced-integration

• https://www.elastic.co/jp/webinars/elastic-on-microsoft-azure-accelerate-time-to-value-with-enhanced-integration

ElasticON Solution Series Japan (7⽉予定) https://www.elastic.co/elasticon/solution-series/(TBD)

• https://www.elastic.co/elasticon/solution-series/(TBD)

Thank You for your attention! Search. Observe. Protect.