Introducing the elastic 8.0 release a new era of speed, scale, relevance, and simplicity

Elastic 8.0 リリースのご紹介︓ スピード、スケール、関連性、シンプルさの新時代 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務グループ ソリューションアーキテクト

Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務グループ ソリューションアーキテクト 元 Microsoft Technical Evangelist

l アジェンダ l l Enterprise Search 8.0 の新機能 8.0 Technical Enablement – NLP と ML のサードパーティモデル Platform /Observability 8.0 の新機能

The Elasticsearch Platform In a world where endless data creates endless possibility, search helps people and organizations thrive. Enterprise Search Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises

Enterprise Search 8.0 の新機能

Enterprise Search 8.0 リリースハイライト ⼀元化 モニタリング データ 取り込み Kibana UI Observability for Enterprise Search Connectors and Crawler Stack Monitoring に Enterprise Search モジュールが追加されました。 クローラー API の GA と コネクターの改善 エンタープライズサーチは Kibana のみで管理されるようになりました。

Enterprise Search は Kibana のみ🎉 さようなら、スタンドアロンUI ⼀貫性のあるクロスプラットフォームナビゲーション により、お客様の使い勝⼿を向上させます。 新たなユースケースと摩擦のないアカウント拡張 を顧客に提供 Kibana で利⽤可能な検索インサイトとビジュア ライゼーションにすぐにアクセスできるようになります。 Standard/Basi All license Enterprise Platinum Gold OSS Experimental Beta GA levels c

Kibana で Enterprise Search を管理する : 2年間のタイムライン 7.9 7.14 7.16 8.0 Kibana における Enterprise Search の概要 ダッシュボードの移⾏ （ベータ版） Enterprise Search Kibana が GA に到達 Kibana-only Enterprise Search Aug 2020 Aug 2021 Dec 2021 Feb 2022

Auth 領域パリティ作業完了 既存のサポート なぜそれが重要なのか • • • • • • Kibana と Enterprise Search の移⾏が 完了し、⼀貫したサポートが可能になりまし た。 ES Native SAML OpenID Connect (e.g. Google Accounts, GitHub Auth, etc) Active Directory LDAP PKI 多⽬的クラスタにおけるレルムの混在に伴う 混乱や複雑さを回避することが可能。 Enterprise Search の機能セットによる 摩 擦のない発⾒をサポートします。 All Standard/Basic license Enterprise Platinum Gold OSS levels Experimental Beta GA New as of 8.0 • Kerberos

Enterprise Search の モニタリング なぜそれが重要なのか ユーザーは、以下のような Elastic ツールを 使って、Enterprise Search の導⼊を簡単 に監視できます。 ● Stack Monitoring - 8.0 の新機能! ● External Metricbeat module ● Self-monitoring ● Pre-built Dashboards ● Monitoring APIs ● Elastic APM Integration All Standard/Basic license Enterprise Platinum Gold OSS levels Experimental Beta GA

Enterprise Search の モニタリング 7.16以降のセルフモニタリング 1⾏の設定変更 Cloud︓ログとメトリックスをデプロイメントに 出荷する 下記の構成も可能: - 期間 - メトリックセット - 使⽤したインデックス名 All Standard/Basic license Enterprise Platinum Gold OSS levels Experimental Beta GA # enterprise-search.yml monitoring.reporting_enabled: true

Enterprise Search の モニタリング Dashboard と Stack Monitoring モニタリングのためのダッシュボードがあらかじめ ⽤意されています。(7.16+) レポ︓elastic/ent-search-monitoring Or Metricbeat (7.16+) 経由でインストール Or Stack Monitoring (8.0) All Standard/Basic license Enterprise Platinum Gold OSS levels Experimental Beta GA

エンジンごとに設定可能な
シャード数
なぜそれが重要なのか
API 経由でより多くのシャード数を持つエンジン
を作成可能
⼤規模環境でのスケールアップを実現

All
Standard/Basic
license
Enterprise
Platinum
Gold
OSS levels

Experimental
Beta
GA

curl -X POST 'https://[instance
id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engi
nes' ¥
-H 'Content-Type: application/json' ¥
-H 'Authorization: Bearer private-xxxxxxxxxxxxxxxxxxxx'
¥
-d '{
"name": "my-large-engine",
"index_create_settings_override": {
"number_of_shards": 10
}

• https://www.elastic.co/guide/en/app-search/8.0/engines.html

Geolocation Sorting

なぜそれが重要なのか
Search API により、検索結果を指定した地点
からの距離でソートすることができます。

curl -X GET 'https://[instance
id].ent.[region].[provider].cloud.es.io:443/api/as/v1/engines/national-parksdemo/search' ¥
-H 'Content-Type: application/json' ¥
-H 'Authorization: Bearer search-soaewu2ye6uc45dr8mcd54v8' ¥
-d '{
"query": "park",
"sort": [
{
"location": {
"center": [38.89, -77.08],
"order": "asc"
}
},
{
"title": "asc"
}
]
}'

Standard/Basi
All license
Enterprise
Platinum
Gold
OSS
Experimental
Beta
GA
levels
c

• https://www.elastic.co/guide/en/app-search/8.0/sort.html

Simplified Query
Correlation 簡易クエリ相関
なぜそれが重要なのか
Enterprise Search のクエリと Elasticsearch
のクエリとの相関関係を簡素化。
X-Enterprise-Search-Debug: true ヘッダで
起動された Enterprise Search API クエリには、
基となる Elasticsearch のリクエストとレスポンス
が含まれます。

All
Standard/Basic
license
Enterprise
Platinum
Gold
OSS levels

Experimental
Beta
GA

$ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-metaengine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-SearchDebug: true' -d '{"query":""}' | jq .meta
{
"alerts": [],
"warnings": [],
"precision": 2,
"page": {
"current": 1,
"total_pages": 1,
"total_results": 6,
"size": 10
},
"engine": {
"name": "my-meta-engine",
"type": "meta"
},
"elasticsearch": {
"request_header": { ... },
"request_body": { ... },
"response": { ... }
},
"request_id": "fcbf3c18-472a-4c06-98d5-6490c3efd9e0"
}

Simplified Query
Profiling クエリプロファイリングの簡略化
なぜそれが重要なのか
X-Enterprise-Search-Profile: true を
指定すると、Enterprise Searchクエリのクエリ
プロファイリングが利⽤できます。

$ curl -s -uelastic:changeme 'localhost:3002/api/as/v1/engines/my-metaengine/search' -H 'Content-Type: application/json' -H 'X-Enterprise-Search-Profile:
true' -d '{"query":""}'

"profile": {
"shards": [
{
"id": "[rRA2W-p4SbS9myI865zQDw][.ent-search-enginedocuments-me-test-engine-1][0]",

Elasticsearch Profiling API を活⽤します。

]
}

Standard/Basi
All license
Enterprise
Platinum
Gold
OSS
Experimental
Beta
GA
levels
c

}

"searches": [
{
"query": [...],
"rewrite_time": 51443,
"collector": [...]
}
],
"aggregations": [...]

• https://www.elastic.co/guide/en/elasticsearch/reference/7.15/search-profile.html

Web Crawler の改善 Web Crawler API は 8.0 で GA HTTP Authentication Support Basic 認証で保護されている Web サイトに対して、 クロール時にログイン情報を提供することでクロールを 開始することができるようになりました。現時点では API のみ、Platinum+ ライセンスが必要です。 HTTP Proxy Support Web Crawler は、認証の有無にかかわらず、HTTP プロキシ経由でコンテンツをクロールすることができます。 現時点では API のみ、Platinum+ ライセンスが 必要です。 🎉

Web Crawler の改善 Partial Crawl API 部分クロール API は、お客様がクロールの範囲を 狭めるなど、カスタムな設定で実⾏するクロールを 作成することができます。部分クロールの設定は、 クロールのリクエスト時に提供され、グローバルに 設定された設定を置き換えます。現時点では API のみの提供です。

GitHub、Salesforce、 ServiceNow のコネクター の改善 なぜそれが重要なのか 顧客は、主要なコネクターに、より⾼い柔軟性と コンフィギュラビリティを期待しています。 GitHub Connector Enhancements Markdown ファイルの同期 GitHub Apps を 顧客としての GitHub の新しい認証メカニズムとした Salesforce Connector Enhancements 標準オブジェクトのカスタムフィールドをサポート ServiceNow Connector DLP support ServiceNow の Document Level Permissions のサポートが拡張された All Standard/Basic license Enterprise Platinum Gold OSS levels Experimental Beta GA

8.0 Technical Enablement – NLP と ML のサードパーティモデル

検索のパラダイムシフト

テキストマッチングの枠を超える

ML 導⼊への課題 これまで、ML を効果的に導⼊するためには、 データの⼊⼿が⼤きな妨げとなっていました。

私たちは、時間をかけて効果的なツールを開発し、 規模を拡⼤してきたという強みを活かして、ML に アプローチすることができるのです。

ロードマップ︓ML/NLP ツールの⺠主化 今後数回のリリースで、よりアクセスしやすいツールに

機械学習と PyTorch によるモダン NLP

モダン NLP とは︖ はじめに・動機

32

モダン NLP とは︖ BERT と転移学習 • マスク⾔語によるモデリング ‒ The man went to the ____ to buy a ____ of milk ‒ ‒ store, gallon ✅ running, perfect ❎ • 次の⽂章予測 ‒ The man went to the store. ‒ ‒ He bought a gallon of milk. ✅ Penguins are flightless. ❎

NLP タスク ⾃然⾔語を利⽤したきめ細かなタスク ● 抜粋情報 ○ ○ フィルマスク 名前付き固有表現認識 (NER) ● テキストの分類 ○ ○ センチメント分析・バイナリテキスト分類 ゼロショット分類 ● テキストを検索・⽐較する ○ テキスト＆センテンスエンベッディング

NLP タスク 名前付き実体認識 (NER)

NLP タスク センチメント分析 ● "これはとても素晴らしい映画だった、本当に楽しかった” → ポジティブ ● "うーん、でもマジであのエンディングはひどかった” → ネガティブ

NLP タスク ゼロショット分類 • "誰か助けて! パスワードを紛失して しまい、アカウントにアクセスする必要が あります。iPhoneを使っているのです が、指紋認証ログインも使えなくなって しまいました" • 可能なクラス︓モバイル、Web サイト、 iOS、Android、課⾦、アカウント、 緊急

NLP タスク 要約 ● Wikipedia: Amazon rainforest ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニアは、南アメリカのアマゾン 流域の⼤部分を占めるアマゾン⽣物群に属する湿潤広葉樹の熱帯⾬林である。 この流域は7,000,000km2（2,700,000平⽅マイル）に及び、そのうち 5,500,000km（2,100,000平⽅マイル）が熱帯⾬林に覆われている。この地域 には9つの国家と3,344の先住⺠族の領⼟があります。」 ● Summary: ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニアは、南アメリカにある湿っ た広葉樹の熱帯⾬林である。」

• https://en.wikipedia.org/wiki/Amazon_rainforest

NLP タスク 質疑応答 ● Wikipedia: Amazon rainforest ○ 「アマゾンの熱帯⾬林、またはアマゾンのジャングル、アマゾニア (the Amazon Jungle or Amazonia）は、南アメリカのアマゾン流域の⼤部分を占めるアマゾン⽣物群に属する湿潤広葉 樹の熱帯⾬林である。この流域は7,000,000 km2（2,700,000平⽅マイル）に及び、そのう ち5,500,000 km2（2,100,000平⽅マイル）が熱帯⾬林に覆われている。この地域には、9つ (nine)の国家と3,344の先住⺠族の領⼟がある。」 ● Q:アマゾンの熱帯⾬林を英語で表現するときにも使われる名前はどれでしょう︖ ● A: the Amazon Jungle or Amazonia ● Q:アマゾンは何カ国をカバーしているのですか︖ ● A: nine

• https://en.wikipedia.org/wiki/Amazon_rainforest

NLP タスク 翻訳 • 🇬🇧 Welcome to my presentation on modern NLP in the Elastic Stack! • 🇩🇪 Willkommen zu meiner Präsentation über modernes NLP im Elastic Stack!

Elastic Stack における統合 理論を実践する

Elasticsearch に NLP モデルを統合するメリット ● インフラストラクチャーとモデル管理 ● パフォーマンス ● データプライバシーとコンプライアンス

PyTorch ● 最も⼈気のあるモダンな ML ライブラリの1つ ● ディープニューラルネットワーク ● 研究・産業界で広く採⽤されている ● Facebook による積極的なサポートと開発 (メンテナ) ● 安定した API と機能性 ● ネイティブライブラリ libtorch ● PyTorch のモデルを TorchScript で書き出すことができます。

PyTorch vs. Tensorflow 現在最も⼈気のある2つの Deep Learning フレームワーク

モデルの準備とアップロード $ eland_import_hub_model --url https://Cluster_URL --hub-modelid bert_model --task-type text_embedding --start Huggingface.co

• https://huggingface.co/

モデル管理＆アロケーション

インジェスト時の推論

Elastic Stack 8.0 の NLP で⽇本語センチメント分析を試してみた https://qiita.com/ijokarumawak@github/items/9b0c2d650536488718a5

• https://qiita.com/ijokarumawak@github/items/9b0c2d650536488718a5

Demo

対応モデルマトリックス 最初のリリースでは、すべての PyTorch モデルはサポートされません ● 互換性モデルマトリックス⽂書 ● 8.0 では、下記の NLP タスクのサポートが含まれています。 ᐨ フィルマスク ᐨ 固有表現認識 (NER) ᐨ テキスト分類 (バイナリおよびマルチクラス) ᐨ テキスト埋め込み ᐨ ゼロショット分類 ● 8.X 以降でサポートされるのは : ᐨ 質問応答 ᐨ 翻訳 ᐨ…

FAQ 質問を募集します ● Ingest 時のみの推論︖検索時の推論についてはどうですか︖ ● 既存のデータフレーム解析機能とどう違うのですか︖ ● クラウドのハードウェア要件はありますか︖ ● 必要なライセンスは何ですか︖ ● GPU はサポートしていますか︖ ● 詳細な情報はどこで得られますか︖

テクニカルリソースはこちら ● ElasticON talk with Josh Devins ● ステップバイステップ NLP チュートリアル ○ Slides ○ Video walkthrough ● Elastic community NLP discussion with Ben Trent and Jay Miller ● ブログは近⽇公開予定... ● Introduction to modern NLP with PyTorch in Elasticsearch ○ ANN in Search ○ NLP getting started and end-to-end examples

• https://www.elastic.co/elasticon/archive/2021/global/modern-nlp-in-the-elastic-stack
• https://docs.google.com/presentation/d/1y1o7_wL6UOrPbMm32lEMuVSU9o-if4_7ocQwLZBmtAo/edit
• https://drive.google.com/file/d/1wynN0_KYSgSg01eDQ33v6JhF8Pt0jPgj/view?usp=sharing
• https://www.youtube.com/watch?v=Y9LRQ5WycjE
• https://github.com/elastic/blog/issues/1769
• https://github.com/elastic/blog/issues/1842
• https://github.com/elastic/blog/issues/1843

Unsplash.com "インターネット上の⾃由に使える画像の発信源" ● 25,000枚の画像を収録した データセットを無償で提供しています。

OpenAI CLIP model connects images and text

Platform /Observability 8.0 の新機能

Platform / Observability 8.0 リリースハイライト シンプリシティと選択 ❏ スタックセキュリティの簡略化 ❏ AWS マーケットプレイス ❏ AWS サーバーレスログインジェスト ❏ Elastic Agent で AWS CloudWatch データ マネジメント ❏ 今回のリリースでは該当なし 分析 ❏ スピードとパフォーマンスの向上 (Lucene) のログ⼊⼒に対応 ❏ KNN エンドポイント ❏ 機械学習︓サードパーティモデル vSphere ❏ フィールド統計と Discover ❏ 可視化・表⽰機能 ❏ Elastic Maps でベクタータイル ❏ AWS S3 ストレージレンズの統合 ❏ Azure Elastic Agent の統合 ❏ インテグレーション Cassandra と と NLP を完全サポート ワークフロー& アクション ❏ アップグレードアシスト ❏ CI/CD の強化 ❏ アラート機能の改善 ❏ APM UI の強化

シンプリシティと選択

Simplicity and Choice スタックセキュリティの簡略化 箱から出してすぐに最⼤限のセキュリティ ●セキュリティはハードで⽬障り ●リスクはかつてないほど⾼まっている ○データ流出 ○ランサムウェア攻撃 ●私たちの北極星 ○すぐに使える最⼤限のセキュリティ ○設定が必要な場合の最適な UX 最⼤限の セキュリティ Standard/Basic Enterprise Platinum Gold OSS GA 最⼩限の 摩擦

スタックセキュリティの簡略化 Simplicity and Choice デフォルトで有効化されているもの ユーザー認証と権限付与 ユーザーは資格情報を提供する必要があり、RBACを 使⽤してリクエストの実⾏を許可する必要があります。 ✔ マルチテナント Kibana スペースは、機能やリソースに異なるアクセス プロファイルを提供することが可能です。 ✔ ノード間通信 TLS クラスタノード間の内部通信は暗号化され、相互に認証 されます。 ✔ Elasticsearch API TLS Elasticsearch、Kibana、Logstash、および任意の クライアント間の接続は暗号化されます。 ✔ Standard/Basic Enterprise Platinum Gold OSS GA

Elastic Stack Security の簡略化

導⼊の流れ

3

Simplicity
and
Choice

トークンを貼り付けます。

4

Elasticsearch を起動し、エンロールメントトークンを取得します。

1

セットアップを待機します。

$ ./bin/elasticsearch
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.
ℹ Password for the elastic user (reset with `bin /elasticsearch-reset-password -u elastic`):
rF9rNFzJuB9Ay29*00j4
ℹ HTTP CA certificate SHA-256 fingerprint:
bf2409b479d26c63dd1755624ccd2125cb19a2f785da78eb3e67673306ae4613

ℹ Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
eyJ2ZXIiOiI4LjAuMCIsImFkciI6WyIxMC4xNTYuMC4xNTo5MjAwIl0sImZnciI6ImJmMjQwOWI0NzlkMjZjNjNkZDE3NTU2MjRjY2QyMTI1Y2Ix
OWEyZjc4NWRhNzhlYjNlNjc2NzMzMDZhZTQ2MTMiLCJrZXkiOiJzZTRJdFg0QmVPWFhBZDZ0QU9vTDp2UzFTYkdsQlJnaVB2MGY3akNqd3ZnIn
0=
ℹ Configure other nodes to join this cluster:
• On this node:
⁃ Create an enrollment token with `bin /elasticsearch-create-enrollment-token -s node`.
⁃ Uncomment the transport.host setting at the end of config /elasticsearch.yml.
⁃ Restart Elasticsearch.
• On other nodes:
⁃ Start Elasticsearch with `bin /elasticsearch --enrollment-token <token>`, using the enrollment token that you generated.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

2

Kibana を実⾏し、リンクをクリック
します。

$ ./bin/kibana
[2022-02-01T12:32:54.636+01:00][INFO ][plugins-service] Plugin "metricsEntities" is disabled.
[2022-02-01T12:32:54.722+01:00][INFO ][http.server.Preboot] http server running at http://localhost:5601
[2022-02-01T12:32:54.769+01:00][INFO ][plugins-system.preboot] Setting up [1] plugins: [interactiveSetup]
[2022-02-01T12:32:54.771+01:00][INFO ][preboot] "interactiveSetup" plugin is holding setup: Validating Elasticsearch
connection configuration…
[2022-02-01T12:32:54.813+01:00][INFO ][root] Holding setup until preboot stage is completed.

i Kibana has not been configured.
Go to http://localhost:5601/?code=535232 to get started.

Standard/Basic
Enterprise
Platinum
Gold
OSS

GA

5

elastic ユーザー
として接続します。

Elastic Stack Security の簡略化 さまざまなシナリオに適⽤できる Elastic Cloud を利⽤する ESS、ECE、ECKはすでにデフォルトでセキュリティが設定されており、何も変わりません。 Elastic ソリューションのいずれかを使⽤する 通常、ソリューションはセキュリティが有効であることを前提としているため、影響はありません。 既存のセキュリティ設定を使⽤する 明⽰的なコンフィグが使⽤され、デフォルトのコンフィグが効きません。 セキュリティの無効化 ユーザーは適切なコンフィギュレーション設定により、明⽰的にセキュリティを無効化することができます。 7.x ⾮セキュアバージョンからのアップグレード アップグレードする前に、明⽰的にセキュリティを有効または無効にする必要があります。アップグレード アシスタントがそのプロセスを⽀援します。 Standard/Basic Enterprise Platinum Gold OSS GA Simplicity and Choice

Elastic Stack Security の簡略化 その他の変更 Simplicity and Choice Elastic のセキュリティ機能は、外部プラグインで代替できません 他の Elastic 製品は Elastic のセキュリティ機能に⼤きく依存しているため、サードパーティ製のセキュリティモジュールで 置き換えることはできません。ただし、必要に応じて無効にすることは可能です。 システムインデックスが予約と⾮表⽰に設定されるようになりました システムインデックスにアクセスするには、デフォルトでは付与されない追加のフラグが必要であり、明⽰的にロールに追加 する必要があります。 スーパーユーザがシステムインデックスに書き込めなくなりました スーパーユーザーのロール定義が更新され、.security インデックスのようなシステム（予約）インデックスへの書き込み アクセスが防⽌されました。 Standard/Basic Enterprise Platinum Gold OSS GA

なぜ Cloud Native 指向なのか︖ クラウドサービスユーザー にとって負担の少ない Elastic オンボーディング ● クラウドサービス事業者の コンソールから発⾒可能 ● インジェストインフラの管理は 不要 ❏ AWS: Serverless Application Repository (SAR)/AWS Cloud Watch ログ⼊⼒対応 ❏ AWS S3 Storage Lens 統合、他 ❏ Google Cloud: PubSub/DataFlow/ BigQuery/Firebase 他 Azure: Portal 統合/ SSO/VM extensions/ Spring Cloud 統合、他

AWS Marketplace トライアルと価格変更 詳細 なぜそれが重要なのか ● AWS Marketplace から直接 Elastic Cloud の 無料トライアルを試すことができます。 ● 新規および既存のお客様の TCO（総所有コスト） を低減します。 Standard/Basic Enterprise Platinum Gold OSS GA Simplicity and Choice

AWS サーバーレスログインジェストでインサイトを⾼速化 Lambda 関数を使って S3 から Elastic にログを取り込む なぜそれが重要なのか ● サーバーレスアーキテクチャが主流に ● 開始時のエクスペリエンスを簡素化し、データオンボーディング の摩擦を低減 ● AWS サーバーレスアプリケーションリポジトリ (SAR) での アプリケーションの発⾒性 ● クラウドネイティブな統合体験に対する顧客の強い関⼼ Standard/Basic Enterprise Platinum Gold OSS Beta GA Making it Simplicity easier to and get Choice started

AWS serverless log ingestion architecture Simplicity and Choice

Elastic Agent での AWS CloudWatch のログ⼊⼒ CloudWatch のログから直接読み取る なぜそれが重要なのか ● お客様のニーズに応える ● インジェストアーキテクチャを簡素化し、AWS の運⽤コストを削減 Standard/Basic Enterprise Platinum Gold OSS GA Simplicity and Choice

AWS S3 Storage Lens の統合 S3 の使⽤状況とアクティビティメトリクス なぜそれが重要なのか ● ストレージの使⽤率とコスト効率の最適化 ● 他のアプリケーションメトリクス、セキュリティイベント、システムログと 合わせてデータを統合し、分析する。 ● OOTB Kibana ダッシュボード Standard/Basic Enterprise Platinum Gold OSS GA Simplicity and Choice

Making it Azure Elastic Agent の統合が GA に Beats から Agent への移⾏ なぜそれが重要なのか Elastic Agent でインジェストワークフローを簡素化 (以前はベータ版、現在は GA) Elastic Agent の Azure 統合を本番環境で活⽤できるようになり ました Standard/Basic Enterprise Platinum Gold OSS GA Simplicity easier to and get Choice started

新しい Elastic Agent の統合 Cassandra (GA)、vSphere (ベータ) 詳細 なぜそれが重要なのか ● Cassandra は、最も⼈気のあるデータストアの1つで ● す。現在、2万5千社以上の企業が利⽤しています。 vSphere の統合はコミュニティ主導で⾏われ、私たち のコミュニティの⼒を証明しています。 Standard/Basic Enterprise Platinum Gold OSS GA Making it Simplicity easier to and get Choice started

インテグレーション FAQ - よくある質問 Q: “インテグレーション”とは︖ A:インテグレーションとは、外部のシステムやアプリケーションを Elastic Stack に接続するための合理的な⽅法を意味する概念です。Nginx、 AWS、MongoDB などの⼀般的なサービスやプラットフォーム、またログファイルなどの多くの汎⽤的な⼊⼒タイプに対応したインテグレーションが⽤ 意されています。すべてのソリューションが統合機能を提供しているため、Elastic Stack 全体で統⼀されたコンセプトとなっています。 Q: パッケージとは何か、インテグレーションとはどう違うのか︖ A: Elastic パッケージは、外部データソースとの統合など特定のタスクを達成するために Elastic Stack が必要とするアセットを含む ZIP ファイル です。また、これらのアセットやパッケージ⾃体に関する追加情報を提供するマニフェストファイルも含まれています。パッケージの正確な内容や構造 は、パッケージ仕様によって記述されます。アセットは {stack-component}/{asset-type} または data_stream/{dataset}/{stackcomponent}/{asset-type} によって整理されます。統合は、モジュール、パッケージ、コネクタ、⾔語クライアント API、クラウドコンソールからの サーバーレス統合などの形で、具体的な成果物を持ちます。パッケージは0〜n個の統合インスタンスを含むことができます。 Link to FAQ document: https://docs.google.com/document/d/1k7x9UwhAZLXGG4uwXTVT_HZD38Q34qgOdszXmDAY6ic /edit?usp=sharing

• https://github.com/elastic/package-spec
• https://docs.google.com/document/d/1k7x9UwhAZLXGG4uwXTVT_HZD38Q34qgOdszXmDAY6ic/edit?usp=sharing

分析

Lucene 9 TCO、パフォーマンス、安定性の向上につながる 圧縮率の向上によるインデックスサイズの縮⼩ : ● match_only_text フィールドで ~15% 削減 (!) ● テキストフィールドの⼤幅な削減 ● 例︓アプリケーションログで3.4%のサイズダウン ジオポイントのインデックス作成が10%〜15%⾼速化 Standard/Basic Enterprise Platinum Gold OSS GA Analytics Search

Analytics Search ベクターの類似性 - なぜ︖ 何に使うの︖ 意味に応じたランキング ⾮構造化⾃然⾔語へのクエリ 画像検索 ⾼次元ベクトルから始まるデータのランク付け Similar? Standard/Basic Enterprise Platinum Gold OSS Experimental GA

ベクトル類似性関数 Analytics Search 関連性ランキングにディープラーニングモデルを使⽤ Text Text Documents documents documents aa1 1 aa2a1 2 … a2 … aan… an n Queries Queries Queries Search by vector similarity & text/keywords/num Ingest documents For Example: Text Natural Language Processing Model Embeddings Image Convolutional Neural Network Feature vectors a1 a2 … an a1 a2 … an Documents with vectors

検索の⾒え⽅の過度な単純化 Query Relevance Query 1 2 実際には : ● 数百から数千の次元（2次元ではない） ● 実際の次元は、⼈間が解釈できるものでは ありません このモデルは、3つの⽂書 A、B、C に対して、A は C よりも B に似ている（とユーザーが判断した）場合、A のベクトルは C のベクトルよりも B のベクトルに似ているようにベクトルを⽣成し、 それが関連性ランキングの基礎となる 3 4 Result

Analytics Search ベクターの類似性 - 何︖ The journey 7.3 のブルートフォースベクトル類似度 GA ● フィルタリングやトップ再ランク付けに効果的 ● ⾮常に⼤きなインデックスに対するクエリのレイテンシー HNSW & KNN, in 8.0 ● わずかな精度と多くのスケーラビリティを引き換えに ● ⼤規模インデックスにおける優れたクエリレイテンシー Standard/Basic Enterprise Platinum Gold OSS Experimental GA

ベクトル類似度 - KNNの性能⽐較 ゲームに参加する Standard/Basic Enterprise Platinum Gold OSS Experimental GA Analytics Search

ベクトル類似度 – KNN の性能⽐較 ゲームに参加する クエリーのレイテンシーが10msオーダーになることが多い 回収率は通常95%以上 結果︓クエリのレイテンシーが差別化要因でなくなった。 Standard/Basic Enterprise Platinum Gold OSS Experimental GA Analytics Search

ML モデル管理 UI ML モデルを管理するための Kibana UI 機械学習モデルを通じて多くの新しい機能が提供される ため、ユーザーは ML モデルを管理・監視するための UI を必要としています。 Kibana で ML モデル管理のUIを提供することで、 ユーザーはより⾃信を持ってデータパイプラインに ML モデルを作成、インポート、デプロイすることができるように なります。 DFA で作成したモデル（外れ値検出、回帰、分類） や、Eland! を使ってインポートしたサードパーティモデル を管理できます。 Platinum OSS Experimental Beta GA Analytics

Fleet パッケージの ML モデル Analytics ML モデルや必要なコンポーネントのインストールを簡素化 フリートパッケージマネージャーを使⽤して、 Supervised モデルとその必要なコンポーネントを すべてインストールします。 外部 ML モデル、Ingest パイプライン、検知ルール、 異常検知ジョブをまとめてインストールするのは複雑です。 パッケージインストールを作ることで簡単にしましょう DGA や Problem/Child のパッケージをボタン1つで Fleet からインストールできます。 * 注︓リリースは 8.0 GA 以降で、パッケージレジストリにリリースされる予定 です。 Platinum OSS Experimental Beta GA

Discover のフィールド統計 データの形を発⾒する フィールド統計 フィールド解析を⾏うための新ツール 価値創造までの時間を短縮 データをより速く学ぶ 主要な結果やビューをプレビュー Basic+ では現在ベータ版 Standard/Basic Enterprise Platinum Gold OSS Beta GA Analytics

Analytics キャンバスエディターのアップデート プレゼンテーション キャンバスエディターのアップデートによる埋め込み オブジェクトのサポート ⾼速なコンテンツ作成、オブジェクトの乱雑さの解消、 ⼀貫したオーサリングエクスペリエンス キャンバスのエディタツールバーのデザインが新しくなり、 オプションが⾒つけやすくなりました。 キャンバスに埋め込まれたビジュアライゼーションの作成 🚀 速い︕ビジュアライゼーション・エディターへのページ 遷移が200 ms 以下 Standard/Basic Enterprise Platinum Gold OSS GA

Analytics マルチレイヤー時間軸 ビジュアライゼーション ビジュアライゼーションの時間軸を再設計 時系列データ閲覧のための予測可能で感覚的な ケイデンス 常に完全な⽇付を表⽰し、⽂脈を⾒失わない ⾃然な時間単位と⼀般的な時間間隔 ⽬盛りの配置と読みやすさを改善 Discover、Lens、TSVB、Timelion、Aggregationbased Visualizations で利⽤可能です。 Standard/Basic Enterprise Platinum Gold OSS GA

Analytics Elasticsearch のベクタータイル対応 Maps ワンクリックでベクタータイル性能、Map に⼀般提供開始 Map のパフォーマンスとインタラクティブ性の向上 滑らかなズーム＆パン🧈 ドキュメントレイヤーはオプトイン可能 部分データの視覚的表⽰ 8.1ではベクタータイルがドキュメントのデフォルトになる予定 Standard/Basic Enterprise Platinum Gold OSS GA

Workflows and Actions

アップグレードアシスタント 8.0以降への移⾏ 7.17の新しく改良されたアップグレードアシスタントでは、 ガイド付きの⼿順と、⾮推奨の問題に対処するための⾃ 動修正機能がより充実しています。 なぜそれが重要なのか ● 8.xへのアップグレードが容易 ○ 重要な⾮推奨事項の特定 ○ ⼿動修正に必要な指⽰を提供します。 ○ ⼀部の⾃動化されたシステムの修復 ● 注︓8.x へのアップグレードは、7.17 を経由する 必要があります。 Standard/Basic Enterprise Platinum Gold OSS GA Workflows and Actions

Unified CI/CD の可視性の強化 Maven ビルド⼿順の詳細 APM 分散トレース可視化機能に統合された詳細情報 Why this matters ● Provide visibility into build steps that ○ Publish artifacts ○ Publish Docker images ○ Perform Snyk security checks ● Helps troubleshooting and optimization Standard/Basic Enterprise Platinum Gold OSS GA* *Otell プロジェクトによる技術 プレビューと表⽰されたままで す。 Workflows and Actions O11y

Actiona アラート機能の改善 Workflows andble Actions o11y アラートビューのUX強化 詳細 なぜそれが重要なのか ● アラートからルール定義まで簡単にアクセス可能 ● アクティブ/リカバリーのアラートに対するフィルタリング ● 離れても戻ってきても、ビューフォーマットの設定を維持 することができます。 ● ルール数サマリー Standard/Basic Enterprise Platinum Gold OSS Experimental Beta GA Please provide feedback via this link

• https://forms.gle/kstJMMjuMspqzbch8

APM UI の強化 よりアクション性の⾼い UI を実現 詳細 APM 全体がよりモダンなルック＆フィールに ● サービスマップ - ポップアップバッジ ● サービス → エラー表⽰ ● トレース UI Standard/Basic Enterprise Platinum Gold OSS GA Workflows and Actions

APM Server で Elasticsearch の出⼒が改善 出荷時のパフォーマンス向上 詳細 OOTB オートチューニングによるコンフィギュレーションの 簡素化 - libbeat からカスタム impl に移⾏ - 追加設定なしでスケールアウト可能 - APM サーバーのスケールアップのためのチケットが 少なくなりました。 Standard/Basic Enterprise Platinum Gold OSS GA Workflows Workflows and Actions

Questions?

デジタルイノベーション2022 オンライン (3/10) https://ers.nikkeibp.co.jp/user/contents/2022w0307dionl/index.html#A_A-441B Elastic Enterprise Search と Observability によるデジタルカスタマーエクスペリエンスの向上 Elastic はオープンでフリーな超⾼速検索エンジンとデータの出⼊⼒インターフェースから構成され、あらゆるパブリッククラウドにデプロイできる、業界をリードする検索・分析プラットフォームです。 Elastic により企業や個⼈は魅⼒的な顧客 Web サイト体験やモバイルアプリ体験を提供できます。このセッションでは、Elastic による実装をサンプルアプリのデモを交えながらご紹介してい きます。

• https://ers.nikkeibp.co.jp/user/contents/2022w0307dionl/index.html#A_A-441B

Observability Conference 2022 Co-located Events Hands-on https://event.cloudnativedays.jp/o11y2022/hands-on Elastic ソリューションアーキテクト による本イベント連携ハンズオン ワークショップ開催 (前⽇)︕ （3/10 14:00-18:00） URL: https://event.cloudnativedays.jp/o11y 2022/hands-on

• https://event.cloudnativedays.jp/o11y2022/hands-on

Thank you for your attention!