Zabbixによる大規模仮想基盤の監視 - Zabbix Conference Japan 2014

Zabbix による大規模仮想基盤の監視 - Zabbix Conference Japan 2014 Yuya Kusakabe - @higebu NIFTY Corp. Nov. 21, 2014 Copyright © NIFTY Corporation All Rights Reserved.

自己紹介 Twitter / GitHub：@higebu  仕事：    ニフティクラウドのネットワークサービスの 設計・開発・運用 オープンソース関連： Zabbix, VyOS, Packer, CoreOS （パッチを送っているプロダクト）  vagrant-vyatta: Vagrant のプラグイン  vyos.users.jp 設立  Copyright © NIFTY Corporation All Rights Reserved. Confidential 2

ニフティクラウドとは 必要な時に、必要な分だけ、必要なインフラ環境を ご利用できるパブリッククラウドサービス 詳しくは→http://cloud.nifty.com/ Copyright © NIFTY Corporation All Rights Reserved. Confidential 31

• http://cloud.nifty.com/

ニフティクラウドとは パートナーと共にフルスタックでサービス提供！ SaaS (Software as a Service) Cloud in the box(hako) Hako-cloud for E-Commerce EC-Cube Cloud PaaS (Platform as a Service) iPaaS & Automation Engineering Parts for mobile app Mobile backend for web app C4SA IaaS (Infrastructure as a Service) OEM Copyright © NIFTY Corporation All Rights Reserved. Confidential Managed Bare Metal Service 4

Zabbix Conference Japan 2013 http://www.zabbix.com/jp/img/zabconf2013/presentations/12-cyberagent.pdf Copyright © NIFTY Corporation All Rights Reserved. Confidential 5

• http://www.zabbix.com/jp/img/zabconf2013/presentations/12-cyberagent.pdf

対抗して作りました NIFTY Cloud Light Copyright © NIFTY Corporation All Rights Reserved. Confidential 6

Dark もあります NIFTY Cloud Dark Copyright © NIFTY Corporation All Rights Reserved. Confidential 7

テーマの作り方を知りたい方がいれば 後でブログに書いておくかもしれません 詳しくは公式ドキュメント https://www.zabbix.com/documentation/2.4/manual/web_interface/theming Copyright © NIFTY Corporation All Rights Reserved.

• https://www.zabbix.com/documentation/2.4/manual/web_interface/theming

VMware 監視機能  vCenter または ESXi を登録するだけで 下記のことが実現できます ローレベルディスカバリ  パフォーマンス監視  イベント監視  Copyright © NIFTY Corporation All Rights Reserved. Confidential 9

ローレベルディスカバリ ESXi、VM の自動登録、自動グルーピング  ESXi のデータストアのアイテムの 自動登録  VM では、ディスク、ファイルシステム、 vNIC のアイテムの自動登録  Copyright © NIFTY Corporation All Rights Reserved. Confidential 10

パフォーマンス監視 ESXi のパフォーマンス  VM のパフォーマンス  項目が多すぎるので、 詳しくは公式ドキュメントで・・・  https://www.zabbix.com/documentation/2.4/manual/config /items/itemtypes/simple_checks/vmware_keys Copyright © NIFTY Corporation All Rights Reserved. Confidential 11

• https://www.zabbix.com/documentation/2.4/manual/config/items/itemtypes/simple_checks/vmware_keys

イベント監視 vSphere Client の Tasks & Events の Events です Copyright © NIFTY Corporation All Rights Reserved. Confidential 12

構成 • • • • ２系統で監視 Zabbix 2.4.1 + ZBXNEXT-2354.patch MySQL 5.6.x 10セット以上 Jenkins データ取得 実行 vCenter 構築 更新 vCenter DB ESXi Copyright © NIFTY Corporation All Rights Reserved. Fabric ESXi Confidential 13

監視内容 全て5分間隔  CPU、メモリの使用率  CPU、メモリのオーバーコミット率  ネットワーク使用率  ESXi から見たデータストアのレイテンシ  その他、物理機器などは別のZabbix または別のシステムで監視 Copyright © NIFTY Corporation All Rights Reserved. Confidential 14

他のシステムの例 2014/11/19 リリースの VPNゲートウェイとルーターの監視 自動でZabbixに登録されます VyOS 用 Zabbix コマンドを使って実装 https://github.com/hiroyuki-sato/vyos-cfg-zabbix-agent Copyright © NIFTY Corporation All Rights Reserved. Confidential 15

• https://github.com/hiroyuki-sato/vyos-cfg-zabbix-agent

VMware 監視機能を 使っている方いますか？ Copyright © NIFTY Corporation All Rights Reserved.

あまりいないと思いますが 1 vCenter 配下に 5000 VM 以上の環境を 運用している方いますか？ Copyright © NIFTY Corporation All Rights Reserved.

ここからは VMware Monitoring Deep Dive 的な話になります 興味ない方申し訳ありません Copyright © NIFTY Corporation All Rights Reserved.

まずは仕組みからおさらいします Copyright © NIFTY Corporation All Rights Reserved.

仕組み 1. 構成情報取得 3. キャッシュ VMware Cache on Mem 4. ディスカバリ 監視データ取得 vCenter VMware Collector Poller 2. 性能データ取得 1. 2. VMwareFrequency 毎にシーケンシャルに実行される 3. 1. 2. で返ってきた XML をキャッシュ 4. ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 20

ここで、ニフティクラウドへの 導入の歴史を紹介します Copyright © NIFTY Corporation All Rights Reserved.

導入の歴史  2013/02/22: ZBXNEXT-1633 が作成される   2013/09/03: 2.1.4 リリース、検証開始    instanceUuid を使ってない・・・ ZBX-7258 が作成され、2.2.0で修正 2013/11/12: 2.2.0 リリース、本番導入   Implement virtual machine monitoring 100 ESXi までしか監視できないことが判明 2014/01/29: パッチを作って ZBX-7721 に添付  2.2.6rc1、2.3.4 で修正 Copyright © NIFTY Corporation All Rights Reserved. Confidential 22

導入の歴史   2014/03頃: とある環境でVM数が 5000 を越え始 めて監視ができなくなる・・・ 2014/07/25: ZBXNEXT-2354 が作成される    Separate VMware statistics processing from retrieval of VMware contents 2014/09/11: 2.4.0 リリース 2014/10/08: 2.4.1 リリース   ZBXNEXT-2354 を 2.4.1 にマージ 効果なし・・・ Copyright © NIFTY Corporation All Rights Reserved. Confidential 23

導入の歴史  2014/11/09: ZBXNEXT-2354 更新   ロック処理が改善されているらしい 2014/11/13: ZBX-9038 が作成される←今ここ  VMware item processing takes a lot of time due to XML parsing Copyright © NIFTY Corporation All Rights Reserved. Confidential 24

VM 数が多いときの Zabbix の様子 Zabbix busy poller processes がすぐに100%で張り付く Zabbix data gathering process busy % (1h) StartPollers=1000 でこの状態 CPU やメモリ、DB は余裕 NVPS は 1000 程度 Copyright © NIFTY Corporation All Rights Reserved. 赤: Zabbix busy poller processes, in % 緑: Zabbix busy vmware collector processes, in % Confidential 25

VM数とNVPS 実測値に基づいたグラフです Vmwareの構成の上限 VM数 この辺りで限界 NVPS Copyright © NIFTY Corporation All Rights Reserved. Confidential 26

ZBXNEXT-2354 https://support.zabbix.com/browse/ZBXNEXT-2354 Copyright © NIFTY Corporation All Rights Reserved. Confidential 27

• https://support.zabbix.com/browse/ZBXNEXT-2354

ZBXNEXT-2354: 課題 1. 構成情報取得 3. キャッシュ VMware Cache on Mem 4. ディスカバリ 監視データ取得 vCenter VMware Collector Poller 2. 性能データ取得 1. 2. VMwareFrequency 毎にシーケンシャルに実行される 3. 1. 2. で返ってきた XML をキャッシュ 4. ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 28

ZBXNEXT-2354: 解決策 1. 構成情報取得 VMware Cache on Mem 3. キャッシュ vCenter VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. VMwareFrequency 毎に実行される VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をキャッシュ ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 29

ZBXNEXT-2354: パッチ作成 しかし効果がなかった・・・ https://gist.github.com/higebu/72f23dbef572122f9448 Copyright © NIFTY Corporation All Rights Reserved. Confidential 30

• https://gist.github.com/higebu/72f23dbef572122f9448

ZBXNEXT-2354 : 続き 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. 取得の度に VMware Collector をロック 6000毎に実行される VM では最大 55 秒くらい VMwareFrequency VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をキャッシュ ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 31

ZBXNEXT-2354 : 続き 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. 取得の度に VMware Collector をロック 6000毎に実行される VM では最大 55 秒くらい VMwareFrequency VMwarePerfFrequency 毎に実行される で改善されたらしいがまだ試せていない 1. r50594 2. で返ってきた XML をキャッシュ さらなる改善のため ZBX-9038 ができた ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 32

ZBX-9038 https://support.zabbix.com/browse/ZBX-9038 Copyright © NIFTY Corporation All Rights Reserved. Confidential 33

• https://support.zabbix.com/browse/ZBX-9038

ZBX-9038: 課題 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. VMwareFrequency 毎に実行される VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をキャッシュ ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 34

ZBX-9038: 課題 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. VMwareFrequency 毎に実行される VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をキャッシュ ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 35

ZBX-9038: 課題 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. VMwareFrequency 毎に実行される VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をキャッシュ ディスカバリのときに 無駄に XML をパースしている ディスカバリ、監視の設定で指定したタイミングで XML をパースしてデータ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 36

ZBX-9038: 解決策 1. 構成情報取得 3. キャッシュ vCenter VMware Cache on Mem VMware Collector 4. ディスカバリ 監視データ取得 Poller 2. 性能データ取得 1. 2. 3. 4. VMwareFrequency 毎に実行される VMwarePerfFrequency 毎に実行される 1. 2. で返ってきた XML をパースしてからキャッシュ ディスカバリ、監視の設定で指定したタイミングで データ取得 Copyright © NIFTY Corporation All Rights Reserved. Confidential 37

今後  性能の向上に期待 Special thanks to Andris Zeila and Kodai Terashima!  これからもよろしくお願いします！  まずは、ZBXNEXT-2354 の r50594 を試すとこ ろからやります・・・   冗長化をなんとかしたい 2つ動いているのはやはり無駄な感じがある  Dockerイメージを作ってCoreOSクラスタで冗 長化するとかやってみたい  Copyright © NIFTY Corporation All Rights Reserved. Confidential 38

ご清聴ありがとうございました 仲間を募集しています！ http://www.nifty.co.jp/recruit/ Copyright © NIFTY Corporation All Rights Reserved.

• http://www.nifty.co.jp/recruit/

Copyright © NIFTY Corporation All Rights Reserved. Confidential 40