機器監視のためのZabbixを、DB含めてL3冗長化した話-2-janog54-imai-20240704

834 Views

July 16, 24

#Ｊストリーム #ネットワーク #janog #Page1 #空の資料 #プレースホルダー #エラー #資料作成

スライド概要

※2024年7月に開催されたJANOG54での登壇資料です。
※別資料「機器監視のためのZabbixを、DB含めてL3冗長化した話-1-janog54-koyama-20240704」とのセット資料です。

2024年6月にZabbix7.0がリリースされました。Ｊストリームでは、Zabbix7.0へのアップデートにあわせて、単一拠点内の冗長構成から拠点をまたいだL3の冗長構成へと設計変更を試みました。本資料では、採用した構成について説明しています。

Ｊストリーム（for Engineer）

@j-stream_eng

スライド一覧

1997年の設立以来、動画配信を主軸に事業展開。コーポレートメッセージ「もっと素敵な伝え方を。」を掲げ、テクノロジーを通じて世の中のコミュニケーションをよりよくすることを目指しています。自社で保有･運営する独自のコンテンツ配信ネットワーク（CDN=Content Delivery Network）を活用した動画配信に加え、長年のノウハウを活かした動画の企画・制作・運用やWebサイト制作、システム開発、動画広告による収益化支援まで総合的なサービスとソリューションを提供。取引実績はメディア、大手企業をはじめ年間1,200社・10,000案件以上です。手がける技術領域は、ネットワークの物理層からアプリケーション層にわたり、日本屈指の大規模配信や最先端案件の実績も多数あります。エンジニア向けオウンドサイト「Voice」公開中！　https://voice.stream.co.jp/

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

オンプレ環境でのZabbix 7.0：構築内容と気づきの共有ー Zabbix Conference Japan 20241121

Ｊストリームネットワーク zabbix

Ｊストリーム（for Engineer） 4.3K

機器監視のためのZabbixを、DB含めてL3冗長化した話-1-janog54-koyama-20240704

Ｊストリームネットワーク janog

Ｊストリーム（for Engineer） 3.3K

YubiKeyとNFCでおしゃべりしてみた_大LT2024春 in Aizu_20240511

Ｊストリーム

Ｊストリーム（for Engineer） 2.9K

尖ったはなし_大LT2023春 in Aizu

ネットワーク光ファイバ

Ｊストリーム（for Engineer） 2.2K

OSSを駆使した1フレーム単位の精度での動画の差し替え_大LT2023春 in Aizu

動画配信技術 oss

Ｊストリーム（for Engineer） 2.2K

国内CDN事業者によるCDNの仕組みの解説と課題の共有

cdn ネットワーク janog オリジンサーバキャッシュサーバＪストリーム

Ｊストリーム（for Engineer） 1.9K

各ページのテキスト

JANOG54 Meeting in NARA 機器監視のためのZabbixを、 DB含めてL3冗長化した話株式会社 Jストリームネットワークインフラ部ネットワークインフラ課小山拓海〇今井宏謙 2024-07-04 もっと素敵な伝え方を。 Jstream

自己紹介もっと素敵な伝え方を。 Jstream 株式会社Jストリームネットワークインフラ部ネットワークインフラ課今井宏謙 2020年度入社、新卒5年目 CDNの基盤ネットワーク・サーバインフラの構築・運用 JANOG参加は10回目ぐらい - 初参加はJANOG39@金沢に若者支援で参加しました JANOG54 BAKUCHIKU参加してます - 会場Wi-Fi、問題なく提供出来てるといいな ©J-Stream Inc. All Rights Reserved. 2

採用した構成もっと素敵な伝え方を。 Jstream この構成について説明しますパターン5 Active-Standby (Zabbix-HA) パターン3を拡張 VIPの問題があるのであれば、VIPをなくせばよい。実現方法を考えてみた。 Internet ロードバランサ拠点A 拠点B Web Server DB Server 17 ©J-Stream Inc. All Rights Reserved. 3

Zabbix HAの仕組みもっと素敵な伝え方を。 Jstream ZabbixのHA機能での Active-Standby構成 IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server 定期的にポーリングポーリングがタイムアウトするとフェイルオーバーが発生 DBにActiveなZabbix ServerのIPを保存 DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 5

Zabbix HAの仕組みもっと素敵な伝え方を。 Jstream ZabbixのHA機能での Active-Standby構成 IP: 198.51.100.20 Zabbix Server Active機ホストへの死活監視やSNMP収集アラート発砲 IP: 203.0.113.20 Zabbix Server 定期的にポーリングポーリングがタイムアウトするとフェイルオーバーが発生 DBにActiveなZabbix ServerのIPを保存 DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 6

Zabbix HAの仕組みもっと素敵な伝え方を。 Jstream Web (PHP) ①DBに現在Activeな Zabbix ServerのIPを問い合わせ IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 8

Zabbix HAの仕組みもっと素敵な伝え方を。 Jstream Web (PHP) ①DBに現在Activeな Zabbix ServerのIPを問い合わせ ②Active側IP にアクセス IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 9

10.

Zabbix HAのデータセンタ冗長もっと素敵な伝え方を。 Jstream データセンタ A Web (PHP) ①DBに現在Activeな zabbix-serverのIPを問い合わせ ②Active側IP にアクセス IP: 198.51.100.10 zabbix-server IP: 203.0.113.10 zabbix-server DB 現在のActiveは 198.51.100.10 データセンタ B Web (PHP) ①DBに現在Activeな zabbix-serverのIPを問い合わせ ②Active側IP にアクセス IP: 198.51.100.10 zabbix-server IP: 203.0.113.10 zabbix-server DB 現在のActiveは 198.51.100.10 冗長化？拠点拠点拠点・拠点を跨いだ冗長を行うには、一工夫必要そう・Zabbixのパートナー企業様の資料によるとHAの方法はあるが、 L2ネットワーク内で考えられているものが多く、拠点をまたぐのは難しそう - DC冗長を構築するドキュメントは乏しい、、、 - DB周りはZabbix公式でドキュメントが見当たらなかった ©J-Stream Inc. All Rights Reserved. 10

11.

Zabbix Serverの冗長化もっと素敵な伝え方を。 Jstream Web (PHP) ①DBに現在Activeな Zabbix ServerのIPを問い合わせ ②Active側IP にアクセス IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server データセンタ A データセンタ B DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 11

12.

Webの冗長化もっと素敵な伝え方を。 Jstream Web (PHP) ①DBに現在Activeな Zabbix ServerのIPを問い合わせ ②Active側IP にアクセス Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server データセンタ A データセンタ B DB 現在のActiveは 198.51.100.20 ©J-Stream Inc. All Rights Reserved. 12

13.

Webの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック GLSBを用いて Active-Activeの分散 Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server データセンタ A データセンタ B DB ©J-Stream Inc. All Rights Reserved. 13

14.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server VIPを使って冗長化 VIP: X.X.X.X IP: 198.51.100.40 DB IP: 203.0.113.40 DB DRBD データセンタ A データセンタ B ©J-Stream Inc. All Rights Reserved. 14

15.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server VIPを使って冗長化 VIP: X.X.X.X IP: 198.51.100.40 DB IP: 203.0.113.40 DB VIP: X.X.X.X DRBD データセンタ A データセンタ B ©J-Stream Inc. All Rights Reserved. 15

16.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server VIPを使って冗長化 VIP: X.X.X.X IP: 198.51.100.40 DB IP: 203.0.113.40 DB VIP: X.X.X.X DRBD データセンタ A データセンタ B VIPのために同じセグメントにいる必要がある REDOログのリプレイに時間を要するのでDRBD以外を考えたい ©J-Stream Inc. All Rights Reserved. 16

17.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 198.51.100.40 DB IP: 203.0.113.40 DB DRBDを廃止、 2台のDBが起動した状態でのリアルタイム同期 = レプリケーションによるActive-Standby利用することにデータセンタ A データセンタ B ©J-Stream Inc. All Rights Reserved. 17

18.

19.

20.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B DBへのクエリを透過的に処理する SQLのプロキシサーバ DBのヘルスチェックを行いフェールオーバ時にも常にActive側にクエリを投げる ©J-Stream Inc. All Rights Reserved. 20

21.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 198.51.100.30 DBプロキシ IP: 203.0.113.30 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B ©J-Stream Inc. All Rights Reserved. 21

22.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 198.51.100.30 DBプロキシ IP: 203.0.113.30 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B 今度はDBプロキシをどうやって HA構成にするか ©J-Stream Inc. All Rights Reserved. 22

23.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 198.51.100.30 DBプロキシ IP: 203.0.113.30 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B プロキシはどちらも同じ動きなのでスタンドアロン x2で問題ない ©J-Stream Inc. All Rights Reserved. 23

24.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 198.51.100.30 DBプロキシ IP: 203.0.113.30 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B Zabbix Serverに設定する IPアドレスが揃わない ©J-Stream Inc. All Rights Reserved. 24

25.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.10 IP: 203.0.113.10 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 127.0.0.1 DBプロキシ IP: 127.0.0.1 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B zabbixのconfigを揃えるため、ループバックIPを利用 ©J-Stream Inc. All Rights Reserved. 25

26.

27.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 203.0.113.10 IP: 203.0.113.20 Zabbix Server IP: 127.0.0.1 DBプロキシ IP: 127.0.0.1 DBプロキシ IP: 198.51.100.40 DB IP: 203.0.113.40 DB データセンタ A データセンタ B 127.0.0.1はループバックアドレスという「自分自身」を意味する特殊なIPアドレス実体として指し示すものは違うが、 Zabbix HAの設定上は同じIPアドレスを指定 DBプロキシがActive側のDBにクエリをプロキシするので最終的には同じDBにアクセスされる構築当時、公式ドキュメントのHAの項の "uses the same database (同じデータベースを使用)" の文言を、「DB設定には同じ値を指定」と取り違えていました、、、実はループバック利用せずとも、それぞれでDB(プロキシ)のIPを直接指定する方法でも動作しました ©J-Stream Inc. All Rights Reserved. 27

28.

DBの冗長化もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック Web (PHP) IP: 198.51.100.20 IP: 203.0.113.20 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 127.0.0.1 DBプロキシ IP: 127.0.0.1 DBプロキシ IP: 198.51.100.20 DB IP: 203.0.113.20 DB データセンタ A データセンタ B ©J-Stream Inc. All Rights Reserved. 28

29.

DBの選定もっと素敵な伝え方を。 Jstream ・MySQL - 既存のzabbix環境で利用していた - DBプロキシにはProxySQLというツールを利用・PostgreSQL - 社内の他のインフラ系ツールで利用している - DBプロキシにはPgpool-IIというツールを利用本業はネットワークエンジニアリングのため、 DB固有のトラブルにハマりたくないノウハウを再利用できるほうが嬉しい PostgreSQL (ストリーミングレプリケーション) + Pgpool-II ©J-Stream Inc. All Rights Reserved. 29

30.

最終構成もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック GLSBを用いて Active-Activeの分散 ZabbixのHA機能での Active-Standby構成 PostgreSQLのHAのため Pgpool-IIを導入 PostgreSQLの機能でのレプリケーション & Pgpool-IIによるHA Web (PHP) IP: 198.51.100.20 IP: 203.0.113.20 Web (PHP) IP: 198.51.100.20 Zabbix Server IP: 203.0.113.20 Zabbix Server IP: 127.0.0.1 Pgpool-II IP: 127.0.0.1 Pgpool-II IP: 198.51.100.20 DB (PostgreSQL) IP: 203.0.113.20 DB (PostgreSQL) データセンタ A データセンタ B レプリケーション ©J-Stream Inc. All Rights Reserved. 30

31.

今後の課題点もっと素敵な伝え方を。 Jstream ユーザ DNSによる負荷分散 GSLB (広域負荷分散装置) ヘルスチェック GLSBを用いて Active-Activeの分散 ZabbixのHA機能での Active-Standby構成 PostgreSQLのHAのため Pgpool-IIを導入 PostgreSQLの機能でのレプリケーション & Pgpool-IIによるHA Web (PHP) Zabbix Server Zabbix Server Pgpool-II Pgpool-II DB (PostgreSQL) DB (PostgreSQL) データセンタ A データセンタ B レプリケーションフェールオーバー周りは注意が必要 PostgreSQLはレプリケーションの機能はあるが、自動フェールオーバーの機能はなく Pgpool-IIがPostgreSQLのヘルスチェック及びフェールオーバーをキックする 2台のPgpool-IIは完全に独立しているため DBがダウンしたときに、フェールオーバーが2回発生してしまう ©J-Stream Inc. All Rights Reserved. 31

32.

Pgpool-IIによるフェールオーバーもっと素敵な伝え方を。 Jstream ・Pgpool-IIが定期的にバックエンドのpostgresqlにヘルスチェックを行う・ヘルスチェックが失敗するとフェールオーバースクリプトがキックされる - ヘルスチェックが失敗したノードをdownとしてマークし、プロキシ先から除外 - Standbyだったノードを昇格させ、Activeとして振る舞うようにさせる・同期レプリケーションのため、Standby側もダウンした際には切り離しが必要普通にフェールオーバーを仕込むと、、？・フェールオーバーがダブる・L3で冗長化すると経路上のNW障害によるヘルスチェック失敗がある - フェールオーバーを早まると、スプリットブレーンが発生してしまう ©J-Stream Inc. All Rights Reserved. 32

33.

Pgpool-IIによるフェールオーバーもっと素敵な伝え方を。 Jstream 障害のパターン分けを行い、必要に合わせてフェールオーバーをキックするように・Active側/Standby側のサーバ全体がハング・Active側/Standby側のpgpoolがハング・Active側/Standby側のpostgresqlがハング・Active-Standby間のネットワーク疎通がダウン ©J-Stream Inc. All Rights Reserved. 33

34.

Pgpool-IIによるフェールオーバーもっと素敵な伝え方を。 Jstream ・各ホストのPgpool-IIは、同一ホスト上のPostgreSQLのフェールオーバーのみ実施・Active・Standbyそれぞれで独立してフェールオーバーをキック Active側ダウンしたDBは自分 (Active機) Yes (何もしない) No Standbyの切り離し Standby側ダウンしたDBは自分 (Standby機) Yes (何もしない) No 別経路でのDBアクセス成功 (何もしない) 失敗 Standbyの昇格 ©J-Stream Inc. All Rights Reserved. 34

35.

構築で苦労した点もっと素敵な伝え方を。 Jstream ・珍しい(想定されていないだろう)構成のため、何が正解であるかがわからない - 本当に求めているものができたか検証を繰り返し行うひつようがある・要件定義をしっかり行い、1つずつテストを実施した・Pgpool-IIのフェールオーバー - これも想定されていないだろう構成のため起こり得るパターンを列挙して1つずつテスト・今後のアップデート - アップデートによりこの構成だと上手くいかない機能が出てきてしまうのではないか - 都度検証が必要・それはそれで楽しいからヨシ？ ©J-Stream Inc. All Rights Reserved. 35