Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】

ExpressRoute構築で ハメられた ～無知とは恐ろしきなり～ Global Azure Bootcamp2019@Tokyo （2019/04/27） パーソルテクノロジースタッフ株式会社 Twitter：@iwai_d 岩井 大祐（いわい だいすけ） 2022/2/4 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

作成者自己紹介と 簡単な会社紹介 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

作成者自己紹介 • 自己紹介 – 岩井 大祐（いわい だいすけ）/ Twitter：@iwai_d – パーソルテクノロジースタッフ(株)でMicrosoft系プロダクトを メインに2017年からAzureに関わるおじさんインフラ技術者 – 2018年9月のJAZUG 8周年イベントで（社会人人生初の）登壇 – 会社のブログにて【エンジニアの失敗学】ネタをメインに執筆……開始 【https://persol-tech-s.co.jp/corporate/security/writer/iwai_daisuke/】 • 好きなもの – ウッドストック （小さきことは美しい……） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 3

• https://persol-tech-s.co.jp/corporate/security/writer/iwai_daisuke/

簡単な会社紹介 • パーソルテクノロジースタッフ(株) – 旧インテリジェンスのエンジニア派遣事業を 旧テンプスタッフ・テクノロジーに統合し、2017年1月に発足 機械設計系チームとIT系チームがあります ※自動車関連や航空機関連、アナログ回路などモノ作りのプロ集団的側面もあります。 – IT系チームには国内で保有者が400人そこそこと言われている VMware VCAPの有資格者も社員として在籍 – 自社内製でセキュリティサービスの提供もしています ご縁がありましたらよろしくお願いいたします m(_ _)m Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 4

今回のお題目 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

今回のお題目 • あまり深く考えずにExpressRouteを設定構築、 基本と思われる単純な部分を踏み抜き、泣いたお話です → 技術的側面としては目新しい話はありませぬ…… • 内容として事実は書いていますが、 諸般の事情からぼかして書いている部分もあります → その辺はお察しください…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 6

今回のお題目 • 昨年のJAZUG 8周年イベント登壇資料もお読みいただくと 契約に至るまでの裏事情とかもお分かりいただけます →【https://www.slideshare.net/DaisukeIwai2/jazug-8】 今回の ネタ！ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 7

• https://www.slideshare.net/DaisukeIwai2/jazug-8

この時の業務内容 • オンプレミスのWindowsサーバ、DBなどをAzureの IaaSやらPaaSなどで置き換え、ExpressRouteで接続という Lift and Shiftの典型的とも言えるパターン – 私がこの業務に参画した時点でAzureとExpressRoute接続サービスの 契約は締結済み（ExpressRouteを作成し、サービスキーをプロバイダー に渡せば利用できる準備まで整っていた） オンプレ環境 ※別案件Azure環境 (ExpressRoute相乗り) Azure環境 ※内容的には超がつくベタ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 8

ExpressRoute設定作業 • 契約のゴタゴタを2ヶ月かけて抜け、ようやく構築に – ExpressRouteの作業自体は特に何もなく、既存のオンプレ環境 ともあっさり接続完了、安堵して構築作業を進めることに （ホントに驚くくらい簡単） – 別案件の構築ベンダーにExpressRouteのPeer IDと 認証キーを渡して別サブスクリプションのVNETもリンク完了 が、誰も（まだ）気がついていなかった。 この時点ですでにハメられていたことに…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 9

その前兆は突如やってきた • 構築自体は一見問題なく進んでいた – 第1の異変 IaaS VM構築後しばらくしてログオン時に出てきたメッセージ （WindowsServer2016、マーケットプレイス調達） ……ん？まぁ何かあってKMSサーバと通信できなかったんだな。 とりあえず後で対応しようと思い、一抹の不安を感じつつこの場は 軽く流すことにした Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 10

その前兆は突如やってきた(2) • 妙な気分を覚えつつも、作業続行 – 第2の異変 AzureVM Backupでサーバ本体のバックアップを取得 →失敗！！ – 改めて実行しつつ今度はジョブ詳細を確認してみる スナップショットの 取得は成功し、 バックアップコンテナ 転送時に失敗 ※画面は再現です Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 11

その前兆は突如やってきた(3) • ExpressRouteを共有していた別案件でも…… – AzureVM Backupができないという話を聞いてしまった • ここまでの状況をサポートに伝えて聞くことに – 状況を聞いたサポート担当者からの回答 「VMの割り当て解除を行った状態で AzureVM Backupを取ってみてください」 え？そんな事で変わるのと半信半疑で実行 →成功！！ 賢明な方はお気づきであろうが、割り当て解除状態でのバックアップを試してからサポートに投げていれば…… ※当時は構築開始が遅れた上に納期が迫っていて結構テンパっていたという言い訳を……（反省） orz （Azureどころかパブリッククラウドでの構築が初めてだったのでオンプレ脳が先行していたのも） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 12

サポートの方から教えてもらった話 • 結果を報告したところ、以下のことを教えてもらえた – 割り当て解除されている状態でのAzureVM Backupは データセンター内だけの通信で解決するため、VM起動状態の バックアップ時とは通信ルートが明確に異なる – 状況からすると強制トンネリングの状態になっていると思われる – 根本的に対応するとなると、Public Peeringを使うか BGPルーター側の経路広報設定を修正するしかない （2017年の話なのでまだPublic Peeringを使うことができた） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 13

強制トンネリング？何それおいしいの？ • 神様（＝インターネット）教えて！！ – 【Made in container】を発見。ありがたやありがたや 【 https://www.syuheiuda.com/?p=3685 】 （この時は全く気付いていなかったのだが、Azureサポートの中の人でかつ この件を問い合わせてた際の担当サポートエンジニアだった（記憶が正しければ）） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 14

そもそもExpressRouteって…… • 神様（＝インターネット）教えて！！（再び） – 【ExpressRouteの資料】を発見。ありがたやありがたや 【 https://www.slideshare.net/kogesaka/2015-expressroute 】 （ExpressRouteの基本を再認識しただけでなく説明する上での基礎知識になった） 読んでいるうちに気がついてしまったのだが、 「コレ、AzureBackupだけじゃなくて SQL Data Warehouseも動かないのでは……」 構築している中身は 何これ？ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 15

もうここまで来たら開けるしかない • SQL Data Warehouseを試そう – 簡単な動作確認方法を調べた上で実行 →通信が成立しない！！ ミミックがあらわれた！ ……やっぱそうきましたか…… ※当時、サービスエンドポイントは存在していない Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 16

さぁどうする？ • 納期は迫っている – この案件の契約上（入札案件だった）、仕様書に記載されて いないサービスを追加して対応することは無理だった – サポートの方から【ユーザー定義ルートを切って対応する】 方法もあるにはありますとの回答 ※毎週変更差分を調べて対応する必要があるのでおおよそ非現実的だが…… – ExpressRoute回線をPrivate/Public Peering対応にするのが 最良の対応だが、回線やサービスの契約などを行うには 最速でも半年以上かかる ※納期あと1ヶ月ぐらいしかないんですけど…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 17

もはや後には引けぬ（苦笑） • とりあえず動くようにしよう 1. ユーザー定義ルートを設定してKMSとAzure Backupを 稼働状態に持ち込む（ついでに更新手順書も作る羽目に……） 2. SQL Data Warehouseはサポートで教えてもらった Azure SQL Database接続ポリシーの変更で対応する 【 https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-connectivityarchitecture 】 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 18

• https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-connectivity-

やるだけはやってみた • で、この結果…… – とりあえず、今回の契約内容に従った動作はクリア – 納品検査も何とかパスし【構築】パートは一旦完了となった – 根本的対策はシステムカットオーバーまでの課題となった ※今だとSQL Data Warehouseはサービスエンドポイントを設定すれば クリアできるんですけどねぇ…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 19

最終的にどうなったの？ • 結局、この件どうなったのかというと…… – 諸般の事情により案件のカットオーバーを見ることなく 案件からリリースされたので最終的にどうなったかまでは わからないですというのが正直な回答 – 対策検討過程の打ち合わせの中では接続回線を含めて Public Peering対応のものに置き換える必要があるだろうと いう話にはなっていた ※風の噂によれば接続サービス契約を変えて対応したらしいのだが いずれにしてもコストと人的リソースすごくかかったんだろうなと…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 20

原因と対策……もとい ExpressRoute構築の 注意点は？ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

原因・なぜこうなった？ 要件定義や基本設計時の知識不足 今回の内容でAzureを構築するならば、契約していた ExpressRoute接続サービスは選んではいけなかった！ （この接続サービスの詳細資料にもPaaS/SaaSに対応していない旨の 記載があり、完全に見落とされていた） ※先のとおり私自身は要件定義と基本設計には一切関わっておらず、当時はAzureの知識も不足していた 今ならば実施設計段階で「システムとしてこの構成では動作しない！」と言い切れるので もっと大胆な手法を選択して、よりスマートな手法で解決を誘導できるはず Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 22

今だったらどう考える？ • 根本的要件の見直しは必要 – Azure環境をInternetから完全分離して運用することは非現実的 • UDRを使って運用レベルでどうにかすることはできたが、 あれを継続して運用していくのは絶対無理！！ ……よ～く話を聞いてみれば…… – AzureVMからインターネットアクセスできるのは統制上まずい • • その程度ならばAzure Firewallを構成して封じるのが楽だし安価 さらに、JunpBox用AzureVM作って、RDPなりをそこからのみ 許可するようにしてしまえばアクセス制限もログ取得も楽 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 23

対策……とは言っても結局は基本 • 構築するAzure環境の内容とExpressRouteを 構成するための条件などをきちんと確認しましょう – 後で直そうとするとExpressRouteの切断→再構成が必要となり システムが稼働状態になってからでは関係各所への調整等、 とてつもなく実施のハードルが上がります （今回みたいに複数サブスクリプションで共有している場合は 他システムを巻き込むのでもっとハードルが上がります） • 価格につられず、社内環境も考慮してサービスを選びましょう – ネットワーク運用を自社内でできるか否かはExpressRouteを 使う上で結構重要なポイントです。専任担当者を置けないので あればコストがかかってもそれなりのサービスを選ぶべきです Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 24

良い資料があります • Tech Summit 2018の資料ですが、一読をお勧め – 私自身はTech Summit 2日目で真っ先にこのセッションに 行きました（くらう道の中の人とかスゴい方々がゾロゾロいた覚えが……） 【https://www.eventmarketing.jp/events/mstechsummit/2018/dow nload/freesess.aspx】 から【ExpressRoute】で検索！！ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 25

• https://www.event-

最後に…… 今回は利用するとなるとハードルが高めで、実例報告も 少ないExpressRouteの体験談をお話しいたしました。 目新しい話は皆無で当たり前の話ばかりですが、構築前の検討や 設計での考慮漏れが実構築においてここまで影響するというのは 伝わったのではないかと思います。 この案件は契約の話も含め、Azureの持っている力を引き出すため に何が重要なのか、いろいろな意味で勉強になった案件でした。 ExpressRouteやAzure利用時のバッドノウハウとして心の片隅に 置いていただければうれしいです。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 26

謝辞 ～ いつもお世話になってる あんなサイトやこんなサイト ～ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.

今回もお世話になっております • くらう道さん【 https://www.cloudou.net/ 】 • ブチザッキさん【 https://buchizo.wordpress.com/ 】 • Made in container【 http://www.syuheiuda.com/ 】 • JAZUG【 https://www.facebook.com/groups/jazug/ 】 – Azureの技術要素などなど困ったらまずここ。もはや聖典？ – Azureの更新確認などなど定期チェックは欠かせず – おなじみコンテナ神宇田さんのブログ。丁寧な内容がありがたいです – 2018年3月から本格的にお世話になっております その他、Qiitaやブログ等で経験を書かれている多くの皆様のおかげです Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 28

• http://www.syuheiuda.com/

ご清聴 ありがとうございました m(_ _)m Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved.