Global Azure Bootcamp 2019@Tokyo資料【ExpressRoute構築でハメられた】

2.7K Views

February 03, 22

#microsoft #azure #jazug #globalazure #ExpressRoute #Azure #Cloud #Infrastructure #Learning from experience

スライド概要

2019/4/27のGlobal Azure Bootcamp 2019@Tokyoのセッション
【ExpressRoute構築でハメられた～無知とは恐ろしきなり～】の資料になります。

Daisuke Iwai

@dai-peugeot306

スライド一覧

Microsoft系プロダクトの技術者から始まり、最近はMicrosoft Azure（特にAVD）をメインの取り扱いにしているおじさんSE。 AzureのユーザーグループであるJAZUG主催イベントに比較的よく出没 ※SlideShareから移行して現在はこちら（ドクセル）がプライマリになっています。 Azureのお話以外にも仕事のやり方進め方なども書いていく予定です。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

FSLogixアプリケーションマスク実験

jazug avd fslogix azure microsoft

Daisuke Iwai 18.5K

社内勉強会資料【技術者にまつわるお金の話】

お仕事

Daisuke Iwai 8.4K

2021/09/25 JAZUG11周年記念LT大会～FSLogixのお話～

azure microsoft jazug avd fslogix

Daisuke Iwai 7K

20230513 GlobalAzure2023ショートセッション資料～Azure Virtual Desktopの体感的最近事情～

azure microsoft jazug globalazure avd

Daisuke Iwai 3.5K

社内勉強会資料【2024年版・技術者にまつわるお金の話】社外公開版

お仕事キャリア戦略

Daisuke Iwai 3.3K

2024/10/5 JAZUG 14周年イベントショートセッション

azure microsoft jazug

Daisuke Iwai 2.5K

各ページのテキスト

作成者自己紹介 • 自己紹介 – 岩井大祐（いわいだいすけ）/ Twitter：@iwai_d – パーソルテクノロジースタッフ(株)でMicrosoft系プロダクトをメインに2017年からAzureに関わるおじさんインフラ技術者 – 2018年9月のJAZUG 8周年イベントで（社会人人生初の）登壇 – 会社のブログにて【エンジニアの失敗学】ネタをメインに執筆……開始【https://persol-tech-s.co.jp/corporate/security/writer/iwai_daisuke/】 • 好きなもの – ウッドストック（小さきことは美しい……） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 3

https://persol-tech-s.co.jp/corporate/security/writer/iwai_daisuke/

簡単な会社紹介 • パーソルテクノロジースタッフ(株) – 旧インテリジェンスのエンジニア派遣事業を旧テンプスタッフ・テクノロジーに統合し、2017年1月に発足機械設計系チームとIT系チームがあります ※自動車関連や航空機関連、アナログ回路などモノ作りのプロ集団的側面もあります。 – IT系チームには国内で保有者が400人そこそこと言われている VMware VCAPの有資格者も社員として在籍 – 自社内製でセキュリティサービスの提供もしていますご縁がありましたらよろしくお願いいたします m(_ _)m Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 4

今回のお題目 • あまり深く考えずにExpressRouteを設定構築、基本と思われる単純な部分を踏み抜き、泣いたお話です → 技術的側面としては目新しい話はありませぬ…… • 内容として事実は書いていますが、諸般の事情からぼかして書いている部分もあります → その辺はお察しください…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 6

https://www.slideshare.net/DaisukeIwai2/jazug-8

この時の業務内容 • オンプレミスのWindowsサーバ、DBなどをAzureの IaaSやらPaaSなどで置き換え、ExpressRouteで接続という Lift and Shiftの典型的とも言えるパターン – 私がこの業務に参画した時点でAzureとExpressRoute接続サービスの契約は締結済み（ExpressRouteを作成し、サービスキーをプロバイダーに渡せば利用できる準備まで整っていた）オンプレ環境 ※別案件Azure環境 (ExpressRoute相乗り) Azure環境 ※内容的には超がつくベタ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 8

ExpressRoute設定作業 • 契約のゴタゴタを2ヶ月かけて抜け、ようやく構築に – ExpressRouteの作業自体は特に何もなく、既存のオンプレ環境ともあっさり接続完了、安堵して構築作業を進めることに（ホントに驚くくらい簡単） – 別案件の構築ベンダーにExpressRouteのPeer IDと認証キーを渡して別サブスクリプションのVNETもリンク完了が、誰も（まだ）気がついていなかった。この時点ですでにハメられていたことに…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 9

10.

その前兆は突如やってきた • 構築自体は一見問題なく進んでいた – 第1の異変 IaaS VM構築後しばらくしてログオン時に出てきたメッセージ（WindowsServer2016、マーケットプレイス調達） ……ん？まぁ何かあってKMSサーバと通信できなかったんだな。とりあえず後で対応しようと思い、一抹の不安を感じつつこの場は軽く流すことにした Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 10

11.

その前兆は突如やってきた(2) • 妙な気分を覚えつつも、作業続行 – 第2の異変 AzureVM Backupでサーバ本体のバックアップを取得 →失敗！！ – 改めて実行しつつ今度はジョブ詳細を確認してみるスナップショットの取得は成功し、バックアップコンテナ転送時に失敗 ※画面は再現です Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 11

12.

その前兆は突如やってきた(3) • ExpressRouteを共有していた別案件でも…… – AzureVM Backupができないという話を聞いてしまった • ここまでの状況をサポートに伝えて聞くことに – 状況を聞いたサポート担当者からの回答「VMの割り当て解除を行った状態で AzureVM Backupを取ってみてください」え？そんな事で変わるのと半信半疑で実行 →成功！！賢明な方はお気づきであろうが、割り当て解除状態でのバックアップを試してからサポートに投げていれば…… ※当時は構築開始が遅れた上に納期が迫っていて結構テンパっていたという言い訳を……（反省） orz （Azureどころかパブリッククラウドでの構築が初めてだったのでオンプレ脳が先行していたのも） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 12

13.

サポートの方から教えてもらった話 • 結果を報告したところ、以下のことを教えてもらえた – 割り当て解除されている状態でのAzureVM Backupはデータセンター内だけの通信で解決するため、VM起動状態のバックアップ時とは通信ルートが明確に異なる – 状況からすると強制トンネリングの状態になっていると思われる – 根本的に対応するとなると、Public Peeringを使うか BGPルーター側の経路広報設定を修正するしかない（2017年の話なのでまだPublic Peeringを使うことができた） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 13

14.

強制トンネリング？何それおいしいの？ • 神様（＝インターネット）教えて！！ – 【Made in container】を発見。ありがたやありがたや【 https://www.syuheiuda.com/?p=3685 】（この時は全く気付いていなかったのだが、Azureサポートの中の人でかつこの件を問い合わせてた際の担当サポートエンジニアだった（記憶が正しければ）） Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 14

15.

そもそもExpressRouteって…… • 神様（＝インターネット）教えて！！（再び） – 【ExpressRouteの資料】を発見。ありがたやありがたや【 https://www.slideshare.net/kogesaka/2015-expressroute 】（ExpressRouteの基本を再認識しただけでなく説明する上での基礎知識になった）読んでいるうちに気がついてしまったのだが、「コレ、AzureBackupだけじゃなくて SQL Data Warehouseも動かないのでは……」構築している中身は何これ？ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 15

16.

17.

さぁどうする？ • 納期は迫っている – この案件の契約上（入札案件だった）、仕様書に記載されていないサービスを追加して対応することは無理だった – サポートの方から【ユーザー定義ルートを切って対応する】方法もあるにはありますとの回答 ※毎週変更差分を調べて対応する必要があるのでおおよそ非現実的だが…… – ExpressRoute回線をPrivate/Public Peering対応にするのが最良の対応だが、回線やサービスの契約などを行うには最速でも半年以上かかる ※納期あと1ヶ月ぐらいしかないんですけど…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 17

18.

もはや後には引けぬ（苦笑） • とりあえず動くようにしよう 1. ユーザー定義ルートを設定してKMSとAzure Backupを稼働状態に持ち込む（ついでに更新手順書も作る羽目に……） 2. SQL Data Warehouseはサポートで教えてもらった Azure SQL Database接続ポリシーの変更で対応する【 https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-connectivityarchitecture 】 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 18

https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-connectivity-

19.

やるだけはやってみた • で、この結果…… – とりあえず、今回の契約内容に従った動作はクリア – 納品検査も何とかパスし【構築】パートは一旦完了となった – 根本的対策はシステムカットオーバーまでの課題となった ※今だとSQL Data Warehouseはサービスエンドポイントを設定すればクリアできるんですけどねぇ…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 19

20.

最終的にどうなったの？ • 結局、この件どうなったのかというと…… – 諸般の事情により案件のカットオーバーを見ることなく案件からリリースされたので最終的にどうなったかまではわからないですというのが正直な回答 – 対策検討過程の打ち合わせの中では接続回線を含めて Public Peering対応のものに置き換える必要があるだろうという話にはなっていた ※風の噂によれば接続サービス契約を変えて対応したらしいのだがいずれにしてもコストと人的リソースすごくかかったんだろうなと…… Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 20

21.

22.

原因・なぜこうなった？要件定義や基本設計時の知識不足今回の内容でAzureを構築するならば、契約していた ExpressRoute接続サービスは選んではいけなかった！（この接続サービスの詳細資料にもPaaS/SaaSに対応していない旨の記載があり、完全に見落とされていた） ※先のとおり私自身は要件定義と基本設計には一切関わっておらず、当時はAzureの知識も不足していた今ならば実施設計段階で「システムとしてこの構成では動作しない！」と言い切れるのでもっと大胆な手法を選択して、よりスマートな手法で解決を誘導できるはず Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 22

23.

今だったらどう考える？ • 根本的要件の見直しは必要 – Azure環境をInternetから完全分離して運用することは非現実的 • UDRを使って運用レベルでどうにかすることはできたが、あれを継続して運用していくのは絶対無理！！ ……よ～く話を聞いてみれば…… – AzureVMからインターネットアクセスできるのは統制上まずい • • その程度ならばAzure Firewallを構成して封じるのが楽だし安価さらに、JunpBox用AzureVM作って、RDPなりをそこからのみ許可するようにしてしまえばアクセス制限もログ取得も楽 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 23

24.

対策……とは言っても結局は基本 • 構築するAzure環境の内容とExpressRouteを構成するための条件などをきちんと確認しましょう – 後で直そうとするとExpressRouteの切断→再構成が必要となりシステムが稼働状態になってからでは関係各所への調整等、とてつもなく実施のハードルが上がります（今回みたいに複数サブスクリプションで共有している場合は他システムを巻き込むのでもっとハードルが上がります） • 価格につられず、社内環境も考慮してサービスを選びましょう – ネットワーク運用を自社内でできるか否かはExpressRouteを使う上で結構重要なポイントです。専任担当者を置けないのであればコストがかかってもそれなりのサービスを選ぶべきです Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 24

25.

良い資料があります • Tech Summit 2018の資料ですが、一読をお勧め – 私自身はTech Summit 2日目で真っ先にこのセッションに行きました（くらう道の中の人とかスゴい方々がゾロゾロいた覚えが……）【https://www.eventmarketing.jp/events/mstechsummit/2018/dow nload/freesess.aspx】から【ExpressRoute】で検索！！ Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 25

https://www.event-

26.

最後に…… 今回は利用するとなるとハードルが高めで、実例報告も少ないExpressRouteの体験談をお話しいたしました。目新しい話は皆無で当たり前の話ばかりですが、構築前の検討や設計での考慮漏れが実構築においてここまで影響するというのは伝わったのではないかと思います。この案件は契約の話も含め、Azureの持っている力を引き出すために何が重要なのか、いろいろな意味で勉強になった案件でした。 ExpressRouteやAzure利用時のバッドノウハウとして心の片隅に置いていただければうれしいです。 Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 26

27.

28.

今回もお世話になっております • くらう道さん【 https://www.cloudou.net/ 】 • ブチザッキさん【 https://buchizo.wordpress.com/ 】 • Made in container【 http://www.syuheiuda.com/ 】 • JAZUG【 https://www.facebook.com/groups/jazug/ 】 – Azureの技術要素などなど困ったらまずここ。もはや聖典？ – Azureの更新確認などなど定期チェックは欠かせず – おなじみコンテナ神宇田さんのブログ。丁寧な内容がありがたいです – 2018年3月から本格的にお世話になっておりますその他、Qiitaやブログ等で経験を書かれている多くの皆様のおかげです Copyright © PERSOL HOLDINGS CO., LTD. All Rights Reserved. 28

http://www.syuheiuda.com/

29.