サービス障害が発生したときのなかの人たちの様子

サービス障害が 発生したときの なかの人たちの様子 2025/04/25 Shima Tech Hub #10 アールスリーインスティテュート 西島 www.r3it.com

こんにちは！ アールスリーインスティテュート サービスグループ gusukuユニット デベロップメントチーム マネージャー 西島 幸一郎 @k_nishijima #しまてく ハッカーズチャンプルーのなかのひと https://hackers-champloo.org/ www.r3it.com

• https://hackers-champloo.org/

アールスリーインスティテュート システムの受託開発と 法人向けSaaSの二本立て 創業 社員数 拠点 2000年 47名 大阪 10億 東京 沖縄 みんなの家 年商 ちょい www.r3it.com

琉球ゴールデンキングスのパートナーです 今季2冠達成！ 最後の1冠・チャンピオンシップも取るぜ！ www.r3it.com

本日のお題 サービス障害が 発生したときの なかの人たちの様子 www.r3it.com

詳細はブログを確認 ● 「障害発生時の中のひと」 で検索 ● 3月18日に弊社サービスに 発生した障害について、 ドキュメンタリー風に記載 www.r3it.com

障害の内容を簡単にいうと ● 接続先のシステムが仕様に反した動きをした。 ● 結果こちらのシステムに想定外のリクエストがかかった。 その機能、従量課金なんですけど！ ● 影響を受けた多くのお客様が課金分をあっという間に使い 果たしてしまい、詰んだ状態になってしまった。 www.r3it.com

想定外に実施された負荷テスト状態 平時の10倍以上のトラフィック www.r3it.com

サービス障害、それは突然やってくる… なので想定外への対応を想定しておくと気が楽 ● サービス運用しているところは とっくに用意されているとは思いますが😓 ● 事象は変化しても、フロー自体はおおよそ定形になる ので、備えあればなんとやら、の気持ちになれる www.r3it.com

なにをどう用意しておくべきか ● 障害・現象自体を理解して確定するプロセス （なにが起こった？再現可能か？それとも事故なのか？） ● 状況の社内での共有方法 ● 状況の社外への通知手順 ● 解決もしくは落とし所の決定プロセス （誰がどう判断して、どうなれば「回避出来た」「解決した」とみなせるか） ● 緊急時でもデプロイ手順は変えないほうがよい（事故るのでw） www.r3it.com

• https://support.gusuku.io/ja-JP/support/discussions/topics/36000035863

チーム全体に 障害への耐性が 付いていると とても良いですね👍 www.r3it.com

おわり www.r3it.com