flakyテスト奮闘記 〜 Deno Deployの場合

flakyテスト奮闘記 〜 Deno Deployの場合 2024/09/11 RustのWebアプリ開発 LT道場 〜テスト編〜 Yusuke Tanaka

Who am I 米ジョージア工科大学のオンライン修士 課程に通いながらDeno Land Inc.で Deno Deployを作っています🦕 ← リアルで会った方にはもれなくこの名 刺をプレゼント！ GitHub: https://github.com/magurotuna 𝕏: https://x.com/yusuktan

• https://github.com/magurotuna
• https://x.com/yusuktan

今日の内容

Deno Deploy開発における 😈 flaky test 😈

Rustに関わる話、 Rustに限らない話、 ざっくばらんにご紹介

What is a flaky test?

What’s wrong with it?

flaky testの問題点 ● 「とりあえずrerunしとこ」のマインドになってしまう ○ reliableに失敗するテストに気づくのが遅れる ○ CIで多大な時間を要することになり、生産性が落ちる ● 往々にして単体では発生確率が低いので、再現方法や原因が分かりにく く、直すのが大変がち

What’s Deno Deploy?

Deno Deployとは？ ● Node.jsの作者Ryan Dahlが反省 を踏まえて作り直したJS/TSランタ イムDeno ● それをベースにしたサーバーレス サービス ● Cloudflare Workers, AWS Lambda, Vercel のような感じ ● Netlify, SupabaseなどのEdge Functionの実行基盤でもある

Architecture?

Deno Deploy アーキテクチャ だいぶ省略してます

flaky tests breakdowns

1. 依存している外部サービスの不安定性

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン ○ Deno DeployのE2Eテストのシナリオでは、GitHub OAuthによる ログイン処理が必要

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン ○ Deno DeployのE2Eテストのシナリオでは、GitHub OAuthによる ログイン処理が必要 ○ ヘッドレスブラウザによりユーザーの操作フローを再現

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン ○ Deno DeployのE2Eテストのシナリオでは、GitHub OAuthによる ログイン処理が必要 ○ ヘッドレスブラウザによりユーザーの操作フローを再現 ○ 😨 GitHub側の実装に依存してしまう ■ Passkeyを使いませんか？の画面が突然追加される ■ 入力フォームのname属性の値が変わる

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン ○ Deno DeployのE2Eテストのシナリオでは、GitHub OAuthによる ログイン処理が必要 ○ ヘッドレスブラウザによりユーザーの操作フローを再現 ○ 😨 GitHub側の実装に依存してしまう ■ Passkeyを使いませんか？の画面が突然追加される ■ 入力フォームのname属性の値が変わる ■ なんかたまに落ちる ← 一番厄介

1. 依存している外部サービスの不安定性 ● 例: GitHub OAuthによるサインイン ○ 😨 GitHub側の実装に依存してしまう ■ なんかたまに落ちる ← 一番厄介 ● 対策: ヘッドレスブラウザを録画してGitHub ActionsのArtifactとして保 存するようにした ○ デバッグがしやすくなった 🥳 ○ 人間がやるとワンタイムパスワード入力後自動で次の画面に遷移す るのが、ヘッドレスブラウザ上だと遷移していなかった

2. 非同期で動く複数コンポーネント間の不整合

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト ○ 複数のレイヤーでバッファリングされる (runner, origin, etc.)

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト ○ 複数のレイヤーでバッファリングされる (runner, origin, etc.) ○ console.log を実行した時刻 t1、ログストレージに格納される時 刻 t2 の関係について、不正確な仮定のもとテストを書くとflakyにな る (1秒sleepするとか）

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト ○ 複数のレイヤーでバッファリングされる (runner, origin, etc.) ○ console.log を実行した時刻 t1、ログストレージに格納される時 刻 t2 の関係について、不正確な仮定のもとテストを書くとflakyにな る (1秒sleepするとか） ● 対策: 期待される結果が得られるまで、複数回リトライする

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト ● 対策1: 期待される結果が得られるまで、複数回リトライする ○ 無限リトライする場合は必ずタイムアウトを設ける ○ #[flaky_test] マクロ from flaky_test クレート

2. 非同期で動く複数コンポーネント間の不整合 ● 例: Deno Deployでユーザーのコードが console.log などで吐いた ログが保存されていることを確認するテスト ● 対策2: 各コンポーネントで、キーとなるアクション (e.g. ログのflush) が 実行されたときに標準出力などにログを吐くようにして、それをもとに同期 をとる 💡 とにかく雑な tokio::time::sleep を避けるようにする

3. 依存ライブラリ内の実装ミス

3. 依存ライブラリ内の実装ミス ● 例: 同じホストに対して fetch を大量の並行で実行するとき、たまに HTTP/2のストリームに関するエラーが起きる

3. 依存ライブラリ内の実装ミス ● 例: 同じホストに対して fetch を大量の並行で実行するとき、たまに HTTP/2のストリームに関するエラーが起きる ● 原因: Denoのfetchの実装で利用されていたRustのHTTPライブラリ reqwest の実装がまずかった ○ HTTP/2のコネクション確立後少しの間、サーバー側の MAX_CONCURRENT_STREAMS (同時に開くことが許されるストリー ム数) を超過してしまうことがありうる実装になっていた

3. 依存ライブラリ内の実装ミス ● 例: 同じホストに対して fetch を大量の並行で実行するとき、たまに HTTP/2のストリームに関するエラーが起きる ● 原因: Denoのfetchの実装で利用されていたRustのHTTPライブラリ reqwest の実装がまずかった ○ HTTP/2のコネクション確立後少しの間、サーバー側の MAX_CONCURRENT_STREAMS (同時に開くことが許されるストリー ム数) を超過してしまうことがありうる実装になっていた ● 対応: ライブラリにパッチを送った

flaky testの追跡と集計

flaky testの追跡と集計 ● そもそもflaky testがflakyである と認知するためには、複数回のテ ストスイート実行結果の保存、集 計、比較が必要 ● BuildPulseなどのSaaSがある ● cargo-nextestを使うとテスト結 果をJUnit形式で出力でき、あらゆ るSaaSと統合可能

• https://buildpulse.io/
• https://nexte.st/docs/machine-readable/junit/

もっと根本的な対策

テストはできるだけ smallに！

テストはできるだけ smallに！ ● “Test Size” によるテスト分類 (by Google) において、Largeより Medium、MediumよりSmallな テストでカバーできないかを深く検 討する ● サイズを下げる方向にモックを活 用する https://testing.googleblog.com/2010/12/test-sizes.html

• https://testing.googleblog.com/2010/12/test-sizes.html

🦁 t-wadaさんのプレゼン とても学びが多いのでおすすめです https://levtech.jp/media/article/c olumn/detail_496/

• https://levtech.jp/media/article/column/detail_496/

俺たちの戦いはこれからだ！ まだまだ大量にあるOpen状態なflaky ラベル付きissueたち 奮闘の日々は続く…… To be continued