Kubernetesとカスタムコントローラーを活用したプラットフォーム開発・運用の勘所

1.

Kubernetesとカスタムコントローラーを活⽤したプラットフォーム開発・運⽤の勘所ヤフー株式会社テクノロジーグループシステム統括本部クラウドプラットフォーム本部第12代⿊帯〜クラウドスタック〜早川博 @hhiroshell Copyright ©2023 (C) Yahoo 2020 Yahoo Japan Corporation Japan Corporation. All rights Allreserved. Rights Reserved.

2.

⾃⼰紹介早川博 / @hhiroshell • ヤフー株式会社（2020年2⽉〜） • プライベートクラウド開発チーム • 第12代⿊帯〜クラウドスタック〜 • 書籍執筆 & レビュー、各所での登壇発表などしてます • 分割キーボードはいいぞ ©2023 Yahoo Japan Corporation All rights reserved. DIYキーボードたち。 ↑Cornelius → Corne ← BMEK

3.

4.

5.

ITシステム開発の歴史 • リリースの⾼頻度化と円滑な改善サイクルの確⽴を⽬指して進化継続的デリバリー (2012〜) DevOps (2009〜) デプロイメント・パイプラインによる迅速かつ⾼頻度なリリースとフィードバック開発者と運⽤者の協⼒体制とそれを⽀えるツール群モノリシックシステムクラウドインフラとIaC インフラ管理にソフトウェア・エンジニアリングのプラクティスを導⼊し、調達の迅速化と変更容易性を実現 Microservices (2014〜) システムを疎結合な⼩規模アプリ群で構成しアップデートを容易に ©2023 Yahoo Japan Corporation All rights reserved. ※ 時系列の順序には諸説あります

6.

ITシステム開発の歴史 • アプリケーション開発者(Dev)は幸せになったのか…︖ • ⾼頻度のリリースとそれに耐える品質を実現するプラクティスにより、⼼理的安⼼感を持って開発に当たれるようになった • ⾼機能かつUXに優れ、スケーラブルで安定的に稼働するシステムが実現できるようになり、結果として開発者の評価に…(※) ※ 個⼈の⾒解を含みます ©2023 Yahoo Japan Corporation All rights reserved.

7.

近年のアプリケーション開発者が抱えている課題 • 開発者の責任範囲や習得すべきスキル/ツールが増加している継続的デリバリー (2012〜) DevOps (2009〜) デプロイメント・パイプラインによる迅速かつ⾼頻度なリリースとフィードバック開発者と運⽤者の協⼒体制とそれを⽀えるツール群モノリシックシステムクラウドインフラとIaC インフラ管理にソフトウェア・エンジニアリングのプラクティスを導⼊し、調達の迅速化と変更容易性を実現 Microservices (2014〜) システムを疎結合な⼩規模アプリ群で構成しアップデートを容易に ©2023 Yahoo Japan Corporation All rights reserved. ※ 時系列の順序には諸説あります

8.

近年のアプリケーション開発者が抱えている課題 • 責任範囲の拡⼤と、⼤量のスキル/ツールの習得に悩まされている • 運⽤、監視へのコミットと、マイクロサービス化による運⽤、監視の複雑化 • デプロイメント・パイプラインの構築とメンテナンス • 組織によってはクラウド周りの⾯倒を⾒たり • 開発に集中できず効率が悪い • スーパーマン以外は活躍しにくい / スーパーマンの頑張りに依存するようになり時間を奪ってしまう ©2023 Yahoo Japan Corporation All rights reserved.

9.

Platform Engineering • 開発者の効率性と開発体験を⾼める⽅法として、”Platform Engineering” が期待されるように • 2022年のGartner Hype Cycleに登場 • Innovation Trigger（黎明期）フェーズここ ※ Cloud-Nativeは Slope of Enlightenment（啓発機）フェーズ https://twitter.com/TheMarkONeill/status/1557531379746881536 ©2023 Yahoo Japan Corporation All rights reserved.

https://twitter.com/TheMarkONeill/status/1557531379746881536

10.

Platform Engineeringとは︖ • ⾃社の開発者たちが開発に集中できるようにするための基盤 (IDP: Internal Developer Pla'orm)を提供する取り組み 1. システム開発で発⽣する基本的な作業を、セルフサービスで、少ない労⼒で（舗装された道路を進むように）実施できる依存コンポーネントの設定実⾏環境の準備ビルドとデプロイ監視系のセットアップ権限設定 2. 専任チームが “プロダクト” として提供する • 明確なミッションを持って、顧客（開発者）のリアルな課題を解決する ©2023 Yahoo Japan Corporation All rights reserved.

11.

Platform Engineeringとは︖ • 具体的には例えばどういうこと︖ • 開発者が必要とする開発、実⾏環境を、セルフサービスで簡単に⼊⼿できる • 実⾏環境にデプロイしたら⾃動的に運⽤ポリシーが適⽤されるようにする • アプリケーションのビルドと同時に⼀定品質以上のチューニング設定をおこなうツールが利⽤できる • IDPを使うためのドキュメント群が整備されている • 専任チームによるサポートを受けられる • ...etc ※ あくまで⼀例です。実際には組織ごとの具体的な課題に当てはまる取り組みが必要です ©2023 Yahoo Japan Corporation All rights reserved.

12.

パブリッククラウドとの違い • パブリッククラウドだけでは組織固有の課題や要件に応えるのは難しい • 例えば、組織固有のポリシーに準拠した権限をデフォルトで従業員に設定したくても、始めからそれが⽤意されているわけではない • 権限を⾃動設定する機能が提供されることはありうるが、それを使って⾃組織に適⽤するのはユーザーの責任使⽤提供使⽤ IDP 開発者プラットフォームチーム ©2023 Yahoo Japan Corporation All rights reserved. パブリッククラウドの機能群

13.

CloudNativeとPlatform Engineering • CloudNativeなテクノロジー群はIDPを実現するためのパーツとして重要な役割を担う • Kubernetesを中⼼とした様々なミドルウェアと強固なOSSエコシステム CNCF Graduated Projects https://landscape.cncf.io/card-mode?project=graduated ©2023 Yahoo Japan Corporation All rights reserved.

https://landscape.cncf.io/card-mode?project=graduated

14.

CloudNativeとPlatform Engineering • とりわけKubernetesは、組織固有の要件を実装するためのベースとして活躍 1. 様々なワークロードを安定的に動かすための基本機能 • セルフヒーリング、ローリングアップデート、スケーラビリティ... 2. 使いやすく整備された拡張ポイント • カスタムコントローラー、Admission Webhook... 3. API Servicerを中⼼とした⼀貫性のある使⽤感 • kubectlでKRM(Kubernetes Resource Model)リソースを操作する、という⼀貫した体験 ©2023 Yahoo Japan Corporation All rights reserved.

15.

16.

Kubernetesの拡張ポイント • Kubernetesには、機能拡張されること想定して多数の拡張ポイントが設けられている • カスタムコントローラー • Aggregation Layer • Admission / Mutating Webhook • Authentication / Authorization Webhook • Scheduler • Device Plugin • Network Plugin ©2023 Yahoo Japan Corporation All rights reserved.

17.

本セッションで話すこと • Kubernetesには、機能拡張されること想定して多数の拡張ポイントが設けられている • カスタムコントローラーこれについて話します • AggregaMon Layer • Admission / MutaMng Webhook • AuthenMcaMon / AuthorizaMon Webhook • Scheduler • Device Plugin • Network Plugin ©2023 Yahoo Japan Corporation All rights reserved.

18.

19.

20.

Kubernetesのコントローラーパターン • コントローラー群がそれぞれ仕事を果たした結果Podが起動する Controller Manager Worker Node Deployment Controller > kubectl apply Deployment API Server Worker Node etcd { } Deployment { } ReplicaSet ©2023 Yahoo Japan Corporation All rights reserved.

21.

Kubernetesのコントローラーパターン • コントローラー群がそれぞれ仕事を果たした結果Podが起動する Controller Manager Deployment Controller > kubectl apply Deployment Worker Node ReplicaSet Controller API Server Worker Node etcd { } Deployment { } ReplicaSet { } Pod ©2023 Yahoo Japan Corporation All rights reserved.

22.

Kubernetesのコントローラーパターン • コントローラー群がそれぞれ仕事を果たした結果Podが起動する Controller Manager Deployment Controller > kubectl apply Deployment ReplicaSet Controller Worker Node kubescheduler API Server Worker Node etcd { } Deployment { } ReplicaSet { } Pod ©2023 Yahoo Japan Corporation All rights reserved.

23.

Kubernetesのコントローラーパターン • コントローラー群がそれぞれ仕事を果たした結果Podが起動する Controller Manager Deployment Controller > kubectl apply Deployment ReplicaSet Controller Worker Node kubescheduler API create / edit k kubelet Pod watch Server Worker Node etcd { } Deployment { } ReplicaSet { } Pod ©2023 Yahoo Japan Corporation All rights reserved. create / edit k kubelet Pod

24.

Reconciliation Loopの基本 1. 指定された「望ましい状態(Desired State)」を取得する 2. 「実際の状態(Actual State)」を観測する 3. 「実際の状態」を「望ましい状態」に⼀致するように変更する 4. 1〜3 を繰り返す Modiﬁes Desired State read read & write (1) Controller (4) ©2023 Yahoo Japan Corporation All rights reserved. (2), (3) External World (Actual State)

25.

KubernetesにおけるReconciliation Loop • 「望ましい状態」をKubernetesリソースとして記述し、API Serverで管理する • API Serverに保存したり、CRUD操作を⾏ったりする • 「実際の状態」は何でもよい。例えば: • 所定の内容のKubernetesリソースがAPI Serverにあること • 所定の状態でPodが起動していること • 外部システムに所定の設定が⾏われていること ©2023 Yahoo Japan Corporation All rights reserved.

26.

Reconciliation Loopに着⽬したKubernetesのアーキテクチャ • コントローラー群がそれぞれ仕事を果たした結果Podが起動する API Server etcd Modiﬁes { } Deployment Deployment Controller { } ReplicaSet ReplicaSet Controller { } Pod kube scheduler read read & write kubelet kubelet kubelet ©2023 Yahoo Japan Corporation All rights reserved. Pod

27.

カスタムコントローラーによるKubernetesの拡張 • カスタムコントローラー: • Reconciliation Loopを新たに実装することで、元々備わっていない機能を Kubernetesに追加するもの • CRD (Custom Resource Definition) とカスタムコントローラーによって実現 API Server etcd Modiﬁes { } Hoge Hoge Controller { } Fuga Fuga Controller ©2023 Yahoo Japan Corporation All rights reserved. External World (Actual State)

28.

カスタムコントローラーによるKubernetesの拡張 • CRD (Custom Resource DeﬁniQon): • カスタムリソースのフォーマットを定義するKubernetesリソース • CRDをKubernetesに適⽤すると、カスタムリソースをAPI Serverで管理できるようになる API Server etcd Modiﬁes { } Hoge Hoge Controller { } Fuga Fuga Controller 独自フォーマットの manifestを操作できるようになる ©2023 Yahoo Japan Corporation All rights reserved. External World (Actual State)

29.

カスタムコントローラーによるKubernetesの拡張 • カスタムコントローラー • 新たに実装したコントローラー • Go⾔語でcontroller-runMmeというフレームワークを使って実装するのが基本 • 多くの場合Kubernetesクラスター内にデプロイして動かす API Server etcd Modiﬁes { } Hoge Hoge Controller { } Fuga Fuga Controller External World (Actual State) 新たに実装したコントローラー ©2023 Yahoo Japan Corporation All rights reserved.

30.

31.

32.

ヤフーでの実践例 – Kubernetesベースのアプリケーション実⾏環境 • セルフサービスで利⽤開始 • 開発者がGUIでNamespaceを作成すると、アクセス権が⾃動設定され安全に利⽤可能になる • 少ない⼿間でWebアプリケーションを実⾏ • アプリをデプロイするとURLが⾃動的に払い出され、すぐにアクセス可能になる • アプリにクライアント証明書が⾃動注⼊され、Secret管理の必要なく他システムにアクセスできる • マルチテナント & スケーラブル • ヤフーの多数のサービスを少数のクラスターで実⾏ ©2023 Yahoo Japan Corporation All rights reserved. 他にも色々ありますが一部ご紹介します > <

33.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • セルフサービスのNamespace払い出しと権限設定 • GUIからNamespaceを作成 Super Awesome Private Cloud Console my-project Namespace新規作成 Namespace名: • ⾃分が属さないプロジェクトのNamespaceに対しては操作できない # 関係ないNamespaceに対する操作（CLIのコンテキストは設定しておく） $ sapctl –n another-project get app Error from server (Forbidden): apps.fleet.zlab.co.jp is forbidden: User ”hhiros... ©2023 Yahoo Japan Corporation All rights reserved.

34.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • アプリのデプロイからアクセスまで • 簡単なコマンドまたはカスタムリソースからアプリをデプロイ • アプリが起動すると⾃動的にURLが払い出され、すぐにアクセス可能 $ sapctl create app hello-world --image=example-registry/sample/helloworld-go:latest --port=8080 $ sapctl get app hello-world NAME ENDPOINT hello-world https://hello-world.sandbox.app.dev.yahoo.co.jp $ curl https://hello-world.sandbox.app.dev.yahoo.co.jp Hello World! ©2023 Yahoo Japan Corporation All rights reserved. READY True REASON AGE 6m4s

35.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • カスタムコントローラーによる⾃動権限設定の仕組み Namespace API Namespace 作成操作 Git CI Namespace Namespaceをクラスターに作成 API Server 開発者 etcd { } Namespace Kubernetesクラスター ©2023 Yahoo Japan Corporation All rights reserved.

36.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • カスタムコントローラーによる⾃動権限設定の仕組み Namespace API Namespace 作成操作 Git CI Namespace 権限管理システム (Athenz) Athenz Policy Namespaceをクラスターに作成 API 権限情報の登録 Server 開発者 etcd ns-controller { } Namespace { } AthenzPolicyClaim policy-controller Athenz Policy Operator Kubernetesクラスター ©2023 Yahoo Japan Corporation All rights reserved.

37.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • カスタムコントローラーによる⾃動権限設定の仕組み Namespace API Git Namespace 作成操作 CI 開発者 Athenz Policy Namespaceをクラスターに作成 API Namespace内のリソースに対する操作権限管理システム (Athenz) Namespace Server 権限情報の登録権限のチェック etcd ns-controller { } Namespace { } AthenzPolicyClaim policy-controller Athenz Policy Operator Kubernetesクラスター ©2023 Yahoo Japan Corporation All rights reserved.

38.

39.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • アプリケーションデプロイ時のエンドポイント⾃動設定の仕組み app operator API App アプリをデプロイ Server etcd { } App app-controller { } AppBinding ab-controller { } DNSRegistraUonRequest drr-controller 開発者 DNS Server DNSレコードの登録 ©2023 Yahoo Japan Corporation All rights reserved.

40.

ヤフーでの実践例 - Kubernetesベースのアプリケーション実⾏環境 • アプリケーションデプロイ時のエンドポイント⾃動設定の仕組み app operator API App アプリをデプロイ Server etcd { } App app-controller { } AppBinding ab-controller { } DNSRegistraUonRequest drr-controller 開発者 DNSレコードの登録 DNS Server 名前解決アプリのユーザーリクエスト Pod Ingress Controller Pod Pod ©2023 Yahoo Japan Corporation All rights reserved.

41.

その他の取り組み • マルチテナント & スケーラビリティ • 複数のKubernetesクラスターを組み合わせた、超⼤規模なアプリ実⾏基盤の実現 • 複数のKubernetesクラスターを束ねるメタクラスターを設け、メタクラスターにアプリの起動を指⽰すると、適切なクラスター上でアプリが⽴ち上がる仕組みコントローラー App アプリをデプロイ開発者適切なクラスターでアプリを起動アプリにアクセスエンドユーザー ©2023 Yahoo Japan Corporation All rights reserved.

42.

その他の取り組み • アプリケーション・アイデンティティの⾃動設定 • アプリケーションを⼀意に識別可能なクライアント証明書をPodに⾃動注⼊し、さらにAthenz上にそれに対応するアプリケーションアカウントを作成 • KubernetesのSecretを使わずに外部システムへの認証情報が⾃動設定される ※ h6ps://github.com/AthenZ/athenz/blob/master/docs/copper_argos.md App アプリをデプロイ開発者アプリへのアクセス権を設定アプリケーションアカウントを登録 API Server ✓ XXXクラスターのYYYアプリのアクセスを許可 Pod ZZZシステム管理者認証・認可証明書の注⼊コントローラークライアント証明書と共に外部システムにリクエスト ©2023 Yahoo Japan Corporation All rights reserved. ZZZ システム

43.

44.

このセクションで話すこと • ここではカスタムコントローラー開発をおこなう際の、設計の考え⽅やプロジェクトの進め⽅について話します • 実装作業の観点ではcontroller-runQmeと呼ばれるフレームワークがデファクトになっていて、これを使いこなす必要があります。これについてはすでに良質な資料があるのでそちらを参考にしてください（本スライドの最後に参考⽂献を掲載してあります） ©2023 Yahoo Japan Corporation All rights reserved.

45.

カスタムコントローラー開発の進め⽅ • カスタムコントローラー開発の全体の流れ設計コントローラーをひとつずつ実装・テスト・リリースしていくコントローラーとカスタムリソースの構成を決めるカスタムリソースの仕様を決めるコントローラー毎に詳しい挙動を決めるコントローラーの実装・テストリリース設計へのフィードバック ©2023 Yahoo Japan Corporation All rights reserved.

46.

カスタムコントローラーの設計の進め⽅ • コントローラーとカスタムリソースの構成を決める • 作りたい機能を実現できるようにコントローラーとカスタムリソースを作る単位を決めていく • 下のような図を書きながら試⾏錯誤 etcd { } Namespace { } AthenzPolicyClaim ns-controller policy-controller Athenz Policy Operator External World (Actual State) • ひとつのコントローラーに機能を詰め込みすぎないように注意 ©2023 Yahoo Japan Corporation All rights reserved.

47.

カスタムコントローラーの設計の進め⽅ • カスタムリソースの仕様を決める • 実際にmanifest（yamlファイル）を書きながらフィールド構成を考えていく • specとstatusがある。statusはコントローラーからリソースに対するActual State の状態などを記録するのに利⽤できる kind: AthenzPolicyClaim spec: policySetVersion: user-namespace-template-1_1_0 status: synchronized: True • kubectl get したときに表⽰する項⽬もいい感じにしておくと運⽤時に便利 $ kubectl get athenzpolicyclaim NAMESPACE NAME my-project-test my-project-test-claim SYNCHRONIZED True ©2023 Yahoo Japan Corporation All rights reserved.

48.

カスタムコントローラーの設計の進め⽅ • コントローラー毎に詳しい挙動を整理する • ns-controllerの動作イベントコントローラーの動作 Namespaceリソースが新規作成された⼦のAthenzPolicyClaimリソースを作成するxxxフィールド、yyy フィールドの値は… Namespaceリソースのxxxが変更された⼦のAthnezPolicyClaimのxxxをNamespaceに合わせて変更する Namespaceリソースが削除された⼦のAthenzPolicyClaimを削除する AthenzPolicyClaimリソースが削除された AthenzPolicyClaimリソースを再作成する AthenzPolicyClaimリソースが変更された親のNamespaceリソースの内容に合わせてAthenzPolicyClaimリソースを元に戻す • policy-controllerの動作イベント ... コントローラーの動作 ... ©2023 Yahoo Japan Corporation All rights reserved.

49.

カスタムコントローラーの設計の進め⽅ • コントローラーの挙動を決めるときのコツ • Actual Stateに変更があったときの動作も忘れないここが変更されたら policy-controllerがもとに戻す etcd { } Namespace { } AthenzPolicyClaim ここが変更されたら ns-controller がもとに戻す ns-controller policy-controller Athenz Policy Operator External World (Actual State) • 各表（前ページ）が⼤きくなり過ぎるようなら、コントローラーの役割が多すぎないか⾒直す • 前ページの各表はそのままテストケースにもなる ©2023 Yahoo Japan Corporation All rights reserved.

50.

コントローラーの実装 • 1つのバイナリに複数のコントローラーが含まれることがほとんど • コントローラーを1つずつ実装していく • それぞれのコントローラーは互いに独⽴したReconciliaMon Loopを担当するので、別々に実装を進められる • Athenz Policy Operatorの例では、policy-controllerができ上がった時点で、権限情報をmanifestで管理できるようになるカスタムリソースを直接適⽤ API Server etcd { } AthenzPolicyClaim policy-controller Athenz Policy Operator 権限の管理をmanifestでできるようになった！ ©2023 Yahoo Japan Corporation All rights reserved. External World (Actual State)

51.

コントローラー単位で開発を進めるメリット • コントローラー単位で開発すると、⼩さな独⽴した単位で漸進的に開発を進めていける • 意味のある⼩さな単位でリリースして、早めにフィードバックを得られる • 複数チームで分担できる • スクラムチームの動き⽅にうまくはまる ※ MVP - not “bike to car” (h8ps://www.linkedin.com/pulse/mvp-bike-car-fred-voorhorst/) ©2023 Yahoo Japan Corporation All rights reserved.

52.

53.

おわりに • 開発者の⽣産性と開発体験を⾼めるための “Platform Engineering” が注⽬されている • KubernetesはInternal Developer Platform構築のための重要パーツ • Kubernetesをカスタムコントローラーで拡張することで、⾼度な要件を実現するIDPが構築できる • カスタムコントローラー開発やっていきましょう︕ ©2023 Yahoo Japan Corporation All rights reserved.

54.

宣伝 • サイバーエージェントさん主催のイベントにて、本⽇紹介したアプリケーション実⾏基盤についての発表があります。今⽇よりもっと詳しい話が気になる⽅は、ぜひご参加ください︕ 「CA.infra #1 - Kubernetes as a Service」・ 2023/03/02(⽊) 19:00〜オンライン開催・ hGps://cyberagent.connpass.com/event/272843/ ©2023 Yahoo Japan Corporation All rights reserved.

55.

56.

参考⽂献 – Platform Engineeringについて • What is plaUorm engineering? (PlaUorm Engineering Org) • hGps://plaOormengineering.org/blog/what-is-plaOorm-engineering • What Is PlaUorm Engineering? (Gartner) • hGps://www.gartner.com/en/arQcles/what-is-plaOorm-engineering • From Kubernetes to PaaS to … Err, What’s Next? - Daniel Bryant, Ambassador Labs • hGps://www.youtube.com/watch?v=btUYeOa7JPI • 役に⽴つプラットフォームを作ろう – プラットフォームエンジニアが知っておくべき「プロダクト」の考え⽅ • hGps://speakerdeck.com/jacopen/yi-nili-tupuratutohuomuwozuo-rou-puratutohuomuenziniagazhituteokubeki-purodakuto-falsekao-efang • 世界に誇れるプラットフォームチームをつくる • hGps://speakerdeck.com/jacopen/shi-jie-nikua-rerupuratutohuomuQmuwotukuru ©2023 Yahoo Japan Corporation All rights reserved.

57.

参考⽂献 – カスタムコントローラーの開発について • The Kubebuilder Book • https://book.kubebuilder.io/ • つくって学ぶKubebuilder • https://zoetrope.github.io/kubebuilder-training/ • Kubernetesオペレータのアンチパターン & ベストプラクティス • https://speakerdeck.com/zoetrope/kubernetesoperetafalseantipatanbesutopurakuteisu ©2023 Yahoo Japan Corporation All rights reserved.

Kubernetesとカスタムコントローラーを活用したプラットフォーム開発・運用の勘所

Yahoo!デベロッパーネットワーク

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

ゼロから始める転移学習

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

各ページのテキスト