4 Keys Metricsだけじゃない！価値に目を向けたメトリクス：EBMに触れてみよう

4 Keys Metricsだけじゃない！ 価値に目を向けたメトリクス EBMに触れてみよう DevOpsDays Tokyo 2024 クリエーションライン株式会社

中村 知成 (@ikikko) • 所属：クリエーションライン株式会社 • 役割：スクラムマスター / アジャイルコーチ • 大切にしている価値観：現場で働くチームの役に立ちたい！ • エンドユーザーへ価値を届けることを見据えつつ • その価値を産み出すチームもより活き活きと動けるように • 得意なこと・興味があること： • プロセス面からのチーム支援（スクラム、カンバン） • プロダクト全体思考・全体最適（VSM / 制約理論）、メトリクスによる意思決定 2

矢田 進之介 (@yatakeke) • 所属：クリエーションライン株式会社 • 役割：スクラムディベロッパー • 最近読んでいる本： • オブジェクト指向のこころ • パターン指向リファクタリング入門 • 好きなもの： • ジムニー • キャンプ • サウナ 3

エビデンスベースドマネジメントガイド - Scrum.org 4 ⽴ ⼒ “エビデンスベースドマネジメント（EBM: Evidence-Based Management）は、組織が不確 実な条件のもとで顧客の成果や、組織の能 、およびビジネスの結果を継続的に改善す るのに役 つ経験的アプローチである。”

• https://scrumorg-website-prod.s3.amazonaws.com/drupal/2021-02/2020-EBM-Guide-Japanese.pdf

EBMとDevOps / 4 Keysとの関連 5

EBMとDevOps / 4 Keysとの関連 [ソフトウェアデリバリー のパフォーマンス] 4 Keys Metrics 6 EBMで提唱されている 領域と指標

重要価値領域 (KVA : Key Value Areas) 7 エビデンスベースドマネジメントガイド

• https://scrumorg-website-prod.s3.amazonaws.com/drupal/2021-02/2020-EBM-Guide-Japanese.pdf

重要価値指標 (KVM : Key Value Measures) 8 • 市場占有率 • 顧客満足度ギャップ • 望ましい顧客体験または満 足度 • • • • 従業員1人あたりの収益 プロダクトコスト比率 従業員満足度 顧客満足度 • イノベーション率 • 変更失敗率（※） • 技術的負債 • • • • リードタイム デプロイ頻度（※） 変更のリードタイム（※） サービス復元時間（※） エビデンスベースドマネジメントガイド (※：4 Keys Metrics)

• https://scrumorg-website-prod.s3.amazonaws.com/drupal/2021-02/2020-EBM-Guide-Japanese.pdf

市場価値 • 現在の価値 (CV : Current Value) 1. ユーザーと顧客はどれだけ幸せか？ 2. 従業員はどれだけ幸せか？ 3. 投資家やステークホルダーはどれだけ幸せか？ • 未実現の価値 (UV : Unrealized Value) 1. 現在の市場または他の市場で、組織は追加的な価 値を創造できるか？ 2. 未開拓の機会の追求に労 やリスクをかける価値 はあるか？ 3. 追加的な UV を獲得するために追加投資すべきか？ ⼒ 9

組織的な能力 • 市場に出すまでの時間 (T2M : Time-to-Market) 1. 組織は新しい実験と情報からどれだけ速く学ぶこ とができるか？ 2. 情報をもとにどれだけ速く適応できるか？ 3. 新しいアイデアを顧客にどれだけ速くテストでき るか？ • イノベーションの能力 (A2I : Ability to Innovate) 1. 組織が新しい価値を提供することを妨げる要因は 何か？ 2. 顧客やユーザーがイノベーションの恩恵を受ける ことを妨げる要因は何か？ 10

組織的な能力 [ A2Iの重要性を示す例 ] • 市場に出すまでの時間 (T2M : Time-to-Market) •チームA 1. 組織は新しい実験と情報からどれだけ速く学ぶこ •T2M：リリースのサイクルが1ヶ月 とができるか？ •A2I：リリースの大半が欠陥改修とマイナーな機能強化で、CVにあまり変化がない •チームB 2. 情報をもとにどれだけ速く適応できるか？ •T2M：リリースのサイクルが2ヶ月 3. 新しいアイデアを顧客にどれだけ速くテストでき •A2I：リリースの大半が新しいプロダクト機能で、CVを大幅に向上させている るか？ • イノベーションの能力 (A2I : Ability to Innovate) 1. 組織が新しい価値を提供することを妨げる要因は 何か？ 2. 顧客やユーザーがイノベーションの恩恵を受ける ことを妨げる要因は何か？ 11

ゴール設定 • 戦略的ゴール：組織が達成したいと考 えている重要な目標（比較的長期で、 例えば3~5年） • 中間ゴール：戦略的ゴールに向けての 進捗を示す目標（中期で、3~6ヶ月） • 即時戦術ゴール：短期目標（数日~4週 間以内） 12

ゴール設定 対象はアウトカム （特に、UV：未実現の価値 に焦点をあてる） • 戦略的ゴール：組織が達成したいと考 えている重要な目標（比較的長期で、 例えば3~5年） 主にアウトカム （CV / UV） アウトカムの他、活動やア ウトプットもありうる 13 • 中間ゴール：戦略的ゴールに向けての 進捗を示す目標（中期で、3~6ヶ月） • 即時戦術ゴール：短期目標（数日~4週 間以内）

実験のループを回す • 仮説：アイデアと、そのアイデアが成功したか を計測に基づいて判断できるように設定する • 実験と計測：即時戦術ゴールなので、数日〜4 週間以内に収める • 検査：事前の仮説と計測方法に基づいて、成 功したかを確認する • 適応：より上位の中間ゴール・戦略的ゴールの 調整が必要ないかを確認する 14

ワークショップ Measuring Outcome：アウトカムを計測する MEASURING OUTCOME アウトカムを計測する Measuring Outcome

• https://github.com/ScrumFacilitators/measuringoutcome-ja

指標 (KVM) カードを手渡し、もう一方のグループには残り の紫色の KVM カードを手渡します。 16 進め方3. 手順1: 各グループで、それぞれの KVM を議論し、KVMカー ドを正しい KVA のところに置いていきます。 4. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 5. 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 6. 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 スは、 ティブ さんの なエキ Profe 験を積

• http://scrum.org/EBM

伝えたいこと EBMでは「重要価値領域」という概念を導入しており 指標単独で扱うより、意味や関連を捉えやすい • 指標が指し示す意味や、指標間の関連を意識しよう（指標そのものに 捉われ過ぎない） • 顧客への価値提供をふまえて、必要となる組織的な能力を考えよう 17

重要価値領域の意味や関連 3. 顧客が望む価値（CV/UV）が 向上する可能性が高くなる 2. 価値の向上に寄与する施策や 実験を、より迅速に・効果的 にできるようになる 1. 組織的な能力（A2IとT2M） が改善される 18 ここが十分なら ば、必要以上の改 善は投資対効果が 薄いかもしれない

重要価値領域の意味や関連 ≒ ⊃ 19

重要価値領域の意味や関連 ⊃ A2I / T2Mの改善には、ここで提示され ているケイパビリティも参考になる 20

重要価値領域の意味や関連：参考 21 『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜

• https://speakerdeck.com/bonotake/leantodevopsnoke-xue-wokitintojie-du-suru-four-keys-dakeziyajue-dui-motutainakunaruhua

指標 (KVM) カードを手渡し、もう一方のグループには残り の紫色の KVM カードを手渡します。 22 進め方3. 手順1: 各グループで、それぞれの KVM を議論し、KVMカー ドを正しい KVA のところに置いていきます。 4. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 5. 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 6. 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 スは、 ティブ さんの なエキ Profe 験を積

• http://scrum.org/EBM

. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 進め方 . 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 . 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 23 験を積んでいます。 Based on the 2020 EBM Guide. Learn about Evidence-Based Management (EBM) at http://scrum.org/EBM The Measuring Outcome game (v2.1) is licensed under CC BY-NC-SA 4.0 By Scrum Facilitators Japanese Translator: Tomoharu Nagasawa ([email protected])

• http://scrum.org/EBM

進め方：参考 24

再掲：伝えたいこと EBMでは「重要価値領域」という概念を導入しており 指標単独で扱うより、意味や関連を捉えやすい • 指標が指し示す意味や、指標間の関連を意識しよう（指標そのものに 捉われ過ぎない） • 顧客への価値提供をふまえて、必要となる組織的な能力を考えよう 25