テストプロセス改善技術の概要

池⽥ 暁 ⻑崎ＩＴ技術者会 ⻑崎ＩＴ技術社会 第7回勉強会 於 ⼊新井集会室（東京・⼤森）

はじめに — 本スライドの内容は，発表者のBlog記事をスライ ドに起こしたものです — テストプロセス改善技術の概要を紹介します — TPIとTMMiについて簡単に紹介します 2015/9/28 ©Akira Ikeda 2

テストプロセス改善技術あれこれ 「テストプロセス改善技術」は新しい技術なのか︖ • 実は技術⾃体は結構前から存在している • しかし「テストプロセス改善技術を使っています」という⼈にはあまり出会ったことがない • テストプロセスの改善に取り組んでいないというわけではないだろうが･･･ これまで実践事例としての国内発表はあまりない • ただし，これまでのJaSSTで研究発表やキーワードレベルでの⾔及はあった • JaSSTʼ03の での奥村有紀⼦さんの「テストプロセス改善モデルの⽐較分析」→資料 • JaSSTʼ09 Tokyo でのにしさんの「テストの改善、テストによる改善」 →資料 • JaSSTʼ11 Tokyo での招待講演にて⾔及有り（TPI，TMMi）→記事 • その他，⼤⻄さん・湯本さんによる情報処理学会学会誌の記事も →記事 実は⾔葉くらいは聞いているはず • 記憶に残っていない⼈も多いかと思いますが，実はこれまでに⾔葉はすでに聞いているはずなのです • ただし，その内容はあまり知られていないような気がしています 2015/9/28 ©Akira Ikeda 3

• http://www.jasst.jp/archives/jasst03/pdf/okumura_ppt.pdf
• http://www.jasst.jp/archives/jasst09n/pdf/S1.pdf
• http://www.kumikomi.net/archives/2011/02/rp03jass.php?page=2
• https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCMQFjABahUKEwjWvb3xlIDIAhWo2aYKHT2gDoA&url=https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=60850&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8&usg=AFQjCNGzuBg1WIdhjTEgQc8YUalDxjZ_cQ&sig2=LWKJZWesNOx8w51yc-FXmw&cad=rja

本⽇の参加者での認知度（その１） テストプロセス改善技術を知っていたか 2015/9/28 ©Akira Ikeda テストプロセス改善技術を 使ったことがあるか 4

本⽇の参加者での認知度（その２） テストプロセス改善技術を知っていたか 2015/9/28 ©Akira Ikeda 何を知っていたか 5

本⽇の参加者での認知度（その３） テストプロセス改善技術を 使ったことがあるか 2015/9/28 何を使ったことがあるか ©Akira Ikeda 6

本⽇の参加者での認知度（その４） テストプロセス改善技術を使ったことがありますか︖ 本⽇はテスト技術 に関⼼がある⽅が 多いが，それでも 使ったことがない ⽅が多い 2015/9/28 ©Akira Ikeda 7

SQuBOK V2 におけるプロセス改善技術 2.3.1 ソフトウェアプロセス能⼒改善のためのプロセスモデル 2015/9/28 2.3.1.1 CMMI（能⼒成熟度モデル統合） 2.3.1.2 PSP（パーソナル・ソフトウェア・プロセス） 2.3.1.3 TSP（チーム・ソフトウェア・プロセス） 2.3.1.4 TPI（テストプロセス改善） 2.3.1.5 TMMi（テスト成熟度モデル統合） ©Akira Ikeda 8

ISTQBにおけるプロセス改善技術 5 2015/9/28 テストプロセスの改善 5.1 イントロダクション 5.2 テスト改善プロセス 5.3 テストプロセスの改善 5.4 TMMiによるテストプロセスの改善 5.5 TPI NEXT によるテストプロセスの改善 5.6 CTPによるテストプロセスの改善 5.7 STEPによるテストプロセスの改善 ©Akira Ikeda 9

テストプロセス改善技術の概要 — （おそらく）⽇本国内で⽐較的利⽤されており，情報を得やすいのは TMMiとTPIの2つ（CTPやSTEPの情報もあるにはあるが･･･） TPI •Tmapというテストプロセスの⽅法論をベースとしている技法 •テストプロセスを20のキーエリアに分け，それぞれおよび全体に対してプロセス の成熟度を判定する •現在は最新版である TPI NEXT がある TMMi •テストのプロセスを段階的に改善するための技法 •CMMiのテスト技術分野を補完するもので，CMMiと同じく5段階の⽔準とそのゴー ルで構成し，アセスメントにより成熟度を判定する ※今回はCTP，STEPについては割愛します 2015/9/28 ©Akira Ikeda 10

• • • 2015/9/28 Tmapというテストプロセスの⽅法論をベースとしている技法 テストプロセスを20のキーエリアに分け，それぞれおよび全体 に対してプロセスの成熟度を判定する 現在は最新版である TPI NEXT がある ©Akira Ikeda 11

TPIのモデル — TPIのモデルはキーエリアとレベル，チェックポイントと改善提案から成る キーエリア レベル チェックポイント 2015/9/28 テスト成熟度 マトリクス 改善提案 ©Akira Ikeda 12

TPI モデルの構成要素 キーエリア レベル チェックポイント および改善提案 2015/9/28 •テストプロセスを20のキーエリアに分けたもの •それらは，ＡからＤまでの最⼤４段階のレベルを持っている •当該キーエリアの成熟度を⽰す •各レベルには，複数のチェックポイントが割り当てられてお り，それを，満たすことでレベルを達成したと判定する •チェックポイントはレベルを達成するために必要な項⽬ •改善提案は，レベルを達成するためのガイド情報 ©Akira Ikeda 13

テスト成熟度マトリクス 【スケール】 ０ １ ２ ４ テスト戦略 A ライフサイクルモデル A ８ ９ A D B C D B B A テストツール テスト環境 A オフィス環境 A C B C B A テスト役割と訓練 C B C A ⽅法論の範囲 A A A B B C C B C B A テストウェア管理 D C B A ⽋陥管理 １３ 最適化したレベル C A A １２ B 尺度 報告 １１ B A コミュニケーション １０ B A 静的テスト技法 D C B C B D C A 評価 低位レベルテスト ７ B ⾒積りと計画 テストプロセス管理 ６ コントトールされたレベル A 関与の時点 コミットメントと意欲 ５ 制御されたレベル 【キーエリア】 テスト仕様化技法 ３ A B B C Tim Koomen, Martin Pol 著，富野壽監訳 「テストプロセス改善 －CMM流 実務モデル－」から引⽤ 2015/9/28 ©Akira Ikeda 14

TPIでの成熟度の⾒える化 【スケール】 ０ １ ２ ４ テスト戦略 A ライフサイクルモデル A ９ A テスト環境 A オフィス環境 A D B C D B B C B C B A テスト役割と訓練 C B C A ⽅法論の範囲 A A A B B C B D C B C B A 評価 A ©Akira Ikeda C C B A テストウェア管理 D C B A ⽋陥管理 １３ 最適化したレベル C A テストツール A １２ B A 報告 １１ B A コミュニケーション １０ B 尺度 2015/9/28 ８ A 静的テスト技法 低位レベルテスト ７ B ⾒積りと計画 テストプロセス管理 ６ コントトールされたレベル A 関与の時点 コミットメントと意欲 ５ 制御されたレベル 【キーエリア】 テスト仕様化技法 ３ B C この例からどのよ C うなことを読み取 B りますか︖ D 15

TPIによる基本的な改善サイクル キーエリアごとに レベル判定 テスト成熟度マトリックスに 実践結果の整理 マッピング 次に⼿をつけるべき 実践 キーエリアとレベルを決定 計画化 2015/9/28 ©Akira Ikeda 16

• テストのプロセスを段階的に改善するための技法 • CMMiのテスト技術分野を補完するもので，CMMiと同じく 5段階の⽔準とそのゴールで構成し，アセスメントにより 成熟度を判定する 2015/9/28 ©Akira Ikeda 17

TMMiのモデル 成熟度レベル プロセスエリア１ 2015/9/28 プロセスエリア２ プロセスエリアｎ スペシフィック ジェネリック ゴール ゴール スペシフィック ジェネリック プラクティス プラクティス ©Akira Ikeda 18

TMMiの成熟度レベル Optimization（最適化） Measured（測定された） Defined（定義された） Managed（管理された） Initial（初期） TMMi Foudation 著 「TMMi Reference Model r1 」から引⽤，訳 2015/9/28 ©Akira Ikeda 19

TMMi モデルの構成要素 •それぞれの成熟度レベルに設定された改善対象となるプロセス プロセスエリア •各プロセスエリアには「⽬的」「イントロダクションノート」「スコープ」が設定され，複 数のスペシフィック/ジェネリックゴールを持つ •あるプロセスエリアを達成するためには，このゴールを満⾜しなければならない 例えば，レベル２は「テストポリシーと戦略」「テスト計画」「テストのモニタリ ングとコントロール」「テストの設計と実⾏」「テスト環境」をもつ スペシフィック／ジェ ネリックゴール •スペシフィックゴールとはそのプロセスエリア固有のプラクティス⽬標 •ジェネリックゴールとはそのプロセスエリア固有ではない共通的なプラクティス⽬標 •それらスペシフィックゴールとジェネリックゴールには，それを達成するために必要な「プ ラクティス」が設定されている スペシフィック／ジェ •スペシフィックゴール／ジェネリックゴールを達成するためのプラクティス項⽬ ネリックプラクティス ス」「ジェネリックプラクティスの詳細」「参考情報」が⽰される 2015/9/28 •プラクティスには，その達成を助けるための情報として「成果物の例」「サブプラクティ ©Akira Ikeda 20

TMMi での成熟度の⾒える化 — まずは達成したPAをモデルに 塗っていくことで⾒える化できる — 実際には，「成熟度レベル」， 「スペシフィック／ジェネリックゴール」， 「プラクティス」の表を作って 塗りつぶしていくのがわかりやすい （参考） もう少しで レベル３達成︕ いまのところ， まだレベル２にいる 2015/9/28 ©Akira Ikeda 21

• http://www.itmedia.co.jp/im/articles/1111/07/news196.html

TMMiによる基本的な改善サイクル アセッサーによるアセスメント （プロセスエリアごとに ゴール達成判定） 実践結果の整理 TMMiモデルにマッピング 次に⼿をつけるべき 実践 プロセスエリアとゴールを決定 計画化 2015/9/28 ©Akira Ikeda 22

これまでの話をまとめます 2015/9/28 ©Akira Ikeda 23

再掲︓テストプロセス改善技術の概要 — （おそらく）⽇本国内で⽐較的利⽤されており，情報を得やすいのは TMMiとTPIの2つ（CTPやSTEPの情報もあるにはあるが･･･） TPI •Tmapというテストプロセスの⽅法論をベースとしている技法 •テストプロセスを20のキーエリアに分け，それぞれおよび全体に対してプロセス の成熟度を判定する •現在は最新版である TPI NEXT がある TMMi •テストのプロセスを段階的に改善するための技法 •CMMiのテスト技術分野を補完するもので，CMMiと同じく5段階の⽔準とそのゴー ルで構成し，アセスメントにより成熟度を判定する ※今回はCTP，STEPについては割愛します 2015/9/28 ©Akira Ikeda 24

TPI vs TMMi ︖︖︖ TPI（現場主導的） • 部⾨や現場，プロジェクトレベルで⾃律的に継続的改善する，ボトムアップアプロー チに向いている。 TMMi（第三者評価的） • 全組織的に成熟度を判定し，改善していきたいプロセスエリアごとに施策を展開して いくような，トップダウンアプローチに向いている • CMMiが導⼊済みであるならば，その仕掛けやノウハウが利⽤できる • • 2015/9/28 どちらを選択するかは，技術導⼊しようとする⼈の⽴場が上位組織側なのか，現場側 なのかによるところが⼤きい 両⽅採⽤してしまうというのもあり • 現場レベルでは⾃律的な改善活動を⾏い，定期的に全社的な状況を把握する，と いうような使い⽅ができます。 ©Akira Ikeda 25

取り組むにあたって苦労しやすいこと これまでいくつかの相談を受けてきた経験からいうと，採⽤が決まったとして，最初はとても苦労する •テストプロセス改善に“特化して”取り組むと⾔うことになる •これまでテストという技術範囲でプロセス改善を考えてきたことがない組織は，TPIのキーエリアやTMMiのプロセスエリアやス ペシフィックゴールを読み解けないということが起こる TPIやTMMiでの改善を動かす⼀回⽬には，可能な限りテスト技術分野の知識がある⼈に協⼒を求めてお いたほうが良い •具体的にはISTQB-AL程度の知識は最低限持っている⽅が良い •TP・TMMiはリテラシとしてISTQB-AL程度を求めている •可能であればコンサルタントの⼒を借りるのが良い •ただし，現在，国内にテストプロセス改善専⾨のコンサルタントはあまりいないのではとも思いますので，テストに通じたコン サルタントとの共同技術開発的なアプローチで仕組みづくりに取り組むといいのかもしれない • • 2015/9/28 テストプロセス改善に取り組むための，前提技術が必要であることは意識しておいた ⽅がよい 前提技術が無い場合，それも合わせて勉強していくことを計画しておくこと︕ （最低限ISTQB⽤語集の⽤語がわかる程度はないとTPI・TMMiの⽂書が読めない） ©Akira Ikeda 26

簡単に説明しました。 是⾮，詳細を関連の⽂献等で参照下さい。 そこには⽇々の業務改善のヒントが沢⼭あります︕