探索的テストにおける期待値（基準）の作り方

探索的テストにおける 期待値（基準）の 作り方 アジャイル札幌・JaSST東北・JaSST北海道 ＠nemorine

自己紹介 ▪ 根本 紀之 @nemorine / CSM ▪ 札幌の某半導体メーカに 勤めるQAエンジニア。 北海道と美味しいものを こよなく愛す。アジャイ ル系とソフトウェアテス ト系の両方に足を突っ込 んで社外活動をしている。 ▪ アジャイル札幌代表 2

今日のお話 ▪ テストケースがドキュメント化されて いない探索的テストの期待値（基準） の作り方をお伝えします。 この動きはこれで いいんだっけ？？ 3

探索的テストの定義 探索的テスト by Erisabeth Hendrickson 直近の実験から得た”気づき”を次の実験へ活用し、 テスト設計と実行を同時に行い、システムにつ いて学習していくこと Simultaneously designing and executing tests to learn about the system, using your insights from the last experiment to inform the next.

探索的テストとは･･･ 「対象を動かしながら、即時のテスト設計～実行～フィードバックを行って いく対話型のソフトウェアテスト」です。 医者が患者の問診をするのと同じように、ソフトウェアの動きを見ながら、 どこが悪いかを探し当てていく手法です。思いついたテストケースを実施す るアドホックテストとは違います。 Ref: http://www.itmedia.co.jp/im/articles/1111/07/news203.html

• http://www.itmedia.co.jp/im/articles/1111/07/news203.html

探索的テストにおける期待値 ▪ 探索的テストでは期待値がドキュメント化されていません。 ▪ そのため、自分の頭の中に期待値をイメージしながら、様々な操作をおこな い、テストを進めていく必要があります。 いいねを押す とどうなるで しょうか？ 6

探索的テストにおける期待値 ▪ 探索的テストでは期待値がドキュメント化されていません。 ▪ そのため、自分の頭の中に期待値をイメージしながら、様々な操作をおこな い、テストを進めていく必要があります。 1 7

探索的テストで探すもの ▪ 探索的テストではもちろんバグを探しますが、バグに繋がる可能性がある 「違和感」も同時に探します。 ▪ 例えば、シカを狩るときにシカだけではなく、シカのフン、食べた葉っぱ、 通った足跡を見つけるのに似ています。 ▪ 「違和感」はバグに繋がるときもありますし、繋がらないときもあります。 8

違和感をとらえるためには… ▪ 違和感を覚えるのは「期待値（＝基準）とズレている」時です。 ▪ それでは探索的テストの場合、その基準はどうやって作るのでしょうか？ 熱っぽいかも… 比較 いつも ＝基準となる状態 9

頭の中に基準を作る 1. 以前のソフトウェア（変更前）はどう動いたか？ 2. 同じソフトウェア内の類似の機能はどう動くか？ 対象ソフト ウェアに 近い 3. 社内の別のソフトウェアはどう動くか？ 4. 社外のソフトウェア（競合他社やデファクトスタ ンダード）はどう動くか？ 5. 現在のトレンドはどうか？ 6. 法令やスタンダードに沿っているか？ 対象ソフト ウェアから 遠い 10

1. 以前のソフトウェア（変更前）はどう動くか？ ▪ 以前のソフトウェアのデザイン、動作、速度などを基準とします。 あれ、、、 このチャート開く のに、前より時間 がかかってる 比較 以前のソフトウェア 11

2. 同じソフトウェア内の類似の機能はどう動くか？ 比較 類似機能（ダウンロード） 12

3. 社内の別のソフトウェアはどう動くか？ プロダクトA 比較 プロダクトB 今回のプロダクトのTOP画面 プロダクトC 社内の別プロダクト 13

4.社外のソフトウェア（競合他社やデファクトスタンダード） はどう動くか？ このソフトウェアは コピーを使わないし、 Ctrl+CはCutに 割り当てよう！！ 比較 Ctrl＋C コピー Ctrl＋V ペースト Ctrl＋Z 元に戻す ・ ・ ・ デファクトスタンダード例 MSのExcelのショートカット 14

5. 現在のトレンドはどうか？ 今回のアプリのアイコン は白黒にしよう！ Gmail 比較 Google Map Photo MindNode ITunes Slack Instagram 現在のトレンドアイコン 15

インスタグラムのアイコンの変化 Ref: https://logos-brand.com/instagram-logo/ 16

6. 法令やスタンダードに沿っているか？ 通信販売に対する規制 通信販売は、隔地者間の取引なので、消費者にとって広告は唯一の情 報です。そのため、広告の記載が不十分であったり、不明確だったり すると、後日トラブルを生ずることになります。そのため特定商取引 法は、広告に表示する事項を次のように定めています。 おっ このレイン コートいいじゃん♪ 比較 •販売価格（役務の対価）（送料についても表示が必要） •代金（対価）の支払い時期、方法 •商品の引渡時期（権利の移転時期、役務の提供時期） •商品若しくは特定権利の売買契約の申込みの撤回又は売買契約の解 除に関する事項（その特約がある場合はその内容） •事業者の氏名（名称）、住所、電話番号 •事業者が法人であって、電子情報処理組織を利用する方法により広 告をする場合には、当該販売業者等代表者または通信販売に関する業 務の責任者の氏名 •申込みの有効期限があるときには、その期限 •販売価格、送料等以外に購入者等が負担すべき金銭があるときには、 その内容およびその額 •引き渡された商品が種類又は品質に関して契約の内容に適合しない 場合の販売業者の責任についての定めがあるときは、その内容 •いわゆるソフトウェアに関する取引である場合には、そのソフト ウェアの動作環境 •商品の売買契約を２回以上継続して締結する必要があるときは、そ の旨及び販売条件 •商品の販売数量の制限等、特別な販売条件（役務提供条件）がある ときには、その内容 •請求によりカタログ等を別途送付する場合、それが有料であるとき には、その金額 •電子メールによる商業広告を送る場合には、事業者の電子メールア ドレス 17 Ref: https://www.no-trouble.caa.go.jp/what/mailorder/

自分の中に基準を作ることで、 探索的テストで「違和感」をとらえやすく なります。 常日頃からアンテナを張って基準をアップ デートしていきましょう。 18

Enjoy Exploratory Testing！ 自分の中に基準を作り、 違和感をとらえていきましょう。 19

Appendix1 ▪ 今回は探索的テストの外側の話を紹介しました。 ▪ 探索的テストにはソフトウェアの内側の話もあります。 ▪ その話はまたどこかで。 ロジック 状態遷移 エラー 処理 データ フロー ソフト ウェア アーキテ クチャー 内側 外側 Ctrl＋C コピー Ctrl＋V ペースト Ctrl＋Z 元に戻す ・ ・ ・ 通信販売に 対する規制 20

Appendix2 ▪ 違和感のつかまえかた （CAT GETTING OUT OF A BAG） – https://miwa719.hatenablog.com/entry/daily20181224 – miwaさんのBlogを補完する形になるように本資料を作成しています。 ▪ Explore It! – 第5章に本資料に関連することが書かれています。 – 特にNever and Alwaysの概念は探索的テスターにとって必須です。 21

• https://miwa719.hatenablog.com/entry/daily20181224