JJUG CCC 2024 Fall mutation testing

9.7K Views

October 25, 24

#ミューテーションテスト #PITest #テスト #Java #ソフトウェアテスト

スライド概要

JJUG CCC 2024 Fall 2024/10/27
『テストが正しいかテストする？Mutation Testing入門！』

虎の穴ラボ株式会社河野裕隆

hirotaka kono

@hk_it7

スライド一覧

Ruby/Javaプログラマー。エンジニアリングマネージャー。軽度の広く浅いオタク。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.36MB)

関連スライド

【JJUG CCC 2024 Spring】物理削除/論理削除 #jjug_ccc_c #jjug_ccc

hirotaka kono 28.3K

せやかて駆動（原作では言ってない）設計入門ー公開版

hirotaka kono 1.5K

結局「型」ってなんなん？？？

プログラミング型型システム

hirotaka kono 665

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.3M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.1M

最新の6.0で学ぶ！初めてのひとのためのSpring Security

java spring security

tada 0.9M

各ページのテキスト

#jjug_ccc #jjug_ccc_c 自己紹介河野裕隆（こうのひろたか）好きなもの ● 2019/08～虎の穴ラボ ● VOCALOID（初音ミク） ● 新規開発チーム ● 謎解き、クイズ ○ ● クリエイティア他 X: @hk_it7 虎の穴ラボへの入社理由 ● スキルを高めあえる仲間がほしい ● ユーザーに近い仕事がしたい 2 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

10.

11.

12.

13.

14.

15.

#jjug_ccc #jjug_ccc_c Mutation Testingとは ● 検証対象のコードに誤りを意図的に挿入 ○ ちゃんと「テストに失敗する」か確認 ○ 偽陰性のチェック ● Fuzzing Test/エラーシーディングの一種 15 ○ 意図的に予期せぬデータ等を入れるテスト Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

16.

17.

#jjug_ccc #jjug_ccc_c コラム - 偽陽性と偽陰性テスト結果＼実装コード正しい誤っている成功期待通り偽陰性失敗偽陽性期待通り ● 偽陽性：脆いテスト、ﬂaky testなど ● 偽陰性：空振り、カバレッジ不足などサバンナ便り第2回（和田卓人）より https://gihyo.jp/dev/serial/01/savanna-letter/0002 17 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

https://gihyo.jp/dev/serial/01/savanna-letter/0002

18.

19.

20.

21.

22.

23.

24.

#jjug_ccc #jjug_ccc_c 「PIT （Pitest）」の紹介と実演 ● コードを意図的に変更する ○ Stringの戻り値を意図的に空文字にする ○ 判定条件をひっくり返す ■ if(hoge) => if(!hoge)にする 24 ● エラーにならなかったらテストに誤りありかも Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

25.

26.

https://pitest.org/java_mutation_testing_systems/

27.

28.

29.

https://github.com/h-kono-it/jjug_ccc_2024_fall

30.

[beta]

#jjug_ccc #jjug_ccc_c

「PIT （Pitest）」の紹介と実演 - build.gradle
plugins {
id 'java'
id 'info.solidsoft.pitest' version '1.15.0'
}
// 中略
repositories {
mavenCentral()
}
dependencies {
testImplementation platform('org.junit:junit-bom:5.10.0')
testImplementation 'org.junit.jupiter:junit-jupiter'
}
test {
useJUnitPlatform()
}
pitest {
junit5PluginVersion = '1.2.1'
pitestVersion = '1.15.2'
targetClasses = ['example.FizzBuzz*', 'example.TestFizzBuzz*','example.Coverage*',
'example.TestCoverage*']
outputFormats = ['XML', 'HTML']
}

30
Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

#jjug_ccc #jjug_ccc_c 注意点とさらなる課題 - テスト時間について ● 大きなプロジェクトでは未検証😭 ● Joda-Timeライブラリで1万の変異を起こした場合、3分くらいとのこと ○ https://www.joda.org/joda-time/ ○ https://www.oracle.com/webfolder/tec hnetwork/jp/javamagazine/Java-ND16MutationTesting.pdf （PDF直リンク） 46 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

47.

48.

49.

50.

#jjug_ccc #jjug_ccc_c 参考リンク 1. サバンナ便り第2回偽陽性と偽陰性 a. https://gihyo.jp/dev/serial/01/savanna-letter/0002 2. Mutation Testingを活用してテスト品質を考える a. https://speakerdeck.com/kakehashi/introduction-to-mutat ion-testing 50 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

51.

#jjug_ccc #jjug_ccc_c 参考リンク 3. PIT a. https://pitest.org/ 4. テストコードの品質を客観的な数値で担保しよう〜Mutation Testのすすめ〜 a. https://speakerdeck.com/kakehashi/introduction-to-mutat ion-testing 51 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.

52.

#jjug_ccc #jjug_ccc_c 参考リンク 5. State of Mutation Testing at Google a. https://research.google/pubs/state-of-mutation-testing-a t-google/ 6. Java-ND16-MutationTesting a. https://www.oracle.com/webfolder/technetwork/jp/javam agazine/Java-ND16-MutationTesting.pdf （PDF直リンク） 52 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved.