[DL輪読会]The Cramer Distance as a Solution to Biased Wasserstein Gradients

>100 Views

June 13, 17

スライド概要

2017/6/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

5IF$SBNFS%JTUBODFBTB 4PMVUJPOUP#JBTFE 8BTTFSTUFJO(SBEJFOUT ॳ୩ྯ࣊

2.

ϝλ৘ใɾϞνϕʔγϣϯ w #FMMFNBSF͞Μ w 3FBDUPS w 3FUSBDF w 2Е w  w /*14  w ‫ػ‬ցֶश͸,-ͷ࠷খԽͷจ຺Ͱ‫ޠ‬ΒΕΔ͜ͱ͕ଟ͍͚Ͳɺ ͦΕͰ͍͍Μ͚ͩͬʁ

3.

‫཭ڑ‬ͷ࿩ͷ෮श

4.

,-μΠόʔδΣϯε ఆٛ P(x) KL(P || Q) = ∫ P(x)log dx Q(x) w ૬ରΤϯτϩϐʔ w ৘ใརಘ w ,-JGBOEPOMZJG12 w ,-͸਺ֶత‫Ͱ཭ڑ‬͸ͳ͍ w ࡾ֯ෆ౳ࣜ☓ w ରশੑ☓

5.

,-ͱ࠷໬ਪఆ KL(P || Q) = ∫ P(x)log P(x)dx − ∫ P(x)logQ(x)dx ఆ਺ ର਺໬౓ 1Λ‫ٻ‬Ί͍ͨ෼෍ɺ2Λֶश͍ͯ͠Δ෼෍ͱ͢Δͱ ,-ͷ࠷খԽ͸ର਺໬౓ͷ࠷େԽʹ౳͍͠

6.

ճ‫ؼ‬ͷྫ ВͰύϥϝλϥΠζ͞ΕͨGʹ /  М ͰαϯϓϦϯά͞ΕͨϊΠζΛՃ͑ͯ ֬཰෼෍ͱΈͳ͢ͱ 2⎞ ⎛ 1 Qθ (y | x) = A exp ⎜ − ( y − fθ (x)) ⎟ ⎝ 2 ⎠ − ∫ P(x)logQθ (x)dx = EP ⎡⎣ − logQθ ( x ) ⎤⎦ 1 2⎤ ⎡ = EP ⎢ − log A + ( y − fθ (x)) ⎥ 2 ⎣ ⎦ ೋ৐‫ࠩޡ‬

7.

8BTTFSTUFJOμΠόʔδΣϯε W p ( µ,ν ) = inf p π ∈Γ( µ ,ν ) c(x, y) d π (x, y) ∫ p ෼෍ЖΛ෼෍W΁Ҡಈͤ͞Δ࣌ʹ͔͔Δίετ࿨ͷ࠷খ஋ ෼෍Λ౔ͷΑ͏ͳ΋ͷͱͯ͠ߟ͑ΔͱЖͷ౔ΛWͷ౔ʹҠ͢ ࠷దͳ༌ૹΛߟ͑Δ͜ͱͱಉ౳ Ж W

8.

࿦จ֓ཁ ‫཭ڑ‬ई౓͕ຬͨͯ͠΄͍͠ҎԼͷੑ࣭ʹ͍ͭͯ ֬཰ม਺͕࣋ͭ‫ز‬Կֶతͳੑ࣭Λଊ͑Δ ‫ʹ཭ڑ‬ର͢Δޯ഑ਪఆ͕ෆภ ,-OPUBOE 8BTTFSTUFJOBOEOPU $SBNFSBOE ྆ํຬͨ͢$SBNFS‫཭ڑ‬ΛఏҊͯ͠("/ͱ͔SFHSFTTJPOͱ͔ɹɹɹ ৭ʑ࣮‫ͨ͠ݧ‬Α

9.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ w ,-Ͱ͸֬཰ͷີ౓ൺ͔͠‫͍ͨͳݟ‬Ίɺɹɹɹɹɹ ֬཰ม਺ͷ‫ز‬Կֶతͳੑ࣭͸ଊ͑ΒΕ͍ͯͳ͍ w 8BTTFSTUFJO͸Dؔ਺͕֬཰ม਺ͷ‫ز‬ԿֶతͳҙຯΛ ΋ͭྔͱͳΔ ౔Λԕ͘ʹӡͿͷ͸ίετ͕େ͖͍  w ֬཰ม਺ͷ‫ز‬Կֶతੑ࣭Λ‫͕཭ڑ‬ଊ͑ͯ͘ΕΔͱ EJTKPJOUͳTVQQPSUͰ΋ֶशͰ͖Δ͠ɺɹɹɹɹɹɹ ը૾ͱ͔ྑͦ͞͏͡Όͳ͍ʁ͜͜Β΁Μ͸໌‫͞ه‬Εͯ͸͍ͳ͍

10.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ͱ͸ʁ YZೋ࣍‫ݩ‬ฏ໘্ͷ఺͕ ֬཰ม਺ͷ࣮‫ݱ‬஋ͷ࣌Λߟ͑Δ 1ͷTVQQPSU Z 2ͷTVQQPSU TVQQPSU\Yc1 Y 㱠^ ֬཰͕ΑΓେ͖͍֬཰ม਺ͷू߹ Y

11.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ͱ͸ʁ YZೋ࣍‫ݩ‬ฏ໘্ͷ఺͕ TVQQPSU͕EJTKPJOU ֬཰ม਺ͷ࣮‫ݱ‬஋ͷ࣌Λߟ͑Δ Z 1ͱ2ͷTVQQPSU͕ॏͳ͍ͬͯͳ͍ ͷͰ 1ͷTVQQPSU ,-͸ఆ਺ 2ͷTVQQPSU TVQQPSU\Yc1 Y 㱠^ ֬཰͕ΑΓେ͖͍֬཰ม਺ͷू߹ Y

12.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ͱ͸ʁ YZೋ࣍‫ݩ‬ฏ໘্ͷ఺͕ ֬཰ม਺ͷ࣮‫ݱ‬஋ͷ࣌Λߟ͑Δ 1ͷTVQQPSU Z 2ͷTVQQPSU TVQQPSU\Yc1 Y 㱠^ ֬཰͕ΑΓେ͖͍֬཰ม਺ͷू߹ Y

13.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ͱ͸ʁ YZೋ࣍‫ݩ‬ฏ໘্ͷ఺͕ ֬཰ม਺ͷ࣮‫ݱ‬஋ͷ࣌Λߟ͑Δ Z 8BTTFSTUFJO͕খ͍͞ 1ͷTVQQPSU 2ͷTVQQPSU TVQQPSU\Yc1 Y 㱠^ ֬཰͕ΑΓେ͖͍֬཰ม਺ͷू߹ Y

14.

֬཰ม਺ͷ‫ز‬Կֶతੑ࣭ͱ͸ʁ YZೋ࣍‫ݩ‬ฏ໘্ͷ఺͕ ֬཰ม਺ͷ࣮‫ݱ‬஋ͷ࣌Λߟ͑Δ Z 8BTTFSTUFJO͕େ͖͍ 1ͷTVQQPSU 2ͷTVQQPSU TVQQPSU\Yc1 Y 㱠^ ֬཰͕ΑΓେ͖͍֬཰ม਺ͷू߹ Y

15.

ཧ૝తͳ‫཭ڑ‬ई౓ͷఆࣜԽ w 4DBMFTFOTJUJWF 4  w TVN*OWBSJBODF *

16.

,-ͱ8BTTFSTUFJO w ,-͸ͲͪΒ΋ຬͨ͞ͳ͍ w 8BTTFSTUFJO͸ͲͪΒ΋ຬͨ͢ ΍ͬͺ8BTTFSTUFJOͬ͛͢ʔʁ

17.

ޯ഑ਪఆͷෆภੑ 6 ∞ ∫ δ ( x − a )dx = 1 −∞ δ ( x) = 0 ( x ≠ 0) w w ਅͷ෼෍͸खʹೖΒͳ͍ͷͰ%JSBDͷσϧλؔ਺Λ ࢖ͬͯಘΒΕͨ‫ݧܦ‬෼෍ʹରͯ͠‫཭ڑ‬Λ‫͠ࢉܭ‬ɺɹ ޯ഑๏Ͱ࠷దԽ͢Δ %FFQͰΑ͋͘ΔྲྀΕ  m P̂(x) = m1 ∑ δ Xi i=1 ͦͷ࣌ͷޯ഑ͷਪఆ͕ෆภͰͳ͍ͱֶश͕ɹɹɹɹ ҆ఆ͠ͳ͔ͬͨΓؒҧͬͨ࠷ద஋ʹऩଋ͢Δ

18.

,-ͱ8BTTFSTUFJO w ,-ͷ‫ݧܦ‬෼෍ʹର͢Δޯ഑ਪఆ͸ෆภ "QQFOEJY" w 8BTTFSTUFJO͸ෆภͰͳ͍ʁ 8BTTFSTUFJOͷਪఆޯ഑ͱਅͷޯ഑ͷࠩʹԼ‫͕͋ݶ‬Δ͜ͱ ؒҧͬͨ࠷దղʹऩଋ͢Δ͜ͱ ܾఆతͳ෼෍ʹऩଋͯ͠͠·͏໨ඪ෼෍͕ଘࡏ͢Δ ͱ͍͏͕̏ͭ#FSOPVMMJ෼෍ͷ৔߹ʹ‫͞໌ূͯͬݶ‬Ε͍ͯΔ "QQFOEJY" ͨͩɺVOCJBTFEͳ8BTTFSTUFJOͷޯ഑͕ಘΒΕΔ͔Ͳ͏͔ࣗମ͸PQFOQSPCMFNͱ͍ͯ͠Δ

19.

‫ط‬ଘ‫ڀݚ‬ w 8BTTFSTUFJOΛ࢖ͬͨ‫ػ‬ցֶश͸ɹɹɹɹɹɹɹɹ ݁‫ہ‬,-ͱ૊Έ߹Θ͞Ε͍ͯΔࣄ͕ଟ͍ w 8("/͸VOCJBTFEͳਪఆ͕Ͱ͖ͯΔͬΆ͍ʁ

20.

$SBNFS%JTUBODF ∞ l ( P,Q ) = ∫ | FP (x) − FQ (x) | dx p p p −∞ '͸ྦྷੵ෼෍ w 4 ͱ * Λຬͨ͠ͳ͕Βɺ 6 ΋ຬͨ͢৽͍͠‫཭ڑ‬ $SBNFS%JTUBODFΛ࢖ͬͨΒྑͦ͞͏ w Qʹ͔͗ͬͯ 4 * 6 ͢΂ͯຬͨ͢ "QQFOEJY"

21.

༨ஊ Ұ࣍‫ʹݩ‬ஔ͍ͯ QͰ͸8BTTFSTUFJOͱ$SBNFS͸‫׬‬શʹҰக͢Δ 1 W1 (P,Q) = ∫ | F (µ ) − F ( µ ) | d µ 0 ∞ −1 P −1 Q l1 ( P,Q ) = ∫ | FP (x) − FQ (x) | dx −∞

22.

༨ஊҰ࣍‫ݩ‬8BTTFSTUFJO Y Y c(x1 , y1 ) + c(x2 , y2 ) < c(x1 , y2 ) + c(x2 , y1 ) ࠷ద༌ૹ͸୯ࣹͳ΋ͷͷΈʂʂ Z Z

23.

༨ஊߴߍ਺ֶ ྦྷੵ෼෍ؔ਺ Z  ͔ͬͪ͜Β‫ݟ‬Δ  Y ͔ͬͪ͜Β‫ݟ‬Δ

24.

&OFSHZ%JTUBODF w ͜͜·Ͱͷ࿩Ұ࣍‫ͨͬͩݩ‬ͷͰɺ$SBNFSΛɹɹɹɹɹɹ ଟ࣍‫֦ʹݩ‬ு͠·͠ΐ͏ ‎ &OFSHZ%JTUBODF ΍ͬͺΓ͜Ε΋ 4 ͱ * ͱ 6 Λຬͨ͢ "QQFOEJY"

25.

‫཭ڑ‬ई౓ൺֱ࣮‫ݧ‬ w w ؆୯ͳ཭ࢄ֬཰෼෍ʹ੍‫ݶ‬ΛՃ͑ͯ w ,- w 8BTTFSTUFJO w $SBNFS Λ‫ޯͯ͠ͱ཭ڑ‬഑๏Ͱֶशͯ͠ൺֱ࣮‫ݧ‬Λߦͬͨ

26.

‫཭ڑ‬ई౓ൺֱ࣮‫݁ݧ‬Ռ w Ұ൪ࠨ͕໨ඪͷ෼෍Ͱֶश͢Δ෼෍͸̍ͱ̍̌ͷɹ ֬཰͕ಉ͡ʹͳΔΑ͏ͳ੍‫͕ݶ‬Ճ͑ΒΕ͍ͯΔ w $SBNFS͸ਅͷ8BTTFSTUFJOΛ࠷খʹ͢Δ෼෍ʹɹ Ұ൪͍ۙ‫ܗ‬Λֶश͍ͯ͠Δ

27.

3FHSFTTJPO࣮‫ݧ‬ w ͍ͭͷ೥ͷՎ͔͋ͯΔճ‫ؼ‬໰୊ w ೥Λ཭ࢄΫϥεʹͯ͠෼෍ͱͯ͠ද‫ݱ‬ w $SBNFS͕Ұ൪3.4&Λখͨ͘͞͠

28.

$SBNFS("/ w &OFSHZ%JTUBODFΛར༻ͯ͠("/Λֶश w ୯७ʹ&OFSHZ%JTUBODFΛ࢖͏ͷͰ͸ͳ͘ɺ %JTDSJNJOBUPSͷΑ͏ͳUSBOTGPSNFSؔ਺Λ‫ͤ·ט‬ ͍ͯΔ w ී௨ͷ("/ͷଞʹɺ൒෼ͷը૾͔Βɹɹɹɹɹɹ ΋͏൒෼Λ෮‫ͤ͞ݩ‬Δ("/Λ΍͍ͬͯΔ

29.

$SBNFS("/"MHPSJUIN

30.

$SBNFS("/ଟ༷ੑ 8("/(1 w $SBNFS("/ 8("/(1ʹൺ΂ͯ෮‫ͨ͠ݩ‬൒෼ʹଟ༷ੑ͕͋Δ

31.

$SBNFS("/ଟ༷ੑ 8("/(1 w $SBNFS("/ 8("/(1ʹൺ΂ͯ෮‫ͨ͠ݩ‬൒෼ʹଟ༷ੑ͕͋Δ

32.

$SBNFS("/‫݈ؤ‬ੑ w $SJUJDͷߋ৽ճ਺Λม͑ͯΈͨάϥϑ w $SBNFS("/͸ߋ৽ճ਺ͷӨ‫ڹ‬Λड͚ͮΒ͍

33.

5SBOTGPSNFSͷྗ

34.

$SBNFS("/·ͱΊ w ,-͕Կͷ‫࢖ʹ͠ͳؾ‬ΘΕ͍ͯΔ͚Ͳɺɹɹɹɹ 4 * 6 ͳͲͷ৚݅Λߟྀͯ͠‫ز‬Կֶతʹɹɹɹɹ ଥ౰ͳ‫཭ڑ‬Λߟ͑ͨ΄͏͕Α͍ w VOCJBTFEͰ͠8BTTFSTUFJOΛখ͘͢͞Δޯ഑Λɹ ਪఆͰ͖Δ$SBNFS%JTUBODFΛఏҊ

35.

$SBNFS("/‫ײ‬૝ w ‫཭ڑ‬ई౓ͷຬͨ͢৚݅ʹ͍ͭͯͷߟ࡯͸͓΋͠Ζ͍ w 8BTTFSTUFJO͕CJBTFEͰ͋Δূ໌͕#FSOPVMMJ෼෍ ͷ͔࣌͠ͳ͍ w ‫ʹٸ‬5SBOTGPSNFSͱ͔(1͕ग़ͯ͘Δ w #FMMFNBSF͞Μͷ*$.-௨ͬͨ‫ڧ‬Խֶश࿦จ͕Ҿ༻ ͞ΕͯΔ͚Ͳެ։͞Εͯͳ͍ͷͰ‫ͳʹؾ‬Δ