[DL Hacks]Hessian based-analysis (1)

>100 Views

November 18, 19

deep learning

スライド概要

2019/11/11
Deep Learning JP:
http://deeplearning.jp/hacks/

profile-image
スライド一覧

DL輪読会資料

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

【DL輪読会】KAN: Kolmogorov–Arnold Networks
user-img Deep Learning JP 63.5K
slide-thumbnail

【DL輪読会】Evolutionary Optimization of Model Merging Recipes モデルマージの進化的最適化
user-img Deep Learning JP 46.5K
slide-thumbnail

【拡散モデル勉強会】拡散モデルの数理
user-img Deep Learning JP 24.5K
slide-thumbnail

【拡散モデル勉強会】Introduction to Diffusion Models
user-img Deep Learning JP 19.9K
slide-thumbnail

【DL輪読会】Generative Agents: Interactive Simulacra of Human Behavior
user-img Deep Learning JP 18.9K
slide-thumbnail

【DL輪読会】LLMベースの自律型エージェントシステムのサーベイ
user-img Deep Learning JP 17.3K
各ページのテキスト
1.

%-)BDLT࣮૷ൃද )FTTJBOCBTFE"OBMZTZTPG-BSHF#BUDI5SBJOJOHBOE 3PCVTUOFTTUP"EWFSTBSJBMT ஜ೾େֶେֶӃਤॻ‫ؗ‬৘ใϝσΟΞ‫ڀݚ‬Պम࢜೥ ຊ઒఩࠸ 1

2.

͸͡Ίʹ 2

3.

ॻࢽ৘ใ w λΠτϧ)FTTJBOCBTFE"OBMZTZTPG-BSHF#BUDI5SBJOJOHBOE 3PCVTUOFTTUP"EWFSTBSJBMT w ஶऀ;IFXFJ:BP "NJS(IPMBNJ 2J-FJ ,VSU,FVU[FS .JDIBFM8.BIPOFZ w BS9JWIUUQTBSYJWPSHBCT w ձٞ/FVS*14` 3

4.

ΞδΣϯμ w ࿦จ֓ཁ w എ‫ܠ‬ w ϔοηߦྻ w )FTTJBOCBTFE"OBMZTJTͱ͸ w TIBSQNJOJNVNWTqBUNJOJNVN w ࣮‫ݧ‬ w ࣮‫ݧ‬ઃఆ w ࣮૷ w ߟ࡯ 4

5.

֓ཁ w χϡʔϥϧωοτͷֶशʹ͓͍ͯόοναΠζΛେ͖͘͢Δͱਫ਼౓͕Լ͕Δ͕ɼ ͦͷ‫ݪ‬Ҽղ໌͸͞Ε͍ͯͳ͍ w ͜ͷ໰୊ʹରͯ͠ϔοηߦྻͷ‫ݻ‬༗஋Λར༻͢Δ͜ͱͰɼύϥϝʔλ্ۭؒͰͷ ଛࣦؔ਺ͷ‫ॴہ‬తͳߏ଄͕Ͳ͏ͳ͍ͬͯΔ͔Λ෼ੳ w ·ͨऩଋઌͷϔοηߦྻͷ‫ݻ‬༗஋෼෍͕େ͖͍ύϥϝʔλ͸ɼఢରతྫ୊ ʢ"&Tʣʹରͯ͠΋ऑ͍ʢʹϩόετੑ͕௿͍ʣ͜ͱΛ࣮‫ݧ‬తʹࣔͨ͠ 5

6.

ࠓճͷओ࣠ w ͜ͷ໰୊ʹରͯ͠ϔοηߦྻͷ‫ݻ‬༗஋Λར༻͢Δ͜ͱͰɼύϥϝʔλ্ۭؒͰͷ ଛࣦؔ਺ͷ‫ॴہ‬తͳߏ଄͕Ͳ͏ͳ͍ͬͯΔ͔Λ෼ੳ 6

7.

എ‫ܠ‬ 7

8.

ϔοηߦྻ w ଛࣦؔ਺ʹ͓͚Δೋ֊ඍ෼શମͰߏ੒͞ΕΔߦྻ w ‫ݻ‬༗஋ͷූ߸ɾେ͖͞ʹΑͬͯ‫ॴہ‬ೋ࣍ۙࣅͨ͠ͱ͖ͷ‫ܗ‬ঢ়͕Θ͔Δ w χϡʔϥϧωοτͰ͸ޯ഑ಉ༷ ‫఻ٯࠩޡ‬೻๏Ͱ‫ٻ‬ΊΔ͜ͱ͕Մೳʢ13.-ষʣ ‫ݻ‬༗஋͕શͯਖ਼ɿ‫ۃ‬খ஋ ‫ݻ‬༗஋͕શͯෛɿ‫ۃ‬େ஋ ‫ݻ‬༗஋ʹਖ਼ෛͲͪΒ΋͋ΔɿҌ఺ ‫ݻ‬༗஋ʹ͕‫·ؚ‬ΕΔɿ൑அෆೳʢϓϥτʔʁʣ IUUQXXXUIPUIDIJMESFODPNDIBQUFSCDGGFG 8

9.

)FTTJBOCBTFE"OBMZTJTͱ͸ w χϡʔϥϧωοτʹ͓͚Δֶशͷ‫ڍ‬ಈΛϔοηߦྻͷ‫ݻ‬༗஋Λ༻͍ͯ෼ੳ͢Δख๏ w ‫͘ݹ‬͸-V$VO ʹΑͬͯ‫ٴݴ‬ ֶश‫ޙ‬ͷଛࣦؔ਺ʹ͓͚Δϔοηߦྻͷ‫ݻ‬༗஋෼෍ ʢ)FTTJBOTQFDUSVNʣ ΄ͱΜͲͷ‫ݻ‬༗஋͸ʹ͍ۙ஋ΛऔΔ͕ɼҰ෦ͷඇৗʹେ͖ͳ ‫ݻ‬༗஋͕ଘࡏ͢Δ w ֶश‫ޙ‬ͷύϥϝʔλۭؒͰ͸ɼ΄ͱΜͲͷ࣍‫Ͱݩ‬ฏୱͳ஍‫ܗ‬ɼ গ਺ͷ࣍‫ٸ͕ݩ‬फ़ʹ‫͍͕ͯͬۂ‬Δ IUUQZBOOMFDVODPNFYECQVCMJTQEGMFDVOCQEG 9

10.

TIBSQNJOJNVNWTqBUNJOJNVN • sharp minimumΑΓ΋flat minimumͷํ͕൚Խੑೳ͕ߴ͍ʢHochreiter+ 1997ʣ • ύϥϝʔλͷઁಈʹରͯ͠ϩόετ 10

11.

:BP ͷओு • sharp minimumΑΓ΋flat minimumͷํ͕൚Խੑೳ͕ߴ͍ʢHochreiter+ 1997ʣ • ϔοηߦྻͷ‫ݻ‬༗஋͕খ͍͞ όοναΠζ͕খ͍࣌͞ʹ౸ୡ ϔοηߦྻͷ‫ݻ‬༗஋͕େ͖͍ όοναΠζ͕େ͖͍࣌ʹ౸ୡ 11

12.

‫ݧ࣮‬ ‫‪12‬‬

13.

࣮‫ݧ‬ઃఆ w σʔληοτ$*'"3 w Ϟσϧ࿦จ಺ͷ$ w ࿦จͷ࣮‫ݧ‬ೖྗʹؔ͢Δϔοηߦྻͷ‫ݻ‬༗஋෼ੳ w ࠓճͷ࣮‫ݧ‬ॏΈʹؔ͢Δϔοηߦྻͷ‫ݻ‬༗஋෼ੳ w શͯͷॏΈύϥϝʔλʹؔ͢Δϔοηߦྻ͸‫ڊ‬େ w ͦ͜Ͱࠓճ͸࠷ऴ૚ͷॏΈʹؔ͢ΔϔοηߦྻͷΈར༻ʢ‫఻ٯࠩޡ‬೻๏ͷ‫࠷͕ࢉܭ‬΋ܰྔʣ w όοναΠζ   Ͱ࣮‫ݧ‬ w .PNFOUVN4(%MS NPNFOUVN FQPDI 13

14.

࣮‫ݧ‬ઃఆʢ:BP ʣ X 1 2 ɾɾɾ i-1 ɾɾɾ i ‫ݻ‬༗஋ 14 k-1 k ೖྗͰͷ ϔοηߦྻ Y ଛࣦؔ਺

15.

࣮‫ݧ‬ઃఆʢࠓճʣ X 1 2 ɾɾɾ i-1 ɾɾɾ i ‫ݻ‬༗஋ 15 k-1 k ࠷ऴ૚Ͱͷ ϔοηߦྻ Y ଛࣦؔ਺

16.

ஶऀ࣮૷ w IUUQTHJUIVCDPNBNJSHIPMBNJ)FTTJBO'MPX w 5FOTPSqPXͰ͸ͳ͘1ZUPSDI 16

17.

݁Ռʢ:BP ʣ 17

18.

࣮૷ w ϔοηߦྻ͸UGIFTTJBOTͰ؆୯ʹऔಘՄೳ w ϕΫτϧͷTIBQFͰग़ྗ͞ΕΔͷͰߦྻͷTIBQFʹ௚͢ 18

19.

࣮૷ w ‫ݻ‬༗஋ͷ‫ࢉܭ‬ w TDJQZMJOBMHFJHIͰ্ҐL݅ͷ‫ݻ‬༗஋ɾ‫ݻ‬༗ϕΫτϧͷΈΛൈ͖ग़͢͜ͱ͕Մೳ 19

20.

࣮૷ w ՄࢹԽͷͨΊʹऩଋઌͷύϥϝʔλ෇ۙͰͷMPTTΛ‫͢ࢉܭ‬Δ w ऩଋઌͰ࠷ऴ૚ͷॏΈϕΫτϧʹ‫ݻ‬༗ϕΫτϧΛ଍ͯͦ͜͠ͰͷMPTTΛ‫ٻ‬ΊͯɼҾ͍ͯऩଋઌʹ ໭͢Λ‫܁‬Γฦ͢ʢ໭࣌͢ʹ਺஋‫ൃ͕ࠩޡ‬ੜͯ͠͠·͏͕ՄࢹԽʹ͸ͦ͜·ͰӨ‫͍ͳ͠ڹ‬ʜ͸ ͣʣ 20

21.

࣮૷ w ιʔείʔυ͸(JUIVCʹ্͛·ͨ͠ w IUUQTHJUIVCDPNNULX5)FTTJBOCBTFEBOBMZTJTUFOTPSqPX 21

22.

࣮‫݁ݧ‬Ռ όοναΠζ͕େ͖͘ͳΔ΄ͲTIBSQNJOJNVN 22

23.

·ͱΊ w ॏΈʹؔ͢ΔϔοηߦྻͰ΋όοναΠζʹΑΔӨ‫ڹ‬͸େ͖͍ w খ͍͞όοναΠζ͸ॏΈͷઁಈʹରͯ͠ϩόετͳύϥϝʔλʹ౸ୡ͢Δ 23

24.

ؔ࿈࿦จϦετ w )PDISFJUFS 'MBUNJOJNB /FVSBM$PNQVUBUJPO  IUUQ XXXCJPJOGKLVBUQVCMJDBUJPOTPMEFSQEG w -V$VO &⒏DJFOU#BDLQSPQ /FVSBMOFUXPSLT5SJDLTPGUIFUSBEF   IUUQZBOOMFDVODPNFYECQVCMJTQEGMFDVOCQEG w ,FTLBS 0O-BSHF#BUDI5SBJOJOHGPS%FFQ-FBSOJOH(FOFSBMJ[BUJPO(BQ BOE4IBSQ.JOJNB  *$-3 IUUQTBSYJWPSHBCT w 4BHVO &NQJSJDBM"OBMZTJTPGUIF)FTTJBOPG0WFS1BSBNFUSJ[FE/FVSBM /FUXPSLT  *$-3 IUUQTBSYJWPSHBCT 24