[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化

110 Views

June 01, 18

スライド概要

2017/11/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

    &1  3 +04/-  !#*, )'.( %$2,#*, "5

2.

��� ����������������� ���� ������������������ ���������� ������������� ������� ��������

3.
[beta]
N=


+

-.

")

(*

&



7TYQ932

DK-cOZ/0

64YQ.@P:F^

#"(!

&%!

&%

!



")

'#"(!



%#!,

'$
WHC
L<V
$

`>

\AbUS

acO]+
):_X;
 8?DcO
 L<NR51NR8G*,J.E
 9[24I-MB


4.
[beta]
4:!%
• 4:/8

• 07.
#

<9



%$

07.
07.=;

-+,1'5

*)

6(

23"#%&



5.
[beta]
*CGJ-A(<B
• '9-A(:
– 

• 

+I*C

-A($?%

&1!(#)-)(/43@%-A(

&1HE7!

• '968HE7!

2D5







#0"F>.;=,

6.
[beta]
-EHC0+*
• /O.K"!
• 

1DP*MF0+*)'

8&$:%L !"#$# %, ' J9

-EHC0+*

• 375
– >NI$A;4
– HC&$

•

=#

<,B(6G@

?2

7.
[beta]
CA`Y>MXHRh
• E[`Y!C*'
–

CA`Y+Gc@

W!;Mn?>M

`Y!CA

• E[`Y+B(%'$O!+Fe(97(
– lfU7! `Y k\=$1/2U7!`Y"NVK
(97(
(%

HZ`Y $-4/+Di

(8b]!m^I+:#

&

LdI!:8b]

(#

• ,6.503"XHRh

8_

PQjPTa)<JgS

8.
[beta]
)%$/.!,+()%$/.!,
• 978@SQ2K?4C
– =TN6

• ?=1:;J4R>IL=1:OD

• >ILEMBFBF
&

"G3

>ILBF

'

5

H@2K-0#,0*.0AP<

9.
[beta]
-+*$3'2)0/,-+*$3'2)0
• VR7K#@

• 6>

!BO?$3'2)0#-+*<:H;8=N

(4.3@



BO?$3'2)0GI;&41%48=

N"!

• LTAQ@


"!$3'2)0D

8=59;

F@!VR7KUC

– "

8=MJ;/, -+*=GI;/,-+*=N"!

– BEPGI;8=N6S;

10.
[beta]
=87+H0G3BA<=87+H0G3B
• =871,3J%„rxU#ck!

(

"fy[#=871

,3!RpvdY
• @H7/+

+

-9.7E#{q!_=87#lO!ja)

• =87V"Mu$z!o`)(QN
nJ
• 
• _

CDGt#=871,3!

(

*a(QN"$s"=871,3]LST~€)(
=87#c|^"wi*&'(

• ?84L*a}W

"ghPZ#J

=871,3mb

• A<=87#FI6B!\‚)(eb
– ]aK#:



548;"ƒ*X2E8>H(lO

11.
[beta]
$'()%!#*

2=/94

• +@-1F0?2=/34

G2=/D>/



• $'()%!#*

0?B8<G2=/,7





•

C;A&")0?2=/.26594
E:



12.

 •  !   

13.
[beta]
B:C
• J6G3D5C65C

• <@10I9

FJ6G34=

#.%(')F/2A>98;#

D5CH%

• 65C"$!*


65



D5C
!5

E?%,+8;%
D5C&-%!<7

14.
[beta]
 =?8kN#)hQl'_]
• FT)fmHP)R%*kN&Yj"/&aLN*X'
–

  *:>?A;78B3468)FkN1
fZ(R`-b\HP1V"/&1K^G(S!$

• n[eIJ*M^G(kN1i.0/&R

• :>8CJ%*gU(dO1W


59A<@:>8CJ 

'0+kN(c2%!,ED/
  

15.
[beta]
FH=C1
• 9B$)*,%"#-;GF8
@</E0
>7

9

2H=?56A4&*(!@<D
H=+"'.

3:

16.

����������� • ������������������������������ – �� ���!���������������������������� ��� – �������������������������������� ����������������� – ����������������� • ��������������������������������� �������������������������!�������� ���������������

17.
[beta]
HKT`V
*I[C+7-6/5KT`V#4109])NF&

•

=SJO'
X!'&Y>

• IDC


&

Q$'

BP'2,/M(%3,+.
8\?

A?@L"`V"^

R_#

GEZW<U

$

;:

&

18.
[beta]
H7JN1/JN2C)+F.B
• 0E

5;?

• H7-3(@S$
#6A


M

,:

"8RL.9D6+F

!K%&'T

PO$>

2C)GA6
1/JN$=5;

IQ<48$*"



19.
[beta]
;L89G4H>


•


9G4JKAE*-.0+()1%=?
;L8$0&/',

<CH>





B!



• AE6I*-.0+()1%"7@D:
5F

32#

20.

# • #   – $%*&(  ! –  –   " )' 

21.
[beta]
02#?37$%
• +=)9(;

15<)9

-'-8&!


• ?3.:,



?3*>6"4/

22.
[beta]
QR:dV]=>
• MG/10
"
%

-"B_R!"

• ?A3" # = & ;$!OXTY

• &;!OXK]"!% *9J

• !' !<%7



B_R*Nc)





– 2)B_bT^\C$
– @)6

+,.Z

`$$

EL!J;!OX*SW!8IE&U

•
&6

[aDF9H*5)#"6

HP*4B_R'(
B_R*A

)

23.
[beta]
"!#
• <G=

'

&%.

?9:&%/

$)J?&%

AJ



• 74+4*8I;CJ?@06EHBF2*J?
(53


1>D,-

"!#

24.

 • ' • ! *!()# & "   %*! "$ 

25.

   •  

26.
[beta]
042,
• [`G_

QIEHa
"(

)6*5+1!QIL@

Cb7Z\'

O$
• MF

QIEHa!W9gdS

• UD&
.?

$f8

>eK'Y$

KX!
VJ

#QI042,^$3/$



– <TKEAP'Rc%3/-.<=B]N%
^$QI042,'RVJ

$;:

27.

��������������� • ���������������������������������� �������������������������������� • 1�����2������������������������������ �2����2��� ��������������������������� • ���������������������������������� �����������������

28.

��������������� • ������������������������ . ������������� – �������������������������������� ������� ������������� – �������������������������������� �� ������������������������������ . ������������������������� – ���������������������������

29.

��� ����������������� ���� ������������������ ���������� ��� ���� ������

30.
[beta]
^K
ak81=#ni#$#JeGAV
•

•

•

e[C"Hg\'P
–  
– 
–  

(=,<-6

– eX"JeG(=,<-6#Fm
SU@E#To
– 3:2>E
– Y]p_
–  
 JeGIl!7.(=,<-6
–  40/NZG
–  fcbDE
–  5=90+OhG
–  Wd%?BHg
–  JeG'Q`&81=#LR
–  jME!)<*:;6Hg

31.
[beta]
LE8
• :MF 
– L<

:MF%@&1(0)    #"=A!2HK$+',/.*
J%5$"G

• OI9?"D,/.*!6$HK#N38#
– ,/.*!C!>7

• ,/.*B!4;>7$P



32.
[beta]




• %'&

$).-B7#+



– -B7#5?E93:C<04"
– (E9#,;%'&
&

$8=+E9#,;%'

$D!-B726



– 1/>@(E9#"*-B78A+


33.
[beta]




•   95)$-!0.*4'+716#(,$8/
!(#$%) ← (!(#) + 1 − ( ,(#) ⊙ , #
#

– 3:2

= 1 − ( / (#20 ,(0) ⊙ ,(0)
01%

&-!":2

%-!$0#

34.

���������� • ������� ����������������� – �����������������������������

35.
[beta]
C>';C:162534)8D
• ".

A&$07+-)*B#

• <@9=(,!?/.%-)*
– 



–    
–

 

–



36.

!" $*     • 12940-.6,'* –  )/2#5+ ! " ≈ ! "$ + " − "$ ' (" ! "$ + • 7(3 – 0 = (" !("$ ) %28& – + = ("* !("$ ) 128& " ← " − +/) 0 ) * " − "$ ' +(" − "$ )

37.

������������ ���������������� • ������������������������� • ��������� – ��������������� – ���������������������������������� �������������������� – �������������������������������� ws ���� !∗ = !$ − &(( !$ + *+ ,- . ((! ) ! $ – ��������������������������s��

38.
[beta]
&(%)- 

   

• &(%)-  '$#*:";,46!70!
– ! " #  381 

– 2.+
– /95



39.
[beta]
58A9 

  

 

• .7<,-A9.!7(1>*
– %&'+0"2/;#=:6?@$
– >*(13)!34$

40.

$%)&  • #      '(!$%'(!"

41.
[beta]

• 473;@'F>D
!∗ = !$ − &'( )! *(!$ )

– &'( 'AC-/3

( - . / =!?H"$!

•    

+:.906

– 521G<I*E8;,<I 01 &BJ"%F>#)
!12( = !1 + 4 ∗ 01 51

–

 

 

+:.906

42.

��������������������������������� • ��P������P)��)����� "! = $%& %' %' ⋯ %) • �� %& , %' , %+ , … , %- P������� .& , .' , .+ , … , .- ����������� ������P������ "! = $ %& − 0.& %' − 0.' %+ − 0.+ ⋯ (%) − 0.) ) • ������P�� .- ��P�����������L�������P L������������������������� – ������P������ 0 ' .& .' ∏)45+ %4 ����� %+ , %6 , %7 , … , %) P��������������������������������� ����������� – ������������L������������������

43.

��������������������������������� • �������������������� !" 1 % = ) !*,⋅ , ( !−% = & &= * 1 -+ ) !−% ( * / * • ���� 10 = 234 3/ 35 … 3_8 �� 2 ∼ :(0,1) �������������� ��������� ������ ℎ?@4 ∼ : 0,1 ���������������������� 3?@4 ��������� 10 = 3?@4 ℎA ?@4 �������������������������������� • ������������ ∏?*C5 3* ��������

44.

��������������������������������� • ��������������������������������� – ������������������ • ����������������������������������� ������������������������ !"# + % • ������ ������������������� – �������������������������������� ��� – ���������������� ! ������� • ����������������������������������

45.

������������������������������8 • ����� – ��������8������������� – �������������������� – ������������������������ • o�8 min '($, &) = + .,,- + + 0 − &2 $ $,& ,,- ,,- 3 ,,- – ������������������������������� – ����������������������������� • o�8 min 7 89 , 83 = 89 − 83 45 ,46 3 + :(893 + 833 ) , : > 0

46.

��������������������� ���������3 • ���������������������������������� ! " # ! " ) 1 = '" & ! =" ( )*+ ( 1 ! − (" & )*+ −" ) ) – �������������������������������� ���� – ��������������������� – ���������������������������������� ����������� ! " ) ! = /" htt // )*+ + 1−/ " b / ) d /540 2011/l t /l5 df

47.
[beta]
FL)7=AN
• 426QS#BM@'! 1/-9?J;8%KG>
– 426+T%QS%$(P%BM@"

• UR>

,6.503

– 426+QD&CO%:EIH%BM@
– B<%  
– UR>FL)7=AN
•    %BM@"

*

48.
[beta]
8>)124?
•

 
– 4?;D39@$C#7/-.0,+4? 
– 4?;D3<

=#E/-.0,+ 

?
•



&:A&5'+6B!*(%4?"*



+%4

49.
[beta]
;I9)?G&.+/=A
• ;I9)


!



– 8CE2
– 
&

"






@<

J7>3.+/=ADH#&541

.-0*,6 2:$

%

!;BKF('

50.

!+ $)"% • (*&#' –     

51.
[beta]
F]D2MX!097:)IO
•

  

 2R

– bWVYGL2`P!0
• N+THDBJ20&'\a"0&%bW\1/ 
-!'0
!
#(%)
!"

– '

!
!"

– /

# % +% =

!
#
!"

% +1

• <A_UQ(ZK%=C_2I0
– <A_UQ,=C(Q'0)%bW;'0
– 8:6543E^,?>(.#$*@

.'[S

52.

������������������������������8��������� • ������������������������8 – �������������������� – ����������������������� ! " # = %#& ~( #& ,#,* + , !(#. ) – ��� �������� ������ �������� ������ – ��������������������������8

53.
[beta]
  ^US( "#""!)7@JAHIGT]
• @JAHIGT]( # ## )
– `\8bX:T],=CD'F2 c&9W2*bX?T]146*.
–

"#""!:MZ

– KR-@JAHIG9a56`\8<:,=T]26*.:7P3

• 9+/>@JAHIGT]
– "!"# ## % "$#"%  "
 
– W2*DCB?Y;T]E'D(QR_[:N1):VO?c&9L0
6*.

54.

���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D������������������������������� �������������69D�������������������������