>100 Views
June 01, 18
スライド概要
2017/11/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/
DL輪読会資料
&1 3 +04/- !#*, )'.( %$2,#*, "5
��� ����������������� ���� ������������������ ���������� ������������� ������� ��������
N=
+
-.
")
(*
&
7TYQ932
DK-cOZ/0
64YQ.@P:F^
#"(!
&%!
&%
!
")
'#"(!
%#!,
'$
WHC
L<V
$
`>
\AbUS
acO]+
):_X;
8?DcO
L<NR51NR8G*,J.E
9[24I-MB
4:!%
• 4:/8
• 07.
#
<9
%$
07.
07.=;
-+,1'5
*)
6(
23"#%&
*CGJ-A(<B
• '9-A(:
–
•
+I*C
-A($?%
&1!(#)-)(/43@%-A(
&1HE7!
• '968HE7!
2D5
#0"F>.;=,
-EHC0+*
• /O.K"!
•
1DP*MF0+*)'
8&$:%L !"#$# %, ' J9
-EHC0+*
• 375
– >NI$A;4
– HC&$
•
=#
<,B(6G@
?2
CA`Y>MXHRh
• E[`Y!C*'
–
CA`Y+Gc@
W!;Mn?>M
`Y!CA
• E[`Y+B(%'$O!+Fe(97(
– lfU7! `Y k\=$1/2U7!`Y"NVK
(97(
(%
HZ`Y $-4/+Di
(8b]!m^I+:#
&
LdI!:8b]
(#
• ,6.503"XHRh
8_
PQjPTa)<JgS
)%$/.!,+()%$/.!,
• 978@SQ2K?4C
– =TN6
• ?=1:;J4R>IL=1:OD
• >ILEMBFBF
&
"G3
>ILBF
'
5
H@2K-0#,0*.0AP<
-+*$3'2)0/,-+*$3'2)0
• VR7K#@
• 6>
!BO?$3'2)0#-+*<:H;8=N
(4.3@
BO?$3'2)0GI;&41%48=
N"!
• LTAQ@
"!$3'2)0D
8=59;
F@!VR7KUC
– "
8=MJ;/, -+*=GI;/,-+*=N"!
– BEPGI;8=N6S;
=87+H0G3BA<=87+H0G3B
• =871,3J%rxU#ck!
(
"fy[#=871
,3!RpvdY
• @H7/+
+
-9.7E#{q!_=87#lO!ja)
• =87V"Mu$z!o`)(QN
nJ
•
• _
CDGt#=871,3!
(
*a(QN"$s"=871,3]LST~)(
=87#c|^"wi*&'(
• ?84L*a}W
"ghPZ#J
=871,3mb
• A<=87#FI6B!\)(eb
– ]aK#:
548;"*X2E8>H(lO
$'()%!#*
2=/94
• +@-1F0?2=/34
G2=/D>/
• $'()%!#*
0?B8<G2=/,7
•
C;A&")0?2=/.26594
E:
• !
B:C
• J6G3D5C65C
• <@10I9
FJ6G34=
#.%(')F/2A>98;#
D5CH%
• 65C"$!*
65
D5C
!5
E?%,+8;%
D5C&-%!<7
=?8kN#)hQl'_]
• FT)fmHP)R%*kN&Yj"/&aLN*X'
–
*:>?A;78B3468)FkN1
fZ(R`-b\HP1V"/&1K^G(S!$
• n[eIJ*M^G(kN1i.0/&R
• :>8CJ%*gU(dO1W
59A<@:>8CJ
'0+kN(c2%!,ED/
FH=C1
• 9B$)*,%"#-;GF8
@</E0
>7
9
2H=?56A4&*(!@<D
H=+"'.
3:
����������� • ������������������������������ – �� ���!���������������������������� ��� – �������������������������������� ����������������� – ����������������� • ��������������������������������� �������������������������!�������� ���������������
HKT`V
*I[C+7-6/5KT`V#4109])NF&
•
=SJO'
X!'&Y>
• IDC
&
Q$'
BP'2,/M(%3,+.
8\?
A?@L"`V"^
R_#
GEZW<U
$
;:
&
H7JN1/JN2C)+F.B
• 0E
5;?
• H7-3(@S$
#6A
M
,:
"8RL.9D6+F
!K%&'T
PO$>
2C)GA6
1/JN$=5;
IQ<48$*"
;L89G4H>
•
9G4JKAE*-.0+()1%=?
;L8$0&/',
<CH>
B!
• AE6I*-.0+()1%"7@D:
5F
32#
# • # – $%*&( ! – – " )'
02#?37$%
• +=)9(;
15<)9
-'-8&!
• ?3.:,
?3*>6"4/
QR:dV]=>
• MG/10
"
%
-"B_R!"
• ?A3" # = & ;$!OXTY
• &;!OXK]"!% *9J
• !' !<%7
B_R*Nc)
– 2)B_bT^\C$
– @)6
+,.Z
`$$
EL!J;!OX*SW!8IE&U
•
&6
[aDF9H*5)#"6
HP*4B_R'(
B_R*A
)
"!#
• <G=
'
&%.
?9:&%/
$)J?&%
AJ
• 74+4*8I;CJ?@06EHBF2*J?
(53
1>D,-
"!#
• ' • ! *!()# & " %*! "$
•
042,
• [`G_
QIEHa
"(
)6*5+1!QIL@
Cb7Z\'
O$
• MF
QIEHa!W9gdS
• UD&
.?
$f8
>eK'Y$
KX!
VJ
#QI042,^$3/$
– <TKEAP'Rc%3/-.<=B]N%
^$QI042,'RVJ
$;:
��������������� • ���������������������������������� �������������������������������� • 1�����2������������������������������ �2����2��� ��������������������������� • ���������������������������������� �����������������
��������������� • ������������������������ . ������������� – �������������������������������� ������� ������������� – �������������������������������� �� ������������������������������ . ������������������������� – ���������������������������
��� ����������������� ���� ������������������ ���������� ��� ���� ������
^K
ak81=#ni#$#JeGAV
•
•
•
e[C"Hg\'P
–
–
–
(=,<-6
– eX"JeG(=,<-6#Fm
SU@E#To
– 3:2>E
– Y]p_
–
JeGIl!7.(=,<-6
– 40/NZG
– fcbDE
– 5=90+OhG
– Wd%?BHg
– JeG'Q`&81=#LR
– jME!)<*:;6Hg
LE8
• :MF
– L<
:MF%@&1(0) #"=A!2HK$+',/.*
J%5$"G
• OI9?"D,/.*!6$HK#N38#
– ,/.*!C!>7
• ,/.*B!4;>7$P
• %'&
$).-B7#+
– -B7#5?E93:C<04"
– (E9#,;%'&
&
$8=+E9#,;%'
$D!-B726
– 1/>@(E9#"*-B78A+
• 95)$-!0.*4'+716#(,$8/
!(#$%) ← (!(#) + 1 − ( ,(#) ⊙ , #
#
– 3:2
= 1 − ( / (#20 ,(0) ⊙ ,(0)
01%
&-!":2
%-!$0#
���������� • ������� ����������������� – �����������������������������
C>';C:162534)8D
• ".
A&$07+-)*B#
• <@9=(,!?/.%-)*
–
–
–
–
!" $* • 12940-.6,'* – )/2#5+ ! " ≈ ! "$ + " − "$ ' (" ! "$ + • 7(3 – 0 = (" !("$ ) %28& – + = ("* !("$ ) 128& " ← " − +/) 0 ) * " − "$ ' +(" − "$ )
������������ ���������������� • ������������������������� • ��������� – ��������������� – ���������������������������������� �������������������� – �������������������������������� ws ���� !∗ = !$ − &(( !$ + *+ ,- . ((! ) ! $ – ��������������������������s��
&(%)-
• &(%)- '$#*:";,46!70!
– ! " # 381
– 2.+
– /95
58A9
• .7<,-A9.!7(1>*
– %&'+0"2/;#=:6?@$
– >*(13)!34$
$%)& • # '(!$%'(!"
• 473;@'F>D
!∗ = !$ − &'( )! *(!$ )
– &'( 'AC-/3
( - . / =!?H"$!
•
+:.906
– 521G<I*E8;,<I 01 &BJ"%F>#)
!12( = !1 + 4 ∗ 01 51
–
+:.906
��������������������������������� • ��P������P)��)����� "! = $%& %' %' ⋯ %) • �� %& , %' , %+ , … , %- P������� .& , .' , .+ , … , .- ����������� ������P������ "! = $ %& − 0.& %' − 0.' %+ − 0.+ ⋯ (%) − 0.) ) • ������P�� .- ��P�����������L�������P L������������������������� – ������P������ 0 ' .& .' ∏)45+ %4 ����� %+ , %6 , %7 , … , %) P��������������������������������� ����������� – ������������L������������������
��������������������������������� • �������������������� !" 1 % = ) !*,⋅ , ( !−% = & &= * 1 -+ ) !−% ( * / * • ���� 10 = 234 3/ 35 … 3_8 �� 2 ∼ :(0,1) �������������� ��������� ������ ℎ?@4 ∼ : 0,1 ���������������������� 3?@4 ��������� 10 = 3?@4 ℎA ?@4 �������������������������������� • ������������ ∏?*C5 3* ��������
��������������������������������� • ��������������������������������� – ������������������ • ����������������������������������� ������������������������ !"# + % • ������ ������������������� – �������������������������������� ��� – ���������������� ! ������� • ����������������������������������
������������������������������8 • ����� – ��������8������������� – �������������������� – ������������������������ • o�8 min '($, &) = + .,,- + + 0 − &2 $ $,& ,,- ,,- 3 ,,- – ������������������������������� – ����������������������������� • o�8 min 7 89 , 83 = 89 − 83 45 ,46 3 + :(893 + 833 ) , : > 0
��������������������� ���������3 • ���������������������������������� ! " # ! " ) 1 = '" & ! =" ( )*+ ( 1 ! − (" & )*+ −" ) ) – �������������������������������� ���� – ��������������������� – ���������������������������������� ����������� ! " ) ! = /" htt // )*+ + 1−/ " b / ) d /540 2011/l t /l5 df
FL)7=AN
• 426QS#BM@'! 1/-9?J;8%KG>
– 426+T%QS%$(P%BM@"
• UR>
,6.503
– 426+QD&CO%:EIH%BM@
– B<%
– UR>FL)7=AN
• %BM@"
*
8>)124?
•
– 4?;D39@$C#7/-.0,+4?
– 4?;D3<
=#E/-.0,+
?
•
&:A&5'+6B!*(%4?"*
+%4
;I9)?G&.+/=A
• ;I9)
!
– 8CE2
–
&
"
@<
J7>3.+/=ADH#&541
.-0*,6 2:$
%
!;BKF('
!+ $)"% • (*&#' –
F]D2MX!097:)IO
•
2R
– bWVYGL2`P!0
• N+THDBJ20&'\a"0&%bW\1/
-!'0
!
#(%)
!"
– '
!
!"
– /
# % +% =
!
#
!"
% +1
• <A_UQ(ZK%=C_2I0
– <A_UQ,=C(Q'0)%bW;'0
– 8:6543E^,?>(.#$*@
.'[S
������������������������������8��������� • ������������������������8 – �������������������� – ����������������������� ! " # = %#& ~( #& ,#,* + , !(#. ) – ��� �������� ������ �������� ������ – ��������������������������8
^US( "#""!)7@JAHIGT]
• @JAHIGT]( # ## )
– `\8bX:T],=CD'F2 c&9W2*bX?T]146*.
–
"#""!:MZ
– KR-@JAHIG9a56`\8<:,=T]26*.:7P3
• 9+/>@JAHIGT]
– "!"# ## % "$#"% "
– W2*DCB?Y;T]E'D(QR_[:N1):VO?c&9L0
6*.
���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D������������������������������� �������������69D�������������������������