>100 Views
June 01, 18
スライド概要
2017/12/04
Deep Learning JP:
http://deeplearning.jp/seminar-2/
DL輪読会資料
7>'
0A 9<"%
,;1)8 !#$4;8$
*.&-3-+ ?/-:
5=6B
(2@C
9B+
2C >@#&)
/?3,;!$%'" (5?;" (
-1*040. 6:7<=
6A 8D
�� • ���� • ������������� • ������������������ ��� • ����������������� ���������E������ • ������������E������ ������ • ����������� • ���������� • ��������������������E • ��������������� �������������������� • ������������������ • ������������������� • ������������� • ������������������ • �������������
• !-#'.% • -#'"+&) – *,($
')%
•
– HW[75/RK-)&9>?@:68A4&C
– W[B&U! " , ⋯ , ! % /RK-"%PJ
– ("0#&!'SQD&W[75&RK*SM
• 3%$-1271
– -=7@&Y$-IF!;?<5/ON• Y$-W[D&ET%G =7@/XL!-+%$,CZJV.-
KP+:5#YC
• KP+:5#
– BZ#KP)]&U)JKP+:5HI
– LNA"X\29:;3/1<*FD4:8.#QO'
–
V`AGA,-07 !(#) = &(! #'( ; *)
• ?^+"'!#@T?^+ −"'=@T)S_'#BZA
• -0/6">YC
• ]&U@T)[ER)YC' BZ)W$!HIM%('
EL%1-T<
• EL%1-
–
@7AX!(#) J>!>6&'). %(#) = ' % #() , ! # ; ,
• OPMU=V[ID#S
• 8W#S 9B#8W6H5#S +/12,(*K!
– ]"0+(*!OP#NB-?
-(#) = ' - #() , ! # ; ,
– ;Q OP-ID#\G$FZ#43:Y#RC!
@C!/+L:
• L:F;-0&)
– MO2
=N.(1J349" $?
• .(1HI DHIPKE7
– <56#'&, 3*/-%?3PK8>! B
GA
��������������������� • ������������� – � ���������������+( %��� – � ��������������� & + ( %��� – R +( %����')"!* $ #
�� ������������������ • � ��������������� – ����!�����������"������� • #������������ • $����������������� • %������������ ���
0E;)A!$
%&"
• J =-.#(2+8
'
– <7519!"#ℎ:6 (2% CG/*)
• FBH
• D@
– &(() *(+) , ⋯ , *(()
? 3. (() >,9I4
��������������������� • ������������������������������������ – ��������������������������� • ����������������������� – ���������������������� � ���������������� • ������������� – �������������������������������� • ������������ – ��������������������������������������� ��� • ������������ � ����������������
��������������������� • � ��������������� ��� – ������������������������������ • !�������������������������������� – ������������������������������������
�� � �������������������� • � ��������������� ��� – ���������������������� – ������������� • ������������������������������������ �������
BI=<
•
176J#&,)+/(
"%&NK
– NK0"-*.4M! + 1#37 9@#C#17$ (&) '?:&
– EAD;OH5
– -*.28#17'-*."L#$! '
-*. #G>"F&
DH@?#8=<I&*3/17.
•
%)*MJ
– L+52/1;F&C9$406"
-<K"*
– L+52/1;F&C9 !(A>GE
• &:9
#B'9,!MJ+*#*
�� ������������������ • � ���� – �������������������� • ��������������������
6F?4C/-.2+&
•
!(NA>@
– D9")$>@,10&3J:")$KBIEM8*HL&G;#(
– =7%<")(
'54
GUM@S957<3+"1]QLO
•
'(
'(())
– ! = ∑$ !($) *,(
– >HX,]Q+,()) !-
=1
– ID,CE465;-(-.(/) ,F:8-,(/) # *,(
– 0 = - − 1 0t = 1.VK!+NR#']Q2CE[=(VT\
• . $ (0 < -)-F:8)#', $ ). $45 ,PB2/&
– $%#6789(1 − . $45
:
($45) :
)-JW1 − ℎ<
2/&AY?Z
����������������������roik • ������������������������������������� – ������!���������"������������"($) ������ ���������ro������ik����
C>"0+
•
1/'19I?4G)%(2!
DFE=HL! = {$
%
,⋯,$
(
}/'1;
– 78#&%,*6: JM78#&%,* − 13:
• O
K<"0+"0+
$ - .B@-!(17
1/'1AN54
*0.$=/(. ( )
^X6E@34FC;F(&+QnYHj>9<G5
• u t1D=9<! " 2_feW(&-)#JH
–
*.%&mpk*L!0KMIq+ifP)?EB8T[h10
!(") = & ! "'( , * " ; ,
• ?EB8b^2&0+'?EB8W,-(1)
– #$Mr/*0eWg/1#S'+Mr/ + 1*0eW+dZa_
fIq '0(N[cV
• K ?EB8o)0MO7:9A']U'0(N[
• 0MO7:9A("+\+MO7:9A(+R`,/*sl)(N[
��������������������������������� • ����������������� – � ��������������������� ������������ ����� • ���������������������������� – � �������������������������������������� ����� • ���)((����� – � �����!���������������� • ����!���������������!���������������� • �����������������!����! − # �������
������������������������������� • ����������!������"����������� – ���������������� – �� • � ������������������!�������� – ����#������!������������$(&) ������ ������ • � ������$(() ������ • � ��������
�� � �������������������������� • ������������ ! " # ,⋯," & ' # ,⋯,' & = )! " * * ' # ,⋯,' *
�� � �������������������������� • ������������ ! " # ,⋯," & ' # ,⋯,' & = )! " * * ' # ,⋯,' * – ������������������������" �������������� ��
���������)) • ����������������!(#) �������������� – �� ������������� .���������������������� • � – ��������������������))�� ������������������������� �))��������� • %(#) �������� &(#) ���������� – ����������� • ��������������������))��� • ())�������������������� �������������������
*
• 8"9<:;?
•
8"9<:;?
– VTB.]`7Q.VTB.]`0Yb'5
• ^WN[!Idgc!XKU\,+-O#5
• *$3L4E)
– e_GZ/!7AF
• Pf!/!DF]`" = (% & , ⋯ , % )* )7JH&(>:=@>:=@.]`
– a_GZ/AF]`, = (- & , ⋯ , -
).
)7CL'5(1-!Pf!-24SMR%365
/
• DH/BH2fnC#d+-!-67!
– rm= <2fn!/"*5-1,!-#$%&(" ( , ⋯ , "
J(987"1,2:Ni
– IbshJe2OE2_a0+. :Zt1/)-RL
• Zt12XU#c*%8/C!fnWS:
gY1PM.$0!
– VGT 1:^\C2?;>@1*8
– VGT
2`D
• fn12Pl:BHfn2Pl1FK[&8
'/:N4
• qj3 o]p
+,
|! ( , ⋯ , ! +. )2Qk#OA
?<=@
• ''2'#40+0)
– #011&('..19 15*7# '0)+1#4101748+..'
• >=
– !%*/+&*7$'4 "'.(&'.+/+6+0)0'74#.0'6914-5
• *6625#4:+814)#$5
– !*1 "'#40+0)*4#5''24'5'06#6+10575+0)0%1&'4'%1&'4(14
6#6+56+%#.#%*+0'4#05.#6+10
• *6625#4:+814)#$5
– !765-'8'4 "'37'0%'61'37'0%''#40+0)9+6*'74#.'6914-5
• *6625#4:+814)#$5
– !#*�#7 "'74#./#%*+0'64#05.#6+10$;,1+06.;.'#40+0)61#.+)0#0&
64#05.#6'
• *6625#4:+814)#$5
����������������� ���� ���� ������� �������������������������� ������ ���������� ������� ������� �� ���� ��
G?
JP8LB3I)%'1
ELI(,.0)%'1
2=RK>HA
#$&')%'1
Q@56$!0 -(%'N4:
2O=CSN"'F
2=RK><M;
9D7*+/
MP:OA6L0./4,
• %@E
– 8;'R)GI
– D9%R)GI'C%R)GI
– R)GI'5;
• 13.,*M
(
– Q>%P&%7B
– #%13.,$JF$ *?"!(
– R)P'R)P%<K$-+.2N=*H8
������������������� • �������������� – ����)����������)�������) ��������� – ����������������
$73&1)
• :.-0%)
:.5%)
8+9
– * "(6(!'
4,2/#
������������� • ����������������������� – ���� – )�����(����� – ������������������������������� – �������������������������������������
<@$CF$GIEGU$>
• RA$J@VLQ$F;V?!
– [md51#Y]d53_n3h+*9[p,7:MT$D
• <@$CF$GIEGU$>"
• R=EHCF$GOBV
– d59 1%.-j3CN>GSfs2oZ,7
• P@KXq3CN>GSfs
– `e3ik04#d59ca^0(7)1'8&6#Warlb3_n2g\./%7
! !
YB78*)3
• 4=ZR>L;
2.+-W5:
YB78*)3<F$1,3&?E
– 786C*'+/OA&MD
S%IQKB"@JKBGOOA&MD$
–
2.+-X$78*)3*0(-3
– OAVT
4OA&NP9VT %!#4OAHU$
� ������������������������������� ���������������������������� – ������������������� – �������������������������������� – ������ ������������������ ���������������� – ������ • ����������������������������������� • �������������������
J!kRYo.*1h1:"?]%
• :"?]%
– Q4c\M/fmC>G
– J!kRYo :"?]%NgE@<?
0W-&A<?H"9
– dSV38 KL;=<B'.0^j_Z/412.IlO
– XT8[,+5 b$`a8n76eU3 # @D"FGA<?H"90Pi()6
• +713;
($*
– ,8*'!4– :)&#%0
"*9/6.52
���������� • ����������-���������������������������� – �����,������������ – ������� – �������-��������� – ������������
• !/+3#" – ! %25&!#" !94-601#" !8* ,)'(.7 – 8*! – $ !!
���������� • ���������������� – �������������������������������������� – �����0����������������������������� – ������������������������������������
*6D>85?4
• F='!)
– 3/29E
– # &%F=7A '!)
–
&%@0:.F=($'!)
– F= C-,+;<"1B
39QJ;#8K5
• @>#E'(P<&$#=D5
– TF#H"B7G(C&
– @>#E'(P%,/.*(=D5 :6&
– TF-)+0(MIS!1(O?&%"4#A 2N
–
"%&=L5R
R^P!?@D
• :ACE;58H,$LU(\a'#$cM
–
• H+I-?@D017>d'&
JNTb#`W"Q'[X(R^P"VYg]'
– ?@D;58H,
– :ACE4ADI-=0I
•
#3EKe%_'ZO
• /I7I6<1G.0BI<1
– )9F1Sf#?*:2>$
)7I0BI?*:2>"
���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D���������������������������������������� ����69D�������������������������