107 Views
June 01, 18
スライド概要
2017/11/06
Deep Learning JP:
http://deeplearning.jp/seminar-2/
DL輪読会資料
����������������� ���� @�� ������� ���������� ������� ����� �� �� �� ������������
�� • 4.52 • ��������1��3��1�� • ����1���13� • �����967� • �������� • ���������3����� • �������� • ��������� • �������� • ������������� • ���������� • ����������3��� • ������0������ • ����������0��� • �������1����
• .c2QZ_7]4FP:UX6=FV
• ,c2QNSG@4Q0
FV
– NSQ9N3W?"8< =7/`A
– -IHLR5NSQ>5
• NS1^%&() \Q
"HNSQ"M
E! CY8<BOJd#+$*')";B
• NSTB"MKD !%&()[ a"4Q/Fb
� � ������� • ���������������������� – �������������� • ����������������� – ������������������ • ���������� – �������� • �������x������������������� – ������������� – ��������� • �����������������������)� – �������
��� ������� • ���������������������� – ���y��������������� • ������������������������� • ���������������������� – �������������������nq���� • ���������������f������������������ �������������� – �������������������������������������������� • ��������������������������
�������� • ���������������� – ������������������� • ������������������������������������� ����������� – �3 �!1��!2������3������ – �3 �$�������������������� • ������������
58*>
•
– 5873#5873 6)1%&;'' A"$(4<&"
• 73=?024<&+.-!&
– =?73 589:,3
– 0273 58@/,3
�������� � ����������� • �������������������������������� – ��������� – �������������������������������� • ������!�������� – !������x�f������������������� – ��������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 – ��� • ∑$ !($) ∈ x =1
,.$2 13-),./0') • – *-),.$2 – !(x = %, y = () %&x = %y = (",.#(45! (%, ()!+"
����fl�� � �����fl���� • ����������������������������������� – �����fl�� • fl����!�������� – !������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� – eu�2$��������fl�!($)δ$�n����
ED4G
•
– @;(?3(>A4G4"$,&!(64?3(>A4G
•
CH@;x, y '#$$(x, y)4"$,& ,&$ x )
(sum rule)%=*+-,
• 7:@;(53
2I/.0<B&9J8F 1
*&)'+
•
– !#.,*&%(#.,!'+
– !(# = x) > 0 $-"!
51437#.:9
•
%$
– 0/#376/"&+-37)8$' #6/",&51437)8
")2!&*(&
•
��� ��������� • �������x�y�����7�x���a����y���a������ ����c��������������������������������� ���� – x ⊥ y��� • ����z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
�������������� � ��� • ����!(x)������%(&)8����������������������������� – !��& % • •
• – ! ! • – !
�������������� 2 ��� • ������������ – ������������������������������������� • ������������������� – ������������� • ������������� – ����������� • ��������������������������c�
��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ • ����������
��� �������� � �������� • ������������ ��� ������������ – !���������������������������!����� • ����" ∈ [0,1])*+ ������n �,- �.�������� • ���!���������1 − 0⊺ "�r���� • ������������ – ������������������������� ����� • {0, … , 4]) ������������ • ������������������o����������������l�� �������� • ��������������������������n
��� �������� 2 ����� • ����������������������������������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
��� �������� � ����� • ��3�����������! = # $% ������� – �������������������������
��� ���L��c� � ���c� • r�c��������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� – ��L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� • ����������������
��� �������� � ����� • ���������������������������������� – �����ℝ" ����� – �����#������ 9$��������� ����� – ����������������� % = $'( ������
3E8">@5I +),5I
•
– ?5J4H(6G4H#A7'!;
• C<4H$,*/F#A7 &$%
2K.-0=B!:L9D 1
��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� & ' • ������������������%��������������� • ���������������������������i�������� • ���������scn�������������
��� �������� � ����� • ���������������������� – ���o������bE������������ • !(#)��������������� • ��������������� – ���������������������������� • ����������������� – dm��nu�������� • �����������������#
��� �������� 9 ����� • ����������������� ��� – ����! " # = % ������ – ��������������s�����&(() ����*(() ��� • ������vt�������� – ������������������%�m�� ������������������ ���� � • �o���+, = -(# = %) • ��o��"������o�� # – �� � ���������������������� -(#|/)� "������n������ – ���y������������������������������y���� ������������ ����������������������� ���
(9+-14./5
•
– 86!#&%!47<:,
• $'" );!#&%!*023
����������������� • ��������� �� – ������� • �����!, #������������������ – ����������������������� $ % = max{0, $}�����������
��������� • ������������� – !(y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
��������������� � ��� ���������������� • – �������������������������� – �������������� • ���������������� – ������������������� • �������������������������t���������� • ���w��������������������������������
��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ������������������������������������������ • �����
�����sp�� � ��sp������������ • sp������ • ��x = #� ����������������� – I(x)�ay������ �������� ' ( • ������� �����������r���sp� • ���������������� – ����������������� – �������������������sp� – ���a���������������������t������������� – x��������� �������������������� �����
��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� – ()����������� • �� • �������������������������������������� �������������n������ • �a�
��������� 1 �������� • ��������������� – ����������������������� • Q�K����������������������������������
������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
������������� • ������������� – U4����������� – ���4������������� • ��������������� – U4����������� – �������������� – ���i��������������� • Φ�������������������������Z������������
���� � • ������)���� � – ���������� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� • �������� ��� �� ������ – �� ��
���� � • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D���������������������������������������� ����69D�������������������������