143 Views
June 23, 24
スライド概要
AI・機械学習を勉強したい学生たちが集まる、京都大学の自主ゼミサークルです。私たちのサークルに興味のある方はX(Twitter)をご覧ください!
2024年度前期輪読会#6「ゼロから作るDeep Learning」 5章 誤差逆伝播法 (5.1~5.2) 理学部理学科⼀回 栗岡幸作 0
5章 ⽬次 誤差逆伝播法 01 計算グラフ 02 連鎖律 03 まとめ 1
1. 計算グラフ 2
5.1計算グラフ 計算グラフとは︖ ・ノード(頂点)とエッジ(有向辺)で構成されるグラフ。 ・エッジは変数、数値。ノードは⼊⼒に対して出⼒値を⼀つ与える 写像。 ・あるノードの出⼒エッジを別のノードの⼊⼒エッジとできる。 g ・複数の連結したノードを⼀つのノードと⾒なすことが可能。 x f y g z x h z 3
計算グラフを⽤いる意味 ・計算グラフを⽤いると、「局所的な微分」を計算グラフに逆⽅向 に伝播させることで、⽬的とする微分の値を効率的に求めること ができる。 4
5.2 連鎖律 5
5.2 連鎖律 計算グラフの逆伝播 微分の逆伝播 下流の信号 E とノードの局所的な微分の積を上流へと伝播 出典︓https://qiita.com/edo_m18/items/7c95593ed5844b5a0c3b 6
5.2 連鎖律 連鎖律 連鎖律(chain rule)とは、1変数関数の合成関数を⼀般の場合に 拡張したもの。 ・1変数関数の合成関数の微分 𝑑𝑓 𝑑𝑓 𝑑𝑡 = & 𝑑𝑥 𝑑𝑡 𝑑𝑥 ・2変数関数の合成関数の微分 𝜕𝑓 𝜕𝑓 𝜕𝑡 = & 𝜕𝑥 𝜕𝑡 𝜕𝑥 例︓𝑓 𝑥, 𝑦 = (𝑥 + 𝑦)! . 𝑓 = 𝑡 ! . 𝑡 = 𝑥 + 𝑦として 𝜕𝑓 𝜕𝑓 𝜕𝑡 = & =3𝑡 " & 1 = 3(𝑥 + 𝑦)" 𝜕𝑥 𝜕𝑡 𝜕𝑥 7
5.2 連鎖律 連鎖律と計算グラフ x f y 𝜕z 𝜕t 𝜕z & = 𝜕t 𝜕y 𝜕y t 𝜕z 𝜕t g z 1 連鎖律より、zのyについての微分を求めることができた。 8
5章 逆伝播法 まとめ まとめ1 まとめ2 計算グラフは局所的な計算によって構成される。 計算グラフの計算の局所性は、微分の逆伝播においても成り立つ。 それは、連鎖律(chain rule)によって保証される。 9
10