【ゼロから作るDeap Learning】5.1~5.2

2025年度前期輪読会 ゼロから作るdeep learning #6 第5章 誤差逆伝播法 京都大学 総合人間学部 5.1~5.2 １回生 本川玄人 0

アジェンダ ◼ 計算グラフ ◼ 連鎖律 1

アジェンダ ◼ 計算グラフ ◼ 連鎖律 2

計算グラフで解く 計算グラフの具体例(問1) 100 200 ×２ ×1. 1 220 ×1.1 ノード（＝関数） エッジ（＝入力または出力） 3

計算グラフで解く 問1の同値表現 100 200 × ×1. × 1 220 2 個数 1.1 消費税 「個数」、「消費税」を変数とみてノードの外に表記できる 4

計算グラフで解く 問1と同様にして解く 個数 2 100 × 200 ＋ 150 × 個数 3 650 715 × 450 消費税 1.1 計算結果が左から右へと伝達＝順伝播 右から左への計算も考えられる＝逆伝播 5

局所的な計算 計算グラフの特徴について 個数 2 100 × 200 4200 ＋ 複雑な計算 4000 × 4620 1.1 消費税 全体が分からなくても入力さえ分かれば計算できる（局所的） 局所的な計算を伝播することで全体の結果がわかる 6

なぜ計算グラフで解くのか？ 計算グラフの利点 ・局所的な計算 ・途中の計算結果を保持できる ・微分を効率よく計算できる 計算グラフを使う最大の理由 逆方向の計算を行う 7

アジェンダ ◼ 計算グラフ ◼ 連鎖律 8

計算グラフの逆伝播 逆伝播の例 x y y=𝑓 𝑥 𝑓 𝐸 𝜕𝑦 𝜕 = 𝑓 𝑥 𝜕𝑥 𝜕𝑥 右から来た信号に対して局所的な 微分をかける 左のノードへ 結果を渡す 𝜕𝑦 𝐸 𝜕𝑥 これを繰り返す！ このプロセスは連鎖律から説明できる 9

連鎖律とは 合成関数の微分についての性質 定義はテキスト(p.130)を参照 例 𝑧 = 𝑡2 𝑡 =𝑥+𝑦 とすると 𝜕𝑧 = 2𝑡 𝜕𝑡 𝜕𝑡 =1 𝜕𝑥 より 𝜕𝑧 𝜕𝑧 𝜕𝑡 = = 2𝑡 ∙ 1 = 2(𝑥 + 𝑦) 𝜕𝑥 𝜕𝑡 𝜕𝑥 𝜕𝑧 𝜕𝑧 𝜕𝑡 = のように打ち消しあう 𝜕𝑥 𝜕𝑡 𝜕𝑥 10

連鎖律と計算グラフ 例で扱った関数をグラフで表す x t 𝜕𝑧 𝜕𝑧 𝜕𝑡 𝜕𝑧 𝜕𝑡 𝜕𝑥 = 2(𝑥 + 𝑦) + y z ＊＊2 𝜕𝑧 𝜕𝑧 𝜕𝑧 𝜕𝑡 = 2𝑡 = 2(𝑥 + 𝑦) 𝜕𝑧 =1 𝜕𝑧 局所的な微分をかけて左のノードへ渡すという操作を繰り返す 11