【ゼロから作るDeap Learning】3.1~3.3

2026年度前期輪読会 #4 2026/5/14 ゼロから作るDeepLearning ニューラルネットワーク（3.1~3.4） 工学部情報学科 4回生 宮前明生 0

アジェンダ ◼ パーセプトロンからニューラルネットワークへ ◼ 活性化関数 ◼ 多次元配列の計算 1

アジェンダ ◼ パーセプトロンからニューラルネットワークへ ◼ 活性化関数 ◼ 多次元配列の計算 2

パーセプトロンからニューラルネットワークへ：ニューラルネットワークの変更点 ニューラルネットワークの例について ⚫ 1番左が入力層（画像データやテーブルデータ） ⚫ 真ん中が中間層（隠れ層とも呼ぶ） ⚫ 1番右が出力層（回帰問題なら予測値、分類問題なら予測 クラス確率） パーセプトロンからニューラルネットワークへの変更点 ⚫ 非線形な出力を得るために、 パーセプトロンは閾値を用いた ニューラルネットワークの例 ニューラルネットワークはより一般化にした活性化関数を用 いる ⚫ 重みを勾配降下法や誤差逆伝播法で適切な値に更新する 3

パーセプトロンからニューラルネットワークへ：パーセプトロンに活性化関数を導入 パーセプトロンの閾値処理を活性化関数ℎ(𝑥)を用いて表現する ここでは活性化関数として、ステップ関数ℎ(𝑥)を採用している パーセプトロンの復習 ↑ステップ関数ℎ(𝑥) 0 (𝑏 + 𝑤1 𝑥1 + 𝑤2 𝑥2 ≤ 0) 𝑦=ቊ 1 (𝑏 + 𝑤1 𝑥1 + 𝑤2 𝑥2 > 0) 𝑎 = 𝑏 + 𝑤1 𝑥1 + 𝑤2 𝑥2 𝑦=ℎ 𝑎 0 (𝑥 ≤ 0) ℎ(𝑥) = ቊ 1 (𝑥 > 0) 4

アジェンダ ◼ パーセプトロンからニューラルネットワークへ ◼ 活性化関数 ◼ 多次元配列の計算 5

活性化関数：例①シグモイド関数 シグモイド関数 1 𝜎(𝑥) = 1 + 𝑒 −𝑥 ⚫ 基本はステップ関数を滑らかにしたもの ⚫ 𝑥 → −∞のとき𝜎(𝑥) → 0、 𝑥 → ∞のとき𝜎(𝑥) → 1 ⚫ パーセプトロンの活性化関数はステップ関数 ニューラルネットワークの活性化関数はシグモ イド関数やReLU関数 ⚫ シグモイド関数を採用する利点としては、導関 数が簡潔になることが挙げられる（計算は省 略） 𝜎′ 𝑥 = 𝜎 𝑥 1 − 𝜎 𝑥 ↑シグモイド関数とステップ関数 ※勾配降下法で有効 6

活性化関数：例②ReLU関数 ReLU関数 0 𝑥≤0 ℎ(x) = ቊ 𝑥 𝑥>0 ⚫ 現代のニューラルネットワークの活性化関数として、シ グモイドよりもReLUの方が一般的 ⚫ シグモイド関数と同様に導関数が簡潔になる 0 𝑥≤0 ℎ′ 𝑥 = ቊ 1 𝑥>0 ↑ReLU関数 7

活性化関数：活性化関数が非線形でなければいけない理由 図のような2層ニューラルネットワークを考える。 第1層の活性化関数ℎ1 𝑥 と第2層の活性化関数ℎ2 𝑥 を線形にする。つまり、 ℎ1 𝑥 = 𝑐1 𝑥, ℎ2 𝑥 = 𝑐2 𝑥 このとき 1 1 1 𝑠1 = ℎ1 𝑤11 𝑥1 + 𝑤12 𝑥2 1 1 2 2 𝑤11 𝑠2 = ℎ1 𝑤21 𝑥1 + 𝑤22 𝑥2 1 1 2 1 + 𝑤2 𝑐1 ቀ𝑤21 𝑥1 + 1 𝑤22 𝑥2 ቁ ቁ 2 1 = 𝑐1 𝑐2 𝑤1 𝑤11 + 𝑤2 𝑤21 2 2 1 𝑦 = 𝑐2 ቀ𝑤1 𝑐1 𝑤11 𝑥1 + 𝑤12 𝑥2 1 𝑤2 1 𝑦を𝑥1 , 𝑥2 で表すと、 2 2 𝑤12 𝑦 = ℎ2 𝑤1 𝑠1 + 𝑤2 𝑠2 2 𝑤1 2 𝑤21 1 𝑤22 1 𝑥1 + 𝑐1 𝑐2 ቀ𝑤1 𝑤12 + 1 𝑤2 𝑤22 ቁ 𝑥2 結局 𝑦 = 𝑐1′ 𝑥1 + 𝑐2′ 𝑥2 となり、2層にしても出力は線 形でしか表現できない 8

アジェンダ ◼ パーセプトロンからニューラルネットワークへ ◼ 活性化関数 ◼ 多次元配列の計算 9

多次元配列の計算：行列の積 行列の積 ⚫ 行列の横の並びを行、縦の並びを列と呼ぶ ⚫ 行列の積ABについて、 𝑖, 𝑗 成分はAの𝑖番目 の行ベクトルとBの𝑗番目の列ベクトル ニューラルネットワークの重み行列 ⚫ 𝑥1 , 𝑥2 → 𝑦1 , 𝑦2 , 𝑦3 の計算を単純に𝑿𝑾 = 𝒀 表せる ↑行列の積AB 10

多次元配列の計算：行列の積のコード ⚫ Numpyでは、行列の積はnp.dotや@で実行 できる ↑行列の積AB 11