【深層学習による画像認識の基礎】2.1~2.4

2026年前期輪読会 画像認識の基礎 (2.1~2.4) 京都大学 工学部 情報学科 数理工学コース 稲葉 陽孔 1

アジェンダ ■ 深層学習の基礎 ■ 多層パーセプトロン ■ 損失関数 ■ 勾配降下法 2

深層学習の基礎 ニューラルネットワーク 人間の脳の動きを真似し、データをAIに処理させる機械学習のモデル 入力層、隠れ層（中間層）、出力層から構成され、各層のニューロンが互いに接続されることで ネットワークを構成する ※隠れ層が多層の場合、多層ニューラルネットワークと呼ぶ 3

深層学習の基礎 深層学習 (ディープラーニング ) 多層ニューラルネットワークで表現された関数の最適化 4

多層パーセプトロン 全層結合 全てのノードが結合した層 x1 計算式（y1） y1 x2 x3 y2 5

多層パーセプトロン 多層パーセプトロン (MLP) 最も基本的な多層ニューラルネットワーク 全層結合を積み重ねることで構成される x1 y1 z1 y=Wx+b・z=W’y+b’とすれば、 z=(W’W)x+W’b+b’となり、 W’W=W’’・W’b+b’=b’’とすることで z=W’’x+b’’とみなせる x2 →MLPでは y=Wx+bとあらわせる x3 y2 z2 ※2層の多層パーセプトロン 6

多層パーセプトロン 活性化関数 いくら全結合層を重ねてもy=Wx+bの形になるので非線形性を表現できない →このデメリットを解消するために、非線形性のある関数（活性化関数）が導入される 活性化関数の例 ReLU Sigmoid 7

多層パーセプトロン 活性化関数の導入結果 y=x^2をReLUを含んだMLP層とそうでないMLP層で近似した場合、表現の度合いに差が出る 8

損失関数 損失関数 現在のMLPによる予測結果(y)と真値がどれだけ一致するかを測るのに用いられる関数 →この損失関数値を最小化するための重み調整を学習または最適化と呼ぶ 損失関数の例 二乗誤差 絶対誤差 9

損失関数 画像分類 画像が入力されたら、どの種類の画像がどの確率であり得るか答えるタスク ex.「犬の画像」が渡されたとき、その画像が「犬の確率を0.9,猫の確率を0.1と答える」 → この時、通常は出力値(y)にsoftmaxを書けることで出力値を確率に変換する softmax関数(入力:x・出力:y) 10

多層パーセプトロン 画像分類の損失関数 クロスエントロピー損失 11

損失関数 クロスエントロピー損失の解釈 →「pによるエントロピー」ー「qによるエントロピー」 ※エントロピー：何bitでその情報を表せるか(情報量をlog(p) bitと定義) 12

勾配降下法 勾配降下法 目的関数L(w)において、wの重みを最適化する場合、 ∇L(w)（L(w)の偏微分＝勾配）を元にwを更新し続ける手法 更新式 勾配降下法の様子 13

勾配降下法 勾配降下法と最適化 (普通は)最適化できることの証明 最適化できない例 (a)なら真の最適解(大域最適解)に向くので問題ないが、 (b)は局所最適解に行き、大域最適解に向けてない (b) (a) 14

勾配降下法 確率的勾配降下法 勾配降下法では、１回の更新に全データを用いる必要があり、訓練時間が長くなる その欠点を解消するため、データを均等に分割し、各グループを用いて勾配降下法を行う手法 →１回の更新に用いるデータ数が格段に減る 15

勾配降下法 確率的勾配降下法と勾配降下法 ミニバッチによる∇Lbは、∇Lより不正確 →しかし、∇Lbの期待値が∇Lなので、∇LbによるLの最小化はできうる 計算式(∇Lbの期待値 ) デメリット ∇Lbは勾配∇Lに対してノイズが入ってるとみなせるが、 メリット そのノイズによって悪い局所解から抜け出せる可能性がある 16

参考 https://www.skygroup.jp/media/article/3471/ https://monstar-lab.com/dx/technology/ai-deeplearning/ https://yaju3d.hatenablog.jp/entry/2017/08/27/233459 https://www.ios-net.co.jp/blog/20250910-5731/ https://zero2one.jp/ai-word/mini-batch-learning/?srsltid=AfmBOorNU-U8Pj00IZa7-okHyhEANIfkgwLkB0yPqr9Z hD6jYLO-Qlv3 17

• https://www.skygroup.jp/media/article/3471/
• https://monstar-lab.com/dx/technology/ai-deeplearning/
• https://yaju3d.hatenablog.jp/entry/2017/08/27/233459
• https://www.ios-net.co.jp/blog/20250910-5731/
• https://zero2one.jp/ai-word/mini-batch-learning/?srsltid=AfmBOorNU-U8Pj00IZa7-okHyhEANIfkgwLkB0yPqr9ZhD6jYLO-Qlv3