自由エネルギー原理 -変分自由エネルギー-

⾃由エネルギー原理１ 変分⾃由エネルギー 公⽴⼩松⼤学 藤⽥ ⼀寿 Ver. 20231004

参考⽂献 • 吉⽥，⽥⼝，⾃由エネルギー原理と視覚的意識 • 乾，阪⼝，⾃由エネルギー原理⼊⾨ • Parr et al. (乾訳)，Active inference • Solopchuk, Tutorial on Active inference (https://medium.com/@solopchuk/tutorial-on-active-inference30edcf50f5dc) • など

• https://medium.com/@solopchuk/tutorial-on-active-inference-30edcf50f5dc

迷⼦にならないための気構え • ⾃由エネルギー原理は原理だ． • 原理とは学問的議論を展開する時に予め置かれるべき⾔明（wikipedia） • 単に予め置いただけだから気軽に構える． • ⾃由エネルギー原理は⾃由だ． • ⾃由エネルギー原理は考え⽅なので，我々は⾃由に使える． • ⾃由であるがゆえに雲を掴むようで分からないと感じるが気にしない． • ⾃由エネルギー原理は便利な枠組みだ． • ⾃由エネルギー原理を好きに使って，好きに適⽤すれば良い． • ⾃由エネルギー原理でうまく説明できればラッキーだ． • とにかく式を眺めて薀蓄を述べろ． • ⾃由エネルギー原理は変分ベイズだ． • 式があからさまに変分ベイス．

刺激，予測，⾏動のサイクル

脳は何をやっているのか • 感覚器から情報が脳へ伝わる． • 感覚器からの情報を脳が処理し，外界の状況を推定する． • その推定から，次の⾏動を決め，筋⾁等の効果器の動かし⽅を決める． • 脳から効果器へ信号が伝わる．

神経系における情報の流れ 感覚器から得た環境の情報を処理 し，次の⾏動を決める．⾏動する ために効果器を動かす信号を発⽣ させる． 感覚器により刺激がスパイクに変 換される． 求⼼性 刺激 感覚器 脳から来た信号に従い効果器が動 く． 遠⼼性 中枢神経系 効果器 環境 環境から刺激が⽣成される． ⾏動により環境が変わる． ⾏動

もう少しシンプルに考える 刺激 環境に応じ刺激が変化する 脳は刺激を受ける 脳 環境 脳が次の⾏動を⽣成する ⾏動が環境を変える ⾏動

脳では何が起こっている？ 環境に応じ刺激 が変化する 刺激 脳は刺激を受ける 脳が想定する世界 脳 環境 環境を認識する 推測した環境に応じた⾏動を ⽣成する ⾏動が環境を 変える ⾏動 脳が次の⾏動を⽣成する

確率で考える 環境に応じ刺激が変 化する 𝑝 𝑜 𝑠∗ 刺激𝑜 環境𝑠 ⾏動が環境を変え る 𝑝 𝑠∗ 𝑎 ∗ 脳は刺激を受け る 脳が想定する世界 𝑝(𝑠, 𝑜) 環境を認識する 𝑞(𝑠) 脳 認識した環境に応じた⾏動を ⽣成する ⾏動𝑎 脳が次の⾏動を⽣ 成する 𝑝 𝑜 𝑠 ∗ は条件付き確率を表す． 𝑝 𝑜 𝑠 ∗ とは𝑠 ∗ が起こったときに𝑜が⽣じる確率である．

確率変数，確率分布との対応 • 環境（状態）：𝑠 ∗ • 感覚⼊⼒（観測）：𝑜 • 感覚⼊⼒は環境から⽣じるので𝑔(𝑠 ∗ , 𝑜)の関係（⽣成過程）があるが，それを知 ることはできない． • ⽣成モデル，世界モデル：𝑝 𝑠, 𝑜 • 我々は⽣成過程を知ることはできないが，それを想像すること（⽣成モデルを 作ること）はできる． • 我々は，これまでの経験により⽣成モデルを獲得する． • 𝑝 𝑠, 𝑜 が⽣成過程を正確に表しているかどうかは分からない． • ⽣存に困るほど間違っていれば学習をして修正する必要がある． • 認識：𝑞(𝑠) • 我々は環境を認識している．

𝒔∗ と𝒔は違う • 環境は⽣成過程では𝑠 ∗で表され，⽣成モデルでは𝑠で表される． • 実際の環境と脳内の世界の環境は必ずしも⼀致していなくて良い． • 視覚の場合，⽣活に⽀障がない程度に𝑠 ∗ と𝑠は⼀致している． • しかし，錯視画像を⾒た場合は，𝑠 ∗ と𝑠は異なっている． • カニッツァの三⾓形には三⾓形は書かれていない（𝑠 ∗ に三⾓形は無 い）が，我々は三⾓形があると認識する（𝑠には三⾓形がある．）．

何を⾔いたいのか • 我々は実際の世界がどのようなものか直接知ってはいないし，知るこ とはできない． • 環境は隠れ変数 • 我々が感じる世界は我々の想像（推論）の産物である． • 我々の想像した世界が実際の世界がどうしても⼀致しないようなら想 像を修正する．これを学習という． • 我々の世界は，⽣まれてからの学習により構築される． • 幼少期⽩内障で盲⽬であった場合，成⻑後⼿術により⽩内障が治ったとし ても健常者と同じような知覚は得られない．

⾃由エネルギー原理と関係す る考え⽅

Helmholtzの無意識的推論(unconscious inference) • 視知覚は網膜像から外環境の状態が推定された結果である． 我々は，網膜像から無意 識に⽂字が７であると推 論している． 刺激

ヘルマン・フォン・ヘルムホルツ（1821-1894） • 物理学者，⽣理学者 • 略歴 • 物理が好きだが，周囲の環境に合わせて⽣理学をや • 物理が好きだが，お⾦がないので医者になる． っていた． • 神経⽣理で博⼠論⽂を書く． • 医者をしながら研究をする． • 業績 • 熱⼒学第1法則 • 1847年エネルギー保存則の論⽂を発表する． • ヘルムホルツの⾃由エネルギー • 1849年アルベティーナ⼤学の⽣理学研究所所⻑にな る． • 電気⼆重層 • 1855年視覚の本をまとめる．（⽣理光学の⼿引） • ⾊の三⾊説 • 1863年聴覚の本をまとめる．（⾳⾊の感覚の理論） • 神経の伝達速度 • ⾳⾊の感覚の理論 • ヘルムホルツ共鳴器

Predictive coding (Rao and Ballard , 1999) • ⾼次視覚野から低次視覚野へのフィードバック結合が低次神経活動の 予測を担い，フィードフォワード結合が予測と実際の低次活動の間の 残余誤差を担う． • 神経回路が⾃然界の統計的規則性を学習し，その規則性からの逸脱を ⾼次処理中枢に通知する． • 外部環境は、複数の相互作⽤する隠れた物理的原因（形状，質感，輝 度などの物体属性）を介して，⾃然信号を階層的に⽣成している．そ して，視覚システムの⽬標は，各⼊⼒画像に対して各スケールでこれ らの隠れた原因を最適に推定し，階層的⽣成モデルを⽀配するパラ メータを学習することである．

変分⾃由エネルギーの導出

環境と観測 • 我々は環境を観察する． • 環境（状態）は隠れ変数𝑠 ∗で表される． • 我々は観測値𝑜を観測する． ⽣成過程 Generative process 𝑠∗ 真の状態 True state 𝑜 観測 observation

環境と観測 • 脳は観測から環境を予測する． • 我々は環境について予測し，ある環境𝑠が起こっていると信じている． その信じている度合い（信念: bileif）を𝑝(𝑠)とする． • 脳内には観測と環境の関係を表す内部モデル𝑝 𝑠, 𝑜 が存在する． ⽣成過程 Generative process ⽣成過モデル Generative models 𝑝(𝑜) 𝑠∗ 真の状態 true state 𝑝(𝑜 ∣ 𝑠) 𝑜 観測 𝑝(𝑠) 𝑠 𝑝(𝑠 ∣ 𝑜) 𝑝(𝑠, 𝑜) 推論の状態 Inferred state

Surprisal（情報量） • 観測𝑜のsurprisal（びっくり度，情報量） は次のように書かれる． • − log 𝑝 𝑜 = − log ∑) 𝑝 𝑜, 𝑠 • 起こりにくい𝑜ほどsurprisal（情報量）は⼤きくなる． 𝑝(𝑜, 𝑠)を結合確率joint probabilityという． + 𝑝 𝑜, 𝑠 = 𝑝 𝑜, 𝑠" + 𝑝 𝑜, 𝑠# + ⋯ = 𝑝(𝑜) ! となる．これを周辺化という． − log 𝑝 𝑜 は𝑜が起こったときに得られる情報量を表す． 情報量は起こる確率が少ないほど⼤きい． これは，起こりにくい事象ほど情報量が得られやすいことを意味する． 逆に⾔えば，起こりやすい情報は起こって当たり前なため起こりやすい事象から得られる情報は少ない． 情報量はびっくり度とも⾔える．起こる確率が低い事象ほど，起こったときびっくりするからである． 興味がある⼈は，シャノンの情報理論を勉強しよう． ⽣物は基本的にびっくりしない⽅を好む．そのためびっくり度surprisalを導⼊する． ⽬をつむって暗いのは当たり前で (確率が⾼いので) びっくり度 surprisal は低い．⽬をつむっているにも関わらず明 るい場合はそれが起こりにくい事象なのでびっくり度 surprisal は⾼い．

ダミー分布の導⼊ • Surprisalにダミー分布𝑞を導⼊する． • − log 𝑝 𝑜 = − log ∑) 𝑝 𝑜, 𝑠 = − log ∑) 𝑞 𝑠 • この式にJensenʼs不等式を適⽤すると • − log ∑) 𝑞 𝑠 * +,) , ) ≤ − ∑) 𝑞 𝑠 log * +,) , ) • 更に式変形すると • − log ∑) 𝑞 𝑠 * +,) , ) ≤ ∑) 𝑞 𝑠 log , ) * +,) • 右辺が変分⾃由エネルギーになる． * +,) ,())

解釈 surprisal 変分⾃由エネルギー • − log 𝑝(𝑜) ≤ ∑) 𝑞 𝑠 log , ) * +,) • 観測のsurprisalは変分⾃由エネルギー以下であることが分かる． • 変分⾃由エネルギーはsurprisalの上界である． • 右辺の総和を最⼩にする𝑞(𝑠)を，それを⼩刻みに動かし探すことが出 来る． • 𝑞(𝑠)を操作することで − log 𝑝(𝑜)に近い値を求める事ができる． 変分⾃由エネルギー surprisal − log 𝑝(𝑜) − log 𝑝(𝑜) 𝑞(𝑠)を動かすと⼩さくできる． Model parameters

⾃由エネルギー原理 , - Agentは変分⾃由エネルギー ∑+ 𝑞 𝑠 log . /,- を⼩さく しようとする． Agentは強化学習において，⾏動する主体のことを⾔う．Agentは⾏動し，環境を変える．

変分⾃由エネルギー

変分⾃由エネルギー • 変分⾃由エネルギーは次の式で表される． 𝑞 𝑠 𝐹 𝑞, 𝑜 = + 𝑞 𝑠 log 𝑝 𝑜, 𝑠 - • この式は⽣成モデル𝑝 𝑜, 𝑠 と現在の推定𝑞 𝑠 の差を表す． • ⾃由エネルギー原理では，変分⾃由エネルギーが⼩さくなるように agentが⾏動する．

変分⾃由エネルギーの変形 • 変分⾃由エネルギーは次の２式に変形できる． # " 1. 𝐹 = ∑" 𝑞 𝑠 log $ %," = 𝐷'( 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 # " 2. 𝐹 = ∑" 𝑞 𝑠 log $ %," = 𝐷'( 𝑞 𝑠 ∥ 𝑝 𝑠 − log 𝑝 𝑜 − ∑" 𝑞 𝑠 log 𝑝 𝑜 𝑠 • 𝐷-. はKLダイバージェンスを表す． ダイバージェンスは距離みたいなもの．近ければ⼩さく遠ければ⼤きい． ⽣成過程 Generative process ⽣成モデル Generative models 𝑝(𝑜) 𝑠∗ 真の状態 true state 𝑝(𝑜 ∣ 𝑠) 𝑜 観測 𝑝(𝑠 ∣ 𝑜) 𝑞(𝑠) 𝑝(𝑠) 𝑠 𝑝(𝑠, 𝑜) 推論された状態 inferred state

補⾜：変形の詳細 • 𝐹 = ∑) 𝑞 𝑠 log ∑) 𝑞 𝑠 log 𝑝 𝑜 , ) * +,) , ) * )∣+ *(+) = 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 • 𝐹 = ∑) 𝑞 𝑠 log = ∑) 𝑞 𝑠 log , ) * +,) ∑) 𝑞 𝑠 log 𝑝 𝑜 ∣ 𝑠 = ∑) 𝑞 𝑠 log − log 𝑝 𝑜 ∑) 𝑞 𝑠 , ) * )∣+ − = − log 𝑝 𝑜 = ∑) 𝑞 𝑠 log , ) * +∣) *()) = 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 = ∑) 𝑞 𝑠 log − ∑) 𝑞 𝑠 log 𝑝 𝑜 ∣ 𝑠 , ) * ) −

補⾜： エントロピーとはなんだ？ • n個の事象がそれぞれ確率𝑝" , 𝑝# , … , 𝑝$ で⽣じるとする． • 事象𝑥% の情報量は • − log 𝑝% • で表される．エントロピーは確率が低ければ低いほど⾼い．エントロピー は事象のびっくり度と思える．また，起きにくい事象ほど価値が⾼いとも ⾔える． • 情報量の期待値𝐻は • 𝐻 = ∑$%&" 𝑝 𝑥% − log 𝑝 𝑥% = − ∑$%&" 𝑝 𝑥% log 𝑝 𝑥% • これをエントロピーという． • エントロピーが⾼いほど全事象のびっくり度は⾼い．また，不確実性が⾼ いとも⾔える． ここでのエントロピーは，情報理論のエントロピーである．

補⾜：KLダイバージェンスの意味 • 𝐷'( はKLダイバージェンスジェンスと呼ばれ，確率分布の差を表す．距離の 公理を満たさないので距離ではない． • 𝐷"# 𝑞 𝑥 ∥ 𝑝 𝑥 % $ = ∑$ 𝑞 𝑥 log & $ • KLダイバージェンスの式を変形してみる． • 𝐷'( 𝑞 𝑥 ∥ 𝑝 𝑥 = ∑) 𝑞 𝑥 log − − ∑) 𝑞 𝑥 log 𝑞 𝑥 * ) + ) = ∑) 𝑞 𝑥 log 𝑞 𝑥 − ∑) 𝑞 𝑥 log 𝑝 𝑥 − ∑) 𝑞 𝑥 log 𝑝 𝑥 • これは，次のように２つのエントロピーの差になっている． 𝐷'( 𝑞 𝑥 ∥ 𝑝 𝑥 = − − : 𝑞 𝑥 log 𝑞 𝑥 ) 観測されたデータが 𝑞から ⽣じたと思って計算したエ ントロピー + − : 𝑞 𝑥 log 𝑝 𝑥 ) データが 𝑝 𝑥 ⽣じているが，𝑞から⽣ じたと思って計算したエントロピー （クロスエントロピー） =

１番⽬の変分⾃由エネルギーの式の解釈 • 𝐹 𝑞 = 𝐷'( 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 Relative entropy + − log 𝑝 𝑜 Sensory surprisal • 近似分布（認識分布）𝒒(𝒙)を変え，変分⾃由エネルギーを減らすことを 考える． （perceptual inference） • − log 𝑝 𝑜 は 𝑞に依らないので，ここでは無視する． • 𝑞(s)を変えて𝐹 𝑞(s) を減らすということは， 𝑞を変えて𝐷'( を減らすとい うことである． • 𝑞(s)を変えて𝐷'( を減らすには， 𝑞(s)を 𝑝 𝑠 𝑜 に近づけなければならな い． • つまり， 𝑞(s)を変えて⾃由エネルギーを減らすとは，認識分布を脳内の ⽣成モデルと⼀致させることを意味する． 認識は⾃由エネルギーを減らし認識分布を⽣成モデルに近づけた結果⽣じる．

１番⽬の変分⾃由エネルギーの式の解釈 • 𝐹 𝑞 = 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 + − log 𝑝 𝑜 𝐷"# 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 𝐹(𝑞) − log 𝑝 𝑜 Sensory surprisal • 𝑞(𝑠)を動かして 𝑝 𝑠 𝑜 と近づけると 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 𝑜 は⼩さくな り，変分⾃由エネルギーも⼩さくなる．このとき，変分⾃由エネルギ ーはsurprisalに近づく． • 𝑞(𝑠)を動かして変分⾃由エネルギーを最⼩化すると，変分⾃由エネル ギーはsurprisalに近くなり，さらに𝑝(𝑜, 𝑠)のパラメタを動かして変分 ⾃由エネルギーを最⼩化するとsurprisalも最⼩化できる．

2番⽬の変分⾃由エネルギーの式の解釈 • 𝐹 𝑜 = − ∑) 𝑞 𝑠 log 𝑝 𝑜 𝑠 accuracy + 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 complexity • 感覚⼊⼒𝒐を変え，変分⾃由エネルギーを減らすことを考える．（⾏ 動に基づく認識: active inference） • 𝐷-. 𝑞 𝑠 ∥ 𝑝 𝑠 は 𝑜に依らないので，ここでは無視する． • 𝑜を変えて𝐹 𝑜 を減らすということは， oを変えてaccuracyを増やすと Agentは変分⾃由エネルギーをへらす⾏動をする． いうことである． • 𝑜を変えて accuracy を増やすには，𝑝 𝑜 𝑠 を⼤きくしなければなら ない． • Agentは⾏動することで𝑝 𝑜 𝑠 を⼤きくする．

変分⾃由エネルギー２式を考察する • ∑' 𝑞 𝑠 log % ' & (,' = 𝐷"# 𝑞 𝑠 ∥ 𝑝 𝑠 − ∑' 𝑞 𝑠 log 𝑝 𝑜 𝑠 • 𝐷01 𝑞 𝑠 ∥ 𝑝 𝑠 ：complexity • ∑2 𝑞 𝑠 log 𝑝 𝑜 𝑠 ：accuracy • Complexityは，事後分布𝑞(𝑠)がどれほど事前分布𝑝(𝑠)から離れているかを意味する． • Accuracyは，特定の結果oが与えられたとき，状態sがどれほど起こりやすいかを意 味する． • Complexityは計算が簡単． • 将来のoutcomeはまだ観測していないから，将来のAccuracyの推定は難しい．

認識の流れと変分⾃由エネル ギーの変化

想定する状況 なんの⽂字かわから ない画像 7のように⾒える⽂ 字が書かれた画像 １のように⾒える⽂字が 書かれた画像 これらの画像が刺激として脳に⼊る． ⼈はこれらの画像から書かれた⽂字を推定することになる． ⼈

認識の流れ 時刻：𝑡$ 灰⾊の画⾯が提⽰されている． ⼈は，なんの⽂字が書かれてい るか予想できないので１かもし れないし７かもしれないと思う ． 時刻： 𝑡% 画⾯が変わった． しかし，予想が追いついておら ず１かもしれないし７かもしれ ないと思っている． 時刻： 𝑡& 画⾯から⼈は７かもしれないと 思っている．

次のような刺激と外界の原因の関係を考える 刺激𝑆 同時確率（外界がXと刺激Sが同時に起こる確率） 𝑜* 𝑝 𝑜* , 𝑠* = 0.1 𝑝 𝑜* , 𝑠+ = 0.1 𝑜+ 𝑝 𝑜+ , 𝑠* = 0.32 𝑝 𝑜+ , 𝑠+ = 0.08 𝑜, 𝑝 𝑜, , 𝑠* = 0.08 外界の原因𝑠 𝑠* =ʻ７ʼ 𝑝 𝑜, , 𝑠+ = 0.32 𝑠+ =ʻ1ʼ 7のつもりで 7に⾒える字 が書かれた 確率 1のつもりで 7のような字 が書かれた 確率

視覚と⾃由エネルギーの変化の例 時刻： 𝑡% 時刻：𝑡$ 状況 刺激𝑠の ときxで ある確 率 sを推測 してい る確率 Relative entropy 変分⾃由エ ネルギー 数字が⾒ていないから，７か１ かは五分五分だと思っている． 時刻： 𝑡& 数字が提⽰されたが，まだ推測が追いつい ておらず，７か１かは五分五分だと思って いる． たぶん７だろうと推測してい る． 𝑝 𝑠 = “7”|𝑜$ = 0.5 𝑝 𝑠 = “1”|𝑜$ = 0.5 𝑝 𝑠 = “7”|𝑜% = 0.8 𝑝 𝑠 = “1”|𝑜% = 0.2 𝑝 𝑠 = “7”|𝑜% = 0.8 𝑝 𝑠 = “1”|𝑜% = 0.2 𝑞 𝑠 = “7” = 0.5 𝑞 𝑠 = “1” = 0.5 𝑞 𝑠 = “7” = 0.5 𝑞 𝑠 = “1” = 0.5 𝑞 𝑠 = “7” = 0.9 𝑞 𝑠 = “1” = 0.1 0 0.322 0.0529 2.32 1.64 1.37

認識と⾃由エネルギー 時刻： 𝑡% 時刻： 𝑡& 画⾯が変わった． しかし，予想が追いついておら ず１かもしれないし７かもしれ ないと思っている． ⾃由エネルギー 𝐹 = 1.64 画⾯から⼈は７かもしれないと 思っている． 𝐹 = 1.37 認識が変わったから変分⾃由エネルギーが変わったのではあるが， あくまでも認識が変分⾃由エネルギーを減らすように変わったのである．

⾃由エネルギーの計算の詳細 𝑝 𝑠 = “7”|𝑜$ = 0.5 𝑝 𝑠 = “1”|𝑜$ = 0.5 𝑝 𝑠 = “7”|𝑜% = 0.8 𝑝 𝑠 = “1”|𝑜% = 0.2 𝑞 𝑠 = “7” = 0.5 𝑞 𝑠 = “1” = 0.5 𝑞 𝑠 = “7” = 0.5 𝑞 𝑠 = “1” = 0.5 Relative entropy 𝑞 𝑠 A 𝑞 𝑠 log =0 𝑝(s, 𝑜$ ) ' Relative entropy A 𝑞 s log ' 𝑞 𝑠 = 0.5 log 0.5/0.8 + 0.5 log 0.5/0.2 = 0.322 𝑝(s, 𝑜% ) 𝐹 𝑞, 𝑜 = A 𝑞 𝑠 log 𝐹 𝑞, 𝑜$ = A 𝑞 𝑠 log ' 𝑞 s − log 𝑝 𝑜$ 𝑝(s, 𝑜$ ) ' 𝑞 𝑠 = 0.5 log 0.5/0.8 + 0.5 log 0.5/0.2 − log 0.4 = 1.64 𝑝(𝑠, o) = − log 0.2 = 2.32 logの底は2とする．

⾃由エネルギーの計算の詳細 𝑝 𝑠 = “7”|𝑜% = 0.8 𝑝 𝑠 = “1”|𝑜% = 0.2 𝑞 𝑠 = “7” = 0.9 𝑞 𝑠 = “1” = 0.1 Relative entropy A 𝑞 𝑠 log ' 𝐹 𝑞, 𝑜 = A 𝑞 𝑠 log ' 𝑞 s = 0.9 log 0.9/0.8 + 0.1 log 0.1/0.2 = 1.37 𝑝(s, o) 𝑞 𝑠 = 0.9 log 0.9/0.8 + 0.1 log 0.1/0.2 − log % 0.4 = 0.0529 𝑝(s, 𝑜)

⾏動と認識の流れと変分⾃由 エネルギーの変化

想定する状況 ⾚丸の部分を注視し ており，周囲がボケ ている画像 7のように⾒える⽂ 字が書かれた画像 １のように⾒える⽂字が 書かれた画像 これらの画像が刺激として脳に⼊る． ⼈はこれらの画像から書かれた⽂字を推定することになる． ⼈

認識の流れ 時刻：𝑡$ ⼈は⾚丸の部分を 注視しており，周 辺視野は解像度が 低くボケて⾒えて いる．⼈は，まだなんの⽂ 字が書かれているか予想してい ないので１かもしれないし７か もしれないと思っている． 時刻： 𝑡% ⾚丸の部分を注視 した状態で，右上 に⽂字が書かれて おり，その⽂字が ７かもしれないと思っている． 時刻： 𝑡& ⽂字をはっきり⾒ようと⽂字の ⽅に視線を移動させる．

認識の流れ 時刻： 𝑡( 視線を移動し終えたが，まだ推 定が追いついておらず，７かも しれないと思っている． 時刻： 𝑡) 画⾯から⼈は⽂字は７だろうと 思っている．

次のような刺激と外界の原因の関係を考える 刺激𝑠 ⾚丸の部分 を注視して おり，⽂字 はぼけて⾒ えている． 同時確率（外界がXと刺激Sが同時に起こる確率） 𝑜* 𝑝 𝑜* , 𝑠* = 0.11 𝑝 𝑜* , 𝑠+ = 0.09 𝑜+ 𝑝 𝑜+ , 𝑠* = 0.3 𝑝 𝑜+ , 𝑠+ = 0.1 𝑜, 𝑝 𝑜, , 𝑠* = 0.1 𝑝 𝑜, , 𝑠+ = 0.3 外界の原因𝑥 𝑠$ =ʻ７ʼ 𝑠% =ʻ1ʼ 少し⾒え ているた め， 𝑝 𝑜* , 𝑠* の ほうが⼤ きい．

⾏動と変分⾃由エネルギー 時刻： 𝑡% 時刻：𝑡$ 状況 ⾚い丸を注視しているため，⽂字は ボケて⾒える． 推測しておらず，７ か１かは五分五分だと思っている． 刺激oの ときsで ある確率 sのとき 刺激𝑜"で ある確率 𝑝 𝑠 = “7”|𝑜" = 0.55 𝑝 𝑠 = “1”|𝑜" = 0.45 xを推測し ている確率 𝑞 𝑠 = “7” = 0.5 𝑞 𝑠 = “1” = 0.5 𝑝 𝑜" ∣ 𝑠 = “7” = 0.216 𝑝 𝑜" ∣ 𝑠 = “1” = 0.184 時刻： 𝑡& ⾚い丸を注視しているため，⽂字はボケて ⾒える．７の可能性が⾼いと思いっている ． 𝑝 𝑠 = “7”|𝑜" = 0.55 𝑝 𝑠 = “1”|𝑜" = 0.45 𝑝 𝑜" ∣ 𝑠 = “7” = 0.216 𝑝 𝑜" ∣ 𝑠 = “1” = 0.184 𝑞 𝑠 = “7” = 0.55 𝑞 𝑠 = “1” = 0.45 Relative entropy 0.00725 0 uncertainty 2.33 2.31 変分⾃由エネ ルギー 2.33 2.32 ⽂字がある場所に視線を移動 する．

⾏動と変分⾃由エネルギー 時刻： 𝑡) 時刻：𝑡( 状況 視線を⽂字に移したが， 新たに推測してい ない． 刺激𝑜の ときsで ある確率 sのとき 刺激𝑜で ある確率 𝑝 𝑠 = “7”|𝑜# = 0.8 𝑝 𝑠 = “1”|𝑜# = 0.2 sを推定して いる確率 𝑞 𝑠 = “7” = 0.55 𝑞 𝑠 = “1” = 0.45 𝑝 𝑜# ∣ 𝑠 = “7” = 0.588 𝑝 𝑜# ∣ 𝑠 = “1” = 0.204 たぶん７だろうと推測している． 𝑝 𝑠 = “7”|𝑜# = 0.8 𝑝 𝑠 = “1”|𝑜# = 0.2 𝑝 𝑜# ∣ 𝑠 = “7” = 0.588 𝑝 𝑜# ∣ 𝑠 = “1” = 0.204 𝑞 𝑠 = “7” = 0.9 𝑞 𝑠 = “1” = 0.1 Relative entropy 0.229 0.0529 uncertainty 1.45 0.919 変分⾃由エネ ルギー 1.46 1.45

⾏動と⾃由エネルギ 時刻： 𝑡& 時刻： 𝑡% ⾚い丸を注視しているため，⽂字はボケ て⾒える．７の可能性が⾼いと思いって いる． ⾃由エネルギー 𝐹 = 2.32 ⽂字がある場所に視線を移動 する． 時刻：𝑡( 視線を⽂字に移したが， 新たに推測してい ない． 𝐹 = 1.46 刺激が変わったから変分⾃由エネルギーが変わったのではあるが， あくまでも変分⾃由エネルギーを減らすよう⾏動し刺激が変わったのである．

どうして変分⾃由エネルギーが低くする⾏動が分かるのか？ • 先の例では，当然のように変分⾃由エネルギーを低くする⽅に視線を 向けた． • 実際は，変分⾃由エネルギーが低くする⾏動が事前に分からないと， その⾏動は取れない． • 変分⾃由エネルギーの期待値が低い⾏動を選べば，おそらく変分⾃由 エネルギーが低くなると考えられる． • ⾏動を考えるためには， 変分⾃由エネルギーの期待値， すなわち期待 ⾃由エネルギーが必要になる．