[DL輪読会]物理学による帰納バイアスを組み込んだダイナミクスモデル作成に関する論文まとめ

DEEP LEARNING JP [DL Papers] 物理学による帰納バイアスを組み込んだダイナミクス モデル作成に関する論文まとめ Reiji Hatsugai, DeepX http://deeplearning.jp/ 1

• http://deeplearning.jp/

この発表について • 物理学による帰納バイアスを組み込んだダイナミクスモデルを研究し ている論文が、最近複数出ている – 物理の数式やエネルギーを制約としながら、ダイナミクスモデルを学習してい る • 最近の論文を中心にこれらの研究をまとめた – ほとんどが2019, 2020の論文 2

（補足）Wakasugiさんの発表 3

動機 • NN+モデルベース強化学習が発展しているが、データが大量に必要で あったり、取得したデータ分布外においてパフォーマンスが下がるな どの課題がある • 物理学による帰納バイアスはこの問題を解決しうるのではないか？ – バイアスが強くなり必要なデータ数が少なくなる、かも – 物理の式は広い範囲で成り立つため、外挿できるようなる、かも 4

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 5

前提知識 • 論文の中では物理学、特に解析力学、の話がよく出てくる • 事前に前提となる物理学の知識を説明する 6

ラグランジュ方程式 • 最小作用の原理（変分原理、Hamilton原理）から導かれる方程式 – いわゆる運動方程式（F=ma）の解析力学版 • 運動エネルギーと位置エネルギーの差で定義されるラグランジアンに 対して成り立つ微分方程式 • 連鎖律を用いることで加速度に対する式にすることができる • τは非保存力（摩擦力や外力） 7

剛体の接続におけるラグランジュ方程式 （リンクラグランジュ方程式） • ロボットアームのようないくつかの関節で接続された物体を考えると き、ラグランジュ方程式を変形することができる • M(q)は慣性行列と呼ばれ、正定値対称行列となる – コレスキー分解によって下三角行列の形式で表現される事が多い • C(q, q_dot)はコリオリ行列と呼ばれ、Mを用いて表現することも可能 • G(q)は保存力で、位置エネルギーV(q)のqに関する偏微分である – 重力とか 8

ハミルトニアン • 運動エネルギーと位置エネルギーの和であるハミルトニアン – ラグランジアンをルジャンドル変換で座標と運動量に変数変換したものでもあ る • ハミルトニアンの正準方程式が成立する – ラグランジュ方程式と等価 9

4次ルンゲクッタ • 微分方程式だけでは実際の数値計算を行うことができない – 微分方程式上で直接出てくるトルクや加速度は陽に求まる – 位置や速度は積分が入るため、ナイーブにやると誤差が蓄積してしまう • 精度良く微分方程式の数値結果を求める方法 – オイラー法の精度向上版 – いわゆるODEの一種 10

論文紹介に入る前に • 複数の論文を統一的な見方で見るために、以下の３つの問いを設定し、 各論文における答えを書いていく – どの物理方程式を使用しているか – どの要素にどういった形でパラメータを入れているか – 損失関数をどう設計しているか • （注意書き） – 実験の結果はまとめていません – 気になるところがあったら適宜質問してください 11

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 12

DeLaN • リンクラグランジュ方程式を上手く活用してNNを組み込んでいる • リンクラグランジュ方程式に出てくるM(q)をNNによる推論で求める – 直接M(q)ではなくM(q)をコレスキー分解した下三角行列を求める • NNの推論で求めた行列を使ってかかるトルクを計算し、そのトルク と実際のトルクの差を最小化するようにNNを学習する • Lagrange系の草分け的存在（多分）でよく引かれている 13

剛体の接続におけるラグランジュ方程式 （リンクラグランジュ方程式） 再掲 • ロボットアームのようないくつかの関節で接続された物体を考えると き、ラグランジュ方程式を変形することができる • M(q)は慣性行列と呼ばれ、正定値対称行列となる – コレスキー分解によって下三角行列の形式で表現される事が多い • C(q, q_dot)はコリオリ行列と呼ばれ、Mを用いて表現することも可能 • G(q)は保存力で、位置エネルギーV(q)のqに関する偏微分である – 重力とか 14

DeLaN問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – 一般化座標qを入力とし、慣性行列M(q)をコレスキー分解した下三角行列と保 存力G(q)を出力とするNNを使用 • 損失関数をどう設計しているか – トルクの値が一致するように損失関数を設計 15

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 16

MVF • DeLaNと似ているが、ルンゲクッタを用いており、トルクが直接わか らない場合でも使用できるようになっている – DeLaNでは摩擦力等も含めてトルクがわかる必要があった • リンクラグランジュ方程式のM(q)、V(q)（位置エネルギーで、微分す るとG(q)）、τ(q, q_dot, u)をNNの推論によって求める • 4次ルンゲクッタで位置と速度を求め、実際の位置と速度と一致する ように学習する 17

剛体の接続におけるラグランジュ方程式 （リンクラグランジュ方程式） 再掲 • ロボットアームのようないくつかの関節で接続された物体を考えると き、ラグランジュ方程式を変形することができる • M(q)は慣性行列と呼ばれ、正定値対称行列となる – コレスキー分解によって下三角行列の形式で表現される事が多い • C(q, q_dot)はコリオリ行列と呼ばれ、Mを用いて表現することも可能 • G(q)は保存力で、位置エネルギーV(q)のqに関する偏微分である – 重力とか 18

MVF問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – 一般化座標qを入力とし、慣性行列M(q)をコレスキー分解した下三角行列と位 置エネルギーV(q)を出力とするNNを使用 – 一般化座標qと一般化速度q_dotと制御入力uを入力とし、非保存力τ(q, q_dot, u)を出力とするNN（線形）を使用 • 損失関数をどう設計しているか – 4次ルンゲクッタで計算した位置と速度が一致するように損失関数を設計 19

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 20

PINODE • できるだけ物理の既知のパラメータを使いながら、よくわからない部 分に関してNNを用いている • リンクラグランジュ方程式のτ(q, q_dot, u)をNNの推論によって求める • τ以外は既知のパラメータを使用 • 4次ルンゲクッタで位置と速度を求め、実際の位置と速度と一致する ように学習する 21

剛体の接続におけるラグランジュ方程式 （リンクラグランジュ方程式） 再掲 • ロボットアームのようないくつかの関節で接続された物体を考えると き、ラグランジュ方程式を変形することができる • M(q)は慣性行列と呼ばれ、正定値対称行列となる – コレスキー分解によって下三角行列の形式で表現される事が多い • C(q, q_dot)はコリオリ行列と呼ばれ、Mを用いて表現することも可能 • G(q)は保存力で、位置エネルギーV(q)のqに関する偏微分である – 重力とか 22

PINODE問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – 一般化座標qと一般化速度q_dotと制御入力uを入力とし、非保存力τ(q, q_dot, u)を出力とするNNを使用 • 損失関数をどう設計しているか – 4次ルンゲクッタで計算した位置と速度が一致するように損失関数を設計 23

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 24

MBRLPPM • リンクラグランジュ方程式をシンプルな行列の式に変形し、最小二乗 法でパラメータのベクトルを求めている – （式変形はよくわかっていません） 25

MBRLPPM問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – リンクラグランジュ方程式を対象のパラメータに依存する項と依存しない項に 分解し、依存する項パラメータとしている • 損失関数をどう設計しているか – トルクが一致するように損失関数を設計 26

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 27

DiffNEA • NNのような形でパラメータを入れることなく、未知の物理量を自動 微分により最適化する – 未知の物理量として重量や慣性など • どちらかというとシミュレータの最適化 • トルクを一致させるように学習 28

DiffNEA問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – 重量や慣性などの判明していない物理量をパラメータとしている • 損失関数をどう設計しているか – トルクが一致するように損失関数を設計 29

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 30

ADCSA • DiffNEAと同様にシミュレータの最適化をしている • 4次ルンゲクッタを使用して、位置を一致させるように学習している • （自動微分を使わずに微分値を求める手法を使っています） 31

ADCSA問答 • どの物理方程式を使用しているか – リンクラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – 重量や慣性などの判明していない物理量をパラメータとしている • 損失関数をどう設計しているか – 4次ルンゲクッタで計算した位置が一致するように損失関数を設計 32

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 33

LNN • τは考えず、エネルギーの保存を物理的拘束として入れた手法 • ラグランジアン自体をNNの関数として表現 • リンクラグランジュ方程式ではなく一般のラグランジュ方程式に対し て使用可能 • 加速度を一致させるように学習 34

ラグランジュ方程式 再掲 • 最小作用の原理（変分原理、Hamilton原理）から導かれる方程式 – いわゆる運動方程式（F=ma）の解析力学版 • 運動エネルギーと位置エネルギーの差で定義されるラグランジアンに 対して成り立つ微分方程式 • 連鎖律を用いることで加速度に対する式にすることができる • τは非保存力（摩擦力や外力） 35

LNN問答 • どの物理方程式を使用しているか – ラグランジュ方程式 • どの要素にどういった形でパラメータを入れているか – ラグラジアン自体をパラメタライズ • 損失関数をどう設計しているか – ラグランジュ方程式で求めた加速度が一致するように損失関数を設計 36

論文一覧 • Deep Lagrangian Networks: Using Physics as Model Prior for Deep Learning (DeLaN) • A General Framework for Structured Learning of Mechanical Systems (MVF) • Modeling System Dynamics with Physics-Informed Neural Networks Based on Lagrangian Mechanics (PINODE) • Model-based Reinforcement Learning with Parametrized Physical Models and Optimism-Driven Exploration (MBRLPPM) • Encoding Physical Constraints in Differentiable Newton-Euler Algorithm (DiffNEA) • Automatic Differentiation and Continuous Sensitivity Analysis of Rigid Body Dynamics (ADCSA) • Lagrangian Neural Networks (LNN) *（）内は本資料で用いる略称 • Hamiltonian Neural Networks (HNN) 37

HNN • ハミルトニアンを考えてエネルギー保存を拘束に入れている • ハミルトニアン自体をNNの関数として表現 • ハミルトニアンの正準方程式が成立するように学習を行う 38

ハミルトニアン 再掲 • 運動エネルギーと位置エネルギーの和であるハミルトニアン – ラグランジアンをルジャンドル変換で座標と運動量に変数変換したものでもあ る • ハミルトニアンの正準方程式が成立する – ラグランジュ方程式と等価 39

HNN問答 • どの物理方程式を使用しているか – ハミルトニアンの正準方程式 • どの要素にどういった形でパラメータを入れているか – ハミルトニアン自体をパラメタライズ • 損失関数をどう設計しているか – ハミルトニアンの正準方程式が成立するように損失関数を設計 40

全体のまとめ • 去年、今年で多くの類似論文が出されているホットな領域 • それぞれで目的や用いている仮定が異なるため一概に比較はできない ため、自分の状況に合った手法を選ぶのが重要 41