数列を見せるだけでアルゴリズムを発見！？ ~ PrfSRで実現する数学的パターン自動解析 ~

Symbolic Regressionと アルゴリズムに適したSR手法の研究紹介 東京大学大学院 情報理工学系研究科 修士1年 伊藤 武

問題です！ 1 4 9 7 1 2 8 2 1 5 3 12 11 8 ? ?に入る数字はなんで しょう？ [email protected] 2

問題です！ 1 4 9 7 1 2 8 2 1 5 3 12 11 8 ?＝６ が答え！ なぜなら… 1列目 + 2列目 = 3列目 6 [email protected] 3

問題です！ 1 4 6 9 6 3 2 5 8 9 2 7 29 71 53 では、このパターンにはどのような法則がある…? これを解く分野が Symbolic Regression (SR) [email protected] 4

Symbolic Regression x 1 4 6 9 6 y 3 2 5 8 9 z 2 7 29 71 53 Symbolic Regressionとは、与えられ たたくさんのx, y, zの数値から、 𝑧 = 𝑓(𝑥, 𝑦) となるような式𝑓を見つける問題のこと！ 因みに…右の例だと 𝑓 𝑥, 𝑦 = 𝑥 + 𝑦 − 1 ここをTransformerで生成する！ [email protected] 5

どうしてSRをする？ 様々な自然数の隠れた法則を機械学習で見つけたい！ 素数 2, 3, 5, 7, … 電子核の電子数 2, 8, 18, 32, … 原子の魔法数 2, 8, 20, 28, … 四則演算、三角関数、指数関数で表すことは 先行で行われてきた！ 例: E2E-SR[1] E2E-SR 予測数式 数値データ [email protected] 6

今までのSRの問題点 隠れた法則がアルゴリズム的なとき、数式では表しずらい… 記号が多くて 式も複雑… 数列 フィボナッチ数列 𝟎, 𝟏, 𝟎, 𝟏, 𝟎, … 数式 𝟎, 𝟎, 𝟎, 𝟏, 𝟐, 𝟑, 𝟒 … 省略 アルゴリズム スッキリ！ 分かりやすい！ [email protected] 7

そこで！PRE式！ PRE式とは、計算論理に表れる原始再帰関数をもとに作 成した独自の式 変換前 変換記号 0 Z +1 S 配列参照 P 関数呼出 C 再帰呼出 R [email protected] 8

PRE式の例を見てみよう！ 足し算の構造が式に現れる！ [email protected] 9

PRE式がわかると何ができる？ 本研究の目的 入出力値からPRE式を生成するモデルの作成 行ったこと 本研究 1. PRE式を定義 2. PRE式とその入出力のデータセットを作成 3. Transformerを学習し、性能を評価 [email protected] 10

本研究の位置づけ 自動アルゴリズム生成 数値からの法則発見 ChatGPT 主成分分析 Microsoft CopilotS Programing by Example 統計 回帰分析 AlphaDev This work TPSR[4] SymbolicGPT[3] E2E-SR[1] 物理など既存の理学 式の生成 [email protected] 可視化 Transformerにより 近年実現 11

学習データの生成方法 1.組合せ全探索 2.ランダム生成 PRE式 20万サンプルの 20K データセットを作成 3.重複式を排除 4. 入出力値を計算 入力1 出力1 入力2 出力2 … (1, 2) 3 5 3 … (2, 3, 4) 5 (5, 1, 9) 8 … 12 45 … 正解データ [email protected] 1 1 モデルへの入力 12

評価方法 評価データの1サンプルは複数の入力・出力ペアからなる。 各サンプルごとに回帰分析の評価測定を行ってサンプル全体で平均する 評価に用いるデータの形式 (入力1, 出力1) (入力2, 出力2) … サンプル1 (2, 14) (3, 21) サンプル2 ((1, 1), 2) ((1, 3), 4) … … (入力1, 出力1) (入力2, 出力2) [email protected] 13

誤差の計算方法 評価1 𝑅2 = 評価2 𝐴𝑐𝑐τ = 回帰分析で用いられる指標。 最大値 1.0 1点1点の精度より、近い点の個数を重視 推論した関数 重みづけされた平均二乗誤差。 最大1.0、最小−∞ 例: 3個の うち2個がτ以内なので 𝐴𝑐𝑐τ = 0.67 [email protected] 14

実験1 テストセットでの評価 学習データと同様に生成したデータセットで評価を行った。 E2E-SR Ours E2E-SRと比べた本研究の生成手法の特徴 1. より多くの点の誤差小さくする傾向がある 2. 適合しない点の誤差が大きい [email protected] 15

実験2 OEISデータの外挿 OEISデータ: 科学分野で現れる自然数列を格納したオンラインデータベース [2] 実験内容 先頭20項を与えて回帰を行い続くの5項の値を予測する。1000サンプルで行った。 実験結果 RMSE: 二乗平均平方根 誤差 Model RMSE Ours 80.87 E2E-SR 29.54 RMSEがE2E-SRよりも悪い。 → 既存のモデルよりも現実データでの適用能力が低い [email protected] 16

実験2 外挿された数列の分類 本研究モデルが外挿した数列の種類を分類した結果 1000 RMSE of E2E-SR サンプル数[個] 500 400 300 200 100 100 10 その他 等差数列 定数数列 本研究モデルが外挿した数列 1 0.1 1 10 100 1000 10000 RMSE of Ours 本研究モデルの生成の特徴 1. 過度に単純化した数列を生成する傾向 2. 複雑な数式の誤差が大きい [email protected] 17

まとめ 数値データからPRE式を生成するモデルを作成することができた。 PRE式学習モデルと、E2E-SRモデルで自然数数列の予測性能を比較した結果 1. 学習データと同母分布データのとき良い性能 2. OEIS数列の外挿のとき悪い性能 本研究のモデルで見られた特徴 1. 単純な列を当てはめる傾向 2. 複雑な数列の誤差が大きい E2E-SR Ours [email protected] 18

今後の展望 1. データセットの複雑化 複雑な関数やモデルが苦手なサンプルを集めて再学習 2. 強化学習の利用 ここ1, 2年でSR生成モデル+強化学習による性能向上が見られる。 [email protected] 19

参考文献 [1] Pierre-alexandre Kamienny, St´ephane d'Ascoli, Guillaume Lample, and Francois Charton. Endto-end symbolic regression with transformers. In S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, and A. Oh, editors, Advances in Neural Information Processing Systems, Vol. 35, pp. 10269–10281. Curran Associates, Inc., 2022. [2] The on-line encyclopedia of integer sequences. https://oeis.org. Accessed: 2025-01-31. [3] Mojtaba Valipour, Bowen You, Maysum Panju, and Ali Ghodsi. Symbolicgpt: A generative transformer model for symbolic regression. ArXiv, Vol. abs/2106.14131, , 2021. [4]Parshin Shojaee, Kazem Meidani, Amir Barati Farimani, and Chandan K. Reddy. 2023. Transformerbased planning for symbolic regression. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NIPS '23). Curran Associates Inc., Red Hook, NY, USA, Article 1990, 45907–45919. [email protected] 20