【DL輪読会】Intelligence at the Edge of Chaos

DEEP LEARNING JP [DL Papers] Intelligence at the Edge of Chaos Kotaro Sakamoto, Matsuo Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

導入 初等オートマトン Elementary Cellular Automata カオスの縁 The Edge of Chaos 時間とともに規則に従ってセルが変化していく計算モデル 秩序とカオスの境界に位置する領域 左 中 右 → 次の状態 1 1 1→? 1 1 0→? 1 0 1→? 1 0 0→? 0 1 1→? 0 1 0→? 0 0 1→? 0 0 0→? 脳の想像力とカオスの縁 https://www.stephenwolfram.com/publications/biomedical-implications-a-new-kind-of-science/ https://www2s.biglobe.ne.jp/~kitanok/Complex/edge.html 複雑性の指標 Complexity Measures 大規模言語モデル Large Language Models Lempel-Ziv Complexity JPEGの圧縮などに使われる技術でもある Compression Complexity Zlib(Zli)とかでどのくらい効率的に圧縮可能であるか Lyapunov Exponent （カオス力学系では言わずと知れた）リアプノフ指数 Krylov Complexity 量子状態の複雑性の指標 割愛 ☺ 他にはコルモゴロフ複雑性などがあります https://masasikatano.wordpress.com/2024/10/15/intelligence-at-the-edge-of-chaos/ 書誌情報 ArXiv: https://arxiv.org/abs/2410.02536 OpenReview @ ICLR 2025 (スコア 6,6,6,6 2024/11/21 時点): https://openreview.net/forum?id=IeRcpsdY7P まとめ記事： 2

• https://www.stephenwolfram.com/publications/biomedical-implications-a-new-kind-of-science/
• https://www2s.biglobe.ne.jp/~kitanok/Complex/edge.html
• https://masasikatano.wordpress.com/2024/10/15/intelligence-at-the-edge-of-chaos/
• https://www.riken.jp/medialibrary/riken/pr/publications/news/2020/rn202012.pdf
• https://arxiv.org/abs/2410.02536
• https://openreview.net/forum?id=IeRcpsdY7P

提案法：カオスの縁の知性 • 学習器に“万能“をもたらす学習 データって自然言語じゃなく てもいい • （＊注1）複雑性を持った環境 予測能力の向上に淘汰圧が働 く • LLMはGPT-2 “単純な” （初等）セル・オートマトンだけで学習したLLMが，複雑な下流タスクを解く！ “知性が産まれるには，複雑さに触れる以外のことは必要ないかもしれない”（*注1） 3

実験結果 ❶ • より複雑なECAルールで訓練さ れたモデルは，Reasoningや チェスの手の予測といったタ スクで大幅に優れた性能を示 した • 複雑性は知性を育む • 「カオスの縁」という最適な バランスが存在する “Sweet spot”がある = カオスの縁 4

実験結果 ❷ • カオスすぎる or 単純すぎる場 合には知能が低下 • 複雑さがちょうど良いバラン スに達したときにモデルは知 的な振る舞いを示す • 知性が発現するためには適度 な複雑さが重要 複雑性が知性を産む 5

実験結果 ❸ • 驚くべきことに！ECAは瞬時的 =instantaneousなものであり， 次の状態は現在の状態にのみ に依存しているにもかかわら ず，モデルは過去の状態から の遍歴の情報を取り込んでい た！ • これは，複雑性がより深い学 習と推論を促すことを示唆し ている モデルはメモリーを持たないのに過去の状態から 6

実験結果 ❹ • 次の状態（1ステップ先）を予 測するモデルが，さらに先（5 ステップ先）を予測するモデ ルよりも優れていることも分 かった！ • これは，システム自体が複雑 である場合にわずかな直近の データでも複雑な汎化を導け ることを示している 単純なルールから複雑な汎化が導けることを示唆 7

みんなのコメント • 「パターンランゲージ」 • さらに上述の「自然言語デー タの持つ構造が"創発"に重要」 という話と「進化的束縛」の 話を悪魔合体させてみる する と，LLMの現有能力は自然言語 進化に起源を持つことが見え る ここから「自然言語の進化 的意味の理解」や「LLMをもっ と強くする人工自然言語の最 適化による探索」にも繋がる 『自然言語には、Zipf則として知られる大域的な---マクロな---性質が複数 あり、それらは押し並べて冪乗則の形態をとる。自然言語のマクロな性質 は、複雑系科学の系譜において主に論じられてきた。』 8

まとめと展望 まとめ 高い複雑性を表す（初等）オートマトンで訓練された大規模言語モデルは下流タスクで優れた性能 を示し，カオスの縁での学習が知能を創発することを示唆する実験的結果 展望 ◼ 多次元のセルオートマトンへの拡張 ◼ より複雑なタスクではどうか？？ ◼ 自己組織化臨界現象（ Self-organized Criticality ） （若干宣伝…）群れ x IIT カオスの縁とかSoCの話です!! https://www.biorxiv.org/content/10.1101/2024.02.18.578833v1 SciRep Accepted! 9

• https://www.biorxiv.org/content/10.1101/2024.02.18.578833v1