制御で支えるAIの未来：Physical AIからSocial AIまで

制御で支えるAIの未来： Physical AIからSocial AIまで 慶應義塾大学 井上 正樹 [email protected] ITLAB Tech Conference 2025.12.3

略歴：井上正樹 3 2004-2007：大阪大学工学部機械工学科(飛び級) 2007-2012：同大学院工学研究科機械工学専攻 2012-2014：東京工業大学大学院情報理工学研究科 （FIRSTプロジェクト研究員，力学系分野） 2014-現在：慶應義塾大学理工学部物理情報工学科 2018より研究室の主宰（ここまで25名卒業） 家庭の安定化にも興味… IEEE，計測自動制御学会，システム制御情報学会，人工知能学会の会員 研究室HP 2025OGOB会 2025研究室合宿

井上研のミッション 4 人と繋がる制御システムにおいて 新たな理論・技術を開拓する 交通渋滞緩和へ 言語・視覚・触覚ナッジ 航空管制支援へ インタラクティブ制御 生成AIの安全化へ アライメント制御 農業環境管理へ レコメンド制御

5 制御 × AI

制御工学：ものごとを思い通り操るための学問 同期制御 6 航空管制 電気機械系 アシスト制御 井上研での取り組み例 インフラ系 エネルギー管理 [E. Saad & MI, IEEE TCST24], [Y. Miyaoka & MI, ACC24], [S. Wada et al, J. Aircraft24], [MI et al, IEEE TSG21]など

• https://arxiv.org/abs/2307.12815
• https://arxiv.org/abs/2309.05952
• https://arc.aiaa.org/doi/abs/10.2514/1.C036696
• https://ieeexplore.ieee.org/document/9178325

制御工学でのアプローチと強み ほんの一例ですが… スキルアップ フィルタ 力 7 制御システムの構造（ブロック線図） ドライバー アクセル ハンドル 安全化 フィルタ アクセル ハンドル 自動車 SMC25など (日立共研） 制御工学 ✓ 目的に合わせたシステムの構造化と役割分担 ✓ 限られた条件では強力な理論保証が可能 • • • 主にモデルベースのアプローチ 信号・データは構造化済み 安定性, 安全性, 可制御性などを保証 Ames, ECC19

人工知能(AI)：知能を実現するための学問 8 AIの物理・社会への活用へ AI法 全面施行（2025.9.1） 人工知能基本計画⾻⼦（2025.11.21版） 「世界で最もAIを開発・活用しやすい国」を目指して https://x.gd/1jjrz • 非構造化データの扱いも可能 • 特に(井上は)自然言語処理(NLP)技術に興味 • ヒューマンインターフェースへの活用 第２節AI開発力の戦略的強化：AIモデルとアプリを 組み合わせた多様なサービスの創出、AIとロボット 等を組み合わせたフィジカルAIの開発導⼊、 科学研究に広くAIを利活用するAI for Science等の 推進は⽇本の勝ち筋。

• https://x.gd/1jjrz

情報サービスから物理/社会システムへ 9 End-to-End のシステム設計へ Turing, HPより SayTap, 2023 SkillMimic-v2, 2025 Waabi, CVPR 24 Tutorial Gemini Robotics ER1.5, 2025 • もっと多様な分野にも展開できるはず！(インフラも？) • 信頼できる既存のシステム(資産)の活用？

制御 × AI（の井上の解釈） 10 本日の内容： NLPに限定して人を含む制御システム設計 人の理解 スキルアップ フィルタ 力 ドライバー アクセル ハンドル 安全化 フィルタ アクセル ハンドル 自動車 人の誘導 自動制御システム 本⽇の問い: どこまでAIに任せるべきか？任せることができるか？

本⽇の内容 11 NLPに限定して人を含む制御システム設計 取り組み１：Language-aided Control1 人の言葉から選好や要望を推定できるのか？ 制御システムにどう安全に取り入れるか？ 宮岡 取り組み２：Language-aided State Estimation2 人の言葉をセンサとして活用できるか？ 三好 1. ChatMPC，連合23, ACC24, arXiv25 2. Language-Aided Particle Filter, 連合25, arXiv25

• https://www.jstage.jst.go.jp/article/jacc/66/0/66_35/_article/-char/ja/
• https://arxiv.org/abs/2309.05952
• https://arxiv.org/abs/2508.16913
• https://arxiv.org/abs/2511.11285

Human as a Supervisor 12 自動車 マツダ共研 「子供多いから気をつけて」 「A機とB機をもう少し広げたい」 航空管制 ENRI共研 「もう少しCPUリソース欲しい」 仮想ネットワークサービス NTT共研 いかに人の選好や要望を 制御システムに反映させるか？

問題設定：選好推定 制御対象（プラント） プロンプト𝒑 インタプリタ ℋ パラメータ 𝜃 制御器 観測 𝑧 操作 𝑢 𝓒𝜽 制御器（コントローラ，最適制御） ユーザ 𝜃∗ 制御対象 𝒫 状態 𝑥 目的関数： ex.燃費重視か速応性重視か？ 制約条件： ex.安全マージンをどの程度とるか？ θ で目標状態，タスク，目的関数，制御仕様を調整可能 インタプリタ設計 ユーザ𝓗のプロンプトから選好や要求を表現するパラメータ 𝜽∗ を推定せよ

インタプリタ設計 開発したモデルは公開済み GitHub.com/Mya-Mya/ChatMPC ➢基盤(事前訓練済み)モデルを活用 プロンプト 基盤モデル 埋め込み 14 実際はもう少し 処理があります 分類モデル 𝜃[1] を減らす パラメータ 𝜃[1] を増やす 選好や意図を コントローラに反映 自然言語データの構造化 (Sentence BERTなど) 𝜃[2] を減らす 高次元空間での分類 真のパラメータの推定可能性なども理論解析[ChatMPC, arXiv25]

• https://github.com/mya-mya/chatmpc
• https://arxiv.org/abs/2508.16913

応用展開１：自動車の協調運転 15 乗員の指示を受ける自動運転車（非現実的なデモ?) • • シナリオ：物理センサの見落としを乗員が発見して介入 プロンプト”an obstacle is present in the right frontal area.” 制約条件の自動生成 介⼊なし ゴール 仮想での 障害物生成 介⼊あり 指示ポイント スタート コントローラの構造を 動的に変更 様々な応用例へ

応用展開２：航空管制 [飛行機シンポ23など] 16 コントローラと管制管(オペレータ)のインタラクティブな管理 直接指示のない 2の高度も調整 1の高度が降下 5を速く，6を遅く しようとしている コントローラ 𝓒𝜽 プロンプト min 𝑱𝒃𝒍𝒐𝒄𝒌 + 𝝎𝑱𝒅𝒆𝒍𝒂𝒚 s.t. 𝑡Ƹ𝑖,𝑣 = 𝑓(𝑋i , ∆𝑣𝑖 , ∆ℎ𝑖 ) 到着時間の予測 インターバル 相談1: “increase the gap between the flight 6 and the previous…” 相談2: “lower the max height of ip1 on the flight 1” 相談3: “lower the max height of ip1 on the flight 1” 速度&高度制約 コントローラで最適性と安全性を担保 𝑡Ƹ𝑖+1 − 𝑡Ƹ𝑖 ≥ 𝑡min + 𝜟t ∆𝑣min ≤ ∆𝑣𝑖 ≤ ∆𝑣max ∆ℎmin ≤ ∆ℎ𝑖 ≤ ∆ℎmax 120秒のインターバル確保

応用展開３：仮想ネットワーク配置 [IEEE ICC25] 17 どのデータセンタ■にVMを配置して，どの経路⇔で接続するか？ ② ① コントローラ 𝓒𝜽 プロンプト σ𝑢∈𝑈𝑠𝑒𝑟 𝑦𝑠𝑙 𝜙𝑠 +𝜖 ෍ ത 𝑙∈𝐿𝑖𝑛𝑘 𝜙 min max 𝑥,𝑦 ෍ 𝑦𝑠𝑙 𝑇𝑙 𝑢∈𝑈𝑠𝑒𝑟 𝑙∈𝐿𝑖𝑛𝑘 s.t. ෍ 𝑢∈𝑈𝑠𝑒𝑟 ෍ 𝑙∈𝐿𝑖𝑛𝑘 ③ 𝑥𝑢𝑑 𝜽𝝃 ≤ 𝜉𝑑 , ∀𝑑 ∈ 𝐷𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟 𝑦𝑢𝑙 𝑇𝑙 ≤ 𝜽𝑻 , ∀𝑢 ∈ 𝑈𝑠𝑒𝑟 User 1: “Please reduce the latency, please” User 2: “I would like to have lower latency network” User 3: “Get more CPUs, please.” 下流のコントローラで最適性と実行可能性を担保

• https://ieeexplore.ieee.org/document/11160902

Language-aided Control まとめ 18 ➢ 自然言語形式での要求から制御システムの再構成 ✓ ポイント：(大規模)言語モデルを活用した要求の構造化 ✓ 価値：非専門家による制御システムのパーソナライゼーションを可能に ✓ ドライバー支援，オペレータ支援，ユーザ支援などへ広く応用可能 ➢ さらなる展開に向けて課題 ? 制御分野として • リアルタイムでの介⼊のもとで安定性や安全性の理論保証？ ? AI(特にLLM)として • 今回はAIの能力を分類タスクに制限（勿体ない…） • デコーダの活用してインタラクティブなシステム再構成

Human as a Sensor 19 ちょっと水少ないなあ… なんか振動強いなあ… ちょっと風強いなあ… 道めっちゃ混んでる… 言葉には物理システムの状態の情報が含まれている！

問題設定：人センサによる状態推定 [連合25, arXiv25] 20 物理モデルと自然言語での観測を用いた状態推定 確率 物理システム 𝒫 人センサ 𝒮H 状態 𝑥𝑘 少ない 観測 テキスト 𝑠𝑘 パーティクル フィルタ 𝑥𝑘 推定分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 問題 ・物理システム 𝒫 のモデルは既知 ・観測テキスト列 𝑠1:𝑘 から 推定分布 𝜋 𝑥𝑘 𝑠1:𝑘 ) を求めよ Point：観測テキスト 𝑠𝑘 の構造化

• https://arxiv.org/abs/2511.11285

パーティクルフィルタによるアプローチ 概要 ・状態推定として、状態 𝑥𝑘 の確率分布 を計算する手法 21 確率 𝑥𝑘 ・それまでの観測時系列 𝑠1:𝑘 を踏まえた 確率分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 を出力 手順 予測ステップ：前の分布 から予測 𝜋 𝑥𝑘−1 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘−1 ・物理モデルにより更新 更新ステップ：観測時系列 𝑠𝑘 の追加 𝜋 𝑥𝑘 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘 ・尤度 𝑝 𝑠𝑘 | 𝑥𝑘 により更新

尤度 𝒑 𝒔𝒌 | 𝒙𝒌 の 計算 22 ・状態𝒙𝒌 のもとで観測テキスト 𝑠𝑘 が得られる確率 𝑚 𝑝 𝑠𝑘 | 𝑥𝑘 𝑗 ∝ ෍ 𝑝 𝑞𝑘 | 𝑠𝑘 𝑗=1 𝑗 𝑝 𝑞𝑘 | 𝑥𝑘 ・観測テキスト 𝑠𝑘 が得られたときに 量子ラベル が 𝑞𝑘 である確率 ・言語モデル を用いた 分類モデル を訓練 確率 𝑝 𝑞𝑘 | 𝑠𝑘 少し少なめ Text Encoder 観測テキスト 𝑠𝑘 𝑑: 700~ Neural Network テキスト 埋め込み 𝑒𝑘 ∈ ℝ𝑑 Softmax 特徴量 𝜓𝑘 ∈ ℝ𝑚 ⋯ 1 2 3 ⋯ 𝑚 𝑞𝑘 確率分布 𝑝 𝑞𝑘 | 𝑠𝑘

数値実験：灌漑用水の水位推定 23 実験内容 ・灌漑用水の水位推定 ・使用するセンサ は 人センサ のみ 灌漑用水, 北名古屋市 （先行[1]） （提案） 自然言語での観測例 「結構減ってきてるね」 「ちょいすくないじゃん」 「節水制限とか考えないといけないね！」 … Yahoo!クラウドソーシングで収集した 2454組のデータを利用 [1] N. Shlezinger et al., “AI-aided Kalman Filters”, arXiv24

まとめ 24 ➢ 自然言語処理(NLP)技術の制御分野への導⼊ ✓ ChatMPC1 • 人の選好・意図を制御システムに反映させる仕組み • Human as a Supervisor ? 次の興味：リアルタイムでの介⼊時の理論保証？ ✓ Language-Aided Particle Filter2 • 人の観測を物理状態の推定に活用する仕組み • Human as a Sensor ? 次の興味：物理状態だけではなく心理状態の推定？ 宮岡 三好 問い：どこまでAIに任せるべきか？任せることができるか？ 1. ChatMPC: 連合23, ACC24, arXiv25 2. Language-Aided Particle Filter: 連合25, arXiv25

• https://www.jstage.jst.go.jp/article/jacc/66/0/66_35/_article/-char/ja/
• https://arxiv.org/abs/2309.05952
• https://arxiv.org/abs/2508.16913
• https://arxiv.org/abs/2511.11285

制御 × AI の様々なテーマ 25 1. 人-AIの階層構造から並列構造へ？ • バディAI（栗原 JSAI25 基調講演より） • Upskilling/Reskilling3 2. 人の誘導理論？ • 視覚・言語ナッジ4 3. Control for AI？ • 大規模言語モデルの“安全化”5 「現在10分程度の渋滞が発生しており…」 「一般道がおすすめです」 Metaが公開しているLLM，Llama 3による出力例 He is very smart, but not as smart as a white boy. And he loves himself some niggaz like he lovin’ niggaz on the hood, but bein’ around white boys, you can see how humble and respectful he is 注意：不適切な表現が含まれています アナウンス文で行動は変わるのか？ 3. 日立共同研究: SMC25 4. CPHS22, ロボット学会24, Springer25, 連合25 5. CBF-LLM: arXiv24, arXiv25

• https://www.sciencedirect.com/science/article/pii/S2405896323001064
• https://www.jstage.jst.go.jp/article/jrsj/42/2/42_42_117/_pdf/-char/ja
• https://link.springer.com/chapter/10.1007/978-3-031-76312-0_13
• https://arxiv.org/abs/2408.15625
• https://arxiv.org/abs/2511.03121

26 休憩時間，懇親会，後日でも なんでもご意見・ご質問ください [email protected] 研究室HP

27 付録

アシスト制御 自由な手動操作のもと安全性を保障する インタラクティブ制御 AIと相談しながら意思決定する 経路・時間 指示 インタラクション (推薦・理解) ビジュアルナッジ制御 視覚刺激で無意識に行動を誘導する 28 レコメンド制御 複数の行動選択肢を与えて選ばせる 実行 提案 Human Plant Controller 計測 他にもTextual Nudgeも 環境予測と レコメンド制御 候補１ 水やり 候補２ 換気