人間の行動・意思決定を含むシステムに対する制御理論の開拓と展開

RACOT研究会 人間の行動・意思決定を含むシステム に対する制御理論の開拓と展開 井上正樹 慶應義塾大学 謝辞： JST CREST EMS領域、科研費若手B 2019年12月21日

2 自己紹介と宣伝 （３ページ）

自己紹介 ➢ 2004年4月～ 学生 – 大阪大学（機械工学） ➢ 2012年4月～ ポスドク – FIRST 最先端数理モデルプロジェクト & 東京工業大学 ➢ 2014年4月～ 助教 – 慶應義塾大学 理工学部 物理情報工学科 ➢ 2018年4月～ 専任講師 – 研究室を立ち上げ（PI） – 現在８名の学生 3

宣伝１：これまでの研究 ➢ 2004年4月～ 学生 – ディスクリプタシステムのロバスト制御([Automatica,15]など) – 時変システムの収束性解析([CDC,11]など) ➢ 2012年4月～ ポスドク – ロバスト分岐解析([IJBC,13,15], [IJRNC,15]など) ➢ 2014年4月～ 助教 – 消散不等式による分散設計([Automatica,19], [TAC,20]など) – 事前情報付きのシステム同定([Automatica,19], [IJC,18]など) – 企業との共同研究： 自動車，航空機，電池，音響，風力(成果？...) 色々やってる… 4

宣伝２：最近の研究 5 ➢ 2018年4月～ 専任講師 興味があれば後ほど 1. モデル予測制御器の“近似” • instant MPC（求解アルゴリズムで制御器を置換） • MPCの安定性保証付きの学習 with 瀬部先生 2. 大規模非線形系に対する目標値設計 3. 本日の話（中心テーマ） (1) MPC＝陰関数（KKT条件） (2) 目標依存で性能変化 ＋ ＋ ー ー 動的KKTと学習モデルによる近似 電力系統や航空管制を想定

本日の話 人間の行動・意思決定を含むシステムに対する制御理論 ＋ ー 狙い： フィードバック制御問題の 新しい標準形を提案！(したい) ＋ いつもの ー

本日の講演内容 ➢導入：Human-in-the-loopシステム どんなことを考えているか？ ➢提案：弱い制御の問題設定と解法 ➢展開：エネルギー管理と航空管制 ➢今後：農業生産管理？ 7

手動制御と自動制御 8 完全手動制御 完全自動制御 Carnny 産業革命 以前 超未来 (t → ∞) ナビクル 永遠のテーマ！

HILSの分類：アシストとレコメンド 機械によるアシスト 人は外側ループ 9 機械によるレコメンド 人は内側ループ 機械からの 渋滞情報 を参考に 地図 情報 zmap アクティブ リンク http://www.jitensyatsuukin.com 目標値提示 「みちびき」より カーナ ビをも とにし た制 御 アクチュエーション

• http://www.jitensyatsuukin.com

強い制御と弱い制御 10 ➢ まずは人の意思決定が内側ループに含まれる例 controller operators plants request action ＋ ー – 例：工場での機械作業，デマンドレスポンス，航空管制… ➢ “強い” 制御：管理者の制御指令を人が遵守 – 局所観測や経験・勘を活用しない – 個別の目的を考慮しない ➢ 管理者(controller)と作業者 (operator)で 目的の違いを陽に考慮した制御？

強い制御と弱い制御 11 ➢ まずは人の意思決定が内側ループに含まれる例 controller operators plants ＋ ー candidate action ➢ “弱い” 制御：管理者の制御候補から人が選択 – 人の自由意思を許したゆるい制御（管理？） – 全体の管理下で（安定性・性能保証…） 個別の目的も追求可能（最適化…） モデル化すると？

モデル化：“弱い”制御問題の定式化へ ➢ 意思決定者 12 をループに含む動的システム ＋ ー – P：プラント，K：制御器，H：意思決定者 ➢ 意思決定者のモデル化： 集合値信号から 一つの信号を選択 例） “弱い” 制御＝集合値信号による制御 time

“弱い” 制御の２つの解釈 13 ➢ 統一的な設定 ＋ 手動 自動 手動 ー time 1. レコメンド：行動候補を提示して選んでもらう 2. アシスト：許容範囲を超えそうなら自動制御化 レコメンド： 人間が最終的な意思決定・行動 アシスト： 機械が最終的な意思決定・行動

講演内容 ➢ 導入：Human-in-the-loopシステムの“弱い” 制御 ➢ 準備：内部モデル制御とパーシステンス ➢ 理論：“弱い” 制御の実現 ➢ 展開： – 地域のエネルギー管理システム – 航空管制管理システム 14

内部モデル制御の復習 （Internal Model Control）

Youla パラメトリゼーション 16 ➢ 制御対象 P には安定系を仮定 ➢ 問題：フィードバック安定化（安定性保存） – フィードバック系が安定であるような すべての制御器 K を求めよ ➢ 定理：Youla パラメトリゼーション すべての安定化制御器 は，安定な としてパラメトライズされる – 集合で書くと を用いて

内部モデル制御としての解釈 17 ➢安定化制御器の構造 – ブロック線図で表現 - + + モデル P のコピーを 含んだ構造 内部モデル制御（Internal Model Control, IMC*）と呼ばれる構造 非線形でも適用化 *[Zames, TAC, 81], [Garcia & Morari, IECPDD, 82]など

内部モデル制御のポイント：ループの切断 18 ➢フィードバック系の伝達関数 – 外乱 w を印加してみる – 出力とモデル出力の差 e - 入力 u と独立！ – 出力 y までの入出力関係 安定性や性能保証が容易！ カスケード＆パラレル接続

パーシステンス （粘り強さ） M. Inoue, Persistence in control systems, IEEE L-CSS, vol.2, no.3, pp.387-392, 2018

概要：ロバストネス と パーシステンス ➢ 不確さを有する制御系 20 あ ➢ ロバストネス（頑健さ） – 上界既知の不確さ – 安定性や制御性能はバイナリ – 性能指標：最悪性能 安定 ➢ パーシステンス（粘り強さ）new – 大きさ未知の不確さ – 安定性や制御性能の連続性 – 性能指標：性能の劣化しにくさ 安定， 安定？

問題設定：対象システムと定義 21 ➢ 対象システム（LFT表現） – ノミナルプラント 不確かさ 制御器 定義：ノミナル制御系のパーシステンス 定義：パーシステンスゲイン 解析条件を 導出！

パーシステンス条件の導出 22 – （テクニカルな）仮定： ① 制御器のQ表現： あ ① 安定系 ② の存在性（パーシステンス） 下線部 ≡０ スモールゲイン定理 の極限

主結果：制御系のパーシステンス ➢ 定理：パーシステンス条件 – ノミナル制御系 がパーシステント – Exact Model Matching 問題に帰着 （安定解の存在条件，e.g. [Gao & Antsaklis, TAC, 1989]） – 系全体を に関する Affine 構造に変換 ➢ 定理：パーシステンスゲイン – タイトな上限 23

数値例 ➢ パーシステンス条件（再掲） – 特別解で制御器設計 ➢ 数値実験 は MatLab の rss 利用 も rss で100通り計算し ゲインを0から100まで変化 – 任意の大きさの不確さのもと 安定性と性能を確認⇒ – – 24

講演内容 ➢ 導入：Human-in-the-loopシステム ➢ 準備：内部モデル制御とパーシステンス ➢ 理論：“弱い” 制御の実現 ➢ 展開： – 地域のエネルギー管理システム – 航空管制管理システム 25

定式化：対象システムの記述 26 ➢ 対象システム ＋ ー – プラント y:観測出力，u:制御入力，w:外乱 – 意思決定者 制御入力候補（集合値信号） – 制御器 集合値信号 time を出力する機構？

定式化：制御器の記述 27 ➢ 制御器(集合値出力)： 通常の線形動的システム 信号の“拡張器” – 拡張器 の例

定式化：“弱い”制御 ＋ ー ➢ 制御問題： の意思決定によらず，制御系全体を入出力安定とする 内部制御器 と拡張器 を求めよ – 可能であれば，制御系全体の性能保証もせよ – まずは，静的な拡張器 の種類によらない 安定化内部制御器 の設計法を提案 28

“弱い”制御の実現：IMCによるアプローチ ＋ ー ➢ 内部制御器の設計： – 内部モデル制御（IMC）構造の導入 プラントモデル の埋め込み 29

“弱い”制御の実現：IMCによるアプローチ ➢ 制御系全体の構造 ＋ ー 全体の安定性保証には， フィードバックループの切断がポイント！ 外部信号のみ！ 30

主結果： “弱い”制御の実現 ➢ 制御系全体の構造 ＋ ー ➢ 定理： – が入出力安定であるならば， の意思決定によらず制御系全体は入出力安定である． – 制御系全体の表現： • 拡張と意思決定に伴う不確かさ • アファイン構造⇒ の意思決定に対して制御系全体はパーシステントである． 31

FAQ 32 Q．ロバスト制御なの？ A．集合を扱うという意味ではイエス．ただし，不確かさは 設計可能で有効活用できるという見方は面白いはず． 解法の意味ではノー．スモールゲインのように大きさで集合 を縛ると保守的な解で使いづらい（選択自由度なし） Q．集合の自由度は空間方向のみ．現実的？ A．時間に自由度がないのは（瞬時に意思決定できない） 人間相手には使えない．時間方向は今度の課題． つぎから人の嗜好を反映させた機械を想定した例を紹介．

33 ここまではシステムの構造のみに着目 記述・実現によらない話 （北森先生のご講演から「ブロック線図での パラメトリゼーション」のヒント） ここからは具体的な実現を利用した話

講演内容 34 ➢ 導入：Human-in-the-loopシステム ➢ 準備：内部モデル制御とパーシステンス ➢ 理論：“弱い” 制御の実現 ➢ 展開： – 地域のエネルギー管理システム – 航空管制システム CARATSオープン データより

応用展開１：地域エネルギー管理システム Prof. Vijay Gupta (Univ. Notre Dame) 柴崎紗菜さん （現４年生） 35

背景：多様なエネルギー源を求めて ➢ 自然エネルギーへの期待 – PV2030+, JEMAロードマップ – 不確実さゆえの諸問題 – 需給バランス保持が困難 電⼒需要 電力需要 電⼒供給 電力供給 36 ～10％ ～10％ 大きな変動… – 様々な対策が必要： １．供給側の制御，２．蓄電池による需給シフト ３．需要側の制御

対象：エネルギー管理システム（EMS） 37 ➢ 目標：統一的なxEMS設計論 – 地域，ビル，家のどのスケールでも共通の構造 CEMS ビル毎のエネルギー配分 HEMS 各電気機器の制御 フロア毎の空調制御 BEMS

EMS：直接制御と間接制御 38 ➢ 既存の管理システム１：直接制御 – 計画停電による管理者判断での制御 ➢ 既存の管理システム２：間接制御 – デマンドレスポンスによる需要家判断での制御 （インセンティブ，プライシング，ナッジ，[P. Siano, RSER, 2014]） 節電目標 節電目標 節電達成？ システム全体 に不利益 間接制御 ＝自由度の ある制御 直接制御 ＝強制的 な制御 節電 節電 個人に 不利益 節電 停電

弱い制御のシステム構造 39 ➢ 人と調和するEMS構造 – 間接制御にフィードバック構造を追加 – “弱い”制御：需要家に自由を許す制御 節電目標 個人の目的 需要家の自由な 意思決定を可能に 抽象化 ＋FB構造 全体の目的 実節電量 フィードバックによる 高精度な 目標追従に期待

問題設定：制御対象 ＋ ー ➢ 制御対象１： – – ：電気機器の集合 ：節電指示， ：総節電量， ：EMS外の電力使用 ➢ (テクニカルな)仮定： – 安定性： – DCゲインの正規化： 40

問題設定：制御対象 41 ＋ ー ➢ 制御対象２（モデル情報は利用不可）： 陰関数での静的システム 契約プランに基づく 自動機械を想定 （実人間ではない） 節電へ貢献小 節電へ貢献大 コスト コスト 節電量 安価な電力契約 節電量 高価な電力契約

問題設定：弱い制御での性能保証 42 ＋ ー ➢ 制御器（IMC＋拡張器）： – IMCの出力 v を資源配分（総和一定） – 系： が安定ならば， ➢ 問題：制御性能 – 定常状態での性能保証？ – 過渡状態での性能保証？ のモデルによらず制御系は安定 ？ time ？

Youlaパラメータの設計と定常特性 43 ➢ 制御器： ➢ YoulaパラメータQの設計 命題：定常状態での完全追従 収束外乱 のもと， 任意の に対して と を利用 のモデルによらず， – １次元出力は本質的に１次元入力(v)で制御可能なはず ＋ ？ ー time =0

拡張器の設計と過渡特性 44 ➢ 制御器： ➢ 拡張器の設計（t を省略） – 意思決定の自由度を制限 – 各時刻断面 命題：過渡特性 零目標値 かつL2外乱 – パーシステンスより性能劣化は１次オーダー ココ time のもと，

数値実験での検証：BEMS 45 ➢ ビル全体で所望の節電量制御 – 全７フロアの空調制御で達成 – 空調モデルは simulink モデルを利用 ×７ – 多様な需要家を評価関数の違いで表現 節電へ貢献小 節電へ貢献大 コスト コスト 節電量 節電量 安価な電力契約 高価な電力契約

数値実験の結果：弱い制御の効果 ➢ 高精度な節電目標の達成（管理者 46 ） DR制御(従来) 弱い制御(提案) 高精度な 目標追従 ➢ 節電の内訳 ➢ 総コスト減（需要家 安い契約 が大きな 節電 一律節電負担 よりコスト減 ）

応用展開２：航空管制管理システム 吉村翔君 （2018年度修了） 齊藤有紀さん （現M1学生） 47

航空管制管理システム ➢ 航空管制分野の最先端研究： ◆出発から到着まで集中的な軌道管理 ＋ ー 軌道指令 管制の提示 遵守 パイロット の選択 • 機体の詳細モデルまで考慮できない • 航空会社毎の最適化不可（燃費，最小遅れ） [1] Ministry of Land, Infrastructure, Transport and Tourism， “Study Group for …”, 2010

弱い制御的アプローチ ➢ 提案する航空管制管理システム： ◆出発から到着まで階層分散的な軌道管理 ＋ ー 管制の提示 モデル予測制御（抽象集中的） max 軌道集合の大きさ sub to 安定性：到着時間管理 制約：衝突回避，簡易モデル 狙い：全機の安全・到着管理 パイロット の選択

弱い制御的アプローチ ➢ 提案する航空管制管理システム： ◆出発から到着まで階層分散的な軌道管理 ＋ ー 管制の提示 モデル予測制御（個別分散的） min 燃費など sub to 安定性：到着時間管理 制約：衝突回避，詳細モデル 狙い：自機の燃費最小化 パイロット の選択

数値例：実データへの適用 51 ➢ シミュレーション条件 ◼ Given : 航空機の到着時刻，初期位置と終端位置 ◼ Find : 5分間隔の航空機の位置 標準軌道（実際の軌道，CARATS open data） ：初期位置 ：目標位置 ：風による変位 (北東方向に 0.4 NM/min )

数値例：結果 52 ➢ シミュレーション結果 ◼ 実際の軌道 パイロットが選択する軌道 管制が提示する軌道 ：初期位置 ：目標位置 ：風による変位 (北東方向に 0.4 NM/min ) 衝突回避を達成する軌道の集合を生成 燃費を最適化する軌道を生成

数値例：結果 53 ➢ 定量的評価（燃費比較） ◼ 実データでの軌道：5.31 ◼ 提示集合の中心：5.44 ◼ パイロットの選択：4.00 減少！ 実機でも期待 ：初期位置 ：目標位置

まとめ 54 ➢ Human-in-the-loopシステムの“弱い”制御 ＋ ー ✓モデル化と“弱い”制御の問題設定に新しさ ✓内部モデル制御（IMC）に基づく実現 ✓応用展開： 1. 地域エネルギー管理システム 2. 航空管制管理システム 詳細版はこちら： M. Inoue and V. Gupta, “Weak” control for human-in-the-loop systems, IEEE L-CSS, 2019

今後の展開 55 ➢ 意思決定モデルや学習理論の導入⇒論文参照 ➢ “外部信号”型の拡張器の場合 – 今回は内部信号を拡張 • 拡張の大きさは信号 依存 – 外部信号型ならば，安定性保証，拡張の自由度大 内部信号型 ➢ まだまだ応用展開を企画・検討 外部信号型

今後の展開例 農業生産管理 56

農業生産管理のためのレコメンド制御 レコメンドフィードバック 行動の候補を提示 例）13-15時の間にヒータをONに Human-in-the-loop システムの制御問題 行動 気象予報 自動制御なし 温度・湿度・ CO2濃度…