収益向上を目指した強化学習ベースの 蓄電池制御手法の実証
>100 Views
May 15, 25
スライド概要
本研究は、強化学習を用いた蓄電池制御による収益向上の実現可能性を実機環境で検証することを目的としている。従来のシミュレーション研究では、蓄電池の充放電計画により収益が最大化されることが示されていたが、実機環境での再現性や収益の実際の達成度には不明点が存在した。そこで、本研究では実際の蓄電池システムを用いて制御実験を行った。その結果、計画された充放電スケジュールは概ね遂行可能であり、蓄電池の残量（SoC）の再現性も高かったものの、収益はシミュレーション値の約60％にとどまることが明らかとなった。その主な要因としては、蓄電池の充放電効率がシミュレーションで仮定した100%に対して実測値が約84%であったことや、通信遅延に伴う制御誤差が挙げられた。今後は実機環境における充放電効率や制御遅延などの特性を考慮した上で、より実用的かつ収益性の高い蓄電池制御計画を構築し、検証を進める予定である。
小平大輔 - 筑波大学エネルギー・環境系助教。現在の研究テーマは、電気自動車の充電スケジューリング、エネルギー取引のためのブロックチェーン、太陽光発電とエネルギー需要の予測など。スライドの内容についてはお気軽にご相談ください：kodaira.daisuke.gf[at]u.tsukuba.ac.jp
関連スライド
各ページのテキスト
2025/3/20 収益向上を目指した強化学習ベースの 蓄電池制御手法の実証 DEMONSTRATION OF A REINFORCEMENT LEARNING-BASED BATTERY CONTROL METHOD FOR REVENUE MAXIMIZATION 林 弘辰 筑波大学 スマートグリッド研究室
1.1 研究背景、先行研究の紹介 ・VPPにおける需要家利益獲得の仕組み https://www.bluedotgreen.co.jp/wp-content/uploads/2024/10/image-1.png 調整力、余剰電力を売却 (遠隔）管理、制御 調整力取引所、 卸電力取引所等 どのような充放電計画で 最も成果が得られる？ 収益が需要家に還元される 先行研究の特徴 提示された課題 強化学習を使い蓄電池の収益を最大化するような 充放電計画を提案 [1] 実機での充放電計画、収益の再現性 太陽光＋蓄電池ハイブリッドシステムの ピーク電力削減効果をローカル制御で実証 [2] 蓄電池操作の遠隔化による ピーク電力削減効果への影響 [1] Goto, T., & Kodaira, D. (2023). Optimal control of battery system by reinforcement learning considering profitability. In Proceedings of the 2023 International Conference on Power and Renewable Energy Engineering (PREE) (pp. 12–16) [2] Y. Nakao and T. Taniguchi, "Optimal Operation Planning of a Storage Battery System Based on Comprehensive Scenario Analysis Concerning Uncertainty of Solar Radiation Time Series—Towards Effective Use of Solar Power Generation for Peak Load Reduction," *Transactions of the Society of Instrument and Control Engineers*, vol. 50, no. 3, pp. 287-294, Mar. 2014. 2
1.2 先行研究の紹介（シミュレーションで想定されたシステム構成） 蓄電池用PCS: Omron KP-BU42-A 蓄電池：Omron KPAC-B25 発電電力を貯蓄 PV用PCS: Omron KP40K2 蓄電池ユニット 蓄電池の放電を通して 電力価格の高い時間に電力を販売 PVユニット 発電電力を直接販売 電力系統 3
1.3 先行研究の紹介（シミュレーションの結果提案された充放電計画） ◼ 収益最大化を目標とした先行研究にて提案された蓄電池充放電計画 14 100 90 80 10 70 8 60 50 6 40 スポット市場価格 SoC[%] 電力価格[円/kWh-30min] 12 総収益：42円 30 4 2 20 SoC(蓄電残量) 10 0 0 0 3 6 9 12 15 18 21 時間[時] 充放電計画と動作結果 ・本当にこの曲線通りに蓄電池のSoC（蓄電残量）を制御できるのか？ ・本当にシミュレーション通りの収益を得られるか？ 4
1.4 先行研究の課題と研究目標 先行研究の内容 強化学習を使い、蓄電池の収益を最大化するような充放電計画を提案 先行研究の課題 実機での制御計画及び収益の再現性が不明である 本研究の目的 先行研究で提案された蓄電池制御計画を実機で遂行し、 SoC、充放電電力の推移及び総収益の再現性を明らかにする 5
2.1 実装した制御システム 制御PCから蓄電池まで複数の制御媒体、通信手段を挟む→遅延が大きい状態となる WAN 分電盤 Omron KP-BU42-A Omron KPAC-B25 電子負荷装置 PCS ゲートウェイ 蓄電池 6
2.2 実験の流れ ・以下の手順に沿って実験を行った 30分ごとにループ PCが1日分の 制御計画から 30分ごとの 制御目標値 (SoC[%])を取得 制御目標値達成 に向け PCが蓄電池に命 令を送信 蓄電池が充 放電を行う PCが蓄電池 から制御の 結果を取得 する 24時間経過 30分ごとの充放電電力量、市場価格 から当日の収益を算出する 総収益 = 売電収益 + インバランスペナルティ 売電収益 = エネルギー輸送量 𝐴𝑐𝑡𝑢𝑎𝑙 × スポット価格 7
3.1 実験結果、考察 （SoC、充放電電力） SoC(%)の時間推移 充放電電力（w)の時間推移 蓄電池保護機能 によるズレ ・ MAE=0.18(%)となった ・充放電計画は特に問題なく遂行できた ・1時間あたり平均60Whの誤差がある ・細かく見ると充放電電力にズレがある 8
3.2 実験結果、考察 （総収益） 総収益の比較 シミュレーション収益（42円）が10割とすると、4割(18円）の収益低下 9
3.4 収益低下の原因 １ 仕様書からは読み取れない実機の動作 →例：充放電効率*が100%ではなく約84%であったため、放電電力が不足した ２ 通信の遅延による制御誤差 →例：命令送信（20~30秒）中も蓄電池は前の命令を遂行した * 水谷, 麻美, 小林, 武則, 渡部, 克典, & 和田, 具記. (2016). 蓄電池システムの充放電効率に関す る考察. 電気学会論文誌B（電力・エネルギー部門誌, 136(11), 824–832. 10
4．結言 目的 先行研究で提案された蓄電池制御計画を実機で遂行し、 SoC、充放電電力の推移及び総収益を比較する 結果 SoC再現性：MAE=0.18 充放電電力再現性：1時間当たり60Whの誤差 総収益再現性：６割 結論 制御計画は遂行可能だが、実機誤差により収益低下が生じる。 実機の動作に合わせた充放電計画を再度作成する必要がある 11
補足 実験２ 実験２（当日計画スケジュール再現） シミュレーション(43円）が10割とすると、2割(7円)の 収益低下 12
補足 実験２ ・低いSoC帯において目標SoCに 予測SoCが30分をかけて追跡し、 瞬時充放電電力もほぼ目標通りに 実行できている。 SoCグラフ ・ただ、下図赤円部のように、極 端に低い放電電力においては、電 力が認識されず、0となることが あった。 電力グラフ 13
補足 蓄電池制御アルゴリズム 蓄電池制御アルゴリズム略図 14
補足 実装した制御システム（ネットワーク図） ・PCから蓄電池コントローラを特定 し、情報を送受信するネットワーク ・IoT-Hubを利用し対象機器の特定、 コマンドの受け渡しを可能にした。 ・本研究ではEchonet-Lite規格を利 用しているが、他の規格にも対応でき るシステムとなっている 15
補足 蓄電池制御システムの特性（制御システムについて） ・蓄電池との情報送受信には１往復につき10~20秒が必要であることが分かっ た。 ・蓄電池の劣化状態や細かいSoC値など、取得できない情報があった。 ・蓄電池には1W単位で瞬時充放電電力を設定できるが、実際には±10W程度 の誤差が生じる。 16
補足 蓄電池制御システムの特性（蓄電池本体について） ・最大充放電電力で蓄電池を蓄電残量 （SoCと呼ぶ）0%~100%の間で往復させ ることで蓄電池の特性を把握した ・蓄電池はSoC約80%から蓄電池保護機能 のため、充電電力が低下することが確認さ れた。 ・また、電力を時間で積算することで、 SoC0%~100%の充電では4.4Kwhの電力量 が必要で、SoC100%~0%の放電では 3.7Kwhの電力量が発生することが確認さ れた。 17
補足 蓄電池制御システムの特性（蓄電池本体について） 同論文で紹介された充放電効率（ラウンドトリップ効率）の算定方法は式 2のように表される。 η=Wh_output/Wh_input (2) ここで、ηは蓄電池の充放電効率、Wh_outputは蓄電池の放電電力量の時 間積算値、Wh_inputは蓄電池の充電電力量の時間積算値を表す。 式2を用いて本実験における蓄電池システムの充放電効率を算出した結果、 約84%となった。 . 水谷, 麻美, 小林, 武則, 渡部, 克典, & 和田, 具記. (2016). 蓄電 池システムの充放電効率に関する考察 . 電気学会論文誌B（電 力・エネルギー部門誌, 136(11), 824–832. 18
補足 蓄電池制御システム構築の課題および対策 ・１ 蓄電池が10%刻みのSoCしか返さないが、後藤氏の充放電計画では0.1%単位 での制御が必要 → 瞬時充放電電力を時間で積算し、最大充放電電力量で割ることで蓄電池のSoC値 の1、0.1のケタを予測する ・２ 信号送受信の遅延により、複数の情報を送受信しようとすると時間がかかり、 制御に問題が生じる → 制御に必要最低限の情報のみ送受信し、遅延の存在を考えた制御を行うことで、 影響を最小限に ・３ 蓄電池の最大充放電電力量が充電時4.4Kwh,放電時3.7Kwhであるが、後藤氏 の策定した充放電計画では4.0Kwhで統一されているため、計画された充放電電力に よる制御はできない →SoC値を制御の目標とし、SoC値と最大充放電電力量から充放電電力を逆算し、設 定することに 19
補足 システムの評価方法、収益の式 𝑁 SoC値再現性の評価 1 MAE = ｜目標SoC − 実SoC｜ 𝑁 𝑖=1 N:30分ごとに設定された目標の数（48） の内、前回の目標SoCとの差が0.1%以上 のもの（制御を行っているもの） 最終的な収益 による評価 総収益 = 売電収益 + インバランスペナルティ 売電収益 = エネルギー輸送量𝐴𝑐𝑡𝑢𝑎𝑙 × スポット価格 インバランスペナルティ = |エネルギー輸送量𝐴𝑐𝑡𝑢𝑎𝑙 − エネルギー輸送量𝑃𝑙𝑎𝑛 | × インバランス価格 20