【Carbon Neutrality論文薦讀】同凡、郝旭：考慮出行異質(zhì)性的電動車充放電管理策略：強化學(xué)習(xí)框架

# 點擊藍字 關(guān)注我們 #

近日，北京科技大學(xué)郝旭副教授團隊與北京航空航天大學(xué)同凡副教授團隊聯(lián)合提出一種基于強化學(xué)習(xí)方法的出行感知電動汽車充放電控制策略，優(yōu)化V2B-PV系統(tǒng)能量協(xié)同管理，為交通電動化、建筑用能屋頂光伏可再生能源融合提供新方案。

文章亮點

1.針對電動汽車出行行為的異質(zhì)性與可再生能源發(fā)電的不確定性等挑戰(zhàn)，提出“面向出行特征的強化學(xué)習(xí)充放電控制框架”。

2.通過深度Q網(wǎng)絡(luò)（DQN）算法實現(xiàn)電動汽車、建筑與光伏系統(tǒng)（V2B-PV）的聯(lián)合用能調(diào)度，實現(xiàn)接近離線優(yōu)化算法的系統(tǒng)表現(xiàn)。

3.所提出的強化學(xué)習(xí)控制策略在真實數(shù)據(jù)測試中相對傳統(tǒng)控制算法降低充電成本55%、減少碳排放11.6%、提高光伏利用率至95%。

4.系統(tǒng)量化電動汽車出行時間與建筑負荷信息對充放電管理策略的信息價值（Value of Information, VOI）。

5.所提出的強化學(xué)習(xí)控制策略具有較快計算效率（毫秒級），可適配近實時控制場景，為智能交通-建筑-電網(wǎng)協(xié)同提供新范式。

內(nèi)容簡介

交通部門約占終端能源二氧化碳排放的三分之一，其中公路交通貢獻達75%。電動汽車被視為脫碳轉(zhuǎn)型的關(guān)鍵技術(shù)，但如果充電行為不受控制，可能加劇電網(wǎng)高峰負荷壓力。電動汽車有序充放電可以降低成本、增強電網(wǎng)韌性，并提升可再生能源的利用率。然而，消費者出行模式的異質(zhì)性以及可再生能源發(fā)電的波動性對現(xiàn)有控制策略提出了重大挑戰(zhàn)，現(xiàn)有控制策略求解面臨“維度災(zāi)難”等問題。本研究提出一種考慮出行特征的深度強化學(xué)習(xí)充電控制策略，基于北京市高層辦公樓一年光伏發(fā)電和用電負荷的真實數(shù)據(jù)，采用深度Q網(wǎng)絡(luò)算法，綜合考慮最小化充電成本和最小化光伏發(fā)電棄電率等目標。

研究結(jié)果表明，該框架實現(xiàn)了低充電成本、低棄電率和較低碳排放——其表現(xiàn)接近具備完美信息的離線優(yōu)化算法，并顯著優(yōu)于隨機充電、盡快充電和貪心充電等傳統(tǒng)算法。具體而言，強化學(xué)習(xí)算法相較于隨機充電算法，可降低充電成本55%，減少碳排放11.6%，實現(xiàn)95%的光伏利用率。進一步分析表明，關(guān)于電動汽車出行時間與建筑用電需求的信息價值分別為2.4元/車/天和0.7元/車/天。研究結(jié)果表明，在“車輛—電網(wǎng)—建筑—光伏”集成系統(tǒng)中，強化學(xué)習(xí)在優(yōu)化電動汽車充放電行為方面具有可行性與有效性。

研究方法

在“雙碳”目標與高比例可再生能源并網(wǎng)背景下，電動汽車以其靈活的儲能屬性成為分布式能源系統(tǒng)的重要節(jié)點。然而，出行模式的隨機性與光伏發(fā)電的不確定性，使傳統(tǒng)充電控制策略易陷入“維度災(zāi)難”與高成本運行。針對這一難題，北京科技大學(xué)與北京航空航天大學(xué)團隊提出基于深度強化學(xué)習(xí)的考慮出行異質(zhì)性的車-建筑-光伏系統(tǒng)充放電調(diào)度框架，以實現(xiàn)充電成本最小化與光伏消納最大化。研究構(gòu)建了含樓宇負荷、屋頂光伏及多輛電動汽車的車-建筑-光伏系統(tǒng)模型，并采用DQN算法學(xué)習(xí)最優(yōu)充放電策略。系統(tǒng)狀態(tài)包括過去24小時電價、電動汽車電量狀態(tài)、建筑凈負荷與出行時段信息；動作為空間離散的充、放電決策；獎勵函數(shù)綜合了充電成本、光伏利用率、充電不足與過放懲罰等因素。相比傳統(tǒng)控制策略，強化學(xué)習(xí)控制策略能夠在電價波動、光照變化及多用戶行為異質(zhì)性條件下實現(xiàn)自適應(yīng)決策。研究基于北京高層辦公樓的實測數(shù)據(jù)（含8760小時光伏出力和用電負荷）開展仿真。結(jié)果表明，強化學(xué)習(xí)算法在無未來信息的情況下，其運行性能接近理論最優(yōu)的離線優(yōu)化算法。

圖1. 本文建模框架

圖文導(dǎo)讀

隨著全球電動化與分布式可再生能源的快速發(fā)展，電動汽車正逐漸演變?yōu)榉植际絻δ芘c能量調(diào)節(jié)的關(guān)鍵節(jié)點。然而，電動汽車的出行行為具有明顯的隨機性，而光伏發(fā)電又受天氣與時段強烈影響，兩者的疊加不確定性使傳統(tǒng)充放電控制策略在多目標優(yōu)化中面臨“維度災(zāi)難”。這類系統(tǒng)若缺乏有效協(xié)調(diào)，不僅難以充分利用可再生能源，而且在用電高峰可能形成新的負荷沖擊，削弱電網(wǎng)的靈活性與穩(wěn)定性。

為此，北京科技大學(xué)與北京航空航天大學(xué)合作團隊提出了一種“面向出行特征的強化學(xué)習(xí)”充放電調(diào)控框架，聚焦于建筑—車輛—光伏系統(tǒng)（V2B-PV）的動態(tài)能量優(yōu)化。研究創(chuàng)新性地將電動汽車的出行規(guī)律與建筑用能特征引入RL決策過程，以最小化充電成本、最大化光伏利用率、并降低碳排放為核心目標，構(gòu)建了一個能夠在不確定環(huán)境中自適應(yīng)學(xué)習(xí)、自適應(yīng)優(yōu)化的能量調(diào)度系統(tǒng)。

01

數(shù)據(jù)特征

研究采用北京某高層辦公樓的實測數(shù)據(jù)作為實驗基礎(chǔ)。圖2中展示了六類關(guān)鍵輸入特征：光伏發(fā)電的日變化與季節(jié)性波動、電動汽車出行距離、到達與離開時間分布、建筑負荷曲線以及實時電價信號。全年8760小時的數(shù)據(jù)揭示了典型的“白天光伏高、傍晚用電高”的反向特征，也反映了電動汽車早進晚出的辦公出行規(guī)律。這些多源數(shù)據(jù)共同定義了強化學(xué)習(xí)環(huán)境的狀態(tài)空間，使算法能同時感知能源供給、需求與價格變化的動態(tài)關(guān)系。

圖2. 光伏發(fā)電、出行模式與負荷電價數(shù)據(jù)特征

02

強化學(xué)習(xí)控制策略訓(xùn)練過程

在訓(xùn)練階段，研究團隊使用DQN算法，智能體與環(huán)境交互不斷更新決策。模型采用經(jīng)驗回放與ε貪婪策略平衡探索與利用，約2萬次迭代后即可收斂。圖3中左側(cè)展示了獎勵函數(shù)隨訓(xùn)練輪次逐步提升的過程；右側(cè)為三天典型運行結(jié)果，電動汽車在光伏出力高或電價低時主動充電，在高負荷或高電價時段放電。強化學(xué)習(xí)控制算法在無未來信息的前提下實現(xiàn)了實時自適應(yīng)決策，表現(xiàn)出優(yōu)異的經(jīng)濟性與穩(wěn)定性。

圖3. 強化學(xué)習(xí)模型訓(xùn)練與運行表現(xiàn)

03

強化學(xué)習(xí)控制策略能較好保障電動車主的出行需求

為了評估可靠性，研究比較了五種充電控制策略下電動汽車的出發(fā)荷電狀態(tài)。隨機充電與貪心策略的荷電狀態(tài)波動大，難以保證出行需求；傳統(tǒng)CASAP策略（盡早充滿）雖然避免充電不足，但造成系統(tǒng)性過充與高成本。相比之下，強化學(xué)習(xí)策略將荷電狀態(tài)穩(wěn)定控制在60%–80%之間，與實際出行所需能量高度匹配，既保障續(xù)航，又減少過充，體現(xiàn)出精細化調(diào)控能力。

圖4. 不同策略下電動汽車荷電狀態(tài)分布對比

04

強化學(xué)習(xí)控制策略能實現(xiàn)接近理論最優(yōu)解的充電成本

圖5給出了60天測試期內(nèi)各策略的累計充電成本與日成本分布。結(jié)果表明，強化學(xué)習(xí)策略的累計成本僅為1438 CNY，較隨機充電降低55%，并接近擁有未來信息的理想離線優(yōu)化算法。其平均日成本為18.99 CNY，波動范圍較小，體現(xiàn)出對電價與負荷變化的自適應(yīng)能力。相比之下，CASAP策略為追求“充滿電”而付出高成本，隨機與貪心策略則出現(xiàn)大幅波動與充電不足懲罰。

圖5. 強化學(xué)習(xí)顯著降低系統(tǒng)充電成本

05

強化學(xué)習(xí)控制策略能顯著提升光伏發(fā)電消納

光伏發(fā)電的高效利用是實現(xiàn)低碳運行的關(guān)鍵。圖6顯示，在光照充足期，強化學(xué)習(xí)策略能精確匹配充放電時序，使系統(tǒng)內(nèi)部的光伏發(fā)電消納率達95.3%，顯著優(yōu)于CASAP（92.0%）與隨機充電（90.9%）。強化學(xué)習(xí)控制策略無需未來信息即可學(xué)習(xí)到與光照周期同步的充放電規(guī)律，表現(xiàn)出接近理想優(yōu)化的能效水平，為建筑—交通融合系統(tǒng)的可再生能源利用提供了新思路。

圖6. 光伏能量利用率顯著提升

06

強化學(xué)習(xí)控制策略有效降低排放水平

在同等出行需求下，強化學(xué)習(xí)策略有效降低了系統(tǒng)碳排放。60天周期內(nèi)，其累計排放量為14,681 kg CO?，比隨機充電減少11.6%；單位行駛里程排放強度僅110 g CO?/km，接近理論最優(yōu)的106 g CO?/km。圖7中箱線分布顯示，強化學(xué)習(xí)策略的排放波動區(qū)間明顯更窄，說明其在應(yīng)對可再生能源波動與電價變化時更具運行穩(wěn)定性與環(huán)境韌性。

圖7. 強化學(xué)習(xí)實現(xiàn)碳排放最小化

07

強化學(xué)習(xí)控制策略在不同情景中體現(xiàn)出良好的適應(yīng)性與魯棒性

在考慮光伏計費（PV Billing）情景下，電動汽車用戶需為光伏電力付費。研究重新訓(xùn)練模型以同時優(yōu)化電動汽車與建筑的經(jīng)濟性。結(jié)果顯示，強化學(xué)習(xí)策略在新的計費機制下仍保持明顯優(yōu)勢，累計成本約2034 CNY，僅增加77.1%。圖中可見，盡管成本上升，強化學(xué)習(xí)算法仍能維持合理的充放電節(jié)奏，避免了高峰時段購電與過度放電帶來的額外費用，展現(xiàn)出跨場景的適應(yīng)性與魯棒性。

圖8. 光伏計費機制下的經(jīng)濟性分析

08

出行時間和建筑負荷的信息價值

研究首次量化了不同環(huán)境信息在充電管理中的經(jīng)濟價值（Value of Information，VOI）。當不提供電動汽車出行時間信息時，強化學(xué)習(xí)策略的平均成本上升146.9%，對應(yīng)的信息價值約為5.74 CNY/車/天；若移除建筑負荷信息，成本增加19.5%，對應(yīng)信息價值為1.36 CNY/車/天。圖9展示了兩類信息價值在60天周期內(nèi)的波動情況。結(jié)果表明，出行時間數(shù)據(jù)對智能調(diào)度尤為關(guān)鍵，其獲取可顯著提高系統(tǒng)經(jīng)濟性。

圖9. 信息價值：出行與負荷數(shù)據(jù)的經(jīng)濟意義

09

強化學(xué)習(xí)控制策略算法效率和部署可行性

在保證最優(yōu)性能的同時，強化學(xué)習(xí)模型具備極高的實時性。圖10對比了五種策略的平均計算時間：DQN每步推理僅需約10 ms，比離線優(yōu)化算法快30倍以上。即使在多車輛、復(fù)雜負荷場景下，也能滿足實時決策要求。這意味著強化學(xué)習(xí)框架不僅在仿真中表現(xiàn)優(yōu)異，更具備工程部署的可行性，可直接嵌入樓宇能源管理或園區(qū)級充電控制系統(tǒng)，實現(xiàn)低碳智能運行。

圖10. 毫秒級決策的計算效率

總結(jié)展望

通過出行特征感知與強化學(xué)習(xí)算法的結(jié)合，本研究實現(xiàn)了V2B-PV系統(tǒng)的低成本、高可再生能源消納與低碳運行。在不能完美得知未來系統(tǒng)信息的情況下，DQN模型能實現(xiàn)接近理想最優(yōu)解，展現(xiàn)出強化學(xué)習(xí)算法在復(fù)雜能源系統(tǒng)調(diào)控中的巨大潛力。這一框架為未來“車—樓—光—網(wǎng)一體化”能源系統(tǒng)提供了可落地的智能決策方案。

原文信息

Mobility-aware EV charging and discharging management in V2B-PV systems: a reinforcement learning framework

作者：

Xu Hao, Pengju Liu, Hongyu Pu, Fuda Gong, Fan Tong*, Qi Chen, Lishuo Liu & Xiaoru Chen

https://link.springer.com/article/10.1007/s43979-025-00142-x

DOI:

https://doi.org/10.1007/s43979-025-00142-x

Cite this article：

Hao, X., Liu, P., Pu, H. et al. Mobility-aware EV charging and discharging management in V2B-PV systems: a reinforcement learning framework. Carb Neutrality 4, 26 (2025). https://doi.org/10.1007/s43979-025-00142-x

掃碼獲取原文

通訊作者信息

同凡，北京航空航天大學(xué)，副教授

研究領(lǐng)域

能源系統(tǒng)可持續(xù)性轉(zhuǎn)型系統(tǒng)評估，低碳能源技術(shù)綜合評價。

個人簡介

同凡，北京航空航天大學(xué)經(jīng)濟管理學(xué)院副教授，教育部首批哲學(xué)社會科學(xué)實驗室（培育）北航低碳治理與政策智能實驗室主任助理。從事低碳技術(shù)評估、電力-交通系統(tǒng)耦合轉(zhuǎn)型研究。主持國自科青年項目、北京市發(fā)改委政策研究課題、北航青年拔尖人才項目、北航航空航天專項啟動經(jīng)費等科研課題。作為骨干，參與教育部基礎(chǔ)學(xué)科與交叉學(xué)科突破計劃、國自科國際合作重點項目、國家重點研發(fā)計劃、國家高端智庫重點研究課題、中國工程院戰(zhàn)略研究與咨詢項目、工信部指導(dǎo)性軟課題。在Nature Sustainability, Nature Communications, Joule, Environmental Science & Technology (ES&T), Applied Energy, Carbon Neutrality, iScience等高水平期刊發(fā)表學(xué)術(shù)論文二十余篇，ESI高被引論文1篇。第一作者論文獲ES&T 2021年最佳論文。作為骨干，獲工信部優(yōu)秀研究成果一等獎（2024年）、美國產(chǎn)業(yè)界獎項R&D 100 Award（2023年）、北航優(yōu)秀教學(xué)成果特等獎（2024年）。擔任學(xué)術(shù)期刊Engineering, Carbon Neutrality青年編委，Nature Cities、PNAS等國際學(xué)術(shù)期刊匿名審稿人。

聯(lián)系方式

E-mail: fantong@buaa.edu.cn

圖文來源：原文作者

編輯：Carbon Neutrality編輯部

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

Carbon Neutrality 是由上海交通大學(xué)與Springer Nature合作出版的低碳科學(xué)與技術(shù)、碳金融與碳管理領(lǐng)域的國際跨學(xué)科綜合期刊。本刊旨在打造碳中和領(lǐng)域旗艦期刊和國際一流期刊，主要刊載低碳相關(guān)領(lǐng)域具有高度原創(chuàng)性、能夠反映學(xué)科水平的高質(zhì)量研究論文和評論性綜述文章，為國內(nèi)外從事低碳研究的專家學(xué)者提供一個專業(yè)的國際學(xué)術(shù)交流平臺。

期刊創(chuàng)刊主編由上海交通大學(xué)講席教授趙長穎擔任，12名中國兩院院士擔任顧問編委，國際編委26名（占比50%），第四屆國家氣候變化專家委員會成員4名，全球高被引科學(xué)家7名，中國高被引學(xué)者25名。

目前已被ESCI、EI、Scopus、CAS、DOAJ數(shù)據(jù)庫收錄，成功入選2023中國科技期刊卓越行動計劃高起點新刊項目。創(chuàng)刊三年即獲首個影響因子 12.5，位列 JCRQ1區(qū)。

Carbon Neutrality文章處理費（Article Processing Charge）全免，竭誠歡迎國內(nèi)外低碳領(lǐng)域?qū)＜摇W(xué)者積極投稿，攜手共建碳中和領(lǐng)域全球科學(xué)社群！

轉(zhuǎn)載、合作、咨詢歡迎后臺留言或聯(lián)系編輯部郵箱

CN_Editorial@sjtu.edu.cn

期刊網(wǎng)站：

www.springer.com/journal/43979

投稿系統(tǒng)：

www.editorialmanager.com/lowc/default.aspx

微信公眾號 | Carbon Neutrality碳中和

LinkedIn | @Carbon Neutrality

Facebook | @CarbonNeutralityCN

Twitter | @CN_Editorial

歡迎“分享”、“點贊”