3.5 基于动态规划的协同优化能量管理策略

动态规划一般用于求解确定速度下的变速器换挡和动力源转矩分配问题；随着车联网的普及，PHEV在自动驾驶速度可自主规划的情况下，如何实现车速曲线与转矩分配的协同优化仍然是值得研究的问题。因为PHEV节能潜力的释放不仅仅有赖于具体行驶工况下的动力源和挡位的决策控制，也有赖于合理的行驶速度曲线规划。

基于此，本节依托智能网联PHEV车速限制信息可联网获取和智能驾驶时车速可自主规划为前提条件，在其他类型车辆相关求解研究的基础上，解决速度规划、动力源转矩分配和DCT挡位决策的协同控制问题，实现速度限制条件下全局综合能耗经济性协同最优。车速轨迹的求解方式主要可以分为时间域与空间域两种类型。相比于时间域求解，空间域求解在相关领域求解中使用更为广泛，因为此类研究更多的是基于从一个地点到达另一个地点确定行程距离问题，转化成空间域求解更加顺理成章。因此本章节采用空间域动态规划求解设计协同优化控制策略。

3.5.1 基于动态规划空间域求解的PHEV协同优化能量管理策略

（1）协同优化问题空间域工况设计

由于现行标准工况更多的是基于时间域的时间-速度图，而基于空间域的行程-速度图则较少，空间域工况的设计上，更多的是研究者采用自行设计的方式，这样便于空间域在均匀离散时圆整处理。自行设计空间域工况，虽然便于行程的均匀离散处理，但是同时也损失了直接从时间域标准工况转化成空间域工况的便捷，另外，自行设计工况是否具有代表性也无从证明。

因此，在空间域工况的设计上，采用直接从时间域工况转化成空间域的方式设计。从图 3.18 中可以看出，以NEDC工况为例，直接将时间域工况转化成空间域工况，在当工况在空间域均匀离散之后会出现速度阶跃的情况。标准的NEDC工况按照时间域方式给出，仅仅给出了每一秒末的速度和每一秒内的加速度，若把工况一秒末的速度看作这一秒内的速度，那么行程的均匀离散就意味着速度的阶跃变化。虽然可以通过线性插值的方式将每时每刻的速度确定，避免在行程均匀离散的过程中出现速度阶跃的情况，如图 3.18（c）所示。但是，一个标准工况的行程距离一般都不圆整，例如NEDC工况长度为 10 931.38 m，如果按照 10 m离散的话，那么最后一个阶段的长度 1.38 m就需要舍弃。另外，每个阶段在均匀离散的时候取多长也是问题，离散的疏密程度对于结果有一定影响。如研究表明，行程距离均匀离散在车速较低时对结果影响较大，原因在于低车速时，空间域中一个阶段的行程距离意味着时间域中几个阶段的时间跨度，而在高车速情况下则正好相反。

鉴于此，采用基于时间域工况直接转化非均匀离散的空间域工况的方法，行程的每一个阶段长度和对应的时间域工况单位时长的行程距离一致，可以确保工况离散大小得当，同时避免了均匀离散时速度阶跃和行程无法圆整的情况。

值得注意的是，直接空间域离散无法处理速度为零的情况。一个阶段内，行程距离不为零，速度为零则时间是无穷大（Inf）；行程距离为零，速度为零则时间为NaN。无论哪种情况都是需要避免的，在转化过程中，需要先去除时间域工况中速度为零的部分，待求解完毕，再将相应位置速度为零的点填补回去即可。图3.19所示为空间域行程距离非均匀离散和相应的空间域速度限制示意图。

（2）协同优化问题的空间域动态规划描述和离散精度设定

采用空间域求解的协同优化能量管理的动态规划问题描述，依然包含决策函数、状态转移函数、限制条件和目标函数 4 个部分，策略目标是在满足空间域内速度和加速度约束的条件下实现整个工况行程内总能耗成本最低，阶段使用非均匀离散的行程来划分。决策函数，决策量为行程在某阶段时的车辆加速度、挡位和发动机转矩。状态转移函数，状态变量包括行程、车速和动力电池SOC。限制条件，包括动力电池SOC约束、发动机转速转矩约束、电机转速转矩约束、速度范围限制约束、加速度能力限制约束以及速度的状态转移约束。目标函数，由于阶段使用行程距离划分，因此寻优目标是在全部行程距离内并且满足速度和加速度限制的前提下实现综合能耗经济性最优，逆向寻优成本函数的表达式如式（3.14）所示：

式中， t （ k ）表示 k 阶段的时长， Q _e （ k ）、 Q _m （ k ）、 Q _g （ k ）、 Q _a （ k ）分别为 k 时刻发动机油耗成本、电机电耗成本、换挡惩罚和速度波动惩罚。

由于空间域采用与时间域相对应的非均匀离散，故在控制精度上可以采用和时间域求解同样的精度控制，见表 3.1。

（3）协同优化能量管理问题的动态规划空间域求解

出于节省计算时间和减少内存使用的需要，动态规划空间域求解同样采用元胞数组，整个求解过程的状态变量表示如下：

整个求解过程的成本表示如下：

对于每一个阶段，各个决策变量用矩阵表示如下：

式（3.15）至式（3.18）中， Nd 表示离散阶段的数量，元胞数组 V 表示储存所有阶段的可行速度状态，元胞数组 A 、 U 、 G 用来储存所有阶段各个状态下最优的加速度。 Ns 表示离散的SOC数量， Nb 表示 k 阶段初的速度离散量， Ne 表示 k 阶段末的速度离散量， Ng 表示挡位数量， Nu 表示发动机转矩的离散数量。由于采用逆向寻优的方式， v ₀ 、 a ₀ 和 j ₀ 分别表示终止阶段的速度状态加速度状态和边界成本。

每一个阶段的加速度和阶段末速度以及阶段时间矩阵可表示为：

式中， d ＿ d （ k ）表示 k 阶段离散行程的长度（m）； t 表示 k 阶段的历时（s）。

空间域求解协同优化策略本质上也属于动态规划；包含逆向求解与正向寻优两个过程，最优过程的子过程必然最优，如式（3.20）所示。

在逆向求解的过程中，SOC落在状态离散点阵上时采用和前述相同的插值方法，在正向寻优如式（3.21）所示：

式中， to （ k ）表示 k 阶段的最优决策对应的时间长度（s）。

正向寻优过程中，对于最优控制量的获取，加速度决策和DCT挡位决策采用邻近插值，发动机转矩采用线性插值。

3.5.2 协同优化能量管理策略求解结果分析

（1）PHEV工作模式及工况选取

在非智能网联的情况下，PHEV能量管理策略偏向于使用长距离综合工况或者使用多个标准工况在行程距离远超PHEV纯电动行驶里程（All Electric Range，AER）的情况下进行能量管理以凸显PHEV在混合模式（Blended mode）下的节能优势。几乎所有的PHEV全局优化结果都表明：确定工况下，当AER无法覆盖全部行程时使用混合模式驱动，车辆的SOC会在整个行程中均匀地下降，在行程结束时SOC会落在SOC下限附近可实现最优经济性。然而，确实存在PHEV不在混合模式情况下的能量管理需求。在速度无法自主规划的情况下，PHEV的能量管理重点在于合理地协调动力源之间的能量分配。由于电能的价格远远低于汽油的价格，在AER足够覆盖全部行程时，此时无论采用何种策略或者算法，求解结果都倾向于优先使用电能，各种能量管理策略在效果上不会有明显不同。此外，若PHEV在行程初始SOC就在下限附近，此时的PHEV在整个行程中就会采用电量维持策略（Charge Sustaining，CS）以确保电池寿命，在工作特性上与HEV接近，其可外接电源充电的优势也无法得到充分体现。事实上，在实际生活中PHEV的AER覆盖目的地范围的情况很常见，另外，在PHEV未及时充电的情况下，初始SOC在下限附近的情况也不在少数。

综上所述，验证智能网联的PHEV的能量管理策略的有效性，重点在于体现在对速度规划和转矩分配的协同控制上，需要从以上描述PHEV的全部 3 种使用模式出发，作出系统而全面的验证：

①AER模式，该模式下PHEV动力电池的电量能够覆盖全部行程，发动机仅仅在电机动力无法满足驾驶动力需求的时候开启。

②HEV模式，该模式下PHEV动力电池在行程初始就在SOC下限附近，SOC允许小范围波动，在行程结束时，SOC需要再次回归SOC下限附近，以保证电池寿命。

③混合模式，该模式下PHEV动力电池行程初始SOC较高，同时行程较长，电池电量无法覆盖全部行程，需要发动机协作配合，动力电池在行程过程中均匀释放电能。

AER模式和HEV模式分别类似于EV和HEV，所以在能量管理有效性的验证都不需要长距离工况来验证。为了便于观察求解曲线，这里的时间域工况采用与研究相同的工况，相应的空间域工况采用 3.5.1 中所示方法直接转化得到，空间域工况上限速度均为平均速度的 1.1 倍，下限速度均为平均速度的 0.9 倍，如图3.20所示。

对于混合模式的策略有效性验证需要选用长工况，空间域工况平均车速曲线通过时间域平均车速曲线直接转化得到，速度上下限分别设定在NEDC参考速度上限0.5 m ／ s和下限 0.5 m ／ s，对于速度范围中小于 0 的部分全部按照 0 来处理，如图 3.21所示。

（2）AER模式空间域求解结果分析

1）求解结果

AER模式下空间域协同优化结果如图 3.22 所示，初始SOC均设定为 0.7。在速度曲线自主规划方面，规划曲线始终有紧贴速度下限的趋势，整体速度曲线相比于平均速度线更加平缓，规划曲线会选择在平均速度曲线加速之前进行加速，会在平均速度减速停止之后继续减速，这种规划方式可以保证加速时使动力源不至于负荷过大，既可以工作在高效区，也可以保证在减速时充分回收制动能。整个行驶过程中车辆的速度曲线过渡平滑，没有发生明显的速度曲线震荡和抖动的情况。

此外，从图 3.22（b）中可看出，AER模式挡位切换较为合理，挡位切换能够较好地匹配自主规划的车速曲线且全程没有发生频繁换挡。如图 3.22（c）所示，在动力源转矩分配方面，两种求解方式的全部行程的能量消耗来自动力电池，SOC下降相对平缓，电机转矩也较为平稳，全程发动机均未启动。综合来看，协同优化可实现各个控制变量较好的协同控制，规划曲线相对于平均速度线更为平缓，变速器换挡合理以及动力源转矩分配高效且均匀。

2）成本分析

如图 3.23 所示，AER模式不同初始SOC下协同优化和全局优化成本比较，从图中可以看出，无论初始SOC如何，在AER模式下协同优化均能够实现相比于速度下限更优的综合能耗经济性。空间域求解采用行程距离作为阶段加以离散，求解目标是在一段行程距离内满足速度限制条件而实现全程经济性最优。从图 3.23 的结果看，在AER模式下空间域求解能实现各自的求解目标，即保证综合能耗成本最低。但是，采用空间域求解仍有不足，即无法对行程时间加以约束。如图 3.23（b）所示，在空间域求解下，求解曲线仅能保证行程距离，但是整个行程时间在求解之初是无法约束的，可以看出求解曲线行程时间上最接近速度下限，这也吻合图 3.22（a）中求解速度曲线贴近速度下限的特征。

空间求解方式反应在行程距离、行程时间和成本的详细对比见表 3.2。在初始SOC为 0.7 时，协同优化时间域求解可以带来相比于平均速度线在全局优化求解时 20.13％的成本优化，但同时，相比于平均速度线，行程距离降低 8.01％。在初始SOC为 0.7 时，协同优化空间域求解可以带来相比于平均速度线 14.77％的成本优化，但同时，行程时间增加 7.92％。反映在现实意义上，空间域求解花费更长的时间到达目的地，通过牺牲一小部分的时间成本，来获取更大程度的能耗经济性提升。这也是大部分相关研究通常采用空间域求解而不用时间域求解的原因，因为未约束行程的时间域求解行程距离无法约束，这意味着没有明确的目的地，没有实际意义。

协同优化能量管理，不仅涉及能耗成本，也涉及行程时间和距离，即求解目标应该是在满足行程距离和行程时间约束的前提下，在速度和加速度限制下实现能耗经济性最优。关于协同优化能量管理的行程时间的约束也是未来一个值得研究的方向。总之，在AER模式下，协同优化能量管理能够对速度曲线自主规划和动力源转矩分配协同控制，进而实现综合能耗成本最优。

关于协同优化求解曲线速度贴近下限与综合能耗成本之间的关系，可以从两个方面分析：车轮-行程（Wheel-to-distance）和动力源-车轮（Tank-to-wheel）。AER模式下，能量消耗基本上来自电能，车轮的需求转速和转矩整体上对电机和电池的效率没有非常大的影响，也就说动力源-车轮这一部分的效率不随车速明显变化。而随着车速增加，风阻随速度变化的非线性特性使得在车速较高时，车轮-行程这部分效率会降低。综上所述，车速较高的情况下不仅车辆需求功率会增加，而且车辆整体效率会降低，导致综合能耗成本增加，故而求解速度曲线都有贴近速度下限的趋势。

（3）HEV模式空间域求解结果分析

将初始SOC初始值和期望末值设定为 0.3，在HEV模式研究中将SOC上限设定为 0.305，下限设定为 0.295，SOC的离散精度为 0.001。HEV模式下为了保证SOC始末值尽量接近，同时保证在行程过程中SOC波动在约束范围内，约束方程如下式所示：

式中， Q _s 表示由于SOC波动引起的成本惩罚， s _f 为SOC期望末值， N 表示阶段数， h ₁ 为SOC过程约束惩罚系数取值为 10， h ₂ 为终止约束惩罚系数取值为 10 000。

1）求解结果

HEV模式下空间域协同优化结果如图 3.24 所示，初始SOC均设定为 0.7。在速度曲线自主规划方面，相比于AER模式，速度曲线对于速度下限的贴合程度不如AER模式，尤其是在加速过程中有着相关研究中所述的明显的加速-滑行特征。这是因为相比于AER模式，HEV模式出于电量平衡考虑，全部能耗大部分来自发动机的燃油消耗。车速对发动机效率的影响远远大于对电机电池的效率影响，相对较高的车速使得发动机更容易工作在高效区，即得动力源-车轮这一部分的效率较高，尽管车轮-行程的效率略有降低，同时整车需求功率升高，但综合下来，综合能耗更优。整个行驶过程中车辆的速度曲线相比于AER模式更加尖利，特征更加趋向燃油车，但是没有发生明显的速度曲线震荡和抖动的情况。此外，从图 3.24（b）中可看出，HEV模式最高挡位变成 6 挡可更好地匹配发动机的工作特性，且挡位切换较为合理，全程没有发生频繁换挡。如图 3.24（c）所示，在动力源转矩分配方面，发动机和电机转矩都比较平稳，两个动力源协调控制运行，且SOC波动平稳终止时落在期望终值附近。综合来看，HEV模式下协同优化可实现各个控制变量较好的协同控制，规划曲线有利于发挥发动机的工作效率以及维持SOC平衡，变速器换挡合理以及动力源转矩分配高效且均匀。

2）成本分析

由于在HEV成本对比时，终了SOC并不能做到完全一样，为了统一燃油消耗对比，将所有的SOC值统一到协同优化求解的终了SOC，统一处理如下式所示：

式中，Δ Q 表示修正燃油成本，元；ΔSOC表示对比组与协同优化终了SOC差值， Q _b 表示电池充满电量，kW·h； b _e 表示该策略整个行程平均燃油消耗率，通过统计所有发动机启动点平均得到，kg／（kW·h）； γ 表示汽油重度，kN／ m ³ ； η _{b ＿chr} 表示该策略整个行程的平均充电效率，通过统计所有充电点电机和电池功率比值平均得到。

从图 3.25 的结果看，在HEV模式下空间域求解能实现各自的求解目标，即保证综合能耗成本最低。与AER模式不同之处在于，HEV模式下求解曲线的平均速度相比于AER模式要略高，从表 3.3 中可以看出协同优化空间域求解曲线行程时间比AER模式有所降低。总而言之，在HEV模式下，协同优化能量管理能够对速度曲线自主规划和动力源转矩分配协同控制，进而实现综合能耗成本最优。

（4）混合模式空间域求解结果分析

1）求解结果

混合模式下空间域协同优化结果如图 3.26 所示，初始SOC均设定为 0.7。由于协同优化速度轨迹可自行规划的特点，反映在求解曲线上，从图 3.26（a）可以看出速度曲线有贴近速度下限的趋势，速度曲线在加速区间平稳过渡，在减速区间平缓减速。整个行驶过程中车辆的速度曲线过渡平滑，没有发生明显的速度曲线震荡和抖动的情况，动力源在加速时能工作在较高负荷并实现平稳过渡，也保证了制动时的平缓减速充分回收制动能量。此外，从图 3.26（b）中可看出，PHEV的挡位切换较为合理，仅在高速部分有在 5 挡和 6 挡之间切换稍显频繁的情况，考虑到协同优化本身控制变量较多，受限于离散精度不可能极高，挡位切换还是能够较好地匹配自主规划的最优车速。从图 3.26（c）中可以看出，混合模式的求解结果在SOC的表现形式上具有全程相对均匀释放，到行程终了之时落在SOC下限附近，这种特点和确定速度曲线的全局优化在长行程工况上的表现类似。空间域求解的SOC变化趋势接近线性变化，这种特征也与常规非智能驾驶PHEV能量管理中采用空间域方式规划SOC轨迹的做法相吻合。综合来看，在混合模式下各个控制变量可以实现较好的协同控制，速度曲线相对于NEDC工况更为平缓，变速器换挡合理以及动力源转矩分配高效且均匀。

2）成本分析

一方面，如图 3.27 所示空间域中采用协同优化求解曲线和全局优化曲线进行成本比较，由于允许的速度自主规划范围较小，表现在成本上空间域求解在综合能耗成本上略低于速度下限值。另一方面，由于相比于AER和HEV模式较窄的速度自主规划区间，使得空间域求解在行程时间上与平均速度线差距减小。除此之外，在成本随初始SOC变化关系上，AER模式由于能耗基本上来自电能，HEV模式成本大部分来自油耗，因此这两种模式下成本随初始SOC的变化不大。混合模式内随着初始SOC降低，成本都会增加，因为燃油的费用远高于电价。对于空间域求解随着初始SOC的降低，行程时间会减少，这也表明初始SOC的降低会带来求解速度曲线的平均速度上升，这也表明随着初始SOC降低车辆的特性开始偏向燃油车或者HEV，而当初始SOC较高时，无论是AER模式还是混合模式，车辆的特性都偏向于EV。

具体的成本表现对比上，由于混合模式的速度限制范围较窄，从综合能耗成本的优化上来讲，协同优化求解曲线在能耗成本优化上是十分明显的，以初始SOC 0.7为例，求解结果见表 3.4。空间域求解可以实现 7.02％的成本优化，同时也意味着3.15％的行程时间增加。

综上，在已知全局行驶工况的条件下，动态规划算法基于Bellman最优性原理，能使PHEV获得理论上最优的燃油经济性。本章节介绍了基于动态规划的PHEV的全局优化能量管理策略以及协同优化能量管理策略的设计与开发。基于动态规划理论对PHEV能量管理优化问题确定优化问题状态变量与控制变量，基于MATLAB适合矩阵运算的特点，对动态规划逆向求解过程和正向计算过程进行编程，设计基于动态规划的全局优化能量管理策略；对全局优化能量管理策略进行实例分析，对影响动态规划控制效果的状态变量及控制变量离散精度的影响机制进行研究，基于此确定了合适的离散精度，对动态规划的全局优化结果进行了分析，研究在重复循环工况下的SOC下降规律；针对智能网联型PHEV自动驾驶的需求，介绍了基于动态规划的协同能量管理策略，考虑车速限制与车辆动力传动系统，在空间域上对行驶车速与动力系统控制进行协同优化求解，进一步提升了车辆的燃油经济性。 XrO48IfBUwc6mj+qt9Zilg9+aXDSNPClBZ3SUCHYDoTzTJ7sI9dxHWqTGn2fxPOp