边缘云环境是一种将计算、存储和网络资源从传统的云数据中心向网络边缘靠近的架构，旨在满足快速增长的数据流量和延迟敏感的应用需求，为用户提供更低延迟、更高带宽和更好的数据隐私保护。尽管云计算可以降低成本、提高性能且具有高资源容量，适用于大数据分析[1]、企业资源规划[2]和视频流媒体服务[3]等领域，但由于云服务器距离用户较远，存在延迟和可靠性等问题；另一方面，虽然边缘计算距离用户较近，可以提供较低的延迟，适用于智能家居[4]、智能安防[5]和分布式能源管理[6]等领域，但资源有限，无法满足大体量用户同时使用。边缘云环境通过统一的资源调度，整合了边缘计算和云计算的优势，可同时提供低延迟的计算服务和强大的计算能力，被应用于物联网[7]、智能互联汽车和智能交通系统[8]、医疗保健[9]等需要快速、实时、可靠的数据处理和决策的领域。
边缘云环境对边缘计算和云计算的集成不可避免地需要克服网络异构性，此外，也需要许多专用物理设备来实现硬件编排，而升级或扩展这些专用物理设备组成的中间盒，会给网络服务提供商带来极大的资本支出和运营支出。面对网络功能设备运维开销增大和管理难度提高的问题，网络功能虚拟化(network function virtualization，NFV)成为创新技术之一，NFV将网络功能与硬件设备分离[10]，结合基于通用商业服务器的网络功能配置与管理，有效减轻了企业在网络设备管理和维护方面的负担，提供了一种灵活的网络服务配置方式。在NFV的架构下，不同的虚拟网络功能(virtual network functions，VNFs)按照特定的次序形成一条服务功能链(service function chain，SFC)，每条SFC代表着一个源自终端用户的请求[11]，这种链式连接使得网络能够以有序的方式处理和转发数据流，实现精准的网络功能服务。
SFC和边缘云环境的结合是一种发展前景优异的技术架构，尤其在智能交通系统(intelligent transportation systems，ITS)中，ITS包含大量的车辆、交通基础设施以及各类传感器，这些设备会产生海量的实时数据。边缘计算靠近数据源，可以在本地对这些数据进行快速处理，云计算可以提供强大的计算能力和存储能力，而边缘云环境整合了边缘计算和云计算，既能实现实时的交通监控、车辆路径规划等功能，也能对大量数据进行深度分析以提高整个交通系统的运行效率和安全性。
尽管在边缘云环境中部署SFC具备优势，但也面临一些挑战。首先，边缘云环境主要由边缘层和云层组成，边缘层和云层均由该层的设备以及设备之间的链路组成，边缘层和云层之间的设备通过链路进行连接以保证互通，边缘云环境中的设备具有计算资源，设备间的链路具有通信带宽，来自不同用户的SFC请求中的VNF实例在部署时需要计算资源和通信资源，进行SFC部署时，不仅要满足SFC请求的计算量与通信需求，还需确保部署过程中产生的计算延迟、通信延迟以及SFC请求从到达至处理前的排队延迟，满足SFC的端到端延迟要求。此外，边缘设备资源容量有限，因此在考虑资本支出和运营成本的前提下，应考虑权衡资源容量和延迟需求以保证网络服务提供商的收益。最后，ITS中的数据流和处理需求是高度动态的，交通状况的瞬息万变导致SFC请求以不可预测的方式到达，这要求边缘云环境具备高度的灵活性和智能决策能力，能够根据当前剩余的计算能力和带宽状况，对新到达的SFC请求做出即刻且不可逆的部署决策，以确保交通管理服务的连续性和高效性，同时避免资源过载或服务中断。已有研究中SFC部署于单层[12-37]或多层网络中[38-45]，其中目标为收益最大化的研究大多基于云计算单层网络[32-37]，没有考虑边缘云环境中的收益和成本问题，并且没有同时考虑SFC请求的排队延迟、计算延迟和通信延迟[35-37]。
本文所研究的是边缘云环境中的在线SFC部署收益最大化问题(online SFC deployment revenue maximization in edge and cloud environment，SDRM-EC)，通过考虑边缘云环境中不同层计算设备的特征，研究了在线SFC部署、资源分配、延迟满足和收益最大化问题，为了更好地权衡资源容量和延迟需求、提高解决问题的效率以及在有限资源下做出最佳的VNF实例部署决策，提出了基于深度强化学习(deep reinforcement learning，DRL)的SFC部署算法SDRM-EC-DPR。该算法能优化边缘云资源分配，减少资源浪费，降低企业因资源利用不合理产生的成本，同时精准把控延迟，加快数据处理、缩短响应时间，提升用户满意度。
1 相关工作
1.1 边缘云环境
1.2 单层网络中的SFC部署
随着NFV的兴起，SFC部署成为研究热点，早期研究多采用整数线性规划(integer linear programming, ILP)解决优化问题。例如，在云计算中，Harutyunyan等[12]针对5G环境的低延迟SFC部署提出ILP模型及启发式算法；Gao等[13]关注了公共云中成本效益型VNF部署与调度；Yue等[14]通过吞吐量与延迟保障的启发式策略提升资源利用率；Wu等[15]结合SRv6优化端到端性能。在聚焦于边缘的研究中, Wang等[16]最大限度地减少网络延迟和数据传输费用；Zhang等[17]提出一种控制器配置方案，在最小化网络成本的同时确保即使在最不利的传播延迟条件下也能满足可靠性；Wang等[18]在保证低延迟的同时考虑网络负载变化和服务共享特点，以实现最小化资源使用。
然而，传统启发式方法面临灵活性不足、局部最优等问题。DRL因能灵活应对动态大规模问题而受到青睐。在研究云计算的工作中，Li等[19]提出深度Q网络(deep Q-network，DQN)引导的自适应部署策略，但动作空间受限；Wang等[20]通过DRL定位SFC部署，侧重容错而忽略VNF的具体位置；Gu等[21]借助深度确定性策略梯度(deep deterministic policy gradient，DDPG)增强调度能力，但基于的理想化假设限制了实际应用；Pei等[22]利用双深度Q网络(double deep Q-network，DDQN)求解VNF部署，同样依赖于流量预测；邱航等[23]的DQN方法虽关注资源消耗与时延约束，但未有效约束动作空间，影响算法训练效率。在研究边缘计算的工作中，Khoshkholghi等[24]利用分布式DRL实现边缘环境负载均衡；Lü等[25]采用D3QN的联合调度策略，旨在增加服务商收益并优化边缘计算资源利用；Chai等[26]面对卫星通信资源紧缺，设计了联合多任务方案以提升卫星物联网的承载效率；Li等[27]通过并行服务加速在线服务计算，缩短SFC处理时间和延迟，增强资源利用率；Sun等[28]聚焦实时图任务调度，利用迭代算法减小有向无环图宽度并满足截止时间；Tang等[29]建立了双时间尺度框架模型，用于卫星边缘计算网络的服务部署和任务调度，确保计算性能与服务质量(quality of service，QoS)；Yu等[30]综合优化了服务延迟、部署成本和请求接受率，以达到多样化的QoS需求；Guo等[31]通过SFC请求并行处理和VNF独立激活，减少SFC长度，实现计算加速。
1.3 多层网络中的SFC部署
以上研究是在单层网络中部署SFC，也有一些SFC被部署于多层网络中。Son[38]、Martín-Pérezd等[39]引入云资源到模型中进行补充，仅在边缘资源耗尽时使用远程云；Yang等[40]优化了跨边缘与公有云的VNF部署及流量路由，侧重降低链路负载和满足延迟需求，但未充分考虑资源成本；Ma等[41]针对未来请求，开发了在线算法以最大化移动边缘云网络吞吐量；Xu等[42]解决了多层云网络中物联网应用的部署问题，通过ILP模型与启发式算法追求吞吐量最大化；Li等[43]以SFC部署成本最小化为目标，提出资源感知部署算法；Mao等[44]的DCNF算法平衡了边缘与云资源及延迟，优化成本。此外，Siasi等[45]针对边缘-雾-云架构，设计了延迟敏感的SFC供应方案，采用贪婪启发式算法实现多种优化目标。
1.4 收益最大化的SFC部署
在目标为收益最大化的研究中，Zhai等[32]提出了收入成本比最大化的混合整数线性规划模型和次优启发式算法；Xie等[33]研究了在动态场景中部署SFC的问题，即一个具有时变服务流大小和VNF排序的问题，旨在提升电信服务商收入；Alghayadh F等[34]优化了5G云无线接入网络中的SFC部署，为各种SFC部署场景实施了差异化定价机制，以上使用的都是启发式算法，效率虽然较高，但在精度和满足动态需求上还需做进一步改进。在基于强化学习的算法中，Pan等[35]通过图卷积网络表示网络状态，并结合时间差分实现SFC的在线部署，但是并没有考虑延迟；Fan等[36]结合图卷积网络学习网络状态的综合表示，通过为SFC请求动态生成部署解决方案的时间差异来最大化长期平均收入，但未考虑SFC请求的延迟；Wang等[37]通过结合提取物理网络特征的图卷积网络和捕获SFC请求的有序信息以生成部署策略的序列模型以最大化长期平均收入，但是没有考虑链路上的延迟。
2 网络模型和问题定义
2.1 网络架构
边缘云环境的网络架构如图 1所示，由边缘设备层和云设备层组成。第一层为边缘设备，该层依靠边缘计算为用户提供近距离服务，边缘设备的特点是计算性能有限，带宽不足，但通信延迟最短。第二层为云设备，该层依赖云计算提供巨大的计算和通信资源，但由于与用户设备的距离和链路拥塞，难以提供令人满意的端到端延迟。
2.2 网络模型
定义无向图G={D, E}对边缘云网络架构进行建模，D={di}表示边缘云网络中可以部署VNF实例的计算设备集，大小为|D|。第i个设备di具备3个属性，由三元组{Ti, Ri, ri}表示，其中Ti∈{1, 2}表示第i个设备所在的层，Ti=1表示其在边缘设备层中，2表示在云设备层中；Ri为di的总计算资源容量，ri为其剩余计算资源容量。E={ei, j}表示设备之间的链路集，ei, j表示第i个设备di和第j个设备dj之间的链路，ei, j的总链路带宽为Bi, j，剩余带宽容量为bi, j。
假设存在来自用户的|R|个SFC请求，表示为R={rn}，第n个请求rn由一个九元组{Fn, Ln, En, srcn, dstn, revn, γn, ki, ηn, k, li, j, ltn}构成。其中Fn={fn, 1, fn, 2, …, fn, k, …, fn, Ln}表示请求rn的SFC所需的VNFs序列，fn, k表示请求rn的第k个VNF。Ln表示请求的SFC的长度。En={en, k, l}表示请求rn的VNFs之间的链路集合，en, k, l表示相邻VNFs fn, k和fn, l之间的链路。srcn和dstn分别表示rn的源和目的地处的用户设备。revn是服务提供商在成功部署rn时获得的收益，每个rn的收益都不同。γn, ki表示VNF fn, k在设备di上的计算延迟，与di所在层有关。ηn, k, li, j表示链路ei, j的通信延迟，与di和dj所在层有关。ltn表示rn的端到端延迟需求。VNFs fn, k和fn, l之间所需的链路带宽为bn, k, l，fn, k所需的计算资源为rn, k。请求自到达至处理前的排队延迟为waitn。表 1为网络模型中的主要变量和对应含义。
表 1 主要变量和对应含义 |
| 变量 | 含义 |
| di | 计算设备，集合为D |
| rn | SFC请求，集合为R |
| ei, j | 设备之间的链路，集合为E |
| Fn | 请求rn的VNFs的集合 |
| En | 请求rn的链路的集合，en, k, l∈En |
| fn, k | 请求rn中的第k个VNF，fn, k∈Fn |
| Ln | 请求rn中的VNFs的个数 |
| srcn | 请求rn的请求源 |
| dstn | 请求rn的目的地 |
| ltn | 请求rn的延迟要求 |
| waitn | 请求rn自到达至处理前的排队延迟 |
| revn | 服务提供商在成功部署rn时获得的收益 |
| Ri | 设备di的总计算资源容量 |
| ri | 设备di的剩余计算资源容量 |
| rn, k | VNF fn, k所需的计算资源 |
| γn, ki | VNF fn, k在设备di上的计算延迟 |
| ηn, k, li, j | 链路ei, j的通信延迟 |
| Bi, j | 链路ei, j的总链路带宽 |
| bi, j | 链路ei, j的剩余链路带宽 |
| bn, k, l | VNFs fn, k和fn, l之间所需的链路带宽 |
ITS中一个由4个VNFs组成的SFC请求示例如图 2所示，4个VNFs分别为车联网、安全认证与加密、位置服务、交通信息处理与分发，该SFC请求需要部署在边缘云环境中，基于安全性和可靠性考虑，SFC中的VNFs不能部署在同一台设备上，而且，SFC中的第一个和最后一个VNF需要分别部署在离源用户设备和目的用户设备最近的一层。
2.3 问题定义
本文的研究内容为边缘云环境中的在线SFC部署收益最大化问题(SDRM-EC)。给定一个边缘云环境G={D, E}，计算设备集合D中的设备位于网络的每一层，相邻层或同一层的设备通过集合E中的链路连接起来，设备di和链路ei, j分别存在自己的容量。SFC请求的集合R需要被部署在边缘云环境中，请求为在线到达。每个请求为一个由多个VNFs组成的SFC，每个VNF有计算容量需求，相邻VNFs之间有带宽需求。每个SFC请求的应用响应延迟由该SFC请求的排队延迟、该SFC请求中所有VNFs部署在物理设备上的计算延迟和VNFs之间的链路在物理链路上传输的通信延迟组成，SFC请求的应用响应延迟不高于端到端延迟需求时才可以被部署。一旦SFC请求被接受，无论后续请求如何，该请求的部署都不能被撤销。综上，SDRM-EC问题是在满足SFC的延迟、计算能力和带宽容量需求的约束下，通过允许尽可能多的请求被接受来最大化网络G中的累积收益。
3 边缘云环境中收益最大化的在线服务功能链部署算法
3.1 问题建模
设备的计算能力和通信链路的带宽通常被视为SFC在提供服务时所消耗的资源。随着处理的请求越来越多，剩余的资源越来越少，较晚到达的高收入请求因为无法满足其资源需求而被丢弃，从而导致服务提供商的总收益减少。因此，本研究设计了一种决定是否接受请求的方法，而不是接受所有请求。SFC请求部署成本是很好的度量机制，但由于边缘云环境的异构性，实际成本难以标准化。因此，对于每个请求，根据市场机制的供需规律动态变化的虚拟成本消除设备异构性，并评估请求是否值得被接受。
根据市场供求规律[49]，在供大于求的情况下，商品价格会下降，而在需求超过供给的情况下，商品总量有限，商品价格会上涨。受供求规律的启发，将请求视为需求端，计算和通信资源作为供给端，以此来设定计算和通信资源的成本。在实际网络环境中，计算资源和通信资源是有限的，如同商品受供求影响价格变化一样，计算和通信资源成本随供需变化，符合经济原理，与实际资源供需紧密相关；随着剩余资源减少、成本增加，服务提供商可依据成本函数评估请求，放弃消耗过多但收益有限的请求，合理分配资源，提高整体收益；此外，边缘云环境设备异构，成本函数依据实时供需动态调整，不以设备固定属性确定成本，能公平评估不同设备上请求部署成本，消除异构性。因此，引入了部署成本的概念，并设计了相应的成本函数，从而使部署成本随着网络环境剩余资源量的减少而逐渐增加，由此服务提供商可以放弃一些消耗资源过多但收益有限的请求。
在请求rn到达之前分别定义设备和链路上的相对负载如下：
其中: $X=\left\{x_{n, k}^i\right\}_{f_{n, k} \in F_n, d i \in D}, Y=\left\{y_n\right\}_{r_n \in R}、Z=$$\left\{z_{n, k, l}^{i, j}\right\}_{e_{n, k, l} \in E_n, e_{i, j} \in E}$为3个二元决策变量，yn=1表示请求rn被接受，否则被丢弃，同理，xn, ki和zn, k, li, j分别表示设备di是否部署fn, k和链路ei, j是否部署在链路en, k, l上。负荷越重，剩余资源越少，λnp(i)和λnq(i, j)值越大，根据供求规律，资源稀缺时，单位成本函数会增大。因此，将计算资源和通信资源的单位成本函数分别设置为
其中: α和β是调节因子，costnp(i)和costnq(i, j)分别表示在请求rn到达之前，设备di和链路ei, j上每单位的计算和通信部署成本。单位成本函数能够根据资源的实时剩余量动态地调整成本，此外，单位成本函数通过以剩余资源量为基础计算成本，公平评估不同设备和链路的成本，消除了设备间的异构性。
将在边缘云环境中部署SFC的收益定义为被部署请求的收益减去设备的计算部署成本和链路的通信部署成本，于是目标函数为
3.2 约束条件
式(6)表示VNF fn, k最多可以部署在一个设备上。
式(7)表示SFC中的VNFs不能部署在同一台设备上。
式(8)表示一旦请求rn被接受，该请求rn的SFC上的所有VNFs必须部署。
式(9)表示VNF fn, k占用的计算资源在其部署的设备上不能超过其剩余容量。
式(10)表示相邻VNFs fn, k和fn, l之间占用的链路带宽不得超过已部署链路的剩余带宽。
式(11)和(12)分别表示决策变量Xn和Zn的值只能为0或1。
式(13)表示请求rn的排队延迟、计算延迟和通信延迟的总和不能超过其延迟约束。
3.3 Markov决策过程建模
在边缘云环境中，SFC部署的状态通常由当前的资源分配情况、服务请求队列、已部署的SFC列表等组成，这些因素都是随时间动态变化且具有不确定性，而MDP通过定义状态集合来描述系统在任一时刻的所有可能状态，可以满足边缘云环境动态变化的特性。此外，在线部署SFC是一个持续进行的过程，智能体需要在每个决策时刻根据当前状态选择最佳的部署动作，MDP能够依据当前状态做出最优决策。于是将SDRM-EC问题转化为MDP模型，在MDP模型中每一条SFC相当于一个智能体，MDP模型的3个关键要素为状态、动作和奖励，在第t个时隙，智能体根据环境的当前状态st进行动作at，然后将该动作返回给环境以获得下一状态st+1和奖励rt，以获得该动作对环境的影响。
S表示状态集合，$s_t=\left\{C_t^E, C_t^C, B_t^E, B_t^C\right., N_t, S_t\}, s_t\in {S}$，边缘层和云层分别剩余的计算资源分别用$C_t^E=\left\{C_t^1, C_t^2, \cdots, C_t^{|E|}\right\}$和$C_t^C=\left\{C_t^1, C_t^2, \cdots, C_t^{|C|}\right\}$表示，$B_t^E=\left\{B_t^1, B_t^2, \cdots, B_t^{|E|}\right\}$和$B_t^C=\left\{B_t^1, B_t^2, \cdots, B_t^{|C|}\right\}$分别表示边缘层和云层剩余的带宽资源，Nt表示所有已到达但未被服务的服务功能链请求列表，St表示已经被服务的服务功能链请求列表。
A表示动作集合，$a_t=\left\{f_t, v_t, l_t\right\}, a_t \in A$，其中包括将要部署的服务功能链的标识符ft，在选定的SFC中将要部署的VNF的标识符vt，选择的服务功能链部署的位置$l_t, l_t \in\{0, 1\}, l_t=0$表示该VNF部署在边缘设备层，lt=1表示该VNF部署在云设备层。
R表示奖励函数，即执行动作会得到一定的奖励或惩罚。由于目标函数定义为最大化收益，因此奖励函数定义为式(14)，若在状态st下执行动作at可以成功部署SFC，奖励会获得该SFC对应的收益，若不满足约束(见式(6)—(13))，即部署失败，无法获得该SFC对应的收益。
3.4 SDRM-EC-DPR算法
环境和智能体构成了深度强化学习，为了最大化所得的奖励，智能体和环境进行交互以调整动作策略，在处理大规模的问题时与传统的启发式算法相比能够更有效地解决SFC部署问题。
在SDRM-EC中，边缘云环境的动态特性要求部署策略能快速适应网络状态、用户需求和服务类型的动态变化，同时优化即时性能与长期收益，平衡资源消耗和延迟需求。基于值的深度强化学习算法不仅具备良好的适应性和鲁棒性，能够迅速响应环境的动态变化，还通过学习价值函数来预测并最大化长期收益，此外，这类算法适用于SFC部署的离散动作空间，与基于策略的算法适合处理连续动作空间相比更适合解决SDRM-EC问题。在基于值的算法中，D3QN结合了Dueling DQN中将Q值分解为状态值(V值)和优势值(A值)的方法以及Double DQN中使用2个Q网络(在线网络和目标网络)分别进行动作选择和价值估计的策略，提高了价值估计的准确性，减少了过高的Q值估计，提高了算法的稳定性和收敛性，于是使用D3QN解决SDRM-EC问题。
而在使用D3QN实践时出现了以下问题：复杂边缘云环境中，智能体需要与环境进行大量交互才能学习到有效的部署策略，尤其在早期学习阶段，智能体需要多次尝试无效或次优的部署决策，才能逐渐收敛至较好的策略，导致效率低下；在动态变化的边缘云环境中，智能体需要探索新的部署策略，在可能的改进和利用已知的优秀策略以保证当前表现之间寻求平衡，而D3QN在大量重复经历相似状态时过早收敛，过拟合于已知的良好策略，忽视了对环境其他部分的探索，限制了策略的泛化能力。
D3QN在经验回放时随机地从回放缓冲区选择样本进行训练，导致一些重要的样本被频繁地遗忘或被重复利用。因此，本研究在D3QN中引入PER机制，PER机制通过对经验回放缓冲区中的样本赋予不同的优先级，使得在训练过程中更频繁地重访重要性较高的样本，提高了学习效率。D3QN中的探索通常通过ε-greedy策略来实现，这会造成探索不足或者过度探索，导致智能体陷入局部最优，所以在PER的基础上融入了RND技术，该技术使用一个随机网络和一个目标网络之间的差异作为奖励信号来鼓励智能体探索那些预测网络尚未充分理解的陌生状态，以此帮助智能体更好地平衡探索与利用，从而提高了算法的动态适应能力。
执行该动作后得到一个样本(st, at, rt, st+1)，其中：rt表示在状态st执行动作at获得的奖励, st+1表示st的下一个状态, θ表示在线Q网络中的参数。使用RND探测网络和固定目标网络根据式(16)计算RND探索奖励rRND。
其中：f(st)和g(st)分别为固定的目标网络和随机网络对状态st的内在特征预测值。
随后将带有RND探索奖励的样本存储到回放缓冲区中，PER机制根据第i个样本的时间差分误差(TDerror)对其赋予优先级p(i)，二者的计算方式分别如式(17)和(18)所示。
其中：ε和α为折扣因子。
根据式(19)计算样本的重要性采样权重，随后根据权重从回放缓冲区中采样一批样本来更新在线Q网络和目标值Q网络。
其中：ρi为样本的重要性采样权重，N为样本批量大小，P(i)为样本i被采样的概率，β为折扣因子，控制着重要性采样权重的衰减速度。
对于采样的每一个样本，使用在线Q网络预测Q值(Q(st, at; θ))和最佳动作索引(arg maxat Q(st, at; θ))，在线Q网络对该动作进行评估得到目标Q值如式(20)所示。
其中：λ、η为折扣因子，θ－表示目标值Q网络中的参数。
根据式(21)计算预测Q值与目标Q值之间的损失。
最后，通过反向传播利用损失函数的梯度更新在线Q网络的参数θ以最小化损失函数，损失梯度如式(22)所示，在训练过程中，在线Q网络要定期复制参数θ至目标值Q网络，使θ=θ-。
4 仿真结果与分析
4.1 实验配置
1) A3C+GCN：GCN处理环境图结构，提取高级特征，供A3C算法使用，A3C多线程并行探索，独立更新共享全局参数。线程积累经验后提交梯度至全局网络，A3C据此更新参数，实现分布式学习。
2) Latency-First：该策略优先考虑低延迟需求，通过将VNF计算延迟折半转为通信延迟，构建候选链路集，并采用Dijkstra算法选取最小延迟路径，以形成最优SFC部署方案。
实验考虑一个包含边缘层设备和云层设备的边缘云环境。其中边缘层设备因其靠近用户端而处于网络架构的第一层，具有较多部署节点，计算资源相对受限，这导致其在处理VNFs时表现出较高的计算延迟；然而，得益于其地理位置的优势，这些设备能够实现较低的通信延迟。相比之下，处于网络架构第二层的云层设备，虽然相对于边缘层距离用户更远，却拥有更为丰富的计算资源储备，因此，在运行VNFs时可以实现极低的计算延迟，然而，由于物理距离的增加，云层设备与用户之间的通信延迟较高。在跨层传输的情况下，通信延迟将是通过层的通信延迟的累积。设备各层的参数如表 2所示，参考了现有研究[52-55]，网络拓扑是随机生成的，层与层之间保证了一定程度的连通性。
表 2 边缘云环境仿真参数 |
| 参数 | 第一层边缘层 | 第二层云层 |
| 设备数量/个 | 17~73 | 3~27 |
| 计算资源容量/GHz | 2~3 | 9~11 |
| 链路带宽容量/Mbps | 100 | 10 000 |
| VNF计算延迟/ms | 100~300 | 5~10 |
| VNF通信延迟/ms | 5~20 | 50~200 |
4.2 学习率设置
为验证SDRM-EC-DPR的收敛性并比较不同学习率lr对收敛效果的影响，采取损失loss值作为评价指标比较算法在不同学习率下的收敛过程，根据文[56]，结合SDRM-EC-DPR算法本身的复杂结构与数据处理逻辑，考虑到多次自主对照实验均表明，当学习率设置在0.000 5~0.002时，算法的训练结果较好，因此设置学习率为0.000 5~ 0.002进行实验，结果如图 5所示。由图可知，当学习率为0.000 5时，由于更新步长较小，模型需要更多的迭代次数才能接近最优解，因此收敛进程较为迟缓，延长了收敛时间；随后，调整学习率至0.002以加快收敛速度，但会导致收敛效果不佳，因为较大的学习率使模型在更新过程中跳过一些重要的局部最优解，从而无法达到更好的全局最优解；最后，调整学习率为0.001，在保证算法快速收敛的同时，使模型能够更好地学习到数据中的模式，从而提高算法的性能。因此，本文将学习率设置为0.001，以此优化模型的训练效率与效果。
4.3 对比结果
4.3.1 评价指标
为衡量SDRM-EC-DPR的有效性，本文基于以下6个指标对算法进行了评价。
1) 总收益。
总收益定义为被部署请求的收益减去设备的计算部署成本和链路的通信部署成本。
其中：$\sum\limits_{r_n \in R} \operatorname{rev}_n y_n$表示被部署请求的收益，$\sum\limits_{r_n \in R}\sum\limits_{ f_{n, k} \in F_n}\sum\limits_{ d_i \in D} x_{n, k}^i \omega_{n, k}^p(i)$表示设备的计算部署成本，$\sum\limits_{r_n \in R e} \sum\limits_{_{i, j} \in E e}\sum\limits_{_{n, k, l}\in {E_n}}z_{n, k, l}^{i, j} \omega_{n, k, l}^q(i, j)$表示链路的通信部署成本。
2) SFC请求接受率。
SFC请求接受率定义为部署成功的SFC的数量占总SFC请求数量的比重。
3) 运行时间。
运行时间定义为算法从一开始运行到结束时的运行时间，由于深度强化学习算法训练多轮，此处运行时间为训练一轮的时间。
4) 节点负载率。
边缘层及云层的节点负载率分别定义为部署在该层设备上的计算资源与该层总计算资源之比。
其中：$\sum\limits_{r_n \in R} \sum\limits_{f_{n, k} \in F_n} \sum\limits_{d_i \in D} y_n x_{n, k}^i r_{n, k}$表示部署在该层的计算资源，$\sum\limits_{d_i \in D} R_i$表示该层的总计算资源。
5) 链路负载率。
边缘层及云层的链路负载率分别定义为部署在该层链路上的链路带宽与该层总链路带宽之比。
其中：$\sum\limits_{r_n \in R_n} y_n\left(\sum\limits_{e_{n, k, l} \in E_n} z_{n, k, l}^{i, j} b_{n, k, l}\right)$表示部署在该层的链路带宽，$\sum\limits_{e_{i, j} \in E} B_{i, j}$表示该层的总链路带宽。
6) 平均端到端延迟。
平均端到端延迟定义为所有部署成功的SFC请求的端到端延迟的平均值。
4.3.2 请求数量对算法的影响
固定设备总数为70个，其中边缘层配备40个，云层配备30个的条件下，SFC请求数量从50条逐步增至500条的过程中，OPT、SDRM-EC-DPR、D3QN、A3C+GCN和启发式算法Latency-First在总收益、SFC请求接受率、运行时间、节点负载率以及链路负载率方面的性能表现分别如图 6a-6e所示。由图可知，随着网络规模和请求数量的增加，最优解OPT由于底层可用资源变少，求解所需的时间指数级增加，无法满足在线SFC部署的时间需求，说明OPT无法满足大规模的部署场景，尽管如此，OPT有助于评估其他算法与最优解之间的差距。随着SFC请求数的增加，所有比较算法的总收益均呈现出递增的趋势，这主要是由于一开始供大于求，更多的SFC请求得以部署，从而相应地提升了整体收益水平，SFC请求接受率也相应上涨，此外，各算法的运行时间同样呈现上升趋势，这是由于处理的SFC请求数量增加所致，SDRM-EC-DPR的总收益和请求接受率最接近OPT，远远高于其他三种算法，当SFC请求数量到达300条时，OPT的请求接受率为100%，这说明此时供求平衡。SFC请求数量大于300条时，逐渐供小于求，SFC请求不会全部被部署，因此SFC请求接受率逐渐减小，但总收益还在慢慢增加，这是由于算法选择部署的SFC的收益不同。
SDRM-EC-DPR的平均总收益比D3QN提高了8.82%，SFC请求接受率提高了3.33%，且平均运行时间缩短了36.3%，这是由于SDRM-EC-DPR进一步引入了PER机制和RND技术，有效提升了算法效率，避免了探索不足或过度的问题，从而使总收益和运行时间都优于基础的D3QN算法。SDRM-EC-DPR的平均总收益相较于A3C+GCN提高了12.62%，SFC请求接受率提高了5.31%，平均运行时间缩短了56.31%，这是因为A3C中的基础经验回放机制相对简单，无法像PER那样有针对性地强化重要样本的学习，虽然GCN能捕捉图结构信息，但在复杂环境中的探索效率不如RND，于是收益较少，A3C的异步并行特性虽然能加速学习，但涉及多线程协调和参数同步，增加了系统的复杂性和通信开销，再加上GCN的计算需求，整体上在边缘云环境中占用更多资源，导致运行时间较长。相较于Latency-First，SDRM-EC-DPR的平均运行时间是Latency-First的1.45倍，但平均总收益提高了19.85%，SFC请求接受率提高了8.07%，SDRM-EC-DPR虽然运行时间长，但也在秒级内，符合在线部署的要求，这是由于SDRM-EC-DPR通过与环境的交互学习逐步优化策略，其决策过程涉及多个步骤，计算复杂度高，虽然增加了运行时间，但也使得算法能够适应环境变化，动态调整策略，实现长期收益最大化，Latency-First算法是启发式方法，决策过程相对固定且计算简单，这种设计使得算法能够快速响应请求，实现较低的运行时间，但缺乏对复杂环境变化的灵活适应能力。
随着SFC请求数量的增加，所有算法对应的节点负载率和链路负载率也随之上升，这是由于部署的SFC数量增加，对计算资源和链路资源的需求同步加大。其中Latency-First的负载率始终最低，这是因为Latency-First处理单个请求时，主要关注如何通过最优路径选择将延迟降至最低，它的决策更多聚焦于局部链路和节点，这种局部优化策略无法充分利用所有资源以实现全局最优，而其他三种深度强化学习算法具备全局优化视野，可以基于整个边缘云环境的状态做出决策，有可能会牺牲部分节点或链路的短期负载均衡以换取整体收益的最大化。从图中可以看出SDRM-EC-DPR的方框小于其他算法，说明资源占用更均匀，体现了负载均衡，这是由于资源占用越高，成本越高，而SDRM-EC-DPR追求低成本高收益，因此算法会避开高成本的设备和链路。
4.3.3 设备数量对算法的影响
由图 7a和7b可知，供小于求时，随着设备数量的增加，所有算法的总收益和SFC请求接受率均呈现稳步上升态势，主要原因是设备数量的扩充带来了更多的计算资源和链路资源，能够支持更大数量的SFC请求的部署，当设备数量增加到70个时，OPT请求接受率达到100%，收益也到达最大，此时供求平衡，所有请求已被有效处理，而随着设备数量的增加，供大于求，算法到达最大收益后不再增加。在这过程中，SDRM-EC-DPR相较于其他三种算法更早达到峰值，且请求接受率始终高于另外三种算法，再次说明该算法在收益方面的优越性。如图 7c所示，随着设备数量的增加，所有算法的运行时间也呈现出上升的走势，这是由于潜在部署方案的增多使算法所需计算时间相应增加，SDRM-EC-DPR的运行时间再次普遍低于D3QN和A3C+GCN，而高于Latency-First。如图 7d和7e所示，随着设备数量的增加，由于可用的计算和链路资源愈发丰富，有利于更妥善地部署SFC请求，当计算资源和通信资源足够时，供大于求时，所有算法都能找到满足要求的部署方法，其中SDRM-EC-DPR的箱体除OPT外仍是最小，再次表明其在负载均衡方面的优势。
4.3.4 SFC请求的平均端到端延迟
5 结论
面对在复杂多变的边缘云环境部署服务功能链(service function chain，SFC)时遇到的挑战：边缘云环境中不同的设备和链路具有不同计算资源及链路带宽、在保证网络服务提供商的利润时进行资源容量和延迟要求的权衡、对SFC请求在线到达的及时响应，本文提出了基于深度强化学习的算法SDRM-EC-DPR，其目标在于最大化边缘云环境中的部署收益。首先，本文提出了要解决的问题边缘云环境中的在线SFC部署收益最大化问题(online SFC deployment revenue maximization in edge and cloud environment，SDRM-EC)，并对物理网络模型、SFC请求模型和部署成本模型进行了全面建模，特别地，部署成本模型依据设备实时剩余计算能力和链路可用通信资源，精准衡量每个请求的部署成本，以消除设备之间的异构性。随后，针对边缘云的动态性对模型构建了Markov决策过程，为处理大规模的环境及复杂的状态提出了SDRM-EC-DPR算法，该算法融合了对决型双重深度Q网络、优先经验回放机制以及随机网络蒸馏技术，增强了部署决策的智能化程度与学习效率。最后，本文进行了不同请求数量和设备数量情况下的仿真实验，实验结果表明，SDRM-EC-DPR相比于其他算法在收益方面实现了显著增长，在SFC请求接受率、SFC端到端延迟、运行时间、节点及链路负载方面同样表现出色，证实了其在复杂边缘云环境中高效部署SFC的实用价值。
