[论文笔记]Integrated Networking, Caching, and Computing for Connected Vehicles: A DRL Approach结论及未来工作介绍系统描述系统模型深度强化学习问题建模仿真结果与讨论

92 阅读 0 评论 61 点赞

我是靠谱客的博主独特蚂蚁，最近开发中收集的这篇文章主要介绍[论文笔记]Integrated Networking, Caching, and Computing for Connected Vehicles: A DRL Approach结论及未来工作介绍系统描述系统模型深度强化学习问题建模仿真结果与讨论，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

目前大部分工作将网络、缓存、计算分立研究并优化，但本文将这三者进行联合优化，提出一个集成的动态管理架构。本文将此框架中的资源分配策略指定为一个联合优化问题，其综合考虑了网络、缓存、和计算的效用。对于系统的复杂性使用DRL的方法加以解决。

结论及未来工作

本文将网络、缓存、计算资源联合优化以提高车辆网络性能。基于SDN的可编程控制原理和ICN的缓存原理，我们提出一个集成的网络、缓存、计算资源的动态编排框架。通过深度强化学习方法加以解决，并给出了不同场景下算法的收敛性。未来将在该框架下考虑能效的提升。

介绍

近年来，互联车辆被广泛研究以服务生活。

互联车辆的发展收到信息和通信技术推动，其中网络、缓存、计算是发展较快的三个领域。对于网络领域，SDN（软件定义网络）和NFV（网络功能虚拟化）通过集中式控制提升了车辆网络管理的效率和灵活性。对于缓存领域，in-networking caching作为ICN（信息中心式组网）的关键特征，可有效减少重复的网络传输。对于计算领域，云/雾/边缘计算影响颇深。

但目前这三种重要技术都是在现有的车辆网络中被分立研究，缺乏对这些技术的综合考虑。本文特点如下：

基于SDN的可编程控制原理和ICN的缓存原理，提出网络、缓存、计算资源联合优化的框架
将资源分配问题建模为联合优化问题
对于系统复杂度高的问题，使用深度强化学习解决
给出不同系统参数下的仿真成果，验证了方案有效性

系统描述

车辆网络

车辆网络通过移动通信网实现多种服务、内容和应用信息的互传。在安全预警、娱乐、无人驾驶等方面可实现多种应用。

对应于不同的应用需求，车载通信基于两种技术。若车仅依赖Internet的数据，则可使用蜂窝网络进行通信；若仅需要在车与车之间交换信息和数据，则可使用DSRC。

软件定义网络和虚拟车联网

SDN的许多特性（灵活性、可编程、集中控制管理等）都很适合车载网络的通信。

无线网络虚拟化被认为是管理网络架构和资源一种有效的方法。

下图是一个将组网、缓存、计算集成起来的软件定义的虚拟车联网。

信息中心式车联网

车联网中，传感器所产生的数据量很大，另外其链路质量和车辆移动也是个问题。这些对基于IP的数据传输带来了挑战。将ICN（信息中心式组网）扩展到车辆网络可以解决这一问题。比如，ICN的一个子架构NDN（明明数据网络）使用内容名来路由和检索数据，并且通过对每个数据包进行·加密来讲安全性集成到数据中。此外，网络内缓存可以减少重复内容传输。

ICN的网内缓存可解决车联网中移动性的问题，车联网中信息优先级明确的特点也适合ICN。

移动边缘计算与车联网

云计算对车联网不太适用，MEC在靠近车辆的边缘进行数据处理，适用于车辆网络。

组网、缓存、计算的集成式车辆网络架构

传统工作将组网、缓存、计算分离研究，但这些因素是同时对资源分配产生影响的。分立研究会导致次佳性能。根据需求动态资源分配是个好方法。

本文提出一个集成式网络架构，其结合SDN和ICN的思想，能动态编排网络、缓存和计算资源。

图2 本文提出的集成架构下的一个用例的流程 — 图2 集成架构下传输视频数据的流程

图2描述了该架构中的一个用例：车辆向与其连接的虚拟BS发出视频内容清空。

虚拟BS根据视频内容描述和车辆信息检查相关联的缓存是否有所需内容。
若有：高速缓存将检查内容版本是否和车辆匹配；
1. 若匹配：虚拟BS将内容发送给车辆
2. 若不匹配：虚拟BS提取视频内容和参数，将其传入MEC进行转换，将转换后的内容发给车辆
若没有：虚拟BS从Internet检索内容并下载。

综合考虑组网、缓存、计算的复杂性很高，用强化学习方法解决。

系统模型

网络模型

考虑一个SDN车联网，其中多个车辆请求视频内容。物理层基础设施包括：BSs、路测单元RSUs、MEC、内容缓存、车辆、路由器。

符号	含义
$k_m$	BS的集合
$k_s$	RSU的集合
$mho={1,...,u}$	车辆的集合
M={1, ..., M}	MEC服务器
C={1, ..., C}	缓存
$m_k$	与k号BS关联的MEC
$c_k$	与k号BS关联的缓存
S={1, .., S}	SP（服务提供端）集合
$u_s$	s号SP管理下的车的集合
$u_s$	s号SP管理下的一辆车
$a_{u_s,k}(t)$	$u_s$ 号车和k号BS的连接关系（bool）

每个虚拟网络都包含BS、RSU、MEC、缓存。不同的虚拟网络所用的频带正交。由SP管理虚拟网络，每辆车在指定时间只会所属于一个SP，即金额能与一个BS or RSU相连。

通信模型

符号	含义
$d={d_0, d_1, ..., d_{l-1}}$	马尔科夫链的状态空间，成员表示信噪比的数值（离散）
$upsilon_{u}^{k}$	k号BS和u号车辆之间的接收SNR
$upsilon_{i_{1}}^{k_{1}}(t)$	t时点的SNR
T	一整个通信最多存在T个时点
t	时点的序号
$psi_{g_{s}} h_{s}(t)$	从状态 $g_s$ 跳转到状态 $h_s$ 的转移概率
$b/b_k$ Hz	频谱总带宽/分配给k号BS的带宽
$z/z_k$ bps	回程链路容量/分配给k号BS的回程容量
$b_{u_s, k}$	k 号BS到 u_s 号车的频谱带宽为
$v_{u_s, k}(t)$	k 号BS到u_s号车的可达频谱效率（基于香农限）

将车辆与连接的BS/RSU之间的信道建模为有限状态的马尔科夫信道（FSMC）。

将车辆 $u_s$ 和基站k之间的信噪比建模为离散的随机变量，共L个离散值。每个值对应FSMC的一种状态，将状态空间记作D。车辆 $u_s$ 与基站 k 之间的信道转移概率矩阵为

设置BS所连的车的频谱正交，因此连接到BS的链路间无干扰。车u_s的通信速率为：

BS k 相关联的车辆的总速率受限于BS回程链路的容量，公式化为：

整个网络中的总速率受限于总的回程链路容量，公式化为：

计算模型

这部分的目标是构建计算任务 $q_{u_s} = { o_u, q_{u_s}}$ （s为服务提供端SP，u_s为SP所管理的车的集合），此任务由车us 相关联的MEC m_k激活。第一个参数ou表示待传视频数据的大小，第二个参数表示所需CPU的周期。计算后 BS k 将转换后的数据送回车辆us。

$f_{u_{s}}^{k}$	k号BS分配给us号车的计算容量（用每秒的CPU周期数度量）
$varepsilon ={varepsilon_0,varepsilon_1,..., varepsilon_{n-1}}$	计算容量的取值空间（离散）
$f_{u_{s}}^{k}(t)$	时点t的 $f_{u_{s}}^{k}$ 的具体数值

虚拟车车联网中，计算速度不同的MEC动态地分配给BS。此外，多个车辆可以同时访问相同的BS和MEC，因此我们无法准确得知车辆在下个时点的计算容量。因此计算容量f可以被建模为一个随机变量，并离散化表示为 $varepsilon ={varepsilon_0,varepsilon_1,..., varepsilon_{n-1}}$ 。我们将计算容量在不同时点的变化建模为一个马尔科夫链，从k号BS到us号车的计算容量的转移矩阵为（其中l为转移概率）：

任务 $q_{u_s}$ 在k号BS的计算所需时间为 $t_{u_{s}, k}=frac{q_{u_{s}}}{f_{u_{s}}^{k}(t)}$ ，其计算速率（每秒的bit数）为

MEC计算容量有限，公式化为（O_k为 m_k号MEC的最大容量）：

缓存模型

假设在服务器中，同时存在 I 个内容数据，其标号为 i （表示第i个最流行的内容），对于i号内容在时点t的平均请求速率为：

假设这些内容的到达服从泊松过程（速率为 $beta$ ），请求内容的概率由Zipf 分布决定，与i那次i号内容被选中的概率为 $1 / rho i^{alpha}$ ，其中 $rho = sum_{i=1}^{i} 1 / i^{alpha}$ ， $alpha$ 为Zipf斜率（0~1）。

在本文系统模型中通过，内容缓存定期存储来自服务器的内容。车辆的情求内容i 是否在缓存中可视为一个随机变量 $xi _i$ ，i号内容的缓存状态转移矩阵为：（ $delta$ 表示缓存状态的转移概率）

对于缓存容量，考虑容量有限和无限两种情况：缓存容量无限时，仅当存储时间超过到期时间时删除。i号内容的寿命服从 $1/mu$ 的指数分布，此时缓存状态的转移概率矩阵为（由文献[29]的马尔可夫流矩阵获得）：

缓存容量有限时，转移概率矩阵为：

深度强化学习

以下是对RL的概述，略了。

强化学习

深度Q-Learning

其他DRL组件

问题建模

模型中有K个基站、M个MEC服务器和C个内容缓存，由MVNO（移动虚拟网络运营商）管理。MEC服务器的计算额能力和缓存状态动态变化。

MVNO从基站、MEC和内容缓存收集状态，然后将构造好的状态发给agent并获取优化策略的反馈，此反馈是对某辆车的资源分配方案。得到动作后，MVNO通知车辆可以访问哪个VN（虚拟网络）。

Q网络中， $theta$ 是网络的实时参数， $theta^,$ 是参数的copy。

系统状态

$upsilon_{u_{s}}^{k}(t)$	$u_s$ 号车在时点t连接k号基站
$gamma_{u_{s}}^{k}$	$u_s$ 号车在时点t连接k号基站（随机变量）
$f^m_{u_s}(t)$	$u_s$ 号车在时点t连接m号MEC
$f^m_{u_s}$	$u_s$ 号车在时点t连接m号MEC（随机变量）
$xi_{u_{s}}^{c}(t)$	$u_s$ 号车在时点t连接c号缓存
$xi_{c}$	$u_s$ 号车在时点t连接c号缓存（随机变量）BOOLEN

状态空间为

系统动作

agent决定车辆与BS的连接、是否将内容存缓存在BS中，是否将计算任务卸载到MEC。

动作为：

其中 $a_{u_{s}}^{mathrm{comm}}(t), a_{u_{s}}^{mathrm{comp}}(t), a_{u_{s}} ^ { cache }(t)$ 分别定义如下：

行向量 $a_{u_{s}}^{mathrm{comm}}(t)=left[a_{u_{s}, 1}^{mathrm{comm}}(t), a_{u_{s}, 2}^{mathrm{comm}}(t), ldotsright.]$ ，表示k号基站在t与us号车建立通信连接。
同上，表示us号车在t将计算卸载到m号MEC。
同上，表示us号车在t将内容缓存到c号缓存。

奖励函数

将MVNO的综合收益作为reward，MVNO从InPs获得频谱和回程带块分配给虚拟SP。MVNO租借频谱时需要支付费用： $delta_k$ 表示为k号BS申请的每Hz的花费。计算资源：来自m号MEC的每Joule的成本为 $eta _m$ ；缓存资源：来自c号缓存的每单元空间的成本为： $xi _c$ 。

MVNO向接入VN的车收费： $tau_{u_s}$ 每 bps。车在k号BS计算的费用为theta_{u_s}每bps，回程传输的成本为k_{u_s}每bps。

系统奖励是MVNO的收益，其是接入无线链路的接受信噪比、计算能力、缓存状态的函数。对us号车的奖励为：

累积回报记作

仿真结果与讨论

仿真设置

TF0.12.1 with python2.7 on Ubantu 14.04LTS.

设置四个对照组：

静态资源分配，联合优化通信、计算和缓存
不使用虚拟化的本文算法：车只能连接一个SP、MEC、缓存
不使用MEC卸载的本文算法：车只能本地执行计算任务
不使用边缘缓存的本文算法：车只能从远端服务器下载内容

所有BS和车随机分布在MBS覆盖范围内，本文假设存在5个SP，5个BS，5个MEC服务器，车与BS之间的无线信道遵循马尔菲弗模型。假设信道状态有好有坏：频谱效率v_{u_s,k} = 1（坏），3（好）。状态转移时0.7维持在原状态。存在一个视频数据，缓存状态服从马尔可夫模型，将维持同一状态的概率设为0.6。MEC服务器计算状态服从马尔可夫模型，假设MEC服务器的计算状态为：非常低、低、中、高、非常高，其转移矩阵如下：