A CNN-Based End-to-End Learning Framework Toward Intelligent Communication Systems

115 阅读 0 评论 76 点赞

我是靠谱客的博主可靠小丸子，最近开发中收集的这篇文章主要介绍A CNN-Based End-to-End Learning Framework Toward Intelligent Communication Systems，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

瑞利信道

，训练
在这里插入图片描述
瑞利信道测试

Differential Version

训练
在这里插入图片描述
测试

原文链接

ABSTRACT

研究背景：
近年来，深度学习已被应用于物理层通信系统，并展示了与人类专家系统相当甚至更好的迷人结果。
研究现状：
本文提出了一种新的基于卷积神经网络的自动编码器通信系统，该系统可以在任意块长度下智能工作，支持不同的吞吐量，并且可以在AWGN和瑞利衰落信道以及偏离AWGN环境的情况下工作。
优点：

所提出的广义通信系统由精心设计的卷积神经层组成，因此继承了CNN的突破性特征，如泛化、特征学习、分类和快速训练收敛。
另一方面，端到端架构共同执行编码/解码和调制/解调的任务。

仿真：
最后，我们提供了学习系统的大量仿真结果，以说明它在各种系统条件下的泛化能力。

INTRODUCTION

A. MOTIVATION
通信的根本问题是找到信息的表示形式，这与信道损伤有关，所以它可以在另一端完美地恢复。为了应对这一挑战，发射机和接收机被分成子任务，如信源编码、信道编码、调制和均衡。这种设计方法[1]的优点是每个组件都可以单独优化，从而形成了今天可靠的模块化通信系统。

深度学习是机器学习和人工智能领域的最新趋势之一。DL方法已经给计算机视觉和自然语言处理带来了革命性的进步[2]。在通信领域，下行链路已用于调制[3]、信道估计[4]-[6]、信号检测[7]、[8]、调制识别[9]、[10]和信道解码[11]。下行链路也可以应用于非正交多址方案[12]，这对于5G无线通信系统是必不可少的。

尤其是，基于DL的通信系统[13] 【13博客】能够联合使用自动编码器的概念来优化收发器的所有组件。在参考文献13 [13]的开创性工作中，通信系统设计被视为端到端重构优化任务，旨在联合优化发射机和接收机组件，以便通过学习神经网络的权重而不是专门设计的专家代码来促进编码和解码。参考文献14在[14]中，参考文献15卷积神经层[15]被用作基于自动编码器的通信系统的构造块，其对输入比特序列的长度没有限制。然而，在高信噪比条件下，[14]的性能受到误差下限的影响。此外，文献[14]中的卷积神经网络是从机器学习的角度设计的，缺乏通信工程的见解，因此网络的泛化能力有限。

本文的贡献

基于深度融合通信专业知识和CNN突破能力的需求，本文提出了一种新的基于CNN的自动编码器通信系统，该系统可以推广到任意块长度、不同的吞吐量、不同的信道使用和不同的环境。建议的架构可以轻松培训并在特定的SNR点快速收敛，同时正常工作在整个SNR范围内。我们的愿景是，通信算法将由学习的利用端到端损失函数优化神经网络的权值。

其愿景是，通信算法将由使用端到端损失函数优化的神经网络的学习权重表示。由此产生的智能通信系统将在任何通信需求下最佳工作，如蜂窝系统和水下通信。

B. PREVIOUS WORK
广义地说，在通信系统的物理层中应用DL有两种方法。也就是说，使用DL来替代某一通信系统块，或者将通信系统设计视为端到端自动编码器。16博客
【16】【17】【18】
在前一种方法中，最值得注意的是，在[16]–[ 18]中，接收机采用递归神经网络(RNNs)来解码信道编码的信息比特，例如卷积码、Turbo码和极化码。RNNs从长序列中提取信息的能力[17]，[18]证明了神经网络可以在有限的训练数据下掌握人类设计的代码的复杂结构，同时容忍信道扰动。
【19】【20】
另一方面，将通信系统解释为自动编码器的概念起源于[19]。作者证明了在单个神经网络框架下联合优化发射机和接收机组件是可能的。简单而强大的自动编码器系统[19]在无线电变压器网络[20]的帮助下在[13]中进一步发展，作为一种将专家领域知识结合到DL模型中的手段。参考文献[24]证明了端到端神经网络方案可以在硬件系统上实现。
【24】
【21】
【22】
【23】
此外，[21]将原来的自动编码器系统扩展到多输入多输出(MIMO)通信系统，传输吞吐量可以得到提高，如[22]所示。此外，作者在[23]中提出了一种深度学习的毫米波大规模多输入多输出框架，用于有效的混合预编码。除了自动编码器系统的吸引人的概念。

然而，当实际信道的梯度丢失时，在实际无线信道上训练这样的系统就成了问题。为了解决这个问题，作者在[25]中提出了一种算法，在接收机的监督训练和发射机的基于强化学习的训练之间迭代。【25】

此外，在[26]–[28]中还介绍了一些用于信道响应近似和信息编码的对抗方法。这些对抗方案将实际渠道视为一个黑箱，并使用生成对抗网络的结构来捕捉分析表示。
【26】
【27】
【28】
C. CONTRIBUTIONS

受自动编码器系统有前途的表示和分类能力的启发，本文提出了一种新的基于CNN的自动编码器(CNN-AE)通信系统，该系统建立在CNN的体系结构之上，同时集成了通信工程专业知识。更具体地说，这些贡献概述如下。

精心设计的CNN层允许学习的网络具有泛化能力，同时实现最佳误块率（BLER）性能，即Pr(s弯弯不等于s)，即支持任意输入位长度，使用灵活的数据格式，适用于awgn和Rayleigh通道以及非awgn通道。
建议的端到端学习系统可以在特定的Eb/N0进行培训，同时在整个范围内工作。此外，所提出的CNN-AE系统可以用少量的时期快速收敛。
我们还提出了一种基于CNN的自动编码器系统的差分编码版本，在该版本中，接收机不需要信道状态信息。
CNN架构是从通信工程的角度设计的，因此对网络结构的理论解释和由此产生的仿真结果成为可能。

论文的其余部分组织如下:第二节介绍了系统的架构和设置，而第三节显示了所提出的系统在AWGN和平面瑞利衰落信道下的性能。接下来，在第四节中进一步检查提议的网络的适应性。最后，第五部分得出结论

II. END-TO-END LEARNING OF COMMUNICATION SYSTEMS

A. SYSTEM ARCHITECTURE
一个简单的通信系统，由一个发射机、一个信道和一个接收机组成，如图1 [19]所示
在这里插入图片描述
发射机选择一个包含k个信息比特的符号s，通过信道与接收机通信。更明确地说，发射机的工作是对符号s进行变换，使得生成的图1的发射信号x ∈ Cn占用n个信道时隙。发射矢量x ∈ Cⁿ受功率约束，例如||x||²≤ n。在接收器侧，可以观察到带有噪声且可能失真的y∈ Cⁿ。因此，接收者的任务是尽可能接近地产生原始符号s的估计值_s。因此，系统的码率是R = k/n(位/信道使用)。

在图1架构的基础上，我们提出了一种基于CNN的自编码器学习系统，如图2所示。该系统由CNN层组成，发射层和接收层共同优化。

在这里插入图片描述
Fig.2 表示一个自学习通信系统作为一个自动编码器。可训练层用红色书写，不可训练层用黑色书写。

具体来说，图2的发射机由三维一维卷积(Conv1D)层和功率归一化层组成，功率归一化层保证了对发射信号X的功率约束。尽管更多的Conv1D层可能会增加神经网络的表示和分类能力，深度网络还导致梯度爆炸和更多的参数训练在我们的工作中，发现三层是足够的，以实现最好的Bler性能，而不会失去任何学习能力。

此外，CONV1D层允许发射器在图1的那个时间处理一系列符号S，而不是一个符号。因此，可以同时处理K×L比特的总数，其中k是数字每个符号的比特和L是符号数（块长度）。此外，输入序列S的每个符号被转换为单热量向量，这意味着所提出的系统旨在最小化BLER。表1总结了所提出的基于CNN的学习系统的详细参数
在这里插入图片描述
elu激活函数

从调制的角度来看，图2的发射机处的Conv1D层将一个热输入符号序列转换成新的信号表示X= f (S)，其占用n个信道使用。

换句话说，信号星座点被设计在2n维空间中。这种想法类似于球面包装调制[30]，但Conv1D层可以共同优化更高的2n维空间。从深度学习的角度来看，每个Conv1D层有d = 256个滤波器，如表1所示，这允许将每个一维向量从2^k维空间映射到256维空间，并在给定的通信信道下搜索输入符号的最合适的表示，以便接收器可以重建信息。

请注意，每次传输都使用n个信道时隙。考虑到每个时隙具有输入/输出信道，图2的功率归一化层需要将符号的256维表示压缩为2n维空间信号

图2的信道层可以描述为条件概率密度函数p(Y|X)。此外，具有固定方差σ1 =(2REb/N0)^-1的加性高斯白噪声被添加到信号中。对于平坦的瑞利衰落信道，在到达接收机之前，需要对信道脉冲响应进行卷积。图2的接收机的任务是基于所学习的符号特征将每个接收信号Y从2^k可能性中分类出来。

在接收机端，图2的Conv1D层首先将接收信号Y解压缩回256维空间，以便提取足够的分类信息。因此，以下Conv1D层能够捕获三个信号表示。最后，使用表1的软最大激活，将信号映射到长度为2^k的单热向量软决策。整个学习和转换过程用图2中的g(Y)表示。注意，在接收机处假设完美的CSI（信道状态信息），并将其与接收信号Y一起馈送到接收机网络中。

B. SYSTEM PARAMETERS
训练和验证数据集使用i.i.d二进制位序列随机生成，其中0和1服从均匀分布。图2中提出的自动编码器系统使用12800个数据消息进行训练，其中每个消息包含一个长度为L个符号的块，每个符号有k个信息位。该网络使用64000条数据消息进行测试，而批量大小设置为64。

由于Conv1D层具有权值共享的优点，所以Fig.2所提出的系统可以在任意输入符号序列长度(L)下进行训练。换句话说，无论一次向网络输入多少个符号，对每个输入符号都执行完全相同的卷积操作。为了便于说明，其余部分的L值设置为100。

CNN的泛化能力使我们能够在固定的Eb/N0下训练基于CNN的系统，同时在大范围的信噪比下进行测试。

更明确地说，图2的基于CNN的接收机需要在判决边界周围见证足够的统计样本，以学习在信道损伤影响下的信号表示。如果Eb/n0设置为相对较小的值，接收器可能除了噪声什么也学不到。

另一方面，如果训练Eb/n0相对较高，接收方的CNNs只能学习到完美的信号表示，任何信道诱导的破坏都会导致错误的分类。同样，适当的训练Eb/N0值必须有助于CNNs在决策边界附近有足够的训练样本。

CNN的泛化能力也使所提出的系统能够实现BLER的最佳编码和解码，在AWGN、瑞利信道和非标准信道下通信时。之所以能够实现这种自适应，是因为发射机的cnn能够学习到每种信道设置的符号的合适表示，而接收机的cnn能够学习到相应的识别接收到的信号。

此外，损失函数被定义为图2的输入符号序列和输出符号序列之间的二进制交叉熵(BCE)，两者都已转换为一热向量。使用ADAM优化算法对端到端系统进行训练，将学习率设置为0.001，饱和时衰减10倍。使用50个历元进行训练，因为在图2中的每个Conv1D层之后，借助批归一化层，所提出的方案可以快速收敛。

对于表1中的所有Conv1D层，核大小设置为1，步长为1。这意味着每个输入符号都是单独处理的，因为符号是无记忆的。请注意，虽然每个输入序列有2^k×L个可能性，但所提出的基于cnn的模型仅使用12800条消息进行训练。也就是说，网络可以推广到解码看不见的码字。

III. SYSTEM PERFORMANCE

在这一部分中，提供了大量的仿真结果，以展示所提出的基于CNN-AE(CNN-AE)系统在AWGN和平坦瑞利衰落信道上通信时在块长度、训练Eb/N0、码率、信道使用等方面的泛化能力。除非另有说明，否则采用图2的系统模型，并且所有神经网络参数都在表1和第二节B中给出。
A.具有块长度和训练Eb/N0的推广
首先，我们使用较短的块长度(L=10)训练图2的CNN-AE系统，并使用相同的训练网络参数测试不同块长度(L=10,100)的BLER。
图3清楚地表明，由于Conv1D层的重量分担特性，当测试超过L=10,100个块长度时，CNN-AE方案实现了相同的BLER性能。因此，所提出的系统可以推广到任意块长度L的情况下工作。
在这里插入图片描述
此外，CNN-AE系统在单个EB/N0上进行训练，而在整个EB/N0范围内进行测试。如图3所示，当训练在Eb/N0=9dB时，所提出的CNN-AE方案与在3或20dB训练时相比，获得了最好的BLER性能。同样，这是因为接收器的CNN层必须在判决边界附近观察足够的训练样本，以便在信道损伤的影响下学习复杂的信号结构。
B.AWGN和瑞丽信道下不同码率的推广
在这一部分中，所提出的CNN-AE系统被概括为在AWGN和Rayleigh衰落信道下以不同的速率工作。为了与用作基准的经典调制方案(即BPSK、QAM等)进行比较，CNN-AE的信道使用被设置为n=1，并且通过改变码元(K)中的比特数来实现不同的码率。

图4绘制了在AWGN信道上传输时，具有不同速率R=1、2、4、6(比特/信道使用)的CNN-AE的BLER性能。一方面，由表1中的256个滤波器和深层网络结构促进的CNN的表示能力，即使在高数据速率下也可以学习合适的符号变换。另一方面，所获得的BLER性能与相应的常规BPSK、QPSK、16QAM和64QAM方案相当，是AWGN信道下的最优方案。
在这里插入图片描述

图5展示了当在平坦瑞利信道上传输时，图2的CNN-AE系统具有不同速率R = 1，2，4，6(比特/信道使用)的BLER性能。请注意，完美的CSI假设在接收器上，它与接收到的信号Y作为一个连接的向量一起被发送到转换器1层。请注意，在图5中，接收机在解码之前学会了均衡衰落效应，并且最终的BLERs与BPSK、QPSK、16QAM和64QAM的对应值完全相同，正如所预期的那样。
在这里插入图片描述
C. GENERALIZATION WITH CHANNEL USE
如果信道中有多个时隙(n>1)用于每个符号的传输，则本文提出的CNN-AE系统可以利用发射机的Conv1D层的表示能力来利用额外的时域资源。

从调制的角度来看，星座点的设计是在2n维空间中进行的，相比于n = 1的二维I/Q空间，星座点之间的最小欧氏距离有可能最大化。从信道编码的角度来看，Conv1D层学习了跨2n维空间的适当的分组编码，可以增加码字之间的最小汉明距离。因此，随着信道利用率的增加，可以期望得到更好的BLER。

图6和图7比较了在不同信道使用n的情况下，AWGN和平坦瑞利衰落信道下CNN-AE系统的BLER性能。正如预期的那样，在给定k值下，n = 1到n = 2的增加会带来很大的性能增益。同样，这个编码增益是可以实现的，因为CNN的架构允许我们在2n维空间中搜索星座点。
在这里插入图片描述

D.基于差分cnn的自动编码器方案
图2的CNN-AE系统需要完美的CSI来帮助接收机对抗衰落的影响。信道估计的负担可能相当大，尤其是对于大规模的多输入多输出系统。为了消除多余的接收器，我们进一步提出了基于CNN的自动编码器系统，如图8所示。
在这里插入图片描述
类似于传统DPSK方案的思想，信号在进行功率归一化之前被差分编码，如图8所示。在接收机处，接收信号Y首先被差分解码，然后被馈送到神经网络。差分编码/解码过程在图8中被实现为不可训练层，其支持复数运算。

图9示出了当通过瑞利块衰落信道传输时，图8的DCNN-AE系统的BLER性能。理论上的BPSK方案的BLER被用作基准。当k=1时，所提出的自动编码器系统的BLER性能与D-BPSK系统的性能相匹配。如预期的那样，当k = 2时，在图9中记录了3dB的性能差距。
在这里插入图片描述

四.适应性和训练收敛性

A.非高斯信道的自适应性
对于已知最优解的AWGN和瑞利衰落信道，图4和图5已经证明了所学习的方案可以与传统方案相匹配。在本节中，我们证明了即使信道不服从干净的数学分析，所提出的方案仍然可以通过端到端的学习找到最优解。
更明确地说，考虑一种情况，其中发射信号总是被AWGN破坏，此外，以小的概率，增加了更高的方差噪声。渠道模型描述如下:y = x + z + w,其中z~N(0，σ1²)是背景AWGN噪声,W ∼ N(0, σ2²)表示概率为ρ的突发噪声，以及σ2²>>σ1².该信道模型准确地捕捉到突发雷达信号如何干扰长期演进信号[31]。
在前述σ2=1.0和ρ =0.05的信道模型下，图10绘出了当具有不同的信道使用n时，图2的k = 4的CNN-AE系统的BLER性能。在图10中观察到，传统的16QAM调制记录了最差的BLER性能和存在的错误下限，因为每当发生突发噪声时，信息符号永久地丢失。另一方面，n=1的CNN-AE系统由于系统的端到端优化，实现了略低的误差下限。
在这里插入图片描述

此外，如果信道使用增加到n =2，3，在图10中可以获得显著的性能增益。这是因为发射信号被设计在2n维空间中，而突发噪声在发生时被限制在单个时隙中。因此，信息符号恢复在突发信道下仍然是可能的。

B. TRAINING CONVERGENCE
所提出的端到端学习系统还具有快速训练收敛的好处，如图11和图12所示。图11和图12示出了作为训练时期的函数的CNN-AE系统在AWGN和瑞利信道上的训练损失和验证损失。分别。两种损失函数在几个时期内迅速收敛。注意，所提出的系统对神经网络的初始化参数不敏感。
在这里插入图片描述

V. CONCLUSION

本文提出了一种基于CNN的自动编码器通信系统，将通信领域的专业知识注入到神经网络中。为了通过原始数据学习传输和检测所需的表示，使用了CNN层。更明确地说，仅对神经层施加功率约束、时间约束(信道使用次数)和信道模型。然后，具有足够数据的监督学习驱动基于CNN的模型收敛到适合预定义通信要求的精确网络参数。

这个通用的学习框架允许我们在各种条件下进行智能交流。此外，在加性高斯白噪声和平坦瑞利衰落信道下，所提出的CNN-AE系统可以与现有的最优人类工程解决方案的性能相匹配，无论块长度、Eb/N0、码率、信道使用情况如何。

换言之，CNN-AE方案是一个统一的通信系统，当在非标准突发信道上传输时，由于信号的学习表示通过在高维空间中的星座优化来适应环境，所以该网络的性能优于现有的方案。此外，为了消除信道估计的需要，提出了一种差分CNN-AE方案。最后，我们证明了CNN-AE结构的训练时间有限，因为它具有较快的训练收敛速度。