摘要：信源编码是一个数据压缩的过程，其目的是尽可能地将信源中的冗余度去掉；而信道编码则是一个增加冗余的过程，通过适当加入冗余度来达到抵抗信道噪声，保护传输数据的目的。

本文分享自华为云社区《基于深度学习的信源信道联合编码》，原文作者：罗鹏 。

 信源编码是一个数据压缩的过程，其目的是尽可能地将信源中的冗余度去掉；而信道编码则是一个增加冗余的过程，通过适当加入冗余度来达到抵抗信道噪声，保护传输数据的目的。

经典端对端无线通信系统如下图所示：

• 信源 xx 使用信源编码，去除冗余得到比特流 ss。

• 对 ss 进行信道编码（如 Turbo、LDPC 等）得到 yy，增加相应的校验位来抵抗信道噪声。

• 对比特流 yy 进行调制（如 BPSK、16QAM 等）得到 zz，并经物理信道发送。

• 接收端对经信道后的符号 \bar{z}zˉ 进行解调、解码操作得到 \bar{x}xˉ。

根据定义信道方式不同，基于深度学习的信源信道联合编码（Deep JSCC）可以分为两类。

第一类，受无编码传输的启发，将信源编码、信道编码和调制联合设计为编码器。

系统模型如下图所示：

​第二类，将通信系统中的调制、噪声信道、解调模块抽象为离散的二进制信道。

系统模型如下图所示：

第一种模型称为基于物理信道的符号编码，第二种称为基于抽象信道的比特编码。

另一方面，信源可根据其是否具有结构化特征划分为两类：

• 结构化信源，如图像、视频。

• 非结构化信源，如高斯信源。

结构化信源是 Deep JSCC 的主要研究场景。

由于神经网络对结构化数据具有强大的特征获取能力，并且有针对各种结构化数据设计的网络结构的出现。

因此，Deep JSCC 相较于传统设计更具有优势。

图像/视频等具有空间拓扑结构信源适合 CNN 网络结构，文本/语音等具有时间序列化结构信源适合 RNN 网络结构。

对于非结构化信源，Deep JSCC 则稍显羸弱。

因为非结构化信源内部相关性弱，难以去除冗余。

基于物理信道的符号编码

结构化信源

Gunduz 团队 1 提出了一个传输高分辨率图像的 Deep JSCC 框架。

发送端和接收端都使用 CNN 网络，并在训练时加入了高斯白噪声和瑞利衰减噪声。

提出的 Deep JSCC 框架如下图所示：

​

实验表明，从 PSNR 和 SSIM 数据来看，提出的信源信道联合编码比信源信道分离方案更优，在低信噪比的信道环境下，优势尤其明显。

Gunduz 团队 2 在前一个方案的基础上，提出将噪声反馈模块融入传输系统，以增强编解码器对变换信噪比的鲁棒性。

解码器将一部分经过噪声信道的接收到的符号 \bar{z}zˉ 反馈给编码器，编码器根据 \bar{z}zˉ 重新计算信噪比，并对编解码网络参数进行改进，以适应变换的信噪比环境。

其通信方案如下图所示：

​Jankowski3 提出了一种使用 Deep JSCC 来进行图像检索的方案，先提取图像特征，然后使用 Deep JSCC 编码传输图像特征子，接收端接收解码特征子并基于特征对图像进行检索。

系统架构如下图所示：

非结构化信源

Saidutta4 提出了一种应用双编码解码结构的 Deep JSCC 方案对高斯信源进行编码传输。

训练时采用 MSE 优化器。

系统架构如下图所示：

​在前面工作的基础上，Saidutta5 提出了基于变分自编码器对高斯信源编码的 Deep JSCC 方案，通过假设接收信号和重构信号的高斯统计特性，给出了正则化 MSE 损失的可变上限证明。

Xuan6 提出了一种基于 RNN 对高斯信源编码的 Deep JSCC 方案。

其不需要获取信源的先验信息，并在理论上证明了 Deep JSCC 的有效性，同时证明了基于深度学习的编码器与基于混沌动态系统（ChaoticDynamical System）的编码函数之间的相似性。

系统框架如下图所示：

​基于抽象信道的比特编码

与传统符号流的 Deep JSCC 方案不同，二进制信道下传输离散比特流无法计算反向传播梯度。

因此，离散信道的嵌入也比物理信道的嵌入更为复杂。

近年来，神经网络离散化 7 和离散自编码器 8 的发展，为上述难点提供了解决思路。

针对离散化神经网络的问题，一个简单的方法是使用得分函数估计器替代梯度 9。

由于该估计方差较高，一部分工作提出了不同的公式和控制变量来解决该问题 10。

另外，为了达到使离散随机变量连续化的目的，Jang 和 Maddisonet 分别提出了 Gumbel-Softmax 分布 11 和 Concrete 方案 12。

结构化信源

Choi13 提出了一种使用离散自编码器对图像进行抽象信道的比特编码方案。

为了保留编码的硬离散性，使用了多样本变分下界目标，用于获得低变差梯度。

系统结构如下图所示：

其使用图像及其二进制表示的互信息的变分下界来训练模型，以获得更好的鲁棒性。

Song14 提出了新的正则化方法 IABF(InfomaxAdversarial Bits Flip) ，以增强 NECST 的压缩和纠错能力，提升鲁棒性。

并提出了新的损失函数，实现了网络对高维数据更有效的优化。

Shao15 基于轻量级 CNN 网络提出了可部署到计算能力有限的移动设备中的低功耗 Deep JSCC。

系统架构如下图所示：

​Farsad16 提出了基于 RNN 结构的 Deep JSCC 方案，以对文本信源进行编码传输。

采用里德-所罗门（ReedSolomon）码对信道进行编码；结果表明，当编码比特较短时，该方案比传统方法具更低的单词错误率。

系统架构如下图所示：

非结构化信源

Carpi17 提出了一种基于强化学习的 Deep JSCC 方案，采用了比特位翻转解码（bitflippingdecoding）、残差信念传播（residual beliefpropagation）和锚解码（anchor decoding）三种算法，让解码器由数据驱动去学习最佳的解码策略。

1.     [2019 TCCN]

Deep Joint Source-Channel Coding for Wireless Image Transmission

2.     [2020 JSAIT]

DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback

3.     [2019 ICASSP]

Deep Joint Source-Channel Coding for Wireless Image Retrieval

4.     [2019 DCC]

M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning

5.     [2019 ISIT]

Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders

6.     [2020 SPCOM]

Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning

7.     [2019 TPMI]

Learning Deep Binary Descriptor with Multi-Quantization

8.     [2018 NIPS]

DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors

9.     [1992 ML]

Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning

10.  [2017 NIPS]

REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models

11.  [2016 ML]

Categorical Reparameterization with Gumbel-Softmax

12.  [2016 ML]

The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables

13.  [2018 ML]

Neural Joint Source-Channel Coding

14.  [2020 AAAI]

Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip

15.  [2020]

BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems

16.  [2018 ICASSP]

Deep Learning for Joint Source-Channel Coding of Text

17.  [2019 AACCCC]

Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding

18.  [2020 电信科学]

基于深度学习的信源信道联合编码方法综述

点击关注，第一时间了解华为云新鲜技术~