信息论与编码：线性分组码与性能参数

1.1 线性分组码(n,k)定义

线性分组码是由 (n, k) 形式表示。编码器将一个 k 比特信息分组（信息矢量）转变成一个更长的由给定符号集组成的 n 比特编码分组（编码矢量）。当这个符号集包含 2 个元素 (0 and 1) 时 , 称为二进制编码。

k-bit 信息形成 $2^k$ 不同的信息序列 , 称为 k 元组。 n-bit 可以形成 $2^n$ 个不同序列，称为 n 元组。

(n，k）分组码输出的长度为 n 的序列称为码字。所有这些码字的集合称为该线性分组码的码组。因为 n>k，故编码时需按某种规则加入 r=n-k 个监督（校验）码元。

对于分组码(n,k),定义

• 编码效率: k/n

• 编码冗余度:(n-k)/n

线性分组码的几个重要概念

• 码距（汉明距离）：两个码组中对应位置上具有不同二进制码元的位数

• 码重（汉明重量）：线性分组码中，将码字（组）中所含 1 的数目定义为码字(组)的重量

• 编码信道：研究信道编码和译码的信道模型

• 二元码、硬判决时，建模为 BSC （二元对称）信道

• 软判决时，建模为 AWGN 信道

• 软判决与硬判决译码（简单理解：译码器输入比特的选取）

1.2 信道编码性能参数

主要的性能参数有 差错概率、编码增益、检纠错能力 。

编码增益 ：给定差错概率下，通过编码所能实现的比特信噪比${\mathbf{E}}_{\mathbf{b}}/{\mathbf{N}}_0$的减少量。

• 检错能力 l: $d_{\text{min }}\ge l+1$
  

• 纠错能力 t: $d_{\min }\ge 2t+1$
  

• 检错 l 纠错 t: $d_{\text{min }}\ge l+t+1$
  

1.3 基本线性分组码

a.奇偶监督码

• 码字由 n 个码元组成， n 1 个信息码元，另一码元为奇（偶）监督码元 (n, n-1 )奇偶监督码.

• 码率: (n-1)/ n

=0 (偶校验)or 1(奇校验)

可检测到奇数个错误图样, 如果错误个数为偶数则无法检测。

b.恒比码

• 每个码组中 1 和 0 的个数保持恒定，因而比值恒定。我国电传通信中 5 中取 3 码 每个 5bit 码组中必须含有 3 个 1 和 2 个 0），总数共有$C_5^3=C_5^2=10$种来表示十进制数。

c.汉明码

• 能纠正单个随机错误的线性分组码

1.4 差错控制类型对信道编码的要求

1. ARQ （检错重发 自动请求重发）

• 适用于非实时数据传输系统

• 要求信道编码具有检错功能

利用奇偶校验比特来检错重发。接收端不纠正错误，只是简单的要求发射机重发数据。此时，发射端与接收端间的对话需要双向链路反馈信道 。

自动重发请求 (ARQ): 三种类型

1)停止——等待 ARQ （半双工）2)具有回拉功能的连续 ARQ （全双工）3)具有选择性重发功能的连续 ARQ （全双工）

ARQ 的主要优点是 ，错误检测设备要比纠错设备简单得多，只需要少量的冗余。

ARQ 只适用于发生错误时需要重发的情况。

2.FEC （前向纠错)

• 适用于实时通信系统中

• 要求信道编码具有纠错功能

• 比 ARQ 优越的方面

• 没有可用的反向信道或 ARQ 延迟过长。

• 重发策略无法简单的实现。

• 没有纠正的错误数目需要过多的重传。

3.HEC （混合纠错 ARQ+FEC）

即能检错又能纠错

首先收端进行检错，如错误在纠错范围内则纠正，否则请求重传。

1.5 信道编码主要涉及的数学知识：有限域运算、矩阵运算

• 有限域初步知识： Galois 域——迦罗华域

• 有限域：指有限个元素的集合，可按规则进行代数四则运算，且运算结果仍属于集合中的有限元素。

• 对于二元域，记为 GF(2)，其内码元满足模二运算。

• 二元扩展域 GF($2^n$)——由 GF(2) 元素的一切长度为 n 的序列组成的集合（二进制数组的集合）。

• 设 $\mathbf{x},{\mathbf{x}}^{\prime }\in GF\left(2^n\right),\alpha \in GF(2)$ , 即$\alpha$取 0 或 1。

• 加法: $\mathbf{x}+{\mathbf{x}}^{\prime }=\left(x_{n-1}\oplus x_{n-1}^{\prime },x_{n-2}\oplus x_{n-2}^{\prime },\dots ,x_1\oplus x_1^{\prime },x_0\oplus x_0^{\prime }\right)$
  

• 乘法: $\alpha \cdot x=\left(\alpha x_{n-1},\alpha x_{n-2},\dots ,\alpha x_1,\alpha x_0\right)$