失真函数、失真矩阵与平均失真

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown 版本已归档至【Github 仓库：https://github.com/timerring/information-theory 】或者公众号【AIShareLab】回复 信息论 获取。

失真函数

假如某一信源 $\mathbf{X}$ , 输出样值 $x_i$, $x_i\in a_1,a_2,\dots a_n$ , 经试验信道传输后变成 $y_j$, $y_j\in b_1,b_2,\dots b_m$ ,如果:

• $x_i=y_j$ 没有失真

• $x_i\ne y_j$ 产生失真

失真的大小, 用一个量来表示,即失真函数 $d(x_i,y_j)$ , 以衡量用 $y_j$ 代替 $x_i$ 所引起的失真程度。

失真函数定义为:

失真矩阵

将所有的 $d(x_i,y_j)$ 排列起来, 用矩阵表示为:

例 : 设信源符号序列为 $\mathbf{X}=0,1$ , 接收端收到符号序列为 $\mathrm{Y}=0,1,2$ , 规定失真函数为

$$\begin{array}{c}\mathbf{d}(0,0)=\mathbf{d}(1,1)=0;\mathbf{d}(0,1)=\mathbf{d}(1,0)=1;\mathbf{d}(0,2)=\mathbf{d}(1,2)=0.5\text{d}=\left[\begin{array}{lllcc}0& 1& 0.5\text{1}& 0& 0.5\end{array}\right]\end{array}$$

失真函数形式可以根据需要任意选取, 最常用的有：

• 均方失真: $d(x_i,y_j)=(x_i-y_j{)}^2$ 适用于连续信源

• 绝对失真: $d(x_i,y_j)=|x_i-y_j|$
  

• 相对失真: $d(x_i,y_j)=|x_i-y_j|/|x_i|$
  

• 误码失真: d(x_{i}, y_{j})=\delta(x_{i}-y_{j})={\begin{array}{cc}0, & x_{i}=y_{j} \ 1, & \text { 其他 }\end{array}. 也称汉明失真，适用于离散信源

汉明失真矩阵（误码失真也叫汉明失真）

对于二元对称信道 $(\mathrm{m}=\mathrm{n}),\mathrm{X}=0,1,\mathrm{Y}=0,1$ , 汉明失真矩阵：

信道模型如下所示。采用汉明失真，请写出失真矩阵。

$$d=\left[\begin{array}{lllcc}0& 1& 1\text{1}& 1& 0\end{array}\right]$$

平均失真

$x_i$ 和 $y_j$ 都是随机变量,所以失真函数 $d(x_i,y_j)$ 也是随机变量,因此失真值只能用数学期望表示。

将失真函数的数学期望称为平均失真:

• 失真函数 $d(x_i,y_j)$ : 描述了某个信源符号通过传输后失真的大小

• 平均失真 $\bar{D}$ : 描述某个信源在某一试验信道传输下的失真大小, 它对信源和信道进行了统计平均, 是从总体上描述整个系统的失真。

信道矩阵如下图所示，已知信源符号等概，采用汉明失真，求平均失真。

$$\begin{array}{c}\boldsymbol{p}(\mathbf{0})=\boldsymbol{p}(\mathbf{1})=\mathbf{0} . \mathbf{5} \\boldsymbol{d}=\left[\begin{array}{lll}\mathbf{0} & \mathbf{1} & \mathbf{1} \\mathbf{1} & \mathbf{1} & \mathbf{0}\end{array}\right] \\bar{D}=\sum_{i} \sum_{j} p\left(a_{i}\right) p\left(b_{j} \mid a_{i}\right) d\left(a_{i}, b_{j}\right) \=\mathbf{0 . 5} \sum_{j} p\left(b_{j} \mid \mathbf{0}\right) \boldsymbol{d}\left(\mathbf{0}, b_{j}\right) \+\mathbf{0 . 5} \sum_{\boldsymbol{j}} p\left(b_{j} \mid \mathbf{1}\right) \boldsymbol{d}\left(\mathbf{1}, b_{j}\right) \= 0.5(0.80 + 0.21 + 01)+0.5(01+0.31+0.7 0)= 0.25\end{array}$$

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.

3. 周炯槃. 通信原理（第 3 版）[M]. 北京：北京邮电大学出版社, 2008.

4. 樊昌信, 曹丽娜. 通信原理（第 7 版） [M]. 北京：国防工业出版社, 2012.