12级信息论复习题

2、一个随机变量x的概率密度函数为p(x)kx，0x2V。试求该信源的相对熵。 3、一个随机变量x的概率密度函数为p(x)kx2，0x2V。试求该信源的相对熵。 4、黑白气象传真图的消息只有黑色和白色两种，即信源X黑，白，设黑色的出现概率为P(黑）0.3，白色的出现概率为P(白）0.7。

（1）假设图上黑白消息出现前后没有关联，求熵H(X)。

（2）假设消息前后有关联，其依赖关系为P(白/白）0.9，P(黑/白）0.1，

P(白/黑）0.2，P(黑/黑）0.8，求此平稳离散信源的熵H2(X)。

（3）分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小。

5、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。

6、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。 7、给出R(D)的定义域的一般表达式并加以证明。 8、证明R(D)是平均失真度D的下凸函数。

9、在平方误差失真下，给出高斯信源的信息率失真函数的表达式并加以证明。

10、若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，则

I(X;Y)I(Xk,Yk)，这里Xk和Yk分别是序列X和Y中第k位随机变量；并且证明当

k1N且仅当信源也是无记忆信源时等号成立。

11、有一并联高斯加性信道，各子信道的噪声均值为0，方差为i：

212=0.1，22=0.2，32=0.3，42=0.4，52=0.5，62=0.6，72=0.7，82=0.8，92=0.9，

。输入信号X是10个相互统计独立、均值为0、方差为Pi的高斯变量，且102=1.0（W）满足：

P1(W)。求各子信道的信号功率分配方案。

ii11012、给定语音信号样值x的概率密度函数为p(x)1xe，x，求Hc(X)，2并比较Hc(X)与具有同样方差的正态变量的连续熵的大小。 13、某二元信源1X00a，其失真矩阵定义为，求该信源的Dmax，Dp(x)0.50.5a0Dmin和该信源的信息率失真函数R(D)。

1

14、设连续信源X，其概率密度函数为p(x)此信源的R(D)函数。

aaxe，失真度为d(x,y)xy，试求215、一个二进制非等概信源，符号集A{0,1}，p(0)p1p，p(1)p21p，试验信道输出符号集B{0,1}，失真函数为汉明失真。求该信源的信息率失真函数R(D)。

16、设一个四元等概信源123X0，接收符号集为p(x)0.250.250.250.2501失真矩阵定义为DAY{0,1,2,3}，

111011110111，求Dmax，Dmin及信源的R(D)函数，10并作出率失真函数曲线（取4到5个点）。

17、信源符号X有6种字母，概率为0.3，0.24，0.20，0.14，0.08，0.04。

(1) 求符号熵H(X)。

(2) 用香农编码法编成二进制变长码，计算其编码效率。 (3) 用费诺编码法编成二进制变长码，计算其编码效率。 (4) 用霍夫曼编码法编成二进制变长码，计算其编码效率。 (5) 用霍夫曼编码法编成三进制变长码，计算其编码效率。

18、信源符号X有6种字母，概率为0.3，0.22，0.18，0.16，0.08，0.06。

a) 求符号熵H(X)。

b) 用香农编码法编成二进制变长码，计算其编码效率。 c) 用费诺编码法编成二进制变长码，计算其编码效率。 d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。 e) 用霍夫曼编码法编成三进制变长码，计算其编码效率。

19、有一个n元等概率、平稳无记忆信源X{0,1,,n1}，接收符号集为

Y{0,1,,n1}，且规定失真矩阵为

01[d]1求率失真函数R(D)。

20、设高斯信源X的概率密度函数为

1101 10 2

p(x)xm21exp 2222且失真函数定义为差方失真，d(x,y)xyz2。求该信源的率失真函数的香农下限。 21、设有多维无记忆加性连续信道，输入信号序列为：xx1,x2,,xL，输出信号序列为：

其噪声为高斯噪声，噪声序列nn1,n2,,nL中的各分量是均值为0，yy1,y2,,yL，

方差为i2的高斯噪声，分两种情况计算其信道容量：

（1）在各单元时刻（i1,2,,L）上的噪声都是均值为0、方差为的高斯噪声； （2）在各单元时刻（i1,2,,L）上的噪声都是均值为0、方差为i2的高斯噪声，但

输入信号的总平均功率受限，其约束条件为：

LL2L2ExiExiPiP

i1i1i12

22、设二进制对称信道的转移概率矩阵为

2/31/3 P1/32/3 （1）若p(x0)3/4，p(x1)1/4，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；

（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

23、某信源发送端有两个符号：xi,i1,2，p(x1)a，每秒发出一个符号。接收端有三种符号：yj,j1,2,3，转移概率矩阵

1/21/20P

1/21/41/4 （1）计算接收端的平均不确定性；

（2）计算由于噪声产生的不确定性H(Y/X)；

（3）计算信道容量。

24、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。已知p(0)p(1)1/2，信道每秒内允许传输1000个符号。求此信道的容量。

25、发送端有三种等概率符号(x1,x2,x3)，p(xi)1/3，接收端收到三种符号(y1,y2,y3)，信道转移概率矩阵为

3

0.50.30.2

P0.40.30.30.10.90（1）计算接收端收到一个符号后得到的信息量H(Y)； （2）计算噪声熵H(Y/X)；

（3）计算接收端收到一个符号y2的错误概率； （4）计算从接收端看的平均错误概率；

（5）计算从发送端看的平均错误概率； （6）从转移矩阵中能看出该信道的好坏吗？ （7）计算发送端的H(X)和H(X/Y)。

26、设无记忆信源1X1,0,11，接收符号集Y,，失真矩阵22p(x)1/3,1/3,1/312，试求：

D11Dmax和Dmin及达到Dmax、Dmin时的转移概率矩阵。

2127、已知二元信源1X0,01以及失真矩阵，试求： dijp(x)p,1p10（1）Dmin；（2）Dmax；（3）R(D)。

28、某信源有8个符号a1,a2,a3,,a8，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。求

（1）信源的符号熵H(X)。 （2）出现一个1或一个0的概率。

（3）这种码的编码效率。

（4）相应的香农码及其编码效率。 （5）相应的费诺码及其编码效率。

29、已知符号集合x1,x2,x3,为无限离散消息集合，它们出现的概率分别为p(x1)1/2，

p(x2)1/4，p(x3)1/8，p(xi)1/2i等。

（1）用香农编码方法写出各个符号消息的码字。

（2）计算码字的平均信息传输速率； （3）计算信源编码效率。

30、已知一信源包含8个消息符号，其出现的概率为

4

P(X)0.1,0.18,0.4,0.05,0.06,0.1,0.07,0.04。

（1）若该信源在每秒内发出一个符号，求该信源的熵和信息传输速率。 （2）对这8个符号作霍夫曼编码，写出相应码字，并求出编码效率。 （3）采用香农编码，写出相应码字，求出编码效率。 （4）采用费诺编码，写出相应码字，求出编码效率。 100页例4.3.3，例4.3.4。 217页6.5，6.6，6.8，6.11。

5