《信息理论与编码》-答案-考试重点(1--3章)

《信息理论与编码》习题参考答案

1. 信息是什么?信息与消息有什么区别和联系?

答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。

第2章

1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？

答：依据题意，这一随机事件的概率空间为

Xx1x2P0.80.2

其中：

x1表示摸出的球为红球事件，

x2表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是

Ix1logpx1log0.8b)如果摸出的是白球，则获得的信息量是

（比特）

Ix2logpx2log0.2npx1npx2（比特）

c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为

次，白球出现的次数为

次。随机摸取n次后总共所获得信息量为

npx1Ix1npx2Ix2d)则平均随机摸取一次所获得的信息量为

1npx1Ix1npx2Ix2npx1logpx1px2logpx2HX0.72 比特/次

2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。

编辑版

.

根据题意，则知：

PA0.25 PB0.50 PBA0.75

而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A

事件发

生。所以其概率为PAB

根据贝叶斯定律可得

PABPABPBPAPBAPB0.250.750.375

0.5则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量

IABlogPABlog0.3751.415（比特）

3. 设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？

答：发送集合X0,1,…,9,接收集合Y0,1,…,9, 其中

pyi因为

110i0,2,4,6,8

181pyixj2pyixj所以

i,j1,3,5,7,9i,j1,3,5,7,9ij

ijp(yi)pxjpyixji,j110i,j1,3,5,7,9

最后得：

HYpyilogpyilog103.232（比特/符号）

i090X4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为3P4(1) 求信源熵。

编辑版

1。 14.

(2) 求由m个“0”和(100-m)个“l”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答：

（1）信源熵为

134HXlog4log0.8113 比特/符号

443（2）该特定序列用A表示则

13IAlog 4441.51.585m (bit)（3）因为信源是无记忆信源，所以

m100mHX100100HX81.13 比特/符号序列

5. 有一离散无记忆信源，其输出为X0,1,2，相应的概率为p01/4，p11/4，p21/2，设计两个独立实验去观察它，其结果分别为Y10,1，Y20,1。

已知条件概率如表2-4所示。

表2-4 习题5表

py1x 0 1 0 1 0 1/2 1 0 1 1/2 py2x0 1 2 0 1 1 0 1 0 0 1 2 (1) 求IX;Y1和IX;Y2，并判断作哪一个实验好些。

(2) 求IX;Y1,Y2，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于X的信息。

(3) 求IX;Y1Y2和IX;Y2Y1，并解释它们的含义。 答：

（1）IX;Y1=HY1HY1X，要求HY1和HY1X需要先求PY1，

PXY1，PY1X已知。

IX;Y2=HY2HY2X，要求HY2和HY2X需要先求PY2，

PXY2，PY2X已知。

由PXY1PXPY1X及联合概率分布与边缘概率分布的关系可得

编辑版

.

PXY1及PY1，如表2-1所示：

表2-1 Y1 Y2 0 1 PXY1 X 0 1 2 PXY2 0 1 X 1/4 0 1/4 1/2 0 1/4 1/4 1/2 0 1 2 1/4 1/4 0 1/2 0 0 1/2 1/2 PY1 所以

PY2 11HY1log2log21 比特/符号

2211111HY1Xlog1log1log2log2 比特/符号

4444211IX;Y1HY1HY1X1= 比特/符号

22同样可求出PXY2及PY2，如表2-2所示： 所以

11HY2log2log21 比特/符号

22111HY2Xlog1log1log10 比特/符号

442IX;Y2HY2HY2X1 比特/符号

因此第二个实验好些。

（2）IX;YY12HY2Y2HY2Y2X，因此要求出PYY12X和12，PYYPXYY12X=PY1XPY2X。 12。由于Y1、Y2是相互独立的实验，所以PYYPY1XPYY12XPXYY12PYY12（见表2-2和表2-3）

PY2X表2-2 Y1Y2 PYY12X X 00 01 10 11 编辑版

.

0 1 2 1 0 0

0 0 1/2 表2-3 0 1 0 0 0 1/2 Y1Y2 PXYY12 X 0 1 2 00 01 10 11 1/4 0 0 1/4 0 0 1/4 1/4 0 1/4 0 1/4 0 0 1/4 1/4 PYY12 1111HY1Xlog4log4log4log42 比特/符号

444411111HYYXlog1log1log2log2 比特/符号 124444213IX;YYHYYHYYX2= 比特/符号 12121222可以看到：做Y1和Y2两个实验比做Y1一个实验可多得到的信息为

IX;YY12IX;Y131=1 比特/符号 22可以看到：做Y1和Y2两个实验比做Y2一个实验可多得到的信息为

311= 比特/符号 2231（3）IX;Y1Y2IX;YY它表示做完Y2实IX;Y1= 比特/符号，12222IX;YY12IX;Y2验以后，从Y1实验可得到关于X的信息量。

IX;Y1Y2IX;YY12IX;Y131=1 比特/符号，它表示做Y1完实验以22后，从Y2实验可得到关于X的信息量。

Xx1x26. 设信源通过一干扰信道，接收符号为Yy1,y2，信道传递概率PX0.60.4如图2-7所示。求：

(1) 信源X中事件x1和x2分别携带的自信息量。

编辑版

.

(2) 收到消息yjj1,2后，获得的关于xii1,2的信息量。 (3) 信源X和信源Y的信息熵。 (4) 损失熵HXY和噪声熵HYX。 (5) 接收到消息Y后获得的平均互信息。

图2-7 习题6图

答：（1）

因为

Px10.6所以

Px20.4

Ix1log0.60.737(比特) Ix2log0.41.322(比特)

（2）

收到消息yi的概率为：

yPy1PxiPix0.6*560.4*340.8i i1Py21Py10.2所以收到消息yj后获得的关于xi的信息量即Ixi,yj为：

25Py1x1Ix1,y1loglog60.059(比特/符号)

Py10.81Py2x1Ix1,y2loglog60.263(比特/符号)

Py20.23Py1x2Ix2,y1loglog40.093(比特/符号)

Py10.81Py2x2Ix2,y2loglog40.322(比特/符号)

Py20.2编辑版

.

（3）

HXPxilogPxi0.6*log0.60.4*log0.40.971(比特/符号)

i122HYPyilogPyi0.8*log0.80.2*log0.20.722(比特/符号)

i1（4）

HYXPX,YlogX,Y1PYX

其中

5Px1,y1Px1Py1x10.6*0.561Px1,y2Px1Py2x10.6*0.16

3Px2,y1Px2Py1x20.4*0.341Px2,y2Px2Py2x20.4*0.14所以噪声熵：

HYX0.5*log11110.1*log0.3*log0.1*log] 561634140.715(比特/符号)

损失熵：

HXYHXHYXHY0.9710.7150.722

0.964(比特/符号)

（5）接收到消息Y后所获得的平均互信息量为：

IX,YHXHXY0.9710.9640.007(比特/符号)

7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。

表2-5 习题7表

信源符号 概率 u0 1/2 0 u1 1/4 10 u2 1/8 110 u3 1/8 111 试求：

代码 (1) 消息的符号熵。

(2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。

编辑版

.

(3) 消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为p0和p1，求相邻码间的条件概率p01、p10、p11、p00。

答：

（1）信源熵为

1117HUlog2log4log8 比特/符号

2444（2）设平均代码长度为L，则

11117L1233 二进制码元/符号

24884二进制码元的熵为

HUL1 比特/二进制码元

（3）由于符号间相互独立，因此

11111p0248，p11p0

22L为求相邻码元间的条件概率，先求相邻码元间的联合概率：

111112888481p1,1

4L所以

p11p1,11 p121 2p011p11同理

1111112242821 p0,04Lp00p0,01 p021 2p101p00

编辑版

.

8. 二次扩展信源的熵为HX2，而一阶马尔可夫信源的熵为HX2X1，试比较两者的大小，并说明原因。

答：

HX22HXHXHX2X1

二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。

9. 设有一个马尔可夫信源，它的状态集为s1,s2,s3,符号集为a1,a2,a3，及在某状态下发出符号的概率为Paksii,k1,2,3，如图2-8所示。

图2-8 习题9图

试求：

(1) 求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。 (2) 计算信源处在某一状态下输出符号的条件熵HXSj(3) 求出马尔可夫信源熵H。 答：

（１）由状态图得：

js1,s2,s3。

1PSPS1PS312PS1PS1PS212 4211PSPS1PS2342PS1PS2PS31所以信源的状态极限概率为：

编辑版

.

1PS12 PSPS1234所以信源的符号极限概率为：

11PaPSPSPS3112121 Pa2PS241PaPS334（２）信源处在某一状态输出符号的条件熵为：

1111131111HXS1H,,logloglog(比特/符号)

244442244211HXS2H0,,1(比特/符号)

20HXS3H1,0,00(比特/符号)

（３）马尔科夫信源熵为：

1311HPSiHXSi**1*01(比特/符号)

2244i110. 一个马尔可夫过程的基本符号为0，l，2，这3个符号等概率出现，并且具有相同的转移概率。

(1) 画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1。 (2) 画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。 答：

（状态图略）

（1）一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为WW1,W2,W3，根据

3111WWW131323W3W1W1W1W2123333 111W3W1W2W3333W1W2W31编辑版

.

可得W13,13,13，3种状态等概率分布。

一阶马尔可夫信源熵为

1111H13H,,1.585 比特/符号

3333信源剩余度为

1H1H110 H0log3（2）二阶马尔可夫信源有9种状态，同样列方程组求得状态的平稳分布为

111111111W,,,,,,,,

999999999二阶马尔可夫信源熵为

1H29log31.585 比特/符号

9信源剩余度为

1H2H120 H0log3由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。 11. 证明对于平稳信源有HX3X1X2≤HX2X1，并说明等号成立的条件。 答：

设离散平稳信源输出的随机符号序列为X1,X2,X3…。又设

x1X1，x2X2，x3X3，而且x1，x2，x3都取自于同一符号集Aa1，a2，…,aq，

并满足有

Pxx1，Px21x2x33x21，Px3x1x21

x3PxPxPx1

123x1x2x3PxxPxxPxx1

122313x1x2x2x3x1x3Pxxx1

123x1x2x3在区域[0,1]内设fxxlogx，fx在内是上凸函数，所以满足詹森不等式

qqPifxifPxi1 ii 其中Pi1i1i1q编辑版

.

现令xiPx3x2x1，设其概率空间为Px1x2，并满足

Pxx1

12x1所以根据詹森不等式得

Px1x2xilogxiPx1x2xilogPx1x2xix1x1x1 Px1x2Px3x1x2logPx3x1x2x1Px1x2Px3x1x2logPx1x2Px3x1x2

x1x1所以

PxxxPxx

12323x1Pxxx113x2Px2Px3x2Px2

上式对所有x1,x2,x3的取值都成立，所以

Pxxx113x2Px3x2 x1x2Px3x2

即

PxxPx21x13所以

Px1x3x2logPx3x1x2Px3x2logPx3x2

x1因为0Px21，xx2X2所以上式两边相乘，等号不变。有

Px2Px1x3x2logPx3x1x2Px2Px3x2logPx3x2

x1上式对所有x2,x3都成立，所以对所有x2,x3求和下式也成立

Px1x2x3logPx3x1x2Px2x3logPx3x2

x1x2x3x2x3因为

HX3X1X2HX3X2

所以是平稳信源

HX3X2HX2X1

得

编辑版

.

HX3X1X2HX2X1

只有当Px3x1x2Px3x2（对所有x1,x2,x3）时等式成立。 证毕

12. 在一个3×3的国际象棋棋盘上，试求： (1) “王”随机行走的熵率。

(2) 相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。 答：

（1）由于“王”不能停在当前格上，必须走一步，所以就9个状态的稳态分布为

WipsiEiE

其中Ei是从第i格出发能够到达的格子数，EE。通过简单的计算可得：

iiW1W3W7W9358，W2W4W6W8，W5 404040再根据“随机行走”的意义可得

log3 i1,3,7,9HXsilog5 i2,4,6,8

log8 i5 因此最终结果为

H王4358log34log5log82.2365 比特/步 4040401,i1,L,9，车9（2）“车”不管在哪个格子，它都有4个走向，例如它在1号格子，它可以去2、3、4、7号格子，因此状态的稳态分布为均匀分布：Wipsi随机行走的熵率为

11H车94log42 比特/步

94同样可得

H左象1 比特/步；H右象1.3333 比特/步；H后2.6443 比特/步

13. 求具有如下概率密度函数的随机变量的熵。

1(1) 指数分布fxex,x≥0

2(2)

1xfxe

2编辑版

.

(3) 单边高斯密度fx答： （1）

122ex222,x≥0

hXexlnexdx0 exlnxdx

0 ln1 1ln（奈特/样值）

（2）

hX1x1xelnedx02211x elnlnxdx

0221 lnln122eln（奈特/样值）

（3）设x12π222πex222表示高斯密度函数，它的微分熵为

1log2πe2。2单边高斯分布fx2ex2222x,x0的微分熵为

hXfxlogfxdx0 2xlog2xdx0

2xlog2dx2xlogxdx00 log2xlogxdx （因为xx）

1 log2πe2log2（比特/样值）

2

14. 连续随机变量X和Y的联合概率密度为

pxy1exp2SN2N12N2x12xyy S试求hX，hY，hYX和IX;Y。 答：

编辑版

.

px121expx12πSN2Nyx2x211expexpdy2S2N2πS2πNpxydyN22xyydySx1exp2πS2S2

yx2pxy1pyxexp

px2N2πN1x2hxpxlnpxdxpxlnexpdx2S2πSx21 pxlndxpxlnexp2Sdx2πS x2 ln2πSpxdx2S1 ln2πSSln2πeS2ShYX pxylnpyxdxdy112pxylnyxdxdy2πN2N1 ln2πN2N ln2πNyx2x2112expexpyxdydx2N2πS2πN2S1ln2πeN2

hXYpxylnpxydxdy2yx2x2111x2yx expexplndxdy2S2N2S2N2πS2πN2πSN2yx2xx211 ln2πSNexpexpdxdy2S2N2πS2S2πN2yx2yxx211 expexpdxdy2N2S2N2πS2πN11 ln2πSNln2πeSN22hYhXYhXln2πeSN

编辑版

.

1SN IX;YhYhYXln2N

15. 一信源产生的时不变波形信号(即信号统计特性不随时间而变)的带宽为4kHz，幅度分布为

pxex,x≥0

试求该信源的信息输出速率。 答：

该信源的绝对熵

HXhXlimln

0由于本题中0.5，并不趋于0，所以

HXhXlnpxlnpxdxlnah xexdxln02

13e2ln2（奈特/样值）

按照奈奎斯特定理，对该波形信号的抽样率至少为2410次/秒。信源的输出信息率为：

3HtnHX2410313e2ln2（奈特/秒）

第3章

1. 假设一个二元等概率离散无记忆信源X[0,1]，通过一个二进制对称信道，表示符号传输差错，其失真函数d(xi,yj)和信道转移概率p(yj/xi)分别为

1d(xi,yj)0ij，p(yj/xi)ij1ij ij试求失真矩阵d(xi,yj)和平均失真度D。 答：

由式（3-4）的失真矩阵可得

d(x1,y1)d(x1,y2)01d d(x,y)d(xy)102,221编辑版

.

由信道转移概率矩阵

1P(yj/xi)1和式（3-7）

Dp(xi)p(yj/xi)d(xi,yj)可以得到，平均失真度D为

i1j1nmD

2. 已知一个等概率无记忆信源X[0,1,2,3]，其失真函数为

1d(xi,yj)0ij ij试求：(1)率失真函数R(D)；(2)当信源X[0,1,]，D1/2时的R(D)。 答：

（1）失真函数矩阵d为

d(x1,y1)d(x1,y2)d(x1,y3)011101

dd(x,y)d(x,y)d(x,y)212223d(x3,y1)d(x3,y2)d(x3,y3)110由信道对称性可设信道转移概率矩阵为

1A1AA221A1A P(yj/xi)A221A1AA22由p(xi)1/3(i1,2,3)得， 允许失真D为

DDp(xiyj)d(xi,yj)1AA1D

i1j1nm又因为p(yj)1/3(j1,2,3)，由（3-13）可得率失真函数R(D)为

R(D)p(yj/xi)PDminI(X;Y)H(Y)H(Y/X)

11DlogDlog(1D)log(1D)332（2）当信源X[0,1,]，D1/2时，R(D)1H(D,1D)0 3. 设一个符号等概率输出的离散无记忆信源X的失真函数矩阵为

编辑版

.

112d(xi,yj) 211试求：(1)率失真函数R(D)；(2)信道转移概率P(X/Y)。

答：

由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率

A12AA PjiA12AA则由信源概率分布和信道转移概率分布可得到信宿接收信号的概率分布

p(yj)p(xi)Pji，得

i111111P(yj)A(12A),AA,(12A)A222222

11(1A),A,(1A)22则最大限定失真度D

DpiPjidijp1P11d11p1P21d12p1P31d13p2P12d21p2P22d22p2P32d23ij1A1A1(12A)2(12A)2A1A1211AA24A24AAA44A22A22A(2D)/2因为信宿的信息熵为

H(Y)H[p(yj)]H(D2DDDD2D2DDD,,)logloglog 4244422442D2D,,D1)222D2D2log(D1)log(D1)

22(2D)log(2D)(D1)log(D1)H(Y/X)H(Pji)H(可以求出信息率失真函数R(D)

R(D)I(X;Y)H(Y)H(Y/X)(D1)log(D1)信道转移概率矩阵为

DD2D2D loglog2422编辑版

.

2D2PjiD12D22D2D1 2D24. 设一等概率离散无记忆信源X[0,1,2,3]，信宿接收符号Y[0,1,2,3]，其失真函数矩阵为

01d(xi,yj)111011110111 10试求最大失真度Dmax、最小失真度Dmin和率失真函数R(D)。 答：

由已知对称信源和失真函数矩阵d(xi,yj)可知，它的平均失真度

DP(xi,yj)ijPE

XY再根据最大失真度的定义，有

Dmaxminp(xi)d(xi,yj)1YX13 n4根据率失真函数定义可得

R(D)log4Dlog3H(D)0DR(D)0D3 4ad(xi,yj)0ij ij3 45. 设一个n进制离散无记忆信源X的失真函数为

试证明：R(D)证：

DD/aDlog(1)logn[1(D/a)]。 a1(1/n)a由失真函数d(xi,yj)的对称性和信道转移概率矩阵Pji的归一性可以求得

编辑版

.

1A1AA…n1n11A1AA…Pjin1n1

……A…1A1A…An1n1可以求得

Dp(xi)Pjid(xi,yj)(1A)a A1D/a。

ijp(yj)p(xi)Pjii1(j1,2,…,n) n进一步可求得率失真函数R(D)

R(D)H[p(yj)]H[Pji]1lognAlogA(1A)log(1A)(A1)logn(1)n 1AAlognA(1A)log11/nDD/aDlog(1)logn[1(D/a)]a1(1/n)a证比。

116. 设一个等概率离散无记忆信源X[1,0,1]，信宿接收符号为Y[,]，其失真函

22数矩阵为

12d(xi,yj)11 21 试求信源的最大失真度Dmax和最小失真度Dmin，并求选择何种信道可以满足最大失真度

Dmax

和最小失真度Dmin的要求。 答：

由最大平均失真度的定义可知

编辑版

.

DmaxminP(x)d(xi,yj)YX1122114min[(),()]Y3333333最小失真度为

3

DminP(xi)mind(xi,yj)i1j1(111)13如果信道要达到最大失真度Dmax，信道的转移概率矩阵为

10011，或P(y/x)01，或P(y/x)1（01）

P(yj/xi)10jiji10011如果信道要达到最大失真度Dmin，信道的转移概率矩阵为

110101P(yj/xi)01，或P(yj/xi)10，或P(yj/xi)20101001 217. 已知一个等概率离散无记忆信源X[0,1]，信宿接收符号为Y[0,1,2]，失真函数矩阵为

01d(xi,yj) 01试求信源的率失真函数R(D)。 答：

由失真函数d(xi,yi)可以看出,信源输出消息符合为0,1,且等概率P0P11，信2宿接收到的消息符号有3个，分别为0，1，2，由失真函数d(xi,yi)可知：d(0,1)；

d(0,0)0；d(0,2)1；d(1,2)1；d(1,1)0；d(1,0)。

由于失真度d(xi,yi)为对称性，p(yj/xi)亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：

p(y1/x1)p(yj/xi)p(y1/x2)p(y2/x1)p(y2/x2)编辑版

p(y3/x1)A1A0 p(y3/x2)01AA.

其中，假设A为信道的转移概率。

Dp(xi)p(yj/xi)d(xi,yj)ij[p(x1)p(y1/x1)d(x1,y1)p(x1)p(y2/x1)d(x1,y2)p(x1)p(y3/x1)d(x1,y3)p(x2)p(y1/x2)d(x2,y1)p(x2)p(y2/x2)d(x2,y2)p(x2)p(y3/x2)d(x2,y3)] 111111A0(1A)1000(1A)1A022222211(1A)(1A)1A22将D1A代入到转移概率矩阵P(Y/X)，得到：

01DDP(Y/X)

0D1D再由概率性质p(yj)p(x)p(yii,jj/xi)，求得信宿端各符号的概率分布为

111Dp(y1)p(x1)p(y1/x1)p(x2)p(y1/x2)A022211p(y2)p(x1)p(y2/x1)p(x2)p(y2/x2)(1A)(1A)D 22111Dp(y3)p(x1)p(y3/x1)p(x2)p(y3/x2)0A222进而可以得到信宿接收的各消息的概率分布

1D1Dp(yj),D, 22由此可以得到：

1D1DH(Y)H[p(yj)]H,D,22

H(Y/X)H[p(yj/xx)]H1D,D,0最后可求得：

1D1DR(D)I(X;Y)H(Y)H(Y/X)H,D,H1D,D,0221D1D1D1DlogDlogDlog(1D)log(1D)DlogD

2222(1D)log(1D)(1D)log2(1D)log(1D)1D（比特/信源符号）

8. 设一等概率离散无记忆信源X[x1,x2,x3]，其失真函数为汉明失真函数，

编辑版

.

(1) 试求最小失真度Dmin和R(Dmin)。 (2) 试求最大失真度Dmax和R(Dmax)。

(3) 若最大允许失真度D1/3，试问信源每一个符号的平均二进制码长是多少？ 答：

汉明失真函数和信道转移概率矩阵分别为

0111/31/31/3，P1/31/31/3 d(xi,yj)1011101/31/31/3（1）最小失真度Dmin和R(Dmin)分别为

1DminP(xi)mind(xi,yj)(000)0，R(Dmin)H(X)H(1/3)。

j3i1（2）最大失真度Dmax和R(Dmax)分别为

3DmaxminP(x)d(xi,yj)2/3

Yi13R(Dmax)R(2/3)=0

x2Xx19. 设一离散无记忆信源1/43/4，每秒发出2.66个符号，通过一个二进制p(x)无噪信道传输，该信道每秒仅能传两个二进制符号，试问：

(1) 该信道能否实现对该信源符号的无失真传输。

(2) 如果不能，在失真度为汉明失真的条件下，该信道的最大允许失真为多少？ 答：

（1）由已知信源可以求得该信源的熵

131133H(X)H(,)loglog0.811（比特/信源符号）

444444信源输出的信息率为Rt2.660.8112.16（比特/秒），而在二元无噪无损信道中传输时，由于该信道每秒仅能传两个二进制符号，即信道的最大信息传输率为

Ct2（比特/秒）

根据信道编码定理，无论采用何种信源编码都必然会失真。 （2）若该信道的失真度为汉明失真，所以信源的率失真函数为

R(D)1H(D)（比特/信源符号） Rt(D)2.66R(D)（比特/秒）

当CtRt(D)，此信源在此信道中传输时不会产生差错，总的信源失真就是允许失真，即

编辑版

.

22.66[1H(D)]H(D)0.257D0.0513

10. 已知连续信源X的概率密度函数为p(x)d(xi,yj)xy，试求信源的信息率失真函数R(D)。

21，其失真函数为(1x2)2 答：

求解连续信源X的信息率失真函数R(D)时，首先求解最大允许失真度D

Dp(x)p(y/x)d(x,y)dxdyp(x)p(x/y)d(x,y)dxdy

p(y)dyp(x/y)xydx令D(y)p(x/y)xydx，可以求得

Dp(y)D(y)dy

由限功率的最大连续熵定理，在Yy条件下的最大熵为

1Hcmax(X/y)p(x/y)logp(x/y)dxlog2πeD(y)

2根据条件熵的定义可得

Hc(X/Y)p(y)Hcmax(X/y)dyp(y))log2πeD(y)dy

则平均互信息

Ic(X;Y)Hc(X)Hc(X/Y)

由于R(D)函数是试验信道满足保真度准则条件下的最小平均互信息，故将连续信源的概率密度函数代入即可求得率失真函数R(D)，即

R(D)1log(

D1D )log22π编辑版