信息论习题解答

第二章 信息量熵
22 八元编码系统码长3第符号步秒1000码字求信息速率

解：步信息均相含信息
码字信息量 2236 bit
信息速率 610006000 bits

23 掷偏骰子告诉总点数：(a) 7 (b) 12问少信息量

解：(1) 组合 {16}{25}{34}{43}{52}{61}

信息量 2585 bit
(2) 唯 {66}

信息量517 bit

24 充分洗牌副扑克（52张）问：
(a) 种特定排列出信息量少？
(b) 中抽取13张牌出点数相时少信息量？

解：(a)
信息量22558 bit
(b)

信息量13208 bit

29 机掷3颗骰子X表示第颗骰子结果Y表示第第二颗骰子点数Z表示3颗骰子点数试求
解：令第第二第三颗骰子结果分相互独立
62585 bit

2(36+18+12+9+)+6
32744 bit

[]
218955 bit
+
218955 bit
2585 bit
+18955+258544805 bit

210 设系统传送10数字01…9奇数传送程中05概率错成外奇数余正确接收求收数字均信息量

解：


输入等概信道条件知

输出等概10


0

25+845
1 bit
10 1523219 bit

211 令{}等概消息集消息相应编成述二元码字
0000001101010110
1001101011001111
通转移概率pBSC传送求：
(a)接收第数字0间互信息量
(b)接收前二数字00间互信息量
(c)接收前三数字000间互信息量
(d)接收前四数字0000间互信息量

解：


+
1+ bit

bit

3[1+] bit

bit

212 计算题29中
解：根题29分析
2(++++
+++)
35993 bit
10143 bit
03249 bit
10143 bit
06894 bit
0 bit

214 意概率事件集XYZ证明述关系式成立
(a)+出等号成立条件
(b)+
(c)
证明：(b)


+
(c)
[]
[]


X定条件YZ相互独立时等号成立
(a) 式(c)左右两边加
++
+

228 令概率空间令Y连续机变量已知条件概率密度
求：
(a)Y概率密度
(b)
(c) Y做硬判决

求结果进行解释

解：(a) 已知


+

(b) 25 bit


2 bit
05 bit
(c) V分布律
V
1
0
1
p
14
12
14
知
V
1
0
1
p(V|x1)
12
12
0
p(V|x1)
0
12
12


bit
1 bit
05 bit

229 令事件集U两概率分布相应熵分
(a)证明+概率分布
(b)相应分布熵试证明+

证明：(a) 事件集U两概率分布
00
11

+0
+1
概率分布
(b)


（引理2）
+
第三章 信源编码——离散信源失真编码
31 试证明长元等长码码字
证：①元码树第点节点第二级节点应码字长码函数时码字应码树中节点
②码长1码长2…码长
∴总

32 设离散记忆信源输出长100事件序列中含两者少两序列提供码字
(a) 等长编码求二元码短码长
(b) 求错误概率（误组率）
解 (a)含序列 1
长100序列中含1序列 100
长100序列中含2序列 4950
∴需提供码总数M1+100+49505051
采二元等长编码 123取13
(b)长度100序列中含两更时出现错误
错误概率



33 设离散记忆信源U熵考察长输出序列时满足式

(a)00501求
(b)求
(c)令序列集合中

试求L时情况(a)(b)T中元素数限
解：081 bit



0471
根契雪夫数定理

(a) 1884
(b) 471
(c) 条件知典型序列设元素数根定理

中知
(i)
边界：
边界：

(ii)




34 4字母离散记忆信源两码A码B参题表
字母
概率
码A
码B
a1
04
1
1
a2
03
01
10
a3
02
001
100
a4
01
0001
1000
(a) 码否满足异字头条件？否唯译码？
(b) 收1时少关字母a信息？
(c) 收1时少关信源均信息？
解：①码A异头字码B逗点码唯译码
②码A bit
码B bit
③码A U｛｝
132 bit
码B 0 bit
（收1知道码字开头关U信息）

35 令离散记忆信源
(a) 求佳二元码计算均码长编码效率
(b) 求佳三元码计算均码长编码效率

解：(a)

3234 bit
均码长 326
效率
(b)

均码长 211
3344
效率

36 令离散记忆信源
(a) 求U佳二元码均码长编码效率
(b) 求U佳二元码均码长编码效率
(c) 求U佳二元码均码长编码效率
解：(a)

05×1+03×2+2×0215
bit

(b) ∵离散记忆 ∴H(UU)2H(U)297 bit
p(aa)025 p(aa)015 p(aa)01 p(aa)015 p(aa)009 p(aa)006 p(aa)01 p(aa)006 p(aa)004




099
(c) 关佳二元类似 略
37 令离散记忆信源

0≤P(a)≤P(a)≤… ≤P(a)<1定义Q i>1Q10述方法进行二元编码消息a码字实数Q二元数字表示序列截短（例12二元数字表示序列12→10000…14→0100…）保留截短序列长度n等I(a)整数
(a) 信源构造码
(b) 证明述编码法码满足异字头条件均码长满足
H(U)≤≤H(U)+1
解：(a)
符号
Qi
L
C

0
4
0000


4
0001


4
0010


4
0011


4
0100


3
011


2
10


2
11

(b) 反证法证明异字头条件
令k知

假设字头（）相矛盾满足异字头条件
已知

等号两边取概率均


38 扩展源DMC
(a)求U佳二元码均码长编码效率
(b)求U佳二元码均码长编码效率
(c)求U佳二元码均码长编码效率
(d)求U佳二元码均码长编码效率
解：(a) 11
bit

(b) DMC信道




(c)

2944 0981
9885
(d) 略
39 设离散记忆信源 试求二元三元Huffman编码

解：



311 设信源K等概字母中K12Huffman编码法进行二元编码
（a）否存长度jj+1码字什？
（b）利j表示长j+1码字数目
（c）码均长度少？
解：Huffman思想：概率长码短码保证↓等概时趋等长码
a) 时K2j长度j码表示时K2j+1长度j+1码表示均码长短12时介两者间存jj+1长码字
b) 设长j码字数Nj长度j+1码字数目Nj+1根二元Huffman编码思想（必定占满整码树）


c）

312 设二元信源字母概率信源输出序列
1011 0111 1011 0111
(a) 进行算术编码进行计算编码效率
(b) 进行LZ编码计算编码效率
解：
(a)
根递推公式 表格
中F(1)0 F(1) p(0) p(1)





1

0
1


0



1



1



0



1


1



1



1



0



1



1



0



1



1



1


C 0101100111101

(b) 首先信源序列进行分段：
1 0 11 01 111 011 0111
然进行编码编码字典示

段号
短语
i
j
编码
1
1
0
1
0001
2
0
0
0
0000
3
11
1
1
0011
4
01
2
1
0101
5
111
3
1
0111
6
011
4
1
1001
7
0111
6
1
1101


bit


313 设DMSUa相应编成码字0101101110 试证明足够长信源输出序列相应码序列中01出现概率相等
解：

概率
信源符号
码字
12

0
14

10
18

110
18

1110

设信源序列长N相应码字长（条件N足够长）

相应码序列中0出现次数

∴ p(0) p(1)1p(0)
314 设DMS U
采表串长编码法进行编码

信源输出序列
0串长度（中间数字）
输出二元码字
1
01
001
…
00000001
00000000
0
1
2
…
7
8
0000
0001
0010
…
0111
1
(a)求H(U)
(b)求中间数字相应信源数字均长度
(c)求中间数字应均长度
(d)说明码唯译性
解：
(a) bit
已知表
先验
概率
信源输出
序列
0串长度
（中间数字）
输出二元码字
01
1
0
0000
009
01
1
0001
0081
001
2
0010
00729
0001
3
0011
00656
00001
4
0100
0059
000001
5
0101
00531
0000001
6
0110
00478
00000001
7
0111
04305
000000001
8
1

(b) bit
(c) bit
(d) 异字码头








第四章 信道信道容量
41 计算述转移概率矩阵定DMC容量
(a)
称信道达C需输入等概
∴C
bit符号
(b)
称信道
∴
bit符号
（c）
分信道信道


知 bit符号
43求图中DMC容量佳输入分布

（a） (b)
解：（a）图知

发送符号1时等概率收012
∴传传错概率完全相携带信息量信道简化二元纯删信道


bit符号
（b）图知

准称
∴输入等概时达信道容量C
时

∴
bit符号
45 N相BSC级联图

信道转移概率矩阵令已知
(a) 求表达式
(b) 证明时取值关证明时级联信道容量
解：N信道级联BSC表示

N级联成N1级联第N级联

∴
理







(a)

(b)

关


关C0

48 PCM语音通信系统已知信号带宽W4000 Hz采样频率2W采8级幅度量化级出现概率121418116132132132132试求需信息速率
解： bit
∴信息速率 bits

49 数字电视编码中帧500行行划分成600素素采8电量化秒传送30帧时试求需信息速率
解：素信息量3 bit
秒传输30帧素
∴ bits

410 带宽3 kHZ信噪30 dB电话系统传送时间3分钟试估计传送话音信息数目
解：30dB1000
R bits299 Kbs
传送时间t30分钟180 s
∴信息量2991805382 Mbit

412 R速率通带宽8 kHz信噪31连续信道传送否实现？
解：根SHANNON公式
40 Kbs
连续信道高斯信道时C






































第五章 离散信道编码定理
51 设DMC转移概率矩阵

1214试求两种译码准译码规计算误码率
解：
（1）验概率译码准
首先计算







∴译码规

∴
（2）似然准译码
计算



∴译码规

∴
显然佳
第六章 线性分组码
61 设4消息编成长5二元码00000011011011111010试出码致校验关系通转移概率p<12BSC传送试出佳译码表相应译码错误概率表示式
解：
（1）
构造出
（2） 根距离译码准伴式错误图样应关系
00100100 10110100
01001000 11000010
01100001 11100110
10010000 00000000
（3）

64 设二元(63)码生成矩阵

试出致校验矩阵
解：
H＝
文档香网(httpswwwxiangdangnet)户传

《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档