信息理论试题及答案
1.画出通信系统的基本模型。 2.简述信息的概念及特点。 3.说明信息、消息及信号三者之间的联系与区别。 4.叙述数据处理定理的内容及其意义，并给 出简要证明。 5.简述香农第一定理。 6.结合本人的具体学习情况，谈谈学习信息理论课程的体会。 证明题 1.对离散信源X，设 ( ) Y f X ? ，证明： ( ) ( ) H X H Y ? ，并给出等式成立的条件。 （当且仅当对于所有概率不为0 的 ( ) x x X ? ， f 是一一对应的映射时，等号成立） 2.对于离散 随机变量，证明 ? ? ? ? ? ? ? ? 1 2 1 2 N N H X X X H X H X H X ? ? ? ? 。 3.证明：当N ? ? 时，新信源X 的符号集的概率分布 i p 趋于 1 r （等概分布）。 证明：由香农第一定理知 ( ) 1 ( ) ( ) lo g lo g N L H s H s r N N r ? ? ? 显然当N ? ? 时 ( ) ( ) lo g N L H s N r ? 此时信息传输率 ( ) ( ) ( ) lo g lo g H s H s R H s r r L ? ? ? （*） 而编码后原信源变换成一个新信源 1 2 1 2 : r r x x x x p p p ? ? ? ? ? ? 新信源的信道容量 l o g C r ? ，且在输入信源等概率分布时达到此信源容量。 那么由（*）式知，经 Huffman 编码后， 信息传输率在N ? ? 时达到信道容量，那么很容 易推出此时的信源趋于等概分布，即： 1 i p r ? 。 计算题 1.对于一个离散的二进制信道，信源消 息集为 ? ? 0, 1 X ? ，信宿消息集为 ? ? 0, 1 Y ? ，且 ? ? ? ? 0 1 P X P X ? ? ? ，信道传输概率 ? ? 1 | 0 0 . 0 5 P Y X ? ? ? ， ? ? 0 | 1 0