第3章信道及其容量.ppt

第三章 信道及其容量,信道的任务是以信号方式传输信息和存储信息。研究信道中能够传送或存储的最大信息量，即信道容量。,本章内容：信道的分类及离散信道的数学模型平均互信息及其性质信道容量的概念及几种典型信道的信道容量计算信源与信道的匹配信道编码定理,3.1 信道的数学模型和分类,图3.1.1 通信系统的一般模型,3.1 信道的数学模型和分类,一、信道的分类 根据载荷消息的媒体不同,根据信息传输的方式,根据信息传输的方式分类中 根据信道的用户多少：两端(单用户)信道 多端(多用户)信道根据信道输入端和输出端的关联：无反馈信道 反馈信道根据信道的参数与时间的关系：固定参数信道 时变参数信道 根据输入和输出信号的特点：离散信道 连续信道 半离散或半连续信道 波形信道,二、离散信道的数学模型,条件概率 p(y/x)描述了输入信号和输出信号之间统计依赖关系。它反映了信道的统计特性。,例如,其中:p(ai)表示输入某符号的概率,p(bj)表示输出某符号的概率,p(bj|ai)表示发送ai而接收为bj概率,-条件概率。,显然可以用条件（转移）概率表示信道的噪声干扰特性。,根据信道的统计特性即条件概率 p(y/x)的不同，离散信道又可分成三种情况：无干扰信道有干扰无记忆信道有干扰有记忆信道,(1)无干扰(噪声)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即：y f(x),(2)有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。,(3)有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型。例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。,处理有记忆有干扰信道的两种方法：（1）最直观的方法是把记忆较强的N个符号当作一个N维矢量，而把各矢量之间认为是无记忆的，这样就转化成无记忆信道的问题。当然，这样处理会引入误差：N，误差。（2）另一种处理方法是把 p(y/x)看成马尔可夫链的形式，这是有限记忆信道的问题。此时，信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的状态的条件下，信道的输出符号和所处的状态的联合条件概率来描述，即用 p(ynSn/xnSn-1)来描述。,三、单符号离散信道,单符号离散信道：输入符号为X，取值于a1,a2,ar。输出符号为Y，取值于b1,b2,bs。条件概率：p(y/x)p(y=bj/x=ai)p(bj/ai)这一组条件概率称为信道的传递概率或转移概率，可以利用条件概率来描述干扰对信道影响的大小。,用传递概率 p(bj/ai)来描述干扰影响的大小一般简单的单符号离散信道可以用X,p(y/x),Y 三者加以描述。其数学模型可以用概率空间X,p(y/x),Y描述。当然，也可用下图来描述：,一般离散单符号信道的传递概率可用矩阵形式表示，即,矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率，所以该矩阵又称为信道矩阵（转移矩阵）。,在这里直观表示矩阵P中每行之和应等于“l”,表明：在信道输入为ai时，在输出端接收到的一定是符号b1，b2，bs中一个。,例1 二元对称信道，BSC，Binary Symmetrical Channel,解：此时，X:0,1;Y:0,1;r=s=2，a1=b1=0；a2=b2=1。传递概率:,p是单个符号传输发生错误的概率，表示信道输入符号“0”而接收到的符号为“1”，或信道输入符号为“1”而接收到的符号为“0”的概率的概率。（1-p）表示是无错误传输的概率。转移矩阵:,0 101,输出,输入,符号“2”表示接收到了“0”、“1”以外的特殊符号这种信道实际是存在的。,0 2 101,例2二元删除信道。BEC，Binary Eliminated Channel,解：X:0,1 Y:0,1,2此时，r 2，s 3，传递矩阵为：,设有一个信道，其输入为正、负方波信号，那么，信道输出送入译码器的将是受干扰后的方波信号R(t)，如图(b)。,0 2 101,如果信道干扰不是很严重的话，则“10”和“01”的可能性比“02”和“12”的可能性小得多，所以假设：p(y=1/x=0)p(y=0/x=1)0是合理的。,一般单符号离散信道的一些概率关系 设信道的输入概率空间为：,信道输出Y的符号集为B=b1,b2,bs。给定信道矩阵为：,(1)输入和输出符号的联合概率:,式中：p(bj|ai)-前向概率（信道的传递概率），发送为ai，通过信道传输接收到为bj的概率。它是由于信道噪声引起的，所以描述了信道噪声的特性。p(ai/bj)-后向概率，已知信道输出端接收到符号为bj，但发送的输入符号为ai的概率。它描述了信道引起的疑义性。p(ai)-先验概率，接收到一个输出符号以前输入符号概率p(bj)-输出某符号的概率,(2)根据条件概率可得输出符号的概率:,输出/输入符号与转移概率关系的矩阵形式为:,(3)根据贝叶斯定律可得后验概率:,表明：在信道输出端接收到任一符号bj，一定是输入符号a1，a2，ar中的某一个送入到信道。,3.2 信道疑义度与平均互信息,本节进一步研究离散单符号信道的数学模型下的信息传输问题。,一、信道疑义度,信道输入信源X的熵,H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为先验熵。如果信道中无干扰(噪声)，则信道的输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但如果信道中有干扰(噪声)存在，接收到符号Y后对发送的是什么符号仍存在有不确定性。,接受到bj后，关于X的不确定性为,后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵-信道疑义度：,这是接收到输出符号bj后关于X的后验熵。后验熵是当信道接收端接收到输出符号bj后，关于输入符号的信息测度。,信道疑义度（含糊度）：它表示在输出端收到全部输出符号Y集后，对于输入端的信号集X尚存在的不确定性(存在疑义)。这个不确定性是由于干扰(噪声)引起的。如果是一一对应信道，那么接收到符号Y后，对X的不确性完全消除，则信道疑义度H(X/Y)0。条件熵小于无条件熵，即H(X/Y)H(X)。这说明接收到符号集Y的所有符号后，关于输入符号X的平均不确定性减少了，即总能消除一些关于输入端X的不确定性，从而获得了一些信息。,互信息量 I(xi;yj)：收到消息yj 后获得关于xi的信息量,即：互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量,对于无干扰信道，I(xi;yj)=I(xi)；,对于全损信道，I(xi;yj)=0；,二、平均互信息,平均互信息I(X;Y)：I(xi;yj)的统计平均。,定义 I(X;Y)=H(X)-H(X/Y)为X和Y之间的平均互信息。它代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。,关于平均互信息I(X;Y)互信息 I(x;y)代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。若I(x;y)=0。若I(X;Y)=0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量-全损信道。,信道疑义度（损失熵），信源符号通过有噪信道传输后所引起的信息量的损失。,I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(Y)-H(Y|X)I(X;Y)=H(X)+H(Y)-H(XY)其中：,平均互信息与各类熵的关系,噪声熵(或散布度)，反映了信道中噪声源的不确定性。,平均互信息与各类熵之间关系的说明,I(X;Y)=H(X)-H(X|Y)：从Y中获得关于X的平均互信息I(X;Y)，等于接收到输出Y的前、后关于X的平均不确定性的消除;I(X;Y)=H(Y)-H(Y|X)：平均互信息I(X;Y)也等于发出X的前、后关于Y的平均不确定性的消除;熵只是平均不确定性的描述，I(X;Y)才是接收端所获得的信息量（不确定性的消除）。平均互信息量 I(X;Y)确定了通过信道的信息量的多少，因此称它为信息传输率或传信率。,平均互信息与各类熵之间关系的集合图（维拉图）表示：H(X|Y)=H(X)-I(X;Y)H(Y|X)=H(Y)-I(X;Y)H(XY)=H(X)+H(Y)-I(X;Y),如果用X表示案情，Y表示犯人讲话，那么，H(X|Y)表示犯人讲话后警察对案件的不解，I(X;Y)表示警察从对话中了解案件的情况。如果H(X|Y)=0，说明警察听了罪犯的讲话后完全了解案情。如果I(X;Y)=0，说明罪犯的讲话对案情毫无帮助。,信道疑义度（损失熵）,噪声熵(或散布度),两种特殊信道,（1）、离散无干扰信道(无噪无损信道),信道的输入和输出一一对应，信息无损失地传输，-无噪无损信道。H(X|Y)=H(Y|X)=0 损失熵和噪声熵都为“0”由于噪声熵/损失熵等于零，因此，输出端接收的信息就等于平均互信息:I(X;Y)=H(X)=H(Y),（2）、输入输出独立信道(全损信道)信道输入端X与输出端Y完全统计独立,H(X|Y)=H(X),H(Y|X)=H(Y)所以 I(X;Y)=0 I(X;Y)=H(X)-H(X|Y)信道的输入和输出没有依赖关系，信息无法传输，所以称为全损信道。接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。,二种极限信道各类熵与平均互信息之间的关系,H(X|Y)=H(X)H(Y|X)=H(Y)I(X;Y)=0,H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y),无噪无损信道：完全重迭,全损信道：完全独立,无噪无损信道：,全损信道：,3.2.2 平均互信息的性质,平均互信息 I(X;Y)具有以下特性：（1）非负性 即 I(X;Y)=0，当X、Y统计独立时等式成立。证明：利用詹森不等式,（2）极值性 即 I(X;Y)=H(X)当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。,（3）交互性（对称性）即 I(X;Y)=I(Y;X)当 X、Y统计独立时，I(X;Y)=I(Y;X)=0 当信道无干扰时，I(X;Y)=I(Y;X)=H(X)=H(Y),（4）凸状性,平均互信息I(X;Y)只是信源X的概率分布p(x)和信道的传递概率p(y/x)的函数，即：I(X;Y)=f p(x),p(y|x),I(X;Y)是输入信源的概率分布p(x)的型凸函数。,I(X;Y)是信道传递的概率p(y/x)的型凸函数。,例3.2.1设BSC的输入概率空间为：,信道如图：,计算得平均互信息：I(X;Y)=H(Y)-H(Y/X),同时，根据离散无记忆信道的性质，可得：,所以：,当信道固定时，I(X;Y)是信源概率的型函数。,是0，1区域上的熵函数。,本例中 I(X;Y)H(p+p)-H(p)若信源固定，I(X;Y)是 信道概率p 的型凸函数。,平均互信息I(X;Y)是输入信源的概率分布p(x)的型凸函数。,该结论意味着:(当信道固定时)（1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。（2）对于每一个固定信道，一定存在有一种最佳的信源(某一种概率分布 p(x)，使输出端获得的平均信息量为最大。,平均互信息I(X;Y)是信道传递的概率p(y/x)的型凸函数。,该结论说明，当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰(噪声)最大，而输出端获得的信息量最小。,3.3 离散无记忆信道的扩展信道,对于离散无记忆信道，其扩展信道的传递概率满足：,用 X，p(y/x)，Y 概率空间来描述。设离散无记忆信道的输入符号集Aa1，ar，输出符号集Bb1，bs，信道矩阵为:,则此无记忆信道的N次扩展信道的数学模型如图所示:,而信道矩阵：,其中：,例3.3.1 求二元无记忆对称信道（BSC）的二次扩展信道。解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A00，01，10，11，共有224个符号，输出符号集为B 00，01，10，11。由于是无记忆信道，可求得二次扩展信道的传递概率：,信道矩阵：,按照平均互信息的定义，可得无记忆信道的N次扩展信道的平均互信息：,若信道的输入随机序列为X=(X1X2XN)，通过信道传输，接收到的随机序列为Y(Y1Y2YN)。假若信道是无记忆的，即信道传递概率满足：,则有：,式中Xi Yi是对应第 i 位的随机变量。若信源是无记忆的，则等式成立。,直观分析：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少,若信道的输入随机序列为X=(X1X2XN)，通过信道传输，接收到的随机序列为Y(Y1Y2YN)。假若信源是无记忆的，则有：,研究信道的目的是要讨论信道中平均每个符号所能传送的信息量-信息传输率R平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。所以：R=I(X;Y)=H(X)H(X|Y)(比特/符号),3.4 离散信道的信道容量,一、信道容量的定义 由于平均互信息I(X;Y)是输入随机变量的型凸函数，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。即存在一个最大的信息传输率-定义为信道容量C,（比特/符号）,(bit/s),Ct仍称为信道容量,若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct：,即：,例 信道容量的计算,因此，BSC的信道容量为：,二元对称信道，I(X;Y),(比特符号),离散无噪无损信道,二、简单离散信道的信道容量,例如：,其信道矩阵是单位矩阵：,满足：I(X;Y)=H(X)=H(Y),H(Y/X)=0 H(X/Y)=0,有噪无损信道：,接收到符号Y后，对X符号是完全确定的。损失熵H(X/Y)=0，,其信道矩阵：,所以：I(X;Y)=H(X),如果信道的前向概率p(y/x)等于0或1，即输出y是x的确定函数，但不是一一对应的，而是多一对应关系。这类信道称为无噪有损信道(确定信道)。,满足：I(X;Y)=H(Y)H(X),信道的疑义度（损失熵）H(X/Y)0而噪声熵 H(Y/X)=0。即接收到符号Y后不能完全消除对X的不确定性,无噪有损信道,在维拉图上,有噪无损信道和无噪有损信道中平均互信息、损失熵、噪声熵以及信源熵之间的关系。,损失熵 H(X/Y)=0 的信道称为无损信道，其信道容量为：,噪声熵 H(Y/X)=0 的信道称为无噪信道，其信道容量为：,所谓对称信道，是指信道矩阵P中每一行都是由同一集合p1，p2，ps中诸元素的不同排列组成，且每一列也都是由q1，q2，qr 中诸元素的不同排列组成。具有这种对称信道矩阵的信道称为对称离散信道。一般sr。,三、对称离散信道的信道容量,例如：,都是对称离散信道,都不是对称离散信道,若输入/输出符号个数相同，都等于r，且信道矩阵为：,则此信道称为强对称信道或均匀信道。这类信道中总的错误概率为 p，对称地平均分配给r-1个输出符号。,这一项是固定Xx 时对Y求和，即对信道矩阵的行求和。由于信道的对称性，所以H(Y/X=x)与 x 无关，为一常数，即,因此对称离散信道的信道容量：,对称离散信道的平均互信息为：I(X;Y)=H(Y)-H(Y/X),当p(x)等概分布时，达到信道容量,在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。只有当信道的输入符号是等概率分布时才能达到这个最大值。,例5 某对称离散信道的信道矩阵如下，求其信道容量。,解：s=4,r=2,四、离散无记忆N次扩展信道的信道容量,一般离散无记忆信道的N次扩展信道,即：CN=NC,所以，对于一般的离散无记忆信道的N次扩展信道，其信道容量是：,由于输入序列中的各分量是在同一信道中传输的,3.5 连续信道的信道容量,在连续信源的情况下，如果取两个相对熵之差，则连续信源具有与离散信源一致的信息特征；而互信息就是两个熵的差值，与离散信道类似，可定义互信息的最大值为信道容量。因此，连续信道具有与离散信道类似的信息传输率和信道容量的表达式。,一、连续单符号加性高斯噪声信道的信道容量,单符号连续信道的平均互信息为：信息传输率为：(比特/符号)信道容量为：,由于条件熵 h(Y/X)(即噪声熵)是由信道的噪声引起的不确定性，因而条件熵等于噪声信源 h(n)的熵。所以：,设信道迭加的噪声n是均值为零，方差为 2 的一维高斯噪声，则噪声信源的熵为：,如果信道输出信号Y的平均功率限制在P0以下，由第二章知，当Y是均值为零的高斯变量时，其熵h(Y)为最大。因此，得平均功率受限高斯加性信道的信道容量(每个自由度)为：,如果信道加入信道的噪声是加性高斯噪声，则输出Y、信道噪声的概率密度函数为：,即：,因此，当信道的输入X是均值为“0”、方差为“”的高斯分布时，平均功率受限高斯加性信道的信息传输率达到最大值：,其中是输入信号X的平均功率，Pn=2 是高斯噪声的平均功率,在实际中，天电干扰、工业干扰和其它脉冲干扰都属于加性干扰，它们是非高斯型分布。如果在通信系统中噪声不是高斯型的，但为加性的，则可以根据式(3.5.2)求出信道容量的上下限；如为乘性噪声，则很难进行定量分析。非高斯噪声信道的信道容量要大于高斯噪声信道的信道容量，所以在实际中，我们常常采用计算高斯噪声信道容量的方法来保守地估计信道容量，这样做同时还可以带来信道容量的计算比较容易的好处。,二、多维无记忆高斯加性连续信道的信道容量,(比特个自由度),上式同样也是个独立、并联组合高斯加性信道的信道容量。此时分两种情况：(1)若各单元时刻(i1,)上的噪声都是均值为零、方差为Pn的高斯噪声，而 Pi=S，则：,(2)若各单元时刻(i1,)上的噪声是均值为零，方差为不同Pni的高斯噪声，但输入信号的总平均功率受限，其约束为：,则：,单位：(比特个自由度),这结论说明，个独立并联的组合高斯加性信道，当各分信道(或各时刻)的噪声平均功率不相等时，为达到最大的信息传输率，要对输入信号的总能量适当地进行分配。,当常数 Pni时，此信道(或此时刻信号分量)不分配能量，使不传送任何信息，当 Pni，在这些信道分配能量，并使满足Pi+Pni=，这样得到的信道容量为最大。这与实际情况也相符：我们总是在噪声大的信道少传或不传送信息，而在噪声小的信道多传送些信息。,这一结论可以形象地解释为容器中水流动的情况。,将容器底部看成是由噪声平均功率Pni(即方差)所形成的高低不平的底部，将信号的总能量P看作总水量，将这些水倒入容器中，水流动达到平衡。水平面的高度为，当Pni 的单元内没有水；Pni越小的单元内水就越多，当总能量P增加，水面()抬高，图中第三单元也可能流入水。若总能量P减少时，水面()降低，图中第5单元可能也没有水了。,例3.5.1 设在各单元时刻上，噪声是均值为零，方差为Pni 的高斯加性噪声。,输入信号X是10个相互统计独立、均值为零、方差为Pi的高斯变量，且：求各子信道的信号功率分配。,比较后得最后四个信道应排除，即令：P7=0，P8=0，P9=0，P10=0,Pn1=0.1，Pn2=0.2，Pn3=0.3，Pn4=0.4，Pn5=0.5，Pn6=0.6，Pn7=0.7，Pn8=0.8，Pn9=0.9，Pn10=1.0（单位为W）,(2)再计算常数（此时可用信道为 6个），得：,比较得：P6=-0.083，第六个信道也应排除，令：P6=0,(3)再计算常数（此时可用信道为 个），得：,可见，第五个信道也应排除，令：P5=0(4)再计算常数（此时可用信道为 4个），得,所以，功率分配为：P1=0.4，P2=0.3，P3=0.2，P4=0.1,本例结果表明，噪声分量功率小的信道分配得到的相应信号分量功率要大一些，那些噪声太大的信道就不去用它，可使总的信道容量最大。若提高信号的总平均功率，可使有些信道相应的输入信号也分配到一些能量。,若提高信号的总平均功率，使：,功率分配为：P1=0.725，P2=0.625，P3=0.525，P4=0.425，P5=0.325，P6=0.225，P7=0.125，P8=0.025,比较得最后两个信道应排除，令：P9=0，P10=0,三、限频限时限功率的加性高斯白噪声信道的信道容量,一般信道的频带宽度总是有限的，设频带宽度为W，在这种波形信道中，信号满足限频、限时、限功率的条件，可通过取样将输入和输出信号转化为L维的随机序列：,和,而在频带内的高斯噪声是彼此独立的，从而有：,按照采样定理，在0,T范围内要求：,这种信道叫高斯白噪声加性信道，是一种假设的波形信道。此信道的输入和输出信号是随机过程x(t)和 y(t)，而加入信道的噪声是加性高斯白噪声n(t)(其均值为零、功率谱密度为N0/2)。加性高斯信道的信道容量,平均功率受限的信源最大熵是在高斯分布时出现。高斯白噪声加性信道单位时间的信道容量：,例4 设信道传输每比特的能量为Eb，请根据带宽效率C/W与Eb/N0的曲线图，说明信息传输率和信噪比的关系。解 通信系统的平均互信息就是信道的信息传输率R，它表示信道传输数据的比特率。假设R=C，则传输数据的平均功率为依此将信道容量定理写为,依此画出C/W与Eb/N0的曲线图从曲线来看，即使在Eb/N0小于1的情况下，C/W也是一个正数。,这说明，在带宽很大的情况下，信噪比这是个小数，说明信号功率小于噪声功率。此时的信道容量,它说明，即使在信号功率小于噪声功率的情况下，只要有足够的带宽，信道容量就不会为零。根据信道编码定理，只要我们通信系统的信息传输率R不大于C，就有办法实现可靠通信。这是扩频通信系统的理论基础。,例3.5.2 在电话信道中常允许多路复用。一般电话信号的带宽为3.3kHz。若信噪功率比为20dB(即Ps/(NoW)=100)，代入香农公式计算可得电话信道的信道容量为22k比特秒。而实际信道能达到的最大信息传输率约为19.2k比特秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。,说明：实际信道通常是非高斯波形信道。香农公式可适用于其他一般非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值。,在香农公式中决定信道容量的是三个物理参量：,三个参数的乘积是一个“可塑”性的体积，三者之间可以互换。下面举例说明：用频带换取信噪比(这是扩频通信的原理)模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。用信噪比换取频带在卫星、数字微波通信中常采用多电平调制、多相调制、高维星座调制等等，它们利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。用时间换取信噪比弱信号累积接收基于这一原理。,香农公式的物理意义为：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。,3.6 信源与信道的匹配,在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。我们总希望能使信息传输率越大越好，能达到或尽可能接近于信道容量.由前面的分析可知，信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。,信道剩余度定义为：,在无损信道中，信道容量 Clogr(r是信道输入符号数)。而I(X;Y)H(X)，因而：无损信道的相对剩余度=,上式说明提高无损信道信息传输率就等于减少信源的剩余度。对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。因此引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。,注意：信道容量C和输入信号的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。,例如，某离散无记忆信源,通过一个无噪无损二元离散信道进行传输。,对二元离散信道的信道容量为：C1(比特信道符号)对本信源的信息熵为 H(X)1.937(比特信源符号)要使信源在此二元信道中传输，必须对信源X进行二元编码（例如）：,因此，必须通过合适的编码，使信道的信息传输率接近或等于信道容量。,3.7 信道编码定理,定理3.7.1 有噪信道编码定理(香农第二定理)：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率RC时，任何编码的 必大于零，当 时，。,即在任何信道中，信道容量是保证信息可靠传输的最大信息传输率。对于连续信道，有类似的结论。,与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出在保证信息传输率低于信道容量的前提下，错误概率趋于“0”的编码是存在的。虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。我们将在第六章介绍信道编码的典型编码方法。,