第3专题1聊城大学.ppt
《第3专题1聊城大学.ppt》由会员分享,可在线阅读,更多相关《第3专题1聊城大学.ppt(99页珍藏版)》请在课桌文档上搜索。
1、第三章 离散信道及其信道容量,第一节 信道的数学模型及分类,第二节 平均互信息及平均条件互信息,第三节 平均互信息的特性,第四节 信道容量及其一般计算方法,第五节 离散无记忆扩展信道及其信道容量,第六节 信源与信道的匹配,第一节 信道的数学模型及分类,1、信道的分类:,根据信道用户的多少,可分为:,(1)单用户信道:只有一个输入端和一个输出端,单向通信,(2)多用户信道:至少有一端有两个以上的用户,双向通信,根据输入端和输出端的关联:,(1)无反馈信道:输出端信号对输入端信号无影响、无作用,(2)有反馈信道:信道输出端的信号反馈到输入端,对输入端的信号起作用,影响输入端信号发生变化,根据信道参
2、数与时间的关系:,(1)固定参数信道:信道的参数不随时间变换而改变,(2)时变参数信道:信道的参数随时间变换而变换,根据输入输出信号的特点:,(1)离散信道:输入和输出的随机序列的取值都是离散的信道,(2)连续信道:输入和输出的随机序列的取值都是连续的信道,(3)半离散半连续信道:输入序列是离散型的但相应的输出序列是连续的信道,或者相反。,(4)波形信道:信道的输入输出都是时间上连续的随机信号,根据这一模型,可对信道分类如下:,设离散信道的输入为一个随机变量X,相应的输出的随机变量为Y,如图所示:规定一个离散信道应有三个参数:输入符号集:X=x1,x2,输出符号集:Y=y1,y2,信道转移概率
3、:P(Y/X)=p(y1/x1),p(y2/x1),p(/x1),p(y1/)p(/),2、离散信道的数学模型,描述输入信号和输出信号之间的统计依赖关系,反映信道的统计特性,(1)无干扰(无噪)信道:输入信号与输出信号有一一对应关系,(3)有干扰有记忆信道:这是最一般的信道,信道中不仅有干扰,并且某一瞬间的输出符号不仅与当前时刻的输入有关,而且还与其他时刻信道输入符号及输出符号有关。,(2)有干扰无记忆信道:输入与输出无一一对应关系,输出只与当前输入有关;,单符号离散信道的输入变量为X,取值于输出变量为Y,取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数
4、学模型可以用概率空间X,p(y|x),Y来描述。,3、单符号离散信道的数学模型,表示成矩阵形式:,X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;,例1 二元对称信道(BSC),X=0,1;Y=0,2,1,0 1-p 0,p,p,1 1-p 1,2,例2 二元删除信道(BEC),由此可见,一般单符号离散信道的传递概率可以用矩阵表示,为了表述简便,可以写成,4.一般单符号离散信道的一些概率关系,(1)联合概率,其中,称为前向概率,描述信道的噪声特性,称为后向概率,,有时也把 称为先验,概率,把 称为后验概率,(2)输出符号的概率,(3)后验概率,表明输
5、出端收到任一符号,必定是输入端某一符号输入所致,1、信道疑义度,这是收到 后关于X的后验熵,表示收到 后关于输入符号的信息测度,这个条件熵称为信道疑义度,表示输出端在收到一个符号后,对输入符号尚存的不确定性,这是由信道干扰造成的,如果没有干扰,H(X/Y)=0,一般情括下H(X/Y)小于H(X),说明经过信道传输,总能消除一些信源的不确定性,从而获得一些信息。,第二节 平均互信息及平均条件互信息,I(X;Y)=H(X)-H(X/Y),2、平均互信息,其中H(X)表示传输前信源的不确定性,而H(X/Y)表示收到一个符号后,对信源尚存的不确定性,所以二者之差即为通过信道消除的不确定性,信道传递的信
6、息量。,(1)平均互信息,(2)互信息,互信息I(x;y)是代表收到某消息y 后获得关于某事件x的信息量。即,注意:互信息可取正值,也可取负值和0。,对于平均互信息,永远不会取负值,I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X),(3)互信息与其他的熵之间的关系,也可以得到:H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y),互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差,也等于发送前后关于Y的不确定性之差。,互信息与各类熵之间的关系可以用维拉图表示:,它们都是由于噪声干扰的存在而存在的。信道中存在噪声
7、干扰,是减低信道传信能力的基本原因。,H(X/Y)即信道疑义度,也表示通过有噪信道造成的损失,故也称为损失熵,因此信源的熵等于收到的信息量加上损失的熵;而H(Y/X)表示已知输入的情况下,对输出端还残留的不确定性,这个不确定性是由噪声引起的,故也称之为噪声熵或散布度。,(4)两种极端情况的信道,无噪一一对应信道,此时可以计算得:H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合,即:,此信道输入符号和输出符号完全一一对应,因此,信道模型,这种信道的输入和输出是一一对应的,即:,因此不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0在这种无干扰信道中,对应于输入符号有唯
8、一的接收符号,接收端的平均不确定程度和发送端的平均不确定程度相同;在这种信道中,信息被无损地传输,故又称为“无损信道”;,输入输出完全统计独立,同理I(X;Y)=0,即,H(X/Y)=H(X)H(Y/X)=H(Y),则,信道模型,这种信道的干扰很强,以至任意一个输入符号 xi 可能等概率地被接收成任意一个 yj,即,因此可得,即,所以,这种信道的输入和输出符号没有关系,Y 知道后关于 X 的不确定性 H(X|Y)和没有 Y 时的不确定性 H(X)完全一样,信息无法传输,称为“全损信道”;,3.平均条件互信息,(1)条件互信息,已知事件,的条件下,接收到y后获得关于某事件x的,条件互信息,先验概
9、率和后验概率都是在某一特定条件下的取值,这是条件互信息与互信息的区别,已知,后,总共获得关于,的互信息,(2)平均条件互信息,例2某2元通信系统,它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0,1/2的0在接受端错成1。问信宿收到一个消息后,获得的平均信息量是多少?,p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信
10、道特性,如果列成矩阵,就叫信道矩阵。,解:,先用公式p(xi)p(yj/xi)=p(xiyj)来计算,p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/24p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24,再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12,再利用公式p(xi/yj)=p(xiyj)/
11、p(yj)来计算后验概率p(xi/yj),p(x1/y1)=,=,=,p(x2/y1)=,=,=,p(x1/y2)=,=,=,p(x2/y2)=,=,=,现在可以计算信宿收到一个消息后所获得的信息量:,I(发0;收0)=I(x2;y2)=log,=log2,=log2,=log210/7=0.515比特/消息,=log2,(通信错误,没有消除不确定性,反而增加了不确定性,相当于得到了负消息),=log2,=log26/7=-0.222比特/消息,I(发0;收1)=I(x2;y1)=log,=log22/5=-1.322比特/消息,I(发1;收0)=I(x1;y2)=log,I(发1;收1)=I
12、(x1;y1)=log,=log25/6=0.263比特/消息,我们为了得到信宿收到一个消息所获得的平均信息量(算术平均与统计平均):I平均=p(x2y2)I(x2;y2)+p(x1y1)I(x1;y1)+p(x1y2)I(x1;y2)+p(x2y1)I(x2;y1)=3/80.263+5/240.515-1/241.322-3/80.222=0.067比特/消息(差错率太高了)I负值?),数学上可以证明平均信息量是非负的。,例题3.3四个等概分布的消息M1,M2,M3,M4被送入一个二元无记忆对称信道进行传输。通过编码使M1=00,M2=01,M3=10,M4=11。而BSC信道如图所示。试
13、问,输入是M1和输出符号是0 的互信息是多少?如果知道第二个符号也是0,这时带来多少附加信息量?,解:根据题意知,输入为M1和第一个输出符号0的联合概率,根据信道的特性,输出第一个符号为0的概率,由于信道无记忆,所以,若输出符号为00,可得,因此,同理,得,因此,当第一个符号为0,第二个符号也是0时所带来关于M1的附加信息,各种熵之间的关系,第三节 平均互信息的特性,1、平均互信息的非负性,I(X;Y)=0,3.通过一个信道总能传递一些信息,最差的条件下,输入输出完全独立,不传递任何信息,互信息等于0,但决不会失去已知的信息。,证明:,结论:,1.平均互信息量不是从两个具体消息出发,而是从随机
14、变量X和Y的整体角度出发,并在平均意义上观察问题,所以平均互信息量不会出现负值。,2.从一个事件提取关于另一个事件的信息,最坏的情况是0,不会由于知道了一个事件,反而使另一个事件的不确定度增加.,由条件熵的非负性很容易得到上式。,2、平均互信息的极值性I(X;Y)=H(X),I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X),证明:,I(Y;X)H(Y),结论:,1.从一个事件提取关于另一个事件的信息量,至多是另一个事件的熵那么多,不会超过另一个事件自身所含的信息量。,2.当X和Y是一一对应关系时:I(X;Y)=H(X),这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信
15、息,从平均意义上来说,代表信源的信息量可全部通过信道。,3.当X和Y相互独立时:H(X/Y)=H(X),I(Y;X)=0。从一个事件不能得到另一个事件的任何信息,这等效于信道中断的情况。,3、平均互信息量的交互性I(X;Y)=I(Y;X),I(Y;X)表示从X中提取关于的Y的信息量,实际上I(X,Y)和I(Y,X)只是观察者的立足点不同,对信道的输入X和输出Y的总体测度的两种表达形式,证明:根据互信息量的对称性I(xi;yj)=I(yj;xi),结论:,4、平均互信息的凸状性,平均互信息量的数学特性 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数定理3.2 平均互信息I(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 专题 聊城 大学

链接地址:https://www.desk33.com/p-740008.html