X电业局网络故障诊断案例分析.docx

案例分析一某电业局网络故障诊断一、故障描述故障地点：某电业局故障现象：网络严重阻塞，内部主机上网甚至内部主机间的通讯均时断时续。故障详细描述：网络突然出现通讯中断，某些V1.AN不能访问互联网，且与其它V1.AN的访问也会出现中断,在机房中进行ping包测试,发现中心交换机到该V1.AN内主机的ping包响应时间较长，且出现间歇性丢包，V1.AN与V1.AN间的丢包情况则更加严重。故障详细分析1 .前期分析初步判断引起问题的原因可能是： 交换机ARP表更新问题 广播或路由环路故障 人为或病毒攻击需要进一步获取的信息： 网络拓扑结构及正常工作时的情况 交换机ARP表信息及交换机负载情况 网络中传输的原始数据包2 .具体分析首先，我们从网络管理管控员那儿，得知了网络中主机共450台左右，同时得到了网络的简单拓扑图，如图1所示。10.230.204.0/24服务器群_J(图1网络原始拓扑简图)从图1可以知道，网络中划分了6个V1.AN,分别是10.230.201以24、10.230.202.0/24、10.230.203.0/24、10.230.204.0/24、10.230.205.0/24>10.230.206.0/24、，其中201205这5个V1.AN分别用于一个部门，而206为服务器专用网段。各V1.AN同时连接上中心交换机(Passport8010),中心交换机再连接到防火墙，由防火墙连接到Intenlet以及省单位。大致了解了网络拓扑后，我们以超级终端方式登录中心交换机，发现交换机的负载较大，立即清除交换机ARP表并重启，但故障仍然存在，于是我们决定对网络进行抓包分析。在中心交换机（PaSSPort8010）上配置好端口镜像（具体配置信息，略），并将安装科来网络分析系统的笔记本接到中心交换机的镜像口上，安装好后网络的拓扑简图如图2所示。（图2安装科来网络分析系统后的网络拓扑简图）由于科来网络分析系统可以跨V1.AN对数据进行捕获分析，所以在中心交换机上接入安装科来网络分析系统的笔记本后，网络的拓扑结构并未发生任何改变。打开笔记本上的科来网络分析系统，捕获数据包约1分钟（捕获停止后发现确切时间是53秒）后停止捕获，并对捕获到的数据通讯进行分析。将节点浏览器定位到物理端点下的本地网段，我们发现MAC地址为00:00:E8:40:44:99的主机，下面共有40个IP地址，如图3。目回圆品送蕊过盘网盛费日昼费诊&玄置s¾过JUJCOOAEB2DW47.t)00OAEB2DD6A珊8OEAS30:846ag00H:09:32:C8:2C面MBoO3:6138:10.B7«5«»+诊断i点饿议saas图表"芟出All本除网GMK直134800.88:4044钝(0)>288MMQ75»088E840KES900000E840:37D2."813WFroC十NjlOOOBDB.4B.46816!igCOBOC.4I.38.BC*«30008T4«CO85Jb>COOAEB55BAIS>00OAEB556055/00OAEBSSSC«j|00:0A:EB:55:Sr92«i3.0AEB55.I5A9婚OooAEB.550F9IaoOoAEB55X66«000OAEB55811鱼tfOAEBSSSZSOr9tf0010:5A:SC:U16心OoSoBAs3:47,A3COSO.BA.63.41»婚CQCCWHC68C|118472S6NB858,3121爸400K510,912,心OOOBDB<B:45:81|?»769MB545,7490t3£0Il258DTDC1|297绽HB559,5434722M68,1/，绸COCHDClE:62:01I61205»237,双91.312K16.154MJKo00TOTC*BKI33013NB40,91112528MS2T*J)CO103FPB4C9|23405IB24,423<443BVpxS<婚COCCS5,2B.96FO3771KB14,757271211三1,817竞CO1422T985C132S6MBMSi0Vpt115七/SQ3OD2AC3.M27«3f!B39,2398.138Hps20叩CO8E8W4499I966HB27,0561536KV>t13903M.73.01623NB5,6690VpxTU年妙位叩OO8E8158951Rse1.892,512««-J本地网段用航S接A95,4TS£绸COOCT.6T.5.OOMCOIl谷891就炉数更包I610HB1459RB1中Q耶5,0776,0966.网28.592KlpsQ<>W工程伏锭9X数需也过海疆未使用除候初8但0持分的数需包仲»4妻矢的敢起国0三55Se拒典泄露包0住存使用率«目标大小w三143956700：00：¢8:40:44:99FF：TTzTT:FT：FF：FF640.136.136.16在00：00：E8:40：44：9A143976100:00:18:40:44:9900:04:DC:1E:62:016410.230.203.39在00:00:£8:40:44:99143977400:00:18:40:44:9900:50:BA:F4:OC：X6410.Z30.Z03.ZS4在00:00:18:40:44:99143977500:00:£8:40:44:9900:04:DC:1E:62:016410.230.203.62在00:00:£6:40:44:991439785143978600：00：£8:40:44:9900:00:£8:40:44:9900：OA:CB:7B:25:A400:MtDCslE:62:01646410.230.203.254在00:00:18:40:44:9910.230.203.170在00:00:28:40:44:9914397%00:00:18:40:44:99FF：FF：F7:FF：FT：FF640.136.136.16在00：00：E8:40：44:9A143993900:00:£8:40:44:99FF:FF：rF:FT:Ff:FF640.136.136.16在00:00:26:40:44:9A144001800:00:18:40:44:9900：04：DC：1E：62：016410.230.203.39%00：00:E8:40:44:99144003100：00:£8:40:44:990O：S0:BA:F4:0C：3C6410.230.203.2S4在00:00:26:40:44:99144003200：00：E8:40:44:9900:04:DC:1E：62：016410.230.203.62在00：00：E8:40:44:99144003900：00:£8:40:44：9900：DA:EB:7B：2S：A46410.23O.203.2S4在00:00:£8:40:44:99144004000:00:18:40:44:9900:04:DC:1E:62：016410.230.203.170S00:00:Z8:40:44:99OO00E8404499AK3.!63/27,056窗。O因日国守0gJl程1.scproj-科来冏络分析不统停止-本地网段文件Or)查看0)工程，)IA)s)Wfeoo(图3定位本地网段的端点视图)我们知道，在正常情况下，一个MAC地址下面出现多个IP地址，只可能有以下几种情况之一：网关、代理服务器、手动绑定多个IP地址。咨询网络管理管控员得知，该网段内的机器均只绑定了一个MAC地址，且没有代理服务器，同时该MAC也不是网关MAC地址，由此，我们怀疑，该主机可能存在欺骗攻击。右键单击图3中的00:00:E8:40:44:99节点，在弹出的菜单中选择“定位浏览器节点(1.)”命令，将节点浏览器中定位到00:00:E8:40:44:99。查看协议视图，发现该节点主动发起了22613个ARP回复数据包，而ARP请求数据包只有2个，如图4所示。BE®工程1.scproj-科索网络分析不统停止00:00:E8:40:44:99文件Or)(j)查看(V)工程，)IA)W()招助00金益H品盅息。展品温S过久附篇ss凄自iK三名字表熠嚣J表地项?届节点瓯副9X帆襄统计诊断«.<5»»连投数名包a®图我DW00OAEB2DW47O)A蔺f00OAEB20Z36A(1)'金叩OoOEAS30X46(1)*3000:11:09:32:CS:2CQ)3回等面.OooOE840"协说5SW51数籍色总就Ji*w«e*I,iEthrtII27,066100OOCW1000001即Oo3:6138.10R(1)J=ag00E8.40.4499(40)SH30000E8403®750)S丁M(FI380I®22.615702ISI83588、丁R“P3.1.30VB22,613TO2tW*63.57丸128B20CC6¾0007、，叩88E84OKZS0)a*0000E84037DZ(!)Jatf00138PU11OC)3七期OOoBDBQB:46&1七igB0.C.4B.36.BC(1)-aN30008:74:41:00:85(1)amJOOOAEB55W15G)阖VdOOOABBSS6055G)*1000AEB:55:SCC)牝apOO:OA:EB:5S:Sr92Q)aM0OO.OA.EB.55.ZSA(1)S婚OOoAEB.55.电加(1)S绚8OAEB55M66(1)电8OAEB552Bl(Dmj)OAEBSS5ZSO0)七型Oo10:$A:5C:llW0)aS99S69KB4.4412970SX16.414«上丁”？54T.3T5O<0922?IflZI15124、£宇UDPISI.890n34325?«12751ICiP312B复数Je包照碰尊&印曲OOOOK8404499KvJft累但I.094/22,613滨号目既大小IfiSA1439567143976100：00:8:40:44:9900:00:£8:40:44:99FF：FF:EFT：FF：FF00:04:DC:1E:62:0164640.13.136.16注00：00：E8:40:44:9A10.230.203.39在00:00:28:40:44:991439774143977500：00：E8:40:44:9900:00:16:40:44:9900：50：BA:F4：0C：3C00:04:DC:1K:62:01646410.230.203.254在00s00:E8：40：44:9910.230.203.62300:00:E:40:44:99143978514397M00：00：C8：40：44:9900：00:E8:40:44:990O；0A:EB:7B：25:A400:04:DCiiBi62:01646410.230.203.254在00：00:E8:40:44:9910.230.203.170在00:00:28:40:44:99即OOsOBA63:47,A(J)S>50.BA.63.4t»(1)V1439790143993900：00：E8：40：44：9900:00:8:40:44:99FF:FF:FT:FT:FF:FFTTzTTznzTTzFFxFF64640.136.136.16在00：00:18:40:44:9A0.136.136.16S00：00：E8:40:44:9A<>144001800：00：E8:40;44：9900：04:DC：lE：62：016410.230.203.39在00:00:E8:40:44:99_1程次豆注QX144003100：00：C8：40:44：990O：S0:BA:F4:0C:3C6410.230.203.254在00:00:E8:40:44:99144003200:00:18:40:44:9900:04:DC:1E:62:016410.230.203.62在00:00:18:40:44:99数得也过滤器未使用144003900：00：E8：40：44：9900：0A:EB：7B：2S：A46410.230.203.254在00：00：E8：40：44：99信的tr先住0144004000:00:E8:40:44:9900:04:DC:lE：62:016410.230.203.170在00:00:E8:40:44:99持骸5政光包1仲3144035100：00：E8：40：44：99FF：FF:TT:FT：FF：FF640.136.136.16在00：00：E8：40:44：9A0.136.136.16在00:00:E8:40:44:9A144073200:00:18:40:44:99FF:FF:FF:FF:FFsFF64144074900：00：E8：40：44：9900:04:DcnE:62：(H6410.230.203.39在00:00:18:49:44:99144076800:00:E8:40:44:9900:0A:EB:7B:25:A46410.230.203.254在00:00:E8:40:44:99拒期泄密包0144076900：00：E8：40：44：9900：04：DC：1E：6Z：016410.230.203.170在00：00:E8：40：44:99畿存使用率144090900:00:E8:40:44:99nnnnron7qqFF:FF:FT:FT:FF:FF(W)nnrIrc->C640.136.136.16在00:00:E8:40:44:9AV寻求必助.0技n(图400:00:E8:40:44:99主机通讯的协议分布)从图4下面的数据包可以知道，00:00:E8:40:44:99主动向网络中的其它主机发出ARP回复数据包，合适的内容是告诉对方主机，自己是某个IP的主机，而这个IP在不断地变化。由此可以断定，MAC地址为00:00:E8:40:44:99的机器在进行ARP欺骗。同时，诊断视图的ARP诊断事件区时，也给出了相应的提示信息，如图5。0®文件CF)编辑更)查看Iy)工程的口3HO.0今新建打开向后向上3节点浏竟器QX-田雹3:0A：EB:2D:E3:6A(1)遂i疑OO:0E:A6:30:94:46(1)SE!:1109:32:C6.2CQ)S3|M:0C6B:38BOD7U)婚00:0028:40:44.99(40)+喇00:00E8:4O:3D.75(1)£蝴OO:0(TE8:40:2D-E5U)三400:00:E8:40:3F:DE(1)00:138F4AFECC(1)金电OO:0B，DB:4B:4681(1)£/OO:E0<C:4E:36.BC(1)±808:0874:4E：C0:8SU)±3G0EB:SS:BK:15Q)£电00:0A.EB:55:BO.55U)+«!>114FR=Srfi«Hlv工具CT）窗口僧）祜助（X）画的邂等；A向翅肩宓并表s适配器过津器网络配百日志设置该新设百名字表过滤器表概要拉计沙嘛端点协议连接数篇包日志图表名称计数所有的逢联事件1,476传匕层396-致髭链路层1.080£ARP太多的主动应答1,080事件参考信息能编Ila网0网0国”13网0数据包过滤器：未使用揩误数据包0捕获缄据包：1.693,384丢失曦据包；0接受糠据包；I1.693.384拒绝缄据包：0线存使用率.127,999KEl3工程伏态栏7×防议层事件DQ1.ta1.ink1.ayer太多的拗主动应答Date1.ink1.ayQr太多的ARF主动应答Dattt1.ink1.ayer太多的ABP主动应答Dadnk1.ayer大多的KRF主动应答Data1.ink1.ayer太多的ABP主动应答Data1.ink1.ayer太多的ARF主动应答Data1.ink1.ayer太多的ABP主动应答Dafink1.ayer太多的ARP主动应答Data1.ixtk1.ayer太多的ABP主动应答Dat1.ink1.ayer太多的KRP主动应答Dato1.ink1.ayer工手的AH三功近百严重程度00:E8:40nES4000:E8:4000:E840O0:EeYO00：EeYO00:E8:4000：E8:40O0:E8:4000：E840O0;E840目标数据包44:99NA139223744:99Na139249644:99NA132538244:99Na139570244:99NA139926444:99Na140189144:99NA140211944:99NA140905544:99NA140987544:99NA86244:99NA1410472Dat41.ink1.ayer太多的ARF主动应答00(XE8Y(44:99NA1412387工程1.cscproj科来网络分析系统停止00:00:E8:40:44:99寻求帮助，谐按Fl（图500:00:E8:40:44:99的ARP诊断信息）经过上面的分析，我们确定00:00:E8:40:44:99存在ARP欺骗攻击，网管人员立刻开始查找该主机，由于他们以前做了IP与MAC地址的统计表，所以很轻松地就找到了该机器。在二层交换机上拨掉该主机的网线，网络很快恢复正常，V1.AN间的内部访问和外部访问（包括Intemet和省网单位）速度均恢复正常。另外，从图3的显示可知,00:02:B0:BC:68:D2>00:0B:DB:4B:46:81>00:11:25:8D:7D:C1台机器占用的流量较大，通过查看这几台机器的具体流量后，发现00:02:B0:BC:68:D2和00:0B:DB:4B:46:81在互相进行数据拷贝，而00:11:25:8D:7D:Cl对应的IP地址是10.230.204.1,它是10.230.204.0/24网段的网关，占用较量较大属于正常情况。由此基本断定网络时断时续的根源即前面找出的00:00:E8:40:44:99主机。找出故障点，并帮助网络恢复正常后，我们因为其它的事情离开了现场，并未去排查00:00:E8:40:44:99的具体情况。下午接到电业局网管人员的电话，告知在找到MAC地址为00:00:E8:40:44:99的主机时，该用户仅在使用WoRD进行文档编辑，并未人为的进行攻击，然后安装防病毒软件并对该主机进行查杀，查出病毒若干，病毒查杀后，再次将该主机接入网络，网络通讯仍然正常。由此得出引发网络故障的原因是MAC地址为00:00:E8:40:44:99的主机感染蠕虫病毒，该病毒自动进行ARP欺骗攻击，导致网络访问的时断时续。三、中大型网络中，网络故障错综复杂，不借助专业网络分析工具的情况下，很难对故障进行排查，如本例中，如果不对数据包进行捕获，即使在交换机上查看流量，由于00:00:E8:40:44:99的流量并不特别大，所以我们也很难找到故障点。同时，由于此次捕获数据包的时间较短，仅仅只有53秒，所以网络中可能还存在一些未被检测出问题的主机（这些主机当前未启动，不会收发相应数据包，故无法查找）。所以，对于企业的网络运行，需要网络管理管控人员使用专用的网络分析工具，对网络进行长期有效的监测和分析，才可以最大程度地排除可能的网络故障和网络安全威胁。成都科来软件有限公司