EN 联系我们加入我们
典型案例
您现在的位置:首页 > 典型案例
【案例分享】某电信运营商防火墙CPU异常故障处理案例



一、问题背景及描述



某电信运营商接到大量用户投诉:使用手机本地3G/4G网络时,出现“网页打不开”、“观看视频卡顿”“玩手机网络游戏卡顿”等现象。对此该电信运营商立即邀请所有涉及的相关维护厂商共同探究此现象的原因:

1、查看出现投诉现象时,用户手机3G/4G信号强度是否可用。经过测试排除了由于信号强度不够导致上述现象的可能;

2、经分析发现,投诉集中在夜间20点到23点,白天较少。夜间是手机上网3G/4G业务高峰期,会产生大量的用户流量,这可能导致网络设备工作负荷过高。各方经分析调查提出猜想:设备在负荷状态下造成的网络拥塞,是手机上网卡顿现象的原因。


二、排查过程及原因



为了证实这一猜想,逐一核查各项工作参数。过程中发现我司负责维护的一台ASA5580防火墙CPU异常。业务高峰期CPU利用率接近98%,下行接口上不断有数据包丢弃记录增长。持续观察发现,业务空闲时该设备的CPU会下降至50%左右,下行接口数据包丢弃记录增长在可接受范围内(1%内)。

该防火墙有其局限性。在性能方面:其作为3G业务出口防火墙,开放4G业务后仍被延用作为业务的出口防火墙。在业务负荷承载能力方面:随着4G业务用户的不断增加,其进出口流量不断增长,CPU伴随流量的增长而逐渐增高。在工作模式方面:该防火墙与另一台同型号的防火墙采用主备模式,所以两台防火墙只有主用防火墙用于数据包的转发,另一台备用防火墙只有在主用防火墙出现故障的情况下,才接替主用防火墙转发数据包。



三、解决过程及结果



1、主备切换。工程师推测故障现象是由于主用防火墙长期工作造成的性能损耗。但进行主备切换以后,故障现象未得到解决。

2、进行设备替换升级。由于客户工作性质无法接受较长的替换周期,所以决定先实施一个临时性方案:先解决故障,再进行设备替换工作。

3、采用Cisco ASA防火墙负载分担模式(Active/Active Failover),也就是使两台防火墙同时转发数据包,将业务负荷分担在两台防火墙上,达到解决现有故障的目的。

如图所示:

图1.jpg


操作步骤

1、在防火墙ASA5580-1与ASA5580-2上新建两个failover group,Group 1与Group 2;

2、在防火墙ASA5580-1上新建两个虚拟防火墙C1与C2;

3、在防火墙ASA5580-2上新建两个虚拟防火墙B1与B2;

4、将C1与B1加入Group 1,将C2与B2加入Group 2;

5、让Group 1的C1为Active防火墙,B1为Standby防火墙;

6、让Group 2的B2为Active防火墙,C2为Standby防火墙。


四、故障解决


实现了ASA5580-1与ASA5580-2的主备负载分担,以及防火墙ASA5580-1与ASA5580-2互为主备并同时转发流量。

解决了用户投诉,为设备替换工作争取了时间。


、总结及建议



本案例主要采用了Cisco 防火墙技术高可用性的Active/Active Failover。

1、Cisco防火墙active/active failover部署在Cisco官方文档有详细的步骤,需要注意的是在新建虚拟防火墙时,务必防止物理防火墙的VTY部署丢失;否则会增加部署时间;

2、Cisco防火墙ASA5580部署active/active failover需要先部署其中一台防火墙,再部署另一台防火墙,那么需要将业务切换到另一台防火墙。推荐的做法是使用切换命令进行手动切换,如果输入可能存在命令后,业务没有切换,就需要断开他们之间的线跳线,但其必须处于主备模式,也就是断开状态。


如欲了解更多,请登录安图特官方网站:www.antute.com.cn

版权所有 安图特(北京)科技有限公司 备案号:京ICP备17074963号-1
技术支持:创世网络