首页 > 科技 >

服务器“异常”的几个可能性预警

2018-11-28 16:15:16 网络整理 阅读:167 评论:0

提到服务器宕机检测,大家会想到,宕机能够很快知道,这个有什么可做的?实际上,很多时候服务器宕机,并不总是被及时感知。服务器宕机,ping或者ssh这是最简单的做法,但真正的工程实践,没这么简单。

服务器“异常”的几个可能性预警

想要获知服务器宕机怎么办?可以通过服务器宕机实时检测:

1)发现宕机。

2)提前告警。

3)告知宕机的详细原因,如硬件故障,内核bug,网络异常等等。

4)自动报修生成工单。

我们知道,进行全网物理机宕机准确探测与实时发现,可以给宕机分析提供第一现场,获取第一现场的日志。也可以尽早将宕机数据推送给业务或运营感知并处理,如自动报修,业务迁移等,从而尽可能将业务影响降到最低。

更重要的是,准确的宕机发现数据可以为宕机预测提供准确的标注数据,为后期宕机预测提供数据基础,并且这些数据提供给运营部门进行整体分析,提升处理效率。

那么,如何可以准确发现宕机,减少误报呢?我们可以有以下操作,比如:

心跳源检测异常

顾名思义,通过心跳源,初步发现异常。通常心跳变化会有三类消息,update消息,delete消息和insert消息。心跳逻辑在于,正常情况下SA服务端与NC建立长连接,每数秒缓存一次心跳,每几分钟打包上报一次,但当NC异常时,长连接感知后,立即上报异常,并修改路由表。所以心跳异常做到秒级感知。

update消息,在有心跳发生变化情况下都会有,心跳异常和心跳恢复正常时都会发起,是主要的心跳来源。

delete消息,在心跳异常,并且SA判断ping不通,且ssh不通情况下发起,删除该条消息,避免延迟太长。

insert消息,在新增加机器,或者重装后重新上位的机器发起,该消息对宕机发现价值不大,配合uptime使用。

相关文章